CSIRO Desenvolve Arquitetura Serverless para Consultar Variantes Genômicas em Larga Escala

O organismo de pesquisa australiano CSIRO desenvolveu o Serverless Beacon (sBeacon), uma arquitetura serverless que permite consultar dados de variantes genômicas sem necessidade de copiar grandes conjuntos de dados para um banco de dados centralizado. A solução implementa o padrão GA4GH Beacon (Global Alliance for Genomics and Health) e utiliza Amazon S3, AWS Lambda, Amazon Athena e Amazon DynamoDB para oferecer interface de consulta padronizada.

A arquitetura separa os dados genômicos da metadata necessária para buscas. Arquivos VCF (Variant Call Format) permanecem armazenados em Amazon S3, enquanto metadados como status de doença, idade e localização são indexados separadamente. Durante o onboarding, o sBeacon cria índices e tabelas Athena para metadados, com termos de ontologia gerenciados através do Ontoserver do CSIRO para suportar consultas que combinam informações genômicas e fenotípicas.

Imagem: InfoQ. Arquitetura de onboarding de dados genômicos do sBeacon, separando arquivos VCF em S3 de metadados indexados e ontologia

Para consultas de variantes, o API Gateway roteia requisições para funções Lambda que identificam datasets relevantes e regiões genômicas específicas. O Módulo de Variant Querying utiliza bcftools e sua biblioteca htslib para recuperar porções específicas de arquivos VCF através de requisições HTTP byte range. Essa abordagem permite ler apenas a região genômica necessária sem transferir o arquivo completo. Os resultados são agregados e retornados através da API Beacon.

Anuradha Wickramarachchi, Solutions Architect para Bioinformatics Products na CSIRO, destacou que a compressão de dados foi consideração importante no design: "Uma consideração-chave que exercemos cuidadosamente é manter os dados na forma mais comprimida possível. Consultar dados enquanto estão comprimidos é extremamente benéfico."

Imagem: InfoQ. Lambda distribui consultas genômicas enquanto S3 serve apenas os intervalos comprimidos necessários de arquivos

O CSIRO avaliou a arquitetura utilizando o cromossomo 1 do 1000 Genomes Project, contendo 2.504 amostras em arquivo VCF comprimido de 1,1 GB. O dataset foi integrado em 18 segundos. Uma consulta cobrindo 10.000 pares de base alcançou latência média de 1,52 segundo com custo computacional estimado de USD 0,00013. A latência permaneceu consistente conforme variantes correspondentes aumentaram de 4 para 400.

O design se baseia em pesquisa anterior do sBeacon publicada em Nature Biotechnology, que relatou suporte para até 40 milhões de indivíduos e 3 bilhões de localizações genômicas. O modelo federado original permite que organizações retenham controle dos dados genômicos enquanto expõem interfaces de consulta padronizadas. O protocolo GA4GH foi projetado para operar entre fontes de dados distribuídas sem prescrever tecnologia subjacente de armazenamento. A implementação de 2026 estende esse modelo com serviços em nuvem que fornecem execução elástica de consultas mantendo arquivos genômicos em armazenamento de objetos.