A Perplexity migrou sua infraestrutura de busca do Amazon DynamoDB para CobbleDB, um banco de dados distribuído chave-valor desenvolvido internamente em Rust. A migração abordou gargalos severos de latência e custo que surgiram ao servir lotes de documentos de múltiplos kilobytes para modelos de linguagem grandes sob altos volumes de consultas. Ao desacoplar o armazenamento durável de documentos da recuperação de tier quente, o time de engenharia alcançou uma redução de cinco vezes na latência de leitura em lote, enquanto reduzia as despesas gerais de armazenamento em pelo menos vinte por cento.
Padrões de Leitura Únicos em IA
Os motores de resposta de inteligência artificial impõem padrões de leitura distintos da busca de documentos convencional. Cada consulta despachada para a Perplexity gera entre 100 e 120 chaves de página alvo, que o serviço de recuperação divide em lotes paralelos de 10 a 20 chaves. Diferentemente dos mecanismos de busca tradicionais que retornam breves trechos de metadados, a recuperação para modelos de linguagem exige extrair passagens completas divididas em chunks e incorporações de vetores densos, gerando payloads de registros médios de aproximadamente 50 kilobytes.
Em escalas de tráfego de produção ultrapassando 200.000 requisições por segundo, o modelo de precificação baseado em uso do DynamoDB se tornou financeiramente insustentável porque a AWS cobra por cada byte transferido. Além disso, DynamoDB funciona como uma caixa-preta que oculta a colocação interna de partições, políticas de cache de memória e roteamento de réplicas. Os engenheiros não conseguiam evitar picos de latência cauda causados por leituras não em cache, saltos de rede entre zonas ou réplicas atrasadas. Trabalhos de reprocessamento acionados por algoritmos de chunking atualizados ou modelos de embedding mais recentes também empurravam escritas de alto volume diretamente para DynamoDB, criando contenção de vizinhos barulhentos contra requisições de usuários ao vivo.
Arquitetura de Três Camadas
Para resolver essas limitações, a Perplexity dividiu sua arquitetura de armazenamento em três sistemas especializados: Pillar para gerenciamento de estado durável, Lorry para agregação em lote e CobbleDB para serving de baixa latência.
Pillar é executado sobre YTsaurus em unidades de armazenamento mecânico de alta capacidade, mantendo famílias de tabelas versionadas para metadados de página web, passagens e representações de vetores. Transações atômicas de YTsaurus garantem que atualizações de rastreamento, mutações de estado e filas de exportação sejam confirmadas juntas. Lorry atua como um consumidor de fila sem estado que agrupa exportações de Pillar em arquivos alinhados a partições, armazenando os payloads no Amazon S3 enquanto publica notificações de metadados para CobbleDB. Os nós workers de CobbleDB puxam e ingerem esses lotes S3 independentemente, isolando completamente os nós de serving quentes do pipeline de rastreamento intenso em escrita.
CobbleDB: Design Otimizado para Buscas em Lote
CobbleDB funciona como um armazenamento distribuído chave-valor otimizado exclusivamente para buscas em lote. Cada partição mantém três réplicas distribuídas entre nós de computação independentes. O daemon principal usa RocksDB como seu mecanismo de armazenamento incorporado, emparelhando cache com mapeamento de memória com discos sólidos NVMe locais.
Um roteador de consultas sem estado mapeia identificadores de página com hash para partições e coordena a execução de leitura. Para minimizar overhead de rede, o roteador direciona requisições para réplicas de nós localizadas na mesma zona de disponibilidade. Se uma réplica alvo apresenta tempos de resposta elevados, o roteador especulativamente protege a requisição emitindo uma leitura concorrente para uma réplica alternada em um nó diferente. Dentro de cada nó, CobbleDB recupera chaves simultaneamente através da interface RocksDB batched MultiGet, eliminando overhead de round-trip.
O banco de dados descarta protocolos de transação distribuída padrão e algoritmos de consenso síncrono. Como o serving de busca tolera um ligeiro atraso de replicação, as réplicas aplicam atualizações de forma assíncrona em seu próprio ritmo, reduzindo substancialmente o overhead operacional.
Resultados de Produção
Em medições de produção ao vivo, CobbleDB reduziu a latência mediana de leitura em lote de 31,4 milissegundos para 5,60 milissegundos, a latência p90 caiu de 56,7 milissegundos para 9,77 milissegundos e a latência cauda p99 diminuiu de 123 milissegundos para 24,2 milissegundos. Testes sintéticos manipulando payloads de até 100 kilobytes confirmaram throughput consistente de até 500.000 requisições por segundo.
Trade-offs e Futuro
A arquitetura incorre em trade-offs não triviais. Substituir um banco de dados gerenciado em nuvem transfere gerenciamento de ciclo de vida de nó, verificação de backup e rebalanceamento de partição inteiramente para engenheiros de confiabilidade de site internos. As aplicações também devem suportar consistência eventual, uma vez que as réplicas ingerem arquivos em lote em intervalos diferentes.
Aravind Srinivas, CEO da empresa, observou que as 40.000 linhas de Rust que compreendem CobbleDB foram construídas em dois meses por dois engenheiros de sistemas emparelhados com um enxame autônomo de agentes de codificação com IA que realizaram testes de integração, monitoramento de build e runbooks operacionais. A Perplexity indicou planos para abrir o código da base CobbleDB em uma versão futura.










