DoorDash reduz latência do fluxo de recompra de mercado com IA de 16 para 2 segundos

A DoorDash afirma ter reduzido de cerca de 16 segundos para 2 segundos a latência de seu fluxo de recompra de produtos de mercado no Ask DoorDash, assistente conversacional de compras da empresa. Para isso, passou a antecipar a análise de compras recorrentes, em vez de refazê-la a cada solicitação. Segundo a companhia, as visualizações de listas de compras dobraram e a taxa de pedidos nesse fluxo aumentou aproximadamente 34%.

A implementação combina inferência em lote de modelos de linguagem de grande porte (LLMs), validação determinística e resolução de produtos no catálogo atual. Para identificar compras provavelmente recorrentes, o sistema analisa 90 dias de histórico de compras junto a sinais do perfil do consumidor. Antes de armazenar dados reutilizáveis da lista, a validação determinística confere os resultados produzidos pelo modelo.

Imagem: InfoQ. Arquitetura do fluxo de recompra de mercado da DoorDash.

Quando recebe uma solicitação, o sistema tenta associar cada item ao produto original da loja. Se não encontrar correspondência, recorre a um identificador de produto do catálogo e, por último, a um termo de busca. A consulta ao catálogo atual permite acomodar listagens modificadas e produtos indisponíveis sem repetir, a cada pedido, a análise do histórico de compras.

A separação entre análise antecipada e resolução atual dos produtos é central para reduzir a latência. Twisha Jain, engenheira da DoorDash, resumiu essa escolha em uma publicação no LinkedIn: “Sistemas de agentes melhores nem sempre dependem de mais raciocínio; também importa decidir o que pertence ao ciclo do agente e o que pode ser feito antecipadamente.”

O agente Grocery ainda é acionado quando a solicitação exige raciocínio adicional, como encontrar alternativas mais baratas considerando preços atuais, promoções, tamanhos de embalagem, estoque e preferências do consumidor. Operações simples, como alterar quantidades ou remover produtos, atualizam a lista diretamente, sem uma nova chamada ao LLM.

A lista é tratada como um artefato estruturado que tanto o consumidor quanto o agente podem atualizar, em vez de depender apenas do histórico da conversa. Um texto de engenharia da DoorDash afirma que a edição direta do consumidor é autoritativa: o turno seguinte do agente começa pela lista editada, não pelo que foi dito anteriormente.

Imagem: InfoQ. Arquitetura da plataforma compartilhada de agentes do Ask DoorDash.

O fluxo usa a plataforma compartilhada de agentes da DoorDash, que oferece orquestração, memória, acesso a modelos, rastreamento, infraestrutura de avaliação e controles de implantação. As equipes de domínio continuam responsáveis pelas instruções, habilidades, ferramentas e critérios de avaliação de seus agentes.

A DoorDash relata que a inclusão do agente Reservations levou uma semana, cerca de dez vezes menos que a construção de seus agentes de domínio iniciais. O dado diz respeito à experiência relatada pela empresa com a plataforma compartilhada; as equipes de domínio mantêm a responsabilidade pelas definições específicas de cada agente.

Assim, a abordagem descrita separa a análise do histórico de compras da resolução de produtos em tempo real: o sistema antecipa a identificação de itens recorrentes, mas consulta o catálogo atual para selecionar produtos no momento da solicitação.