Como Garantir que Agentes de IA Funcionem de Verdade em Produção
Vinoth Govindarajan, engenheiro do OpenAI especializado em infraestrutura de dados, traz uma perspectiva importante: agentes de IA não falham só porque o modelo tem alucinações. Os maiores problemas em produção vêm de questões muito mais fundamentais, de design de sistema.
O Problema Real: Sucesso Silencioso
Imagine isto: um usuário pede ao assistente para lembrar de um reembolso de cliente. O sistema responde que vai guardar essa informação. Tudo parece estar funcionando. Mas nos bastidores, o registro nunca foi salvo na memória do agente.
Esta é a falha mais perigosa que existe. Um crash deixa claro que algo deu errado. Um "sucesso silencioso" é uma mentira: a interface diz que funcionou, o usuário vê uma resposta, mas o sistema esqueceu. Quando o agente precisa dessa informação depois, vai trabalhar com dados incompletos e confiante demais.
O Modelo da Harness: Controle em Torno da IA
Pense em um carro. O motor importa, mas ninguém compra apenas vendo cavalos de potência. Você se importa com a direção, freios, painel, caixa de câmbio. Agentes de IA são iguais. O modelo é o motor. Mas a "harness" — o sistema ao redor do modelo — é o que dá controle.
O contrato de produção é simples:
- O modelo propõe
- A harness compromete
- Um comprovante prova que aconteceu
O modelo pode sugerir uma chamada de ferramenta, uma mensagem, um comando. Mas não deve ser a fronteira de produção. A harness é quem decide se a proposta vale, se a mudança é ordenada, se a autoridade é válida, se o resultado pode ser provado.
Três Princípios Que Importam
1. Dona do Estado
Cada fato que o agente vai usar depois precisa de um dono e um caminho de recuperação. Não é um dono humano — é o sistema cuja memória persistente vira a verdade para o próximo turno.
Por exemplo:
- Um evento de calendário pertence ao sistema de calendário
- O status de um ticket pertence ao sistema de ticketing
- Uma preferência do usuário pertence à memória
- Uma volta de conversa pertence ao log de transcrição
Se o agente depende de um fato depois, você deve ser capaz de recuperar ele. Se o caminho de upload falha silenciosamente, o próximo turno pode parecer coerente mas estar errado.
Há um padrão clássico: o sistema mostra como "entregue" e continua atualizando o timestamp. A próxima vez que acorda, vê trabalho pendente e pula. A harness nem percebe que é apenas um sinal interno de liveliness que virou trabalho visível ao usuário.
A lição: nomeie o dono de cada fato e torne a recuperação possível.
