Um webinar recente da InfoQ examinou os desafios operacionais reais enfrentados ao implantar sistemas agentic em ambiente de produção. O painel reuniu praticantes sênior de engenharia para disseccionar problemas que afetam diretamente a confiabilidade de sistemas baseados em inteligência artificial.
Os Três Desafios Centrais
A sessão, intitulada "AI in Production: What Breaks, What Works, and Who Approves It?", foi moderada por Hien Luu e contou com Zichuan Xiong e Prem Chandrasekaran da ThoughtWorks, a especialista em privacidade Katharine Jarmul e o praticante de IA financeira Lan Chu. Luu apresentou três questões fundamentais que distinguem falhas de IA de software tradicional: sistemas de IA geram imprecisões convincentes em vez de simplesmente derretendo; agentes de código produzem código mais rápido do que revisores humanos conseguem acompanhar; e dados sensíveis encontram novos caminhos de vazamento através de prompts, janelas de contexto e documentos recuperados.
Deriva Semântica e de Embedding: Falhas Ocultas
Zichuan Xiong, Chefe de Operações de IA para Serviços Gerenciados na ThoughtWorks, destacou o problema generalizado de "deriva semântica" em pipelines de modelos de linguagem. Agentes de tradução texto-para-SQL frequentemente achatam conceitos específicos de domínio, tratando "membro" de forma idêntica em contextos de vendas e suporte ao cliente, levando a erros sutis e ocultos em análises de negócios que passam por rastreamento padrão sem detecção.
Lan Chu descreveu uma falha crítica causada por "deriva de embedding" em sistemas de conformidade financeira. Após implantar um agente para bloquear aconselhamento de investimento proibido com base em limites de similaridade vetorial, uma atualização não anunciada do modelo de embedding subjacente alterou a distribuição de distância vetorial. Isso causou picos severos de falsos positivos e falsos negativos em tráfego ao vivo, enquanto todas as verificações de saúde da infraestrutura permaneciam completamente verdes.
Prem Chandrasekaran ressaltou como pipelines RAG (Retrieval-Augmented Generation) podem inadvertidamente recuperar documentos sensíveis. Jarmul acrescentou que modelos memorizam dados de treinamento e podem ser explorados para des-anonimizar informações ou expor chaves de API. Chandrasekaran também referenciou a vulnerabilidade GitSpawn, mostrando como configurações maliciosas de repositório podem executar código não autorizado durante comandos rotineiros.
Automação de Revisão de Código em Escala
Com agentes de código gerando volumes cada vez maiores de código de produção, processos convencionais de revisão humana enfrentam gargalos insustentáveis. Chandrasekaran enfatizou que revisões manuais linha-por-linha não conseguem escalar junto com saídas de agentes de alta velocidade.
Equipes de engenharia devem automatizar verificações táticas de estilo e sintaxe em pipelines CI/CD, reservando supervisão humana exclusivamente para arquitetura de alto nível, intenção de negócio e requisitos não-funcionais. Xiong adicionou que equipes devem antecipadamente avaliar intenção no nível de harness antes que pull requests sejam gerados.
