A avaliação de modelos de inteligência artificial, conhecida como benchmarking, tornou-se o sistema supostamente neutro e preciso para medir se um produto de IA é melhor que outro. Porém, os métodos por trás dessas avaliações são complexos e ainda estão em maturação, conforme apontou Irene Solaiman, chief policy officer da Hugging Face, durante discussão na TechCrunch Disrupt.
Desafios na reprodutibilidade
A reprodutibilidade em avaliações de modelos permanece como um dos aspectos mais problemáticos do benchmarking e segue sendo tópico de debate significativo na indústria. Solaiman destaca que a confiança nos resultados de uma avaliação depende fundamentalmente de dois fatores: a capacidade de reproduzir os resultados e o nível de acesso disponível ao modelo em si, sendo que os pesos abertos (open weights) desempenham papel importante nesse cenário.
Falta de padronização
Além da validade de cada teste individual, surge a questão de como comparar um teste a outras avaliações. Segundo Solaiman, as avaliações constituem uma ciência em evolução onde "não sabemos como compará-las significativamente entre si". Ela ressalta que essas metodologias "começam a se tornar ineficazes relativamente rápido" e que "não temos um ecossistema tão próspero quanto necessário".
A indústria vivencia demanda por ecossistema de avaliadores embutidos, mas "as qualificações que determinam quem é um avaliador efetivo em quais tarefas precisam de muito mais padronização", completa.
Avaliadores embutidos e controvérsias
Os avaliadores embutidos — terceiros neutros colocados dentro de organizações de IA — ganharam popularidade nos últimos meses conforme laboratórios de IA enfrentam incidentes de segurança que geraram preocupações sobre potenciais danos de suas tecnologias. A Hugging Face foi alvo de um desses incidentes. Ao invés de regulação governamental ativa, os laboratórios promovem essa solução terceirizada, embora dúvidas persistam sobre quão neutros ou eficazes esses avaliadores serão.
A decisão da Anthropic em contratar a Accenture como seu primeiro avaliador embutido provocou backlash considerável, com críticos questionando se a consultoria possuía qualificação necessária para a tarefa.
Evolução do escopo de avaliações
As avaliações evoluíram de testes apenas do modelo para testes do sistema completo ao seu redor, incluindo o harness e o agente. O harness — a ferramenta usada para acessar o modelo — impacta significativamente a performance do modelo, de modo que um modelo mais fraco com harness superior poderia facilmente superar um modelo frontier.
Solaiman aponta que "avaliações de agentes (agentic evals) são realmente difíceis e caras". A indústria possui muitas avaliações para modelos, porém "não temos tantas avaliações para harnesses" e estão desenvolvendo "melhores avaliações para o agente holístico — porque é disso que muitos estão obtendo valor".
