O CEO da Microsoft, Satya Nadella, publicou reflexão sobre segurança de inteligência artificial no X (antigo Twitter) abordando a necessidade de mecanismos de controle mais robustos para sistemas de IA.
Nadella argumenta que é necessário "dar um passo atrás e avaliar a arquitetura de confiança" dos modelos de IA. Critica a abordagem atual de tratar a Super Inteligência como "conjunto de caixas pretas aninhadas" onde simplesmente se aceitam ou rejeitam recomendações, respostas e ações.
A proposta do executivo envolve separar o modelo do "harness" (sistema que orquestra seu funcionamento), externalizando controles e salvaguardas. Conforme Nadella, cada ação significativa do modelo deve ser documentada com "evidência legível por humanos à prova de adulteração". O sistema também deve permitir que "pessoa autorizada" tenha capacidade de pausar ou desligar o modelo durante sua execução.
Nadella resume a filosofia com a metáfora do freio de emergência: "Devemos assumir que um modelo está comprometido e contê-lo desde o início. Pense nisso como um freio de emergência".
Os comentários do CEO ocorrem em contexto onde empresas líderes em IA reconhecem crescimento de incidentes envolvendo aparente perda de controle sobre modelos. Dario Amodei, CEO da Anthropic, publicou recentemente plano defendendo desenvolvimento de IA mais cauteloso, reforçando discussão sobre governança e segurança de sistemas de IA entre executivos da indústria.
