A Anthropic afirma que poderá em breve atingir um marco definido por sua política de segurança como “progresso dramaticamente acelerado atribuível à IA”. A possibilidade aparece na seção de riscos de uma versão revisada de seu documento de registro S-1, que também alerta para a dificuldade de acompanhar, com medidas de segurança, o avanço dos modelos quando a própria IA é usada para acelerar pesquisa e desenvolvimento.
O marco está relacionado à melhoria recursiva da IA (RSI, na sigla em inglês): um cenário em que sistemas passam a ajudar a aprimorar o próprio treinamento e, com isso, aceleram o avanço de suas capacidades. A ideia pode ser vista como uma promessa de maior produtividade e de avanços científicos, mas também suscita preocupações sobre sistemas que poderiam se desenvolver além da capacidade humana de controlá-los.
No documento, a empresa diz que já usou IA para desenvolver novos modelos cujos saltos de capacidade não reconheceu no momento em que ocorreram. Estimativas internas e expectativas sobre modelos futuros indicam que a Anthropic pode se aproximar da definição de RSI estabelecida em sua Responsible Scaling Policy, sua política de escalonamento responsável.
A empresa ressalva, porém, que nenhum de seus modelos atuais foi designado como tendo ultrapassado esse limiar e que continua avaliando os dados subjacentes. Portanto, a possibilidade de estar perto da definição não significa que a Anthropic declare ter alcançado a melhoria recursiva da IA.
A companhia também alerta que o uso crescente de sistemas de IA em sua pesquisa e desenvolvimento pode fazer as capacidades dos modelos avançarem mais rapidamente do que sua capacidade de desenvolver, validar e implementar medidas de segurança, alinhamento e proteção. Segundo o documento, isso pode levar a empresa a perceber uma aceleração significativa no desenvolvimento somente depois que ela já tiver ocorrido.
A Anthropic afirma que esse risco é abrangido pela Responsible Scaling Policy, que estabelece planos para monitorar e mitigar perigos à medida que a empresa se aproxima do que chama de melhoria recursiva. A companhia considera atualizar a política para manter pessoas no controle do desenvolvimento de modelos de fronteira.
A empresa diz não prever que possa usar Claude com segurança para projetar e construir, de forma totalmente autônoma, gerações sucessivas de modelos de fronteira sem supervisão ou compreensão humana significativa — caso isso se torne tecnicamente possível. A declaração indica que a Anthropic não apresenta esse processo autônomo como uma capacidade já disponível.
As alegações também exigem cautela: um S-1 é um documento de divulgação, mas pode cumprir uma função de marketing. O texto que analisou o registro aponta esse motivo para o ceticismo diante de afirmações sobre a proximidade de sistemas capazes de acelerar o próprio desenvolvimento. Ao mesmo tempo, observa que as capacidades de Claude em programação, matemática e cibersegurança avançaram consideravelmente ao longo do ano. A avaliação de que a possibilidade de RSI está próxima, contudo, é atribuída à Anthropic e não equivale à confirmação de que o limiar já foi atingido.
