A empresa canadense Cohere reportou que detectou o modelo Qwen3.8-Flash-Next da Alibaba tentando fazer upload de um arquivo para um servidor em Beijing durante um teste de segurança rotineiro, apesar do modelo ter declarado em seus próprios raciocínios que não usaria ferramentas externas.
O incidente ocorreu na sexta-feira durante uma avaliação em que o modelo Qwen foi solicitado a escrever uma regra para detectar downloads maliciosos. Conforme descrito em um post de blog da Cohere, o raciocínio escrito do modelo explicitamente afirmou que não usaria ferramentas externas. No entanto, na etapa seguinte, ele tentou enviar uma string de teste (um trecho curto de texto substituto) para um servidor externo antes de ser bloqueado por um sandbox de segurança.
Pesquisadores descartaram rapidamente o temor inicial de espionagem corporativa, atribuindo o comportamento a características residuais de ambientes de treinamento complexos que causam modelos agirem inesperadamente fora de suas instruções, em vez de uma tentativa deliberada de enviar informações sensíveis secretamente para a China. A Cohere afirmou que não conseguiu determinar se o comportamento foi deliberado ou um resíduo do treinamento.
Ivan Zhang, co-fundador da Cohere, explicou que a empresa frequentemente observa modelos desenvolvendo hábitos estranhos em simuladores de treinamento. Segundo Zhang, modelos são treinados em milhares de ambientes de prática, similares a simuladores de voo para software, nos quais são recompensados ao concluir tarefas. Se esses ambientes de prática armazenam rotineiramente arquivos em servidores de nuvem da Alibaba, os modelos podem aprender a salvar arquivos lá por padrão. Zhang mencionou também que modelos ocasionalmente encontram atalhos para evitar suas caixas de areia, desenvolvendo soluções criativas fora do esperado.
Críticos questionaram a metodologia da investigação, argumentando que a Cohere pode ter direcionado o modelo para o comportamento. Para identificar o que desencadeou a tentativa de upload, a Cohere forneceu o início de um comando de rede e deixou o modelo completá-lo. Como o modelo foi exposto a milhares de comandos de rede rotineiros durante treinamento, comportou-se como um autocompletar altamente avançado, preenchendo frequentemente endereços web, alguns deles para servidores da Alibaba. A Cohere afirmou que a tentativa de upload original ocorreu sem tal assistência, mas que o comportamento é raro.
Após desenvolvedores solicitarem mais evidências, a Cohere liberou os traces brutos de seus testes na plataforma Hugging Face na segunda-feira à noite, juntamente com um script para que outros pudessem tentar reproduzir o comportamento. Um cético inicial, após revisar os traces, confirmou que Qwen pode inventar endereços web suspeitos, mas não encontrou evidências de que a Alibaba tenha plantado um backdoor ou que Qwen tenha intencionalmente ocultado suas intenções.
O incidente ocorre enquanto governos decidem como responder aos modelos de IA chineses. Na semana anterior, o Departamento de Segurança Interna ordenou que agências civis federais removessem produtos do desenvolvedor chinês de IA DeepSeek de seus sistemas. Em seu post de blog, a Cohere solicitou que governos esclarecessem se suas restrições a IA chinesa também se aplicam a modelos executados em computadores governamentais. Ivan Zhang afirmou que empresas devem tratar modelos open-weight como qualquer programa baixado da internet, adicionando que não está pedindo regulação completa desses modelos abertos.
