A OpenAI anunciou uma série de medidas para combater material de abuso sexual infantil (CSAM). Entre elas estão um classificador de imagens, novos avisos e suspensões temporárias de contas no ChatGPT, diretrizes para desenvolvedores e ferramentas destinadas a autoridades de proteção infantil.
O classificador foi desenvolvido para identificar sinais visuais de abuso em imagens inéditas, inclusive nas geradas por inteligência artificial. A ferramenta atribui uma pontuação que pode orientar a análise de revisores. A OpenAI oferecerá acesso à API, sem custo, a empresas selecionadas. A empresa desenvolveu o sistema com o National Center for Missing and Exploited Children (NCMEC) e trabalha com a Tech Coalition e a ROOST para compartilhar o acesso.
Em testes iniciais com parceiros, segundo a OpenAI, o classificador sinalizou 48% menos imagens sem deixar de identificar o mesmo número de imagens abusivas. Além disso, as imagens apontadas pela ferramenta tinham o dobro de probabilidade de serem abusivas. A empresa afirma que esse resultado reduz o volume de material que precisa ser revisado.
No ChatGPT, novos avisos devem ser exibidos quando alguém tentar usar comandos para acessar material que sexualize crianças. O serviço também direcionará essas pessoas a apoio especializado para interromper comportamentos nocivos e suspenderá a conta por 24 horas como advertência. O ChatGPT já bloqueia conteúdo e solicitações relacionados a CSAM; infrações repetidas podem levar à remoção permanente da conta.
As mensagens e diretrizes associadas a esses avisos foram elaboradas com organizações e pesquisadores, entre eles Protect Children, Lucy Faithfull Foundation e Joel Scanlan, da University of Tasmania. Scanlan avaliou de forma independente um teste das mensagens dissuasivas.
A OpenAI também publicou orientações para desenvolvedores que usam suas ferramentas, com recomendações para prevenir e detectar CSAM e ajudar usuários a denunciar esse material. A empresa diz que testes iniciais indicaram que as diretrizes ajudaram alguns desenvolvedores a adotar recursos de segurança infantil e a se registrar no NCMEC para fazer denúncias.
Para autoridades que trabalham com proteção infantil, a empresa está fornecendo plugins dedicados, ferramentas de investigação e recursos de análise de dados complexos. O acesso é gerido por administradores. A OpenAI também oferece treinamento a investigadores e um guia de campo sobre o uso de IA.
As medidas chegam em meio a preocupações sobre danos associados a ferramentas de inteligência artificial. A matéria relata que a OpenAI enfrenta processos que responsabilizam sua tecnologia por prejuízos a usuários, especialmente crianças, e que a organização Common Sense Media classificou a tecnologia da empresa como “risco inaceitável” para adolescentes. Também aponta que o chatbot Grok foi usado para criar imagens sexualizadas não consensuais, inclusive de crianças.
Nos 12 meses anteriores, a OpenAI lançou um plano de segurança, atualizou suas diretrizes de conteúdo para barrar material inadequado, ajustou seu modelo para evitar a geração de conteúdo nocivo e lançou uma versão especial do ChatGPT para adolescentes.










