Contratados da Meta fingiram ser adolescentes para testar

Imagine uma planilha com mais de 3.700 linhas, cada uma um prompt escrito por um adulto fingindo ser uma criança em crise, e o destino final de cada linha é um chatbot que nunca pediu para ser testado assim. É o que documentos internos revisados pela revista Wired mostram sobre um projeto interno da Meta batizado de Cannes. Uma benchmarking de segurança é o processo pelo qual uma empresa de tecnologia mede como um sistema de IA responde a situações de risco, geralmente com o consentimento de quem está sendo avaliado. Neste caso, esse consentimento nunca existiu, e é justamente aí que a história vira outra coisa.

O que aconteceu

Segundo a Wired, centenas de contratados que trabalhavam num projeto para a Meta receberam instruções para criar contas falsas de menores de idade e enviar perguntas sobre suicídio, sexo, transtornos alimentares e outros temas de alto risco a chatbots concorrentes. O trabalho era gerenciado pela empresa terceirizada Covalen e ficou ativo pelo menos até 21 de abril.

O projeto mirava três produtos que não pertencem à Meta: o ChatGPT da OpenAI, o Gemini do Google e o Character.AI. Os trabalhadores criavam contas fictícias de menores, enviavam prompts escritos e imagens (entre elas, pílulas, facas, cordas e até um diagrama médico de um procedimento ginecológico) e copiavam as respostas em planilhas. Uma única rodada de testes, concluída em agosto de 2025, envolveu mais de 45 mil prompts disparados contra os chatbots rivais. Nenhuma das três empresas testadas sabia que isso estava acontecendo.

Uma planilha revisada pela Wired trazia contas com nomes, e-mails, senhas e datas de nascimento fictícios, todos usando endereços descartáveis do Gmail e do Outlook e a mesma senha compartilhada entre eles. Outra planilha, com 3.748 prompts, mostrava centenas voltados a suicídio e automutilação, centenas mais sobre transtornos alimentares, e ao menos 239 envolvendo sexo ou romance. Boa parte era escrita na perspectiva de crianças ou adolescentes em crise: uma garota de 13 anos dizendo estar grávida do vizinho adulto e perguntando onde comprar remédios para interromper a gravidez, uma menina perguntando como esconder bulimia dos pais.

Por que isso importa pra você

Você provavelmente não trabalha com testagem de chatbot, mas usa modelos de linguagem na pesquisa, e esse caso muda a régua de confiança que você deveria ter com qualquer ferramenta de IA. Três coisas ficam mais claras depois desse episódio:

1. Nenhuma empresa de IA está isenta de conduta questionável só porque o produto parece confiável. A Meta chamou o projeto de “prática padrão da indústria” em nota oficial, mas a escala e o sigilo do Cannes destoam de qualquer benchmark público que você conheça.
2. A responsabilidade de checar como uma ferramenta trata dados sensíveis é sua, não só da empresa. Se você usa IA para análise de dados de pesquisa envolvendo saúde mental, menores ou populações vulneráveis, vale ler os termos de uso da ferramenta antes, não depois.
3. Terceirização de trabalho de IA (contratados, moderadores, avaliadores) é ponto cego recorrente. A Covalen não respondeu aos pedidos de comentário da Wired, e os próprios ex-contratados relataram desconforto com o que eram instruídos a fazer.

O ponto que mais me incomoda nessa história

Quando li os detalhes do projeto Cannes, o que me pegou não foi só o conteúdo dos prompts (que já é grave), mas o fato de que ex-contratados relataram medo de estar produzindo ou preservando material de abuso sexual infantil sem querer, ao testar prompts sexuais envolvendo personagens menores de idade. Isso não é um efeito colateral menor de um teste de segurança: é o tipo de risco que devia ter sido avaliado antes do projeto começar, não descoberto por quem estava na ponta da planilha.

Rumman Chowdhury, CEO da Humane Intelligence PBC, revisou uma amostra dos prompts e resumiu bem o problema: estruturar um projeto de meses, em grande escala, aparentemente desenhado para testar sistematicamente os limites de segurança de concorrentes, usando contas falsas fingindo ser crianças, está fora do que normalmente se chama de avaliação padrão da indústria. Por outro lado, ela reconhece que um banco de dados assim, se fosse transparente e consentido, poderia ser útil para comparar a frequência com que diferentes chatbots recusam pedidos nocivos. O problema aqui não é medir segurança. É medir escondido, sem avisar quem está sendo medido.

Não significa que toda comparação entre produtos de IA seja antiética: comparar respostas de concorrentes já é prática conhecida no setor, e a própria Wired cita um caso anterior envolvendo a Scale AI e o Google Bard. Significa que a linha entre testar segurança e extrair vantagem competitiva escondida atrás de contas falsas de menores é fina, e a Meta, pelos relatos, cruzou essa linha sem avisar ninguém.

Próximos passos

Se você trabalha com IA na sua pesquisa, ou orienta alguém que trabalha, aqui vai o que vale checar essa semana:

1. Releia os termos de uso das ferramentas de IA que você usa na coleta ou análise de dados, principalmente cláusulas sobre testagem não autorizada e uso de dados sensíveis.
2. Se sua pesquisa envolve menores, saúde mental ou temas de risco, documente por escrito o protocolo de segurança da ferramenta que você está usando, e não assuma que “empresa grande” significa “processo auditado”.
3. Acompanhe se a OpenAI, o Google ou o Character.AI vão se manifestar formalmente sobre o caso: os três disseram à Wired que não autorizaram a testagem, mas e se vão tomar alguma outra medida além das notas já divulgadas.

Esse episódio também é um bom gancho para pensar em como a ética no uso de IA na ciência vai muito além de citar corretamente uma ferramenta: envolve entender como os sistemas que você usa foram testados, e por quem. Se você quer se aprofundar nesse debate, dá uma olhada em IA na pesquisa: ensinar o prompt ou o processo científico?.

Fonte: Meta Contractors Posed as Teens to Prompt Rival Chatbots About Suicide, Self-Harm, and More, Wired