IA gera CSAM sem prompt? MIT cria auditoria para detectar

Um relatório do centro americano que recebe denúncias de exploração infantil registrou 1,5 milhão de casos de material de abuso sexual infantil gerado por IA em 2025. Em 2024, esse número era 67 mil. Enquanto isso crescia, quem trabalha com segurança de IA enfrentava um problema técnico sem solução aparente: como testar se um modelo é capaz de gerar esse tipo de conteúdo, se o próprio ato de gerar já é crime?

Pesquisadores do MIT, liderados pelo estudante de doutorado Vinith Suriyakumar e pelas professoras Ashia Wilson e Marzyeh Ghassemi, se juntaram à Thorn, organização dedicada à proteção infantil no ambiente digital, para resolver exatamente esse impasse. O Gaussian probing é a técnica de auditoria que eles desenvolveram: ela examina as camadas internas de um modelo de IA para inferir se ele foi adaptado para gerar conteúdo ilegal, sem nunca chegar a produzir a imagem. Se você trabalha com modelos de linguagem, visão computacional ou qualquer sistema generativo na sua pesquisa, esse método muda a forma como a segurança desses modelos pode ser verificada, e não só para conteúdo infantil.

O que aconteceu

O problema técnico é mais estranho do que parece à primeira vista. A forma padrão de testar se uma IA tem capacidade prejudicial é dar um comando ao modelo e olhar o que ele responde. Funciona para discurso de ódio, funciona para desinformação, mas não funciona para CSAM, porque gerar esse material é ilegal nos Estados Unidos independentemente da intenção de quem está testando. Suriyakumar resume assim: “estávamos nessa situação muito difícil onde, pela própria lei, não podíamos usar o meio de avaliação de fato. Tivemos que jogar fora o kit de ferramentas inteiro e adotar uma abordagem diferente.”

A porta de entrada para esse tipo de abuso é um algoritmo chamado LoRA (low-rank adaptation), uma técnica que permite especializar um modelo de IA já existente para uma tarefa nova sem precisar retreinar o modelo inteiro do zero. É essa eficiência que criou uma onda de variações de modelos abertos disponíveis online, incluindo usos como gerar imagens num estilo artístico específico. A mesma eficiência que barateou a experimentação legítima também barateou a adaptação criminosa.

A solução da equipe foi deslocar o alvo da auditoria: em vez de examinar o que o modelo produz, eles passaram a examinar como o algoritmo LoRA modificou a estrutura interna do modelo durante o ajuste fino. O Gaussian probing alimenta o modelo com pontos de dados aleatórios e analisa como ele manipula essa informação através das suas camadas internas, sem nunca rodar o processo até o fim e sem nunca gerar uma imagem. Testado contra variações de três tipos de modelo, comparadas com dados de referência conhecidos, o método identificou com 100% de acurácia os modelos adaptados para gerar CSAM.

Por que isso importa pra você

Talvez você não trabalhe com moderação de conteúdo ou com plataformas de hospedagem de modelos. Mas se a sua pesquisa toca IA generativa em qualquer ponto (visão computacional, processamento de linguagem, sistemas de recomendação), esse caso é um exemplo raro e bem documentado de como auditar um modelo sem executá-lo até a saída final. Vale entender o mecanismo, porque ele aparece em outros contextos de segurança de IA.

Alguns pontos que valem sua atenção, dependendo de onde você está:

1. Se você usa modelos de código aberto adaptados por terceiros: a notícia é um lembrete de que fine-tuning via LoRA é acessível o suficiente para qualquer pessoa mexer na estrutura interna de um modelo. Isso vale tanto para o uso benéfico que você provavelmente está fazendo quanto para o uso malicioso que motivou essa pesquisa.
2. Se você pesquisa interpretabilidade ou segurança de modelos: o Gaussian probing é uma técnica concreta de auditoria de representações internas, sem depender da geração de saída. Vale examinar o paper apresentado no workshop “Trustworthy AI for Good”, da International Conference on Machine Learning, se esse é o seu campo.
3. Se você lida com ética em IA na sua área: este é um caso onde a solução técnica não veio de restringir o uso da ferramenta, e sim de criar uma forma nova de verificar o que ela pode fazer antes de causar dano. É um raciocínio que vale carregar para outras discussões de ética em pesquisa.

O que essa auditoria muda no debate sobre IA aberta

Esse tipo de achado tensiona um argumento comum sobre modelos de código aberto: que a transparência do código compensa os riscos de uso indevido, porque qualquer pessoa pode auditar o que está ali. O caso do MIT mostra o contrário na prática: a transparência do código não resolve nada se não existe uma técnica capaz de olhar para dentro do modelo e dizer, com confiança, para que ele foi adaptado. A auditoria precisou ser inventada, e só existe porque um grupo específico de pesquisadores decidiu resolver um problema que, segundo Suriyakumar, “algumas pessoas estavam se aproveitando” para explorar.

Na minha experiência acompanhando debates de ética em pesquisa, esse caso ilustra bem um padrão que vale observar: a tecnologia chega antes do mecanismo de checagem. A tecnologia chega antes do mecanismo de checagem. Isso não é motivo para pânico generalizado sobre IA, mas é motivo para prestar atenção em quais mecanismos de auditoria existem (ou não existem) na ferramenta que você está usando na sua pesquisa, principalmente se ela lida com dados sensíveis ou gera conteúdo.

Próximos passos

Se esse tema cruza com a sua pesquisa, alguns caminhos concretos:

1. Leia o paper completo apresentado no workshop “Trustworthy AI for Good” da ICML, se você trabalha com segurança ou interpretabilidade de modelos.
2. Verifique se as plataformas de modelo aberto que você usa têm algum mecanismo de auditoria de adaptações, e não apenas de conteúdo gerado.
3. Se você orienta ou é orientada em projetos que envolvem IA generativa, essa notícia é um bom gancho para discutir com o grupo de pesquisa os limites éticos da adaptação de modelos de terceiros.

Se você quer entender melhor como ferramentas de IA vêm sendo usadas, para o bem e para o risco, dentro da produção científica, vale ler A ciência está mais inteligente ou mais artificial com a IA?.

Fonte: New method aims to keep kids safe from illegal AI-generated content, MIT News