Detector de IA na pesquisa: o que ele mede e o que não mede

Uma ferramenta no centro de um debate que vai além da tecnologia

Olha só: detectores de IA para texto acadêmico passaram de curiosidade técnica para preocupação central de editoras, programas de pós-graduação e professores universitários em muito pouco tempo. E a velocidade com que essa discussão avançou criou um ambiente de muita desinformação dos dois lados.

De um lado, instituições que tratam o alerta de um detector como prova de desonestidade. De outro, pesquisadores que acreditam que textos humanos nunca seriam marcados por essas ferramentas.

Nenhuma das duas posições está correta. E o problema é que decisões equivocadas sobre integridade acadêmica estão sendo tomadas com base em mal-entendido sobre o que esses detectores realmente fazem.

Como os detectores de IA funcionam

Para entender as limitações, é preciso entender o mecanismo. A maioria dos detectores de IA para texto funciona por meio de dois critérios principais: perplexidade e burstiness.

Perplexidade mede o quão “surpreendente” cada palavra é, dada as anteriores. Modelos de linguagem como o GPT tendem a escolher palavras altamente previsíveis, o que resulta em texto com perplexidade baixa. Humanos tendem a fazer escolhas mais variadas e imprevisíveis, o que gera perplexidade maior.

Burstiness mede a variação no comprimento e na estrutura das frases. Humanos misturam frases curtas e longas de forma irregular. Modelos de IA tendem a produzir frases de comprimento mais uniforme.

A ideia é que texto gerado por IA tem padrões estatísticos diferentes do texto humano. O detector identifica esses padrões e emite uma pontuação de probabilidade.

O problema é que esse mecanismo tem limitações sérias que afetam diretamente pesquisadores.

As limitações que ninguém deveria ignorar

Falsos positivos são comuns: um falso positivo é quando o detector classifica como IA um texto escrito por humano. Isso acontece por várias razões. Textos técnicos e científicos têm linguagem padronizada, vocabulário repetitivo e estrutura previsível, o que os faz se parecer mais com output de IA para os detectores. Textos escritos por não nativos do idioma também são marcados com frequência desproporcional, porque tendem a usar estruturas mais conservadoras e menos idiomáticas.

Pesquisas publicadas em 2023 mostraram que textos de estudantes não nativos de inglês foram classificados como gerados por IA em taxas significativamente maiores do que textos de nativos, mesmo quando foram escritos sem qualquer auxílio de IA.

Falsos negativos também ocorrem: um texto gerado por IA e editado com cuidado pode não ser detectado. Isso significa que a ferramenta não garante identificação de todo uso de IA, nem mesmo da maioria dele, dependendo de como o texto foi processado.

A pontuação não é evidência conclusiva: quando um detector diz “87% de probabilidade de ser gerado por IA”, isso não significa que o texto foi gerado por IA com 87% de certeza. Significa que o texto tem padrões estatísticos que o modelo associa a outputs de IA em 87% das vezes no conjunto de dados em que foi treinado. É uma probabilidade condicional, não uma conclusão factual.

O que isso significa para pesquisadores

Se você pesquisa, escreve artigos e usa ferramentas de IA de alguma forma (revisão gramatical, sugestão de sinonímia, formatação de referências), você pode ser marcado por um detector mesmo sem ter gerado texto com IA.

Isso cria uma situação injusta quando detectores são usados como evidência de má conduta sem processo adequado de verificação. Um periódico que rejeita um artigo com base apenas na pontuação de um detector, sem dar ao autor oportunidade de explicar, está usando evidência fraca como critério eliminatório.

O mesmo vale para programas de pós-graduação que aplicam detectores em dissertações sem políticas claras. A questão não é “detectores podem ser usados?”, mas “como devem ser usados, com que garantias, e com que processo de apelação para o pesquisador?”

O debate ético real: além da detecção

A discussão sobre detectores revela um debate mais profundo que a tecnologia não resolve: qual é o papel aceitável da IA na produção acadêmica?

Isso não tem uma resposta única. E a ausência de consenso é o principal problema, não a existência das ferramentas de detecção.

Existem usos de IA que a comunidade acadêmica tem aceitado amplamente: verificação gramatical (como Grammarly), ferramentas de busca em bases de dados, análise estatística computacional. Esses usos existem há décadas, em formas diferentes.

O que mudou com os modelos generativos é a capacidade de produzir texto a partir de uma instrução. E aí a pergunta ética se complexifica: qual é a diferença entre usar um modelo de linguagem para rascunhar um trecho e contratar um serviço de revisão que escreve partes do seu texto?

Não tenho uma resposta definitiva para essa pergunta. Mas tenho uma posição: o que importa é a integridade intelectual do processo, não apenas o produto. Se você usou IA para gerar um argumento que não é seu, sem dominar a fundamentação desse argumento, há uma questão ética relevante independente de qualquer detector.

Se você usou IA para tornar mais fluido um texto que estruturou e argumentou você mesmo, a questão é diferente, e mais próxima do que a edição profissional sempre foi.

O que as instituições sérias estão fazendo

A maioria das grandes editoras científicas internacionais, como a Elsevier, Springer Nature e Wiley, não usa detectores de IA como critério eliminatório. Elas exigem declaração dos autores sobre o uso de IA na preparação do texto, especificando quais ferramentas foram usadas e para quê.

Esse modelo é mais honesto do que a detecção automática, porque coloca a responsabilidade onde ela pertence: nos autores.

Alguns periódicos foram além e publicaram políticas explícitas que diferem entre uso aceitável (como revisão gramatical) e inaceitável (como geração de texto que será apresentado como autoria do pesquisador sem declaração).

A tendência que se consolida é de transparência, não de proibição. O campo está reconhecendo que ferramentas de IA são parte da realidade da pesquisa contemporânea, e que o caminho não é fingir que não existem, mas criar normas claras para seu uso.

Como se proteger de acusações equivocadas baseadas em detectores

Se você está em um contexto onde detectores de IA podem ser usados contra você, algumas práticas ajudam a proteger sua integridade:

Documente seu processo de escrita: use histórico de versões no Word ou Google Docs. Guarde rascunhos com datas. Se sua escrita foi progressiva (como costuma ser), os registros mostram isso.

Declare o uso de IA quando houver: se você usou qualquer ferramenta de IA (revisão gramatical, sugestão de vocabulário, busca de referências), declare. A transparência é a melhor proteção. Não porque seja obrigatório em todos os contextos, mas porque cria um registro de honestidade intelectual que nenhum detector pode contestar.

Conheça a política da sua instituição ou periódico: antes de submeter qualquer trabalho, leia o que a instituição ou periódico diz sobre uso de IA. Se não houver política explícita, pergunte ao editor ou ao colegiado do programa. Não presuma que silêncio equivale a permissão.

Questione o processo se for marcado injustamente: se seu trabalho for alvo de acusação baseada em detector de IA e você tiver certeza de que não usou IA de forma inadequada, você tem o direito de questionar o processo. Peça que a pontuação seja contextualizada com outros elementos de avaliação. Um detector não é evidência suficiente por si só.

Engaje no debate no seu programa: se sua instituição não tem política clara sobre IA, você pode participar ativamente da construção dessa política. Pesquisadores bem informados sobre as limitações dos detectores são mais capazes de contribuir para regulamentações justas e baseadas em evidências.

Para fechar

Os detectores de IA são ferramentas imperfeitas respondendo a uma pergunta mal formulada. A pergunta não deveria ser “esse texto foi gerado por IA?”, mas “esse texto representa genuinamente o trabalho intelectual de quem assina?”

Essas perguntas não são equivalentes. E confundi-las é o que cria injustiças para pesquisadores que usam IA de formas legítimas e transparentes.

O debate sobre IA na academia precisa ser mais sofisticado do que a tecnologia de detecção permite. E você, como pesquisadora, pode contribuir para elevar essa conversa no seu programa, no seu grupo de pesquisa, e nas suas submissões.