Estudo sobre IA e confiança no trabalho é investigado

Em abril, um estudo sobre o efeito da inteligência artificial generativa na confiança de quem trabalha com ela ganhou release da American Psychological Association e apareceu na Time e na Futurism. Menos de dois meses depois, o mesmo artigo está sob investigação formal pela revista que o publicou. Uma retratação é o ato pelo qual uma revista científica invalida formalmente um artigo já publicado, geralmente por erro grave, dado fabricado ou falha ética que compromete a confiabilidade do que foi divulgado. Ainda não chegamos lá com este caso, mas é o horizonte que a investigação em curso pode abrir. Se você lê estudo de IA achando que “saiu na Time” é sinônimo de solidez, esse episódio é um bom motivo para reconsiderar.

O que aconteceu

O estudo, publicado na Technology, Mind, and Behavior, reuniu 1.923 adultos recrutados online nos Estados Unidos e no Canadá para realizar tarefas de trabalho com ajuda de IA. A autora única é Sarah Baldeo, fundadora de uma consultoria de “IA habilitada por neurociência” e, e o trabalho da pesquisa é anterior à sua entrada no programa de doutorado, segundo a assessoria da autora.

Sandra Grinschgl, pesquisadora da Universidade de Berna que estuda como a tecnologia afeta processos cognitivos, recebeu um alerta sobre o estudo pouco depois da publicação. Ao examinar um dos gráficos de barras, ela notou que o tamanho das barras não correspondia aos valores indicados nos rótulos. Chamou dois colegas, Ian Hussey e Malte Elson, ambos com histórico em auditoria de estudos publicados, e os três aplicaram um checklist de reprodutibilidade ao artigo.

O resultado: “os resultados, como relatados, parecem matematicamente impossíveis”, escreveu Grinschgl no PubPeer, plataforma onde pesquisadores discutem publicamente problemas em artigos científicos. O trio também notou que o artigo não trazia declaração de aprovação de comitê de ética, embora a autora tenha depois apresentado prova de aprovação por um comitê canadense.

Por que isso importa pra você

Se você pesquisa, publica ou só acompanha estudos sobre IA para embasar seu próprio trabalho, este caso toca em pontos que valem atenção direta:

1. Imprensa não é peer review. O release da APA e a cobertura da Time e da Futurism saíram antes que qualquer pesquisador externo tivesse examinado os dados brutos. A validação pública que expôs os problemas veio depois, e de fora da própria revista.
2. Citação inexistente é grave. Um dos comentários no PubPeer identificou uma referência atribuída a um professor da Universidade de Irvine que, ao ser consultado, confirmou que o artigo citado simplesmente não existe. Vale conferir a existência das fontes antes de citar um estudo em pré-projeto, artigo ou tese.
3. Amostra difícil de explicar merece pergunta, não fé. Cerca de 600 participantes eram líderes ou executivos, população que Elson descreveu como “notoriamente difícil de recrutar” em volume. Números grandes e específicos demais pedem verificação, não aceitação automática.
4. Divulgação em rede social não é dado publicado. A autora afirmou em comentários no LinkedIn ter dados de ressonância magnética funcional (fMRI) de um terço da amostra, informação que não consta no artigo submetido e que outros pesquisadores questionaram pela dificuldade logística de coletar esse tipo de dado de centenas de pessoas espalhadas por dois países.

Se você está montando revisão de literatura agora, essa é a hora de lembrar que “publicado” e “confiável” não são sinônimos automáticos: são duas etapas separadas, e a segunda pode levar meses para se completar.

Onde a pressa de divulgar atropela o rigor

O que me incomoda nesse caso não é a possibilidade de erro (erro acontece, e ciência boa é a que se corrige em público). É a sequência dos eventos: o estudo saiu com aparato de divulgação de peso, imprensa grande, release institucional, antes de qualquer sinal de que teria resistido a um escrutínio mais paciente.

O que me incomoda neste caso específico é a pressa: o estudo saiu com aparato de divulgação de peso antes de qualquer sinal de que resistiria a um escrutínio mais paciente. Quando você lê um estudo, principalmente um que já circulou como manchete, valer a pena perguntar quem verificou os números, e quando.

Não significa que todo estudo com repercussão na imprensa é suspeito. Significa que a repercussão não substitui a checagem, e que “descritivo e exploratório”, como a própria autora classificou o trabalho num comentário posterior, é uma categoria bem mais modesta do que o título do artigo (que menciona função executiva e dano cognitivo) sugeria ao público leigo.

Próximos passos

Se este caso te deixou em alerta, vale transformar isso em hábito de leitura crítica:

1. Antes de citar um estudo recente sobre IA, procure se ele já foi discutido no PubPeer ou em fóruns de pesquisadores da área.
2. Ao ler um número marcante numa notícia de divulgação científica, tente achar o artigo original e confira se o dado está lá do mesmo jeito.
3. Se for citar uma referência de terceiros dentro de um artigo, confirme que ela existe antes de repassá-la em seu próprio texto.
4. Guarde uma distância saudável entre “saiu na imprensa” e “está validado”: são etapas diferentes do mesmo processo científico.

Se você quer entender melhor como a IA está sendo usada (e mal avaliada) dentro da própria academia, vale ler Físico famoso perde doutorado: o que a IA já detecta em.

Fonte: Journal investigating paper on cognitive impact of generative AI use, Retraction Watch