Estudos médicos: por que tanta pesquisa recente é enganosa

Uma reportagem publicada em parceria entre a revista Science e o Retraction Watch descreveu algo que devia preocupar qualquer pessoa que lê estudo médico no feed: estudantes de medicina estão usando uma ferramenta de pesquisa popular para produzir uma quantidade grande de artigos com conclusões enganosas. Não é um caso isolado, é um padrão de uso que virou visível o suficiente para merecer investigação.

Uma retratação é o ato formal pelo qual uma revista científica invalida um artigo já publicado, reconhecendo que ele não deveria ter circulado daquele jeito. Se você está no meio da sua formação (seja em medicina, seja em qualquer área que dependa de bancos de dados clínicos) isso muda a forma como você deveria olhar para os próprios dados antes de sair publicando.

O que a investigação encontrou

A reportagem, feita em parceria com a revista Science, aponta estudantes de medicina usando uma ferramenta de pesquisa popular para produzir estudos em volume, com conclusões que não se sustentam. O boletim linka a reportagem completa da Science, que detalha o uso da ferramenta pelos estudantes; aqui ficamos só com a manchete e o resumo.

O boletim não detalha o funcionamento da ferramenta usada, mas o título da reportagem já é direto: estudantes de medicina a usam para produzir estudos em volume, com conclusões enganosas.

O mesmo boletim do Retraction Watch que traz essa investigação também menciona outro episódio relevante da mesma semana: O mesmo boletim do Retraction Watch também menciona, na mesma semana, uma retratação questionando a alegação de que uma terapia contra câncer funciona melhor pela manhã, um caso que a matéria observa poder ainda gerar repercussão geopolítica.

Por que isso importa pra você

Se você está fazendo pós-graduação, especialização médica ou qualquer pesquisa que dependa de banco de dados secundário, esse episódio não é sobre “os outros”. É sobre o incentivo que empurra qualquer pesquisador iniciante para o mesmo lugar.

1. A pressão por volume de publicação é estrutural, não pessoal. Se essa pressão existir na sua rotina, ela pode empurrar para o atalho quando falta orientação sólida sobre metodologia.
2. Bancos de dados grandes não substituem desenho de pesquisa. Se você usa banco de dados grande, vale perguntar à sua orientadora se a hipótese foi definida antes de rodar a consulta e como as variáveis de confusão devem ser controladas.
3. A revisão por pares não é uma rede de segurança perfeita. O próprio boletim do Retraction Watch traz, na mesma semana, o caso de uma revista onde a autocorreção científica falhou. Se você depende só do peer review para validar seu próprio trabalho, está confiando numa camada que também falha.

Se você está no início da carreira acadêmica

• Pergunte à sua orientadora, antes de rodar qualquer consulta em banco de dados, qual controle estatístico é esperado para aquele volume de dados.
• Desconfie de correlação forte demais e fácil demais. Se o resultado confirma exatamente o que você queria encontrar, esse é o momento de checar duas vezes, não de comemorar.

Se você já orienta outras pessoas

• Cheque o Retraction Watch Database, que já tem mais de 65.000 retratações catalogadas, antes de indicar um artigo como referência central para um projeto.
• Trate volume de publicação como sinal de alerta, não de mérito, e pergunte sempre qual controle metodológico foi aplicado antes de indicar o artigo como referência.

O que me incomoda nesse padrão

Quando li essa reportagem, o que me pegou não foi a existência de estudantes usando mal uma ferramenta. Foi constatar, de novo, que Na minha experiência, o incentivo que empurra para publicar rápido em vez de publicar certo aparece em áreas que medem produtividade por número de artigos, e a medicina não está imune a isso.

Na minha experiência acompanhando quem está escrevendo dissertação ou tese, o medo de “não ter produção suficiente” é real, e às vezes pesa mais do que a falta de conhecimento técnico. O problema é que esse medo, sem orientação, empurra para o caminho errado: publicar qualquer coisa em vez de publicar algo que sustente uma leitura crítica depois.

Não significa que você precisa desconfiar de todo estudo que usa banco de dados secundário. Significa entender que volume de publicação, sozinho, nunca foi sinônimo de qualidade, e que checar a metodologia antes de citar alguém como referência é parte do seu trabalho, não excesso de zelo.

Próximos passos

1. Antes de citar um estudo baseado em banco de dados clínico grande, procure a seção de métodos e veja se ela descreve os controles estatísticos aplicados.
2. Se você está desenhando sua própria pesquisa com dados secundários, converse com sua orientadora sobre o tamanho da amostra necessário para sustentar a conclusão que você quer defender.
3. Guarde o link do Retraction Watch Database nos favoritos: é rápido checar se um artigo específico já foi questionado antes de construir um argumento inteiro em torno dele.

Se esse tipo de fragilidade na produção científica te interessa, vale ler sobre como um artigo científico retratado continua sendo citado pela Wikipédia, outro sintoma do mesmo problema: a ciência corrige seus próprios erros mais lentamente do que a informação se espalha.

Fonte: Weekend reads: A tsunami of misleading medical studies, Retraction Watch