CAPES e Avaliação de Programas Menores: O Jogo É Justo?

Um sistema que avalia tudo com a mesma régua

Olha, tenho uma posição sobre isso e vou ser direta: o sistema de avaliação da CAPES é necessário e produz informação importante. E ao mesmo tempo tem um problema estrutural que a gente não pode fingir que não existe.

O problema é simples de enunciar: avaliar com os mesmos critérios programas que operam em contextos completamente diferentes não é tratar todos igualmente. É tratar o desigual como igual. E quando você faz isso, o resultado é aprofundar a desigualdade, não reduzir.

O que a avaliação da CAPES mede

Antes de criticar, é justo entender o que o sistema faz.

A CAPES avalia os programas de pós-graduação stricto sensu (mestrado e doutorado) de forma periódica — hoje a cada quatro anos. Os critérios variam por área de conhecimento, mas em geral envolvem:

Produção bibliográfica: artigos em periódicos, livros, capítulos. Peso maior para publicações em periódicos com maior fator de impacto ou melhor estrato Qualis.

Formação de alunos: número de titulados, tempo médio de titulação, destino dos egressos.

Corpo docente permanente: qualificação, produtividade, vínculo com o programa.

Inserção social: impacto na sociedade, parcerias, transferência de tecnologia, inserção regional.

Internacionalização: cooperação com universidades estrangeiras, publicações internacionais, alunos e docentes de outros países.

Esses critérios têm uma lógica. Faz sentido avaliar se os programas estão formando pesquisadores, se a pesquisa está sendo publicada, se os alunos se tornam profissionais qualificados.

O problema não é o que se mede. É o peso relativo de cada critério e o pressuposto de que todos os programas têm as mesmas condições de partida.

O que os números mostram

As notas dos programas no Brasil têm uma distribuição geograficamente desigual. A maior concentração de programas com nota 5, 6 e 7 está na região Sudeste. As regiões Norte, Nordeste e Centro-Oeste têm proporcionalmente mais programas com notas 3 e 4.

Isso pode ser interpretado de duas formas.

A primeira: é um reflexo de desigualdade histórica na distribuição de investimentos em ciência, tecnologia e educação. Universidades federais no Norte têm menos infraestrutura, menos pesquisadores formados, menos acesso a redes internacionais. O resultado na avaliação reflete isso.

A segunda: a avaliação está funcionando corretamente ao identificar diferentes níveis de qualidade, independente da localização.

As duas interpretações têm algo de verdade. E é exatamente por isso que a discussão é necessária: não para negar que qualidade importa, mas para perguntar se os critérios de qualidade foram pensados levando em conta a diversidade de contextos.

O ciclo que se perpetua

Há algo perverso na lógica atual: a nota da CAPES influencia diretamente o número de bolsas que o programa recebe. Mais bolsas significam mais pesquisadores, mais produção, mais qualidade. Menos bolsas significam menos capacidade de atrair alunos dedicados, menos produção, notas menores.

Um programa que começa numa região com menos recursos começa a avaliação em desvantagem. Se tirar nota 3, recebe menos bolsas. Com menos bolsas, é mais difícil melhorar a produção. A nota tende a estacionar.

Esse não é um fenômeno específico do Brasil. É um padrão bem documentado em sistemas de avaliação acadêmica ao redor do mundo: os critérios de excelência tendem a ser definidos pelas instituições que já ocupam o topo, e as regras do jogo tendem a favorecer quem já está ganhando.

O que seria diferente

Não estou dizendo que a CAPES deveria avaliar menos ou abrir mão de critérios. Estou dizendo que vale discutir se o peso dado a diferentes critérios deveria levar em conta o contexto do programa.

Um programa de medicina veterinária no Pará que está desenvolvendo pesquisa sobre doenças endêmicas da Amazônia, com impacto direto na saúde pública regional, mas publicando em periódicos nacionais com Qualis mais baixo porque os internacionais são caros e exigem infraestrutura que o programa não tem: esse programa está fazendo ciência relevante. A nota não necessariamente captura isso.

Alguns pesquisadores e gestores de ciência têm sugerido alternativas: critérios diferenciados por estágio de desenvolvimento do programa, maior peso para inserção regional em áreas onde isso é mais relevante, avaliação longitudinal (você melhorou ou piorou em relação à sua própria trajetória).

Essas propostas têm mérito. Também têm complicações. Qualquer critério diferenciado pode ser mal usado ou criar incentivos errados. Não existe solução simples.

O argumento da excelência

O argumento mais comum contra qualquer diferenciação de critérios é: se você flexibilizar o padrão, cria programas de segunda categoria, prejudica os alunos que se formam nesses programas e compromete a ciência como um todo.

Esse argumento merece resposta direta: o padrão atual já produz uma diferenciação de facto. Programas com nota 3 têm menos recursos, formam menos doutores, têm menos impacto internacional. A questão não é se existe uma hierarquia, mas se essa hierarquia reflete qualidade intrínseca ou desigualdade de contexto.

E alunos formados em programas do Norte e Nordeste têm competência acadêmica para contribuir com a ciência brasileira. A questão é se o sistema dá a esses programas as condições para competir com as mesmas ferramentas.

O que muda na prática

Para quem está decidindo onde fazer mestrado ou doutorado: a nota CAPES importa, mas não é o único critério. Um programa com nota 4 pode ter excelentes orientadores na sua área específica, boa inserção em redes de pesquisa e ser a única opção viável na sua cidade ou estado. Isso tem valor.

Para quem está num programa com nota mais baixa: isso não define a qualidade da sua pesquisa. Define o contexto em que você trabalha, que é mais difícil. E pesquisadores que constroem carreira nesse contexto demonstram, frequentemente, uma resiliência que os que estudaram em ambientes mais favorecidos não precisaram desenvolver da mesma forma.

Para quem pensa em política científica: o debate sobre critérios da CAPES não é anti-qualidade. É sobre quais qualidades o sistema está reconhecendo e quais está deixando de ver.

Uma pergunta que não sai da cabeça

Há uma coisa que me incomoda nessa discussão toda: a ciência produzida no Norte do Brasil sobre biomas que nenhuma universidade europeia vai conseguir estudar com a mesma profundidade — essa ciência precisa ser validada por periódicos europeus para ter valor?

Não tenho uma resposta definitiva. Mas acho que vale incomodar com a pergunta.

A Nathalia Cavichiolli se posiciona sobre política acadêmica e o funcionamento da ciência brasileira no Método V.O.E. e em outros posts aqui no blog. Se quiser continuar essa conversa, veja também o post sobre por que o Brasil investe tão pouco em ciência.

Não é pessimismo: é diagnóstico

Apontar problemas estruturais no sistema de avaliação da CAPES não é pessimismo, não é ataque à agência, e não é argumento para baixar o padrão da ciência brasileira. É o passo necessário para qualquer mudança.

Sistemas que não são questionados não mudam. E a ciência, como qualquer prática social, precisa ser capaz de se olhar criticamente para evoluir.

O que eu espero desse debate — que existe, acontece em eventos, em artigos de periódicos de políticas científicas, em grupos de pesquisa — é que chegue a mais pessoas. Não só a quem define política, mas a quem vive dentro do sistema: orientadores, orientandos, coordenadores de programa.

Porque quem está dentro do sistema é quem sabe onde ele aperta. E quem está dentro do sistema em contextos de desvantagem é quem sente esse aperto mais diretamente.

Se você tem experiência em programa com nota mais baixa ou em instituição de região periférica, sua perspectiva nesse debate é valiosa. Mais do que a de quem analisa os dados de fora.