Numerologia científica – avaliação fetichista
http://blogdasbi.blogspot.com/2011/08/numerologia-cientifica-avaliacao.html
Época de participar de bancas de concurso e proximidade das grandes avaliações no CNPq: Edital Universal e Bolsas de Produtividade Científica. Como as alergias sazonais se instala em mim a alergia à numerologia científica. Há algum tempo, se implantou no Brasil uma lógica extremamente numerológica na avaliação científica. Praticamente não se analisa qualquer produção científica ou mérito dos projetos. Os comitês se limitam a preencher um barema (predefinido pelo comitê ou imposto por algum conselho de universidade) para quantificar o que produziu. Uma análise detida do projeto é raramente realizada também não ocorre uma ponderação adequada da qualidade da produção. Os comitês, ou bancas de concurso, no mais das vezes apenas substituem (e penso que com menos precisão) o que um programa básico de computador poderia fazer: contar, aplicar pesos e ver o resultado numa tabela.
Há algum tempo o Prof. Nelson Preto publicou no seu blog um post intitulado Avaliação científica: a loucura se instalou! nele escreve:
“Tem cabimento para avaliar um projeto eu ter que abrir um Lattes e contar quantos artigos fulano publicou para dar depois um nota? … Ora bolas, faz um script que automaticamente lê quantos artigos, quantos congressos (tudo já estratificado pelos qualis da vida, A, B, C bla bla… que se criou para classificar tudo!!! arghh!!!)
Pronto, o sistema já abre com o perfil do pesquisador-candidato explicitado… Esse fulano publicos 5 aqui, 3 ali, trezontes orientantos e sua posição no RANKING é TAL. (eh eh eh.. no pódio!). … Mas tem cabimento o governo gastar tanto com nossa formação e salário para sairmos contando pontinhos?!”
Durante processo de discussão do barema na Congregação da Faculdade de Medicina da Bahia (UFBA) encaminhei documento manifestando-me contra esta forma de avaliação:
“Os BAREMAS – … – igualam o que não é igualável. Como exemplo: …“Artigo científico publicado como 1º autor e/ou autor de correspondência em periódico especializado com corpo editorial e indexação internacional” vale um ponto por unidade. Corremos o risco de valorizar mais um artigo publicado numa obscura revista internacional no qual o candidato é o primeiro autor entre 50 autores que um artigo publicado numa revista de ponta no qual o candidato seja o segundo de apenas três autores;…”
Isto me levou a examinar os critérios adotados pelos Comitês Assessores do CNPq para concessão de bolsas de produtividade científica. Como é sempre bom olhar a propria casa, comecei pela Imunologia. Cuidadosamente, o CA indica “A avaliação enfatiza a qualidade da produção científica e tecnológica de acordo com critérios internacionais.” Contudo acaba caindo em aspectos numerológicos perigosos e que podem levar a flagrante injustiça. Vejam a situação abaixo:
“2.1. Requisitos mínimos para acesso ao Nível 2
… Para ser classificado neste nível o pesquisador deverá satisfazer os seguintes requisitos mínimos no quinquênio anterior:
- ter publicado pelo menos 5 (cinco) trabalhos científicos em periódicos científicos de preferência como autor principal ou correspondente (primeiro ou último autor), com fator de impacto igual ou superior a 1.0;”
Um jovem pesquisador com quatro publicações na Nature pode ficar sem bolsa enquanto outro com cinco publicações numa revista com fator de impacto 1,1 passa neste critério. Claro que nenhum dos membros do CA concorda com esta decisão, mas isto é o que está registrado e uma bolsa concedida ao pesquisador com quatro Nature pode ser impugnada na justiça se o CA não seguir a sua própria regra.
Creio que é hora de repensar os critérios, realmente enfatizar qualidade e evitar o fetichismo da numerologia para avaliar qualidade. Se o julgamento pudesse ser feito por algoritmos e baremas, não precisaríamos de comitês para analisar, seria apenas necessários para elaborar os baremas.
Manoel Barral-Netto escreve na qualidade de blogueiro participante da comunidade científica, sem qualquer conotação oficial por posições administrativas.
A ilustração acima (do trabalho A possible role of social activity to explain differences in publication output among ecologists de Tomáš Grim -DOI: 10.1111/j.0030-1299.2008.16551.x) demonstra uma correlação inversa entre consumo de cerveja e publicações científicas. Por isto parei de beber cerveja, antes que isto vire um ítem de algum barema e tenha que registrar o meu consumo no Lattes.
