Avaliando revistas de ciência e cientistas

JC e-mail 3791, de 25 de Junho de 2009.

15. Avaliando revistas de ciência e cientistas

“Conforme a ciência avança e se especializa cada vez mais, fica difícil fazer uma avaliação justa da produção cientifica de um pesquisador num espaço de tempo curto”

Alysson Muotri é biólogo e pesquisador do Instituto Salk para Estudos Biológicos, em San Diego. Artigo publicado no “G1”:

O progresso na ciência é fruto da publicação de novas ideias e experimentos, na maioria das vezes em periódicos ou revistas científicas que se baseiam na revisão anônima por outros cientistas da mesma área. Existem diversas opiniões sobre quais são as revistas científicas mais influentes. Infelizmente, tem sido difícil encontrar um método métrico simples para quantificar esse impacto.

A maioria dos cientistas acaba confiando no já desgastado Fator de Impacto (FI), que é publicado virtualmente pelo portal ISI Web of Knowledge. O FI consiste na média do número de citações num determinado ano dos trabalhos científicos publicados em revistas nos dois anos prévios. Diversos fatores podem influenciar o FI, como o número total de citações ou número total de trabalhos publicados por ano.

Um recente trabalho de estatística concluiu que nenhum dos parâmetros usados atualmente reflete com clareza a influência das revistas científicas (Bollen e colegas, e-Print Archive 2009). No entanto, um novo parâmetro foi recentemente proposto, o Eigenfactor, que tenta classificar a importância das revistas de uma maneira semelhante à usada pelo algoritmo do portal de buscas do Google. Durante a busca, o Google mostra os resultados baseando-se na frequência de acesso aos links relacionados à palavra-chave utilizada. Dessa forma, classifica os links mais utilizados como os mais relevantes, colocando-os no começo da página que mostra os resultados da busca.

Na prática, o Eigenfactor tem uma correlação forte com o número de citações recebidas por uma determinada revista. Por exemplo, o gráfico ao lado mostra o Eigenfactor de 2007 das 200 revistas mais citadas, contra o número total de citações (Alan Fersht, PNAS, 2009). Para quem está acostumado com os periódicos científicos, o resultado é um tanto inusitado. Três revistas se destacam das outras como as mais influentes em ciência: “Nature”, “PNAS” e “Science”.

Uma das surpresas é a “PNAS”, que publica alguns artigos sem a revisão por pares - privilégio esse restrito a membros da academia americana de ciências. Outra surpresa fica por conta da revista “Cell”, cuja reputação é respeitadíssima no meio acadêmico, e que aparece numa posição bem inferior a outros jornais tidos como de baixo impacto.

O terrível legado do FI é que ele tem sido empregado para avaliar cientistas, e não as revistas em si. Essa percepção é, a meu ver, totalmente equivocada. A avaliação de um pesquisador deve ser feita através da análise cuidadosa de sua produção científica ao longo dos anos por cientistas experientes em áreas semelhantes. Infelizmente, burocratas buscam uma fórmula métrica simples. A ênfase no FI aumenta com a falta de avaliadores competentes em determinadas áreas.

Um exemplo extremo disso acontece em alguns países europeus, que avaliam seus cientistas e a qualidade dos trabalhos dando valor zero aos trabalhos publicados em revistas com FI menor que 5 e valores acima de zero aos trabalhos publicados em revistas com FI maiores que 5. Segundo essa lógica, um trabalho publicado na revista “Journal of Molecular Biology” não vale nada, mesmo sendo essa uma das melhores revistas na área de estrutura de proteínas.

Vale lembrar que todas as revistas têm um amplo espectro de citações nos trabalhos lá publicados. Mesmo as revistas de maior FI já publicaram trabalhos que nunca foram citados, trabalhos fraudulentos e mesmo alguns que são bem ruins. Dessa forma, fica ridículo julgar um cientista baseando-se apenas no tipo de revista em que publica seus achados.

Talvez a melhor das piores maneiras métricas de se julgar a contribuição de um cientista seja pelo índice h, que classifica a influência do pesquisador levando em conta o número de citações que este recebe pelo número de trabalhos publicados. Um “h” de 100 significa que 100 trabalhos publicados foram citados pelo menos 100 vezes cada (Hirsch J., PNAS 2005).

Curiosamente, o trabalho do índice “h” já teve um assombroso número de acessos pela internet comparado ao número de citações (262) desde a publicação em 2005. O sistema do índice “h” também não é perfeito. Por exemplo, uma descoberta fenomenal pode levar tempo até ser reconhecida pela comunidade científica e ficar sem receber citações por um tempo longo.

Conforme a ciência avança e se especializa cada vez mais, fica difícil fazer uma avaliação justa da produção cientifica de um pesquisador num espaço de tempo curto. Daí a tentação de usar sistemas métricos. Por isso mesmo, é importante não se basear num sistema único. Afinal de contas, ciência é sempre relacionada com progresso social que, em última instância, é um fator baseado no julgamento humano.
(G1, 19/6)