Uma mudança anunciada pela Coordenação de Aperfeiçoamento Pessoal de Nível Superior (Capes) na forma de avaliar a produção científica nacional vem sendo comemorada pelos pesquisadores. A partir de 2025, quando começa o ciclo avaliativo que vai até 2028, o processo passará a contar com a possibilidade de focar na classificação dos artigos em si, e não mais do periódico no qual o texto foi publicado.
A alteração do tipo de avaliação é uma demanda antiga – em dezembro de 2012, um grupo de cientistas e entidades de diferentes países assinou a Declaração de São Francisco sobre Avaliação da Pesquisa, conhecida como DORA, na qual faz um chamado crítico contra o uso do Fator de Impacto (FI), um método utilizado para avaliar revistas científicas com base nas citações recebidas.
— Ninguém está satisfeito com os modelos que tem, porque se valoriza muito o periódico onde a publicação foi feita e o impacto desse periódico. É claro que aquele artigo tem valor, porque um corpo editorial o aceitou, mas a qualidade do trabalho não pode ser medida só com isso — explica Helena Nader, presidente da Academia Brasileira de Ciências (ABC).
Foram definidos três procedimentos para a classificação dos artigos. Cada uma das 50 áreas de avaliação da CAPES poderá adotar um dos itens, ou a combinação entre eles:
- Primeiro: a classificação se dará pelos indicadores bibliométricos dos veículos de publicação, baseada no desempenho da revista, como é feito atualmente pelo Qualis Periódicos, mas a classificação vai recair sobre artigos
- Segundo: os indicadores serão extraídos diretamente do artigo, utilizando, por exemplo, o índice de citações alcançadas para a análise quantitativa e dos critérios de indexação e acesso aberto, dentre outros, para averiguar aspectos qualitativos
- Terceiro: a análise qualitativa de artigos é baseada em fatores e metodologias definidos pela área de avaliação que podem abarcar, por exemplo, uma análise de pertinência do tema abordado, avanço conceitual proveniente do trabalho e a contribuição científica do estudo
No comunicado em que as mudanças foram anunciadas, o diretor de Avaliação da CAPES, Antonio Gomes disse que a ação "redireciona o olhar e a classificação para o artigo, que passa a ser o elemento central”.
A coordenação exemplifica que a alteração vai permitir, por exemplo, que três artigos publicados em um mesmo periódico possam ter classificações diferentes.
Foco no artigos
Kleber Neves, gestor de ciências do Instituto Serrapilheira, considera esse um passo “bem positivo” da Capes e comenta que o Qualis Periódicos, que até então era utilizado para avaliar as revistas científicas, era alvo de críticas de diferentes pessoas e por diferentes razões.
— É legal se desfazer do Qualis enquanto único jeito de fazer a avaliação dos programas. Há todo um movimento internacional, com o qual o Brasil contribui também, de reforma da avaliação científica, e esse é o primeiro passo: tirar a centralidade dos “journals” e “papers” — defende Neves.
Ele exemplifica que a forma de avaliação atual é equivalente, no jornalismo, a avaliar um artigo somente no fato de ser veiculada em determinado veículo.
— Você não está realmente olhando para aquela contribuição. Só está contando com o julgamento dos periódicos — afirma.
O gestor do Serrapilheira adianta que a Capes segue oferecendo essa opção, mas, agora, dará outras duas possiblidades: analisar as citações ao próprio artigo e fazer uma análise qualitativa. Na sua visão, a mudança é positiva e vai ao encontro do que está sendo debatido ao redor do mundo.
Helena cita como exemplo um artigo que seja publicado pela England Journal of Medicine, de altíssimo impacto:
— É importante publicar lá. Mas esse trabalho está sendo citado? Você pode publicar e ninguém estar lendo ou se referenciando.
A presidente da ABC enfatiza, ainda, que a novidade pode ser positiva para os periódicos brasileiros, uma vez que, a depender da área de conhecimento, a comunidade científica passou a priorizar a publicação em revistas internacionais, que tinham conceitos mais altos. Também ressalta que as novas classificações podem ajudar a mensurar algo que não é medido a partir do valor de uma revista científica: o papel social daquela pesquisa.
— Por que a gente faz ciência? Para melhorar a vida da sociedade, tornar a humanidade mais sábia. Mas como eu mensuro isso? São discussões que estão acontecendo. O mais difícil é encontrar uma forma de fazer uma análise qualitativa (o terceiro procedimento disponibilizado pela Capes). É um sistema que terá que ser aprimorado a cada coleta de dados – analisa Helena.
O mais importante, no entanto, é que a criação dessa forma de avaliar foi feita com a participação da comunidade acadêmica de cada área de conhecimento, segundo a presidente da ABC. Se esse formato vai funcionar ou não, entretanto, vai depender dos próprios cientistas, que precisarão fazer um esforço de desacomodação da forma como as avaliações acontecem hoje, salienta Neves.
— A Capes está dando uma opção, mas você pode continuar fazendo uma classificação de revistas nos moldes da Qualis. Pode ser que, no final, todo mundo acabe optando por isso, porque vem do seu conforto, todo mundo já está acostumado e sabe como funciona, e como a Capes condiciona o dinheiro que chega para os programas, ela tem um poder enorme — afirma o pesquisador.
Para evitar que nada mude, Neves sugere que a Capes crie ferramentas de apoio e treinamento que permitam uma maior segurança dos programas de pós-graduação para mudar a forma como fazem as suas avaliações.
