Avaliação de indivíduos pelo Qualis-CAPES: levantamento sobre a adoção na seleção de pós-graduandos

Kern, Vinícius M and Cardoso, Matheus Dimitri Avaliação de indivíduos pelo Qualis-CAPES: levantamento sobre a adoção na seleção de pós-graduandos. Informação & Informação, 2022, vol. 27, n. 3, pp. 223-240. [Journal article (Paginated)]

[thumbnail of KernCardosoInf&Inf2022AvalIndivQualis.pdf]
Preview
Text
KernCardosoInf&Inf2022AvalIndivQualis.pdf

Download (302kB) | Preview

English abstract

Objective: Qualis Periódicos ranks scholarly journals in which Brazilian graduate program faculty have published in a past period, aiming at the evaluation of graduate programs. Some programs have been adopting it to select graduate students regarding their current publications. In order to account for the incidence of this phenomenon, specifically for graduate programs in Information Science, the objective of this research was to measure the adoption of Qualis to evaluate individuals in the selection to enter the master's or doctorate in Information Science in Brazil. Methodology: We carried out an online survey, checking in calls for graduate studies whether each program on the ANCIB list evaluates candidates according to their publications in “Qualis journals” from the period 2013-2016, also considering whether it is a sole or partial criterion for assessing publications. Results: Around 21% of the programs adopt it, with little variation according to their CAPES rank. Conclusions: Adoption is sparse, but relevant. It is surprising that it is used by stricto sensu graduate programs in Information Science, as it means that the faculty that approved it ignored the CAPES recommendation, or approved it by distraction, or despite knowing that it was an error. This blocks interdisciplinarity, by valuing only publications in journals considered “from the subject area”, as well as it devalues not-in-Qualis leading journals from elite databases. It also goes against CAPES’ recommendation, which requires an “I’ve read and understood” tick on the Sucupira Platform to acknowledge that Qualis is only for the evaluation of past production from graduate programs.

Portuguese abstract

Objetivo: O Qualis Periódicos estratifica revistas científicas em que docentes de programas de pós-graduação publicaram num período passado, para avaliar a pós-graduação. Alguns programas vêm adotando-o para selecionar pós-graduandos quanto a suas publicações atuais. Para medir a incidência desse fenômeno, especificamente por programas de pós-graduação em Ciência da Informação, o objetivo desta pesquisa foi verificar o grau de adoção do Qualis para avaliar indivíduos na seleção ao ingresso em mestrado ou doutorado em Ciência da Informação no Brasil. Metodologia: Fizemos um levantamento documental online, verificando em editais de seleção se cada programa constante na lista da ANCIB avalia os candidatos conforme sua publicação em “revistas Qualis” do período 2013-2016, considerando também se é critério único ou parcial para avaliar publicações. Resultados: Cerca de 21% dos programas o adotam, pouco variando conforme o conceito do programa na CAPES. Conclusões: A adoção é minoritária, mas relevante. Surpreende que seja usada por programas de pós-graduação stricto sensu em Ciência da Informação, pois significa que o colegiado que a aprovou ignorou a recomendação da CAPES, ou aprovou por distração, ou apesar de saber que é um erro. Isso bloqueia a interdisciplinaridade, ao valorizar apenas publicações em revistas consideradas “da área”, desvaloriza revistas líderes em rankings de bases de dados de elite que não estão no Qualis e contraria a recomendação da CAPES, que requer assinalar na Plataforma Sucupira “Li e entendi” que o Qualis serve apenas para avaliar a produção passada dos programas de pós-graduação.

Spanish abstract

Objetivo: Qualis Periódicos estratifica las revistas científicas en las que profesores del posgrado brasileño han publicado en un período pasado, para evaluar los programas de posgrado. Algunos programas lo han adoptado para seleccionar a los estudiantes de posgrado en función de sus publicaciones actuales. Con el fin de medir la incidencia de este fenómeno, específicamente en programas de posgrado en Ciencia de la Información, el objetivo de esta investigación fue verificar el grado de adopción del Qualis para evaluar a los individuos en la selección para el ingreso en maestría o doctorado en Ciencia de la Información en Brasil. Metodología: Realizamos una investigación documental en línea, verificando en las convocatorias de selección si cada programa presente en la lista de ANCIB evalúa a los candidatos en función de su publicación en "revistas Qualis" del período 2013-2016, considerando también si es un criterio único o parcial para evaluar. Resultados: Alrededor del 21% de los programas lo adoptan, con poca variación según la calificación del programa en CAPES. Conclusiones: La adopción es minoritaria, pero relevante. Sorprende que se use en programas de posgrado stricto sensu en Ciencia de la Información, ya que significa que el consejo que lo aprobó ignoró la recomendación de CAPES, o lo aprobó por distracción, o a pesar de saber que es un error. Esto bloquea la interdisciplinariedad, al valorar solo las publicaciones en revistas consideradas "del área", desvaloriza las revistas líderes en rankings de bases de datos de élite que no están en Qualis y va en contra de la recomendación de CAPES, que requiere señalar en la Plataforma Sucupira "Leí y entendí" que Qualis sirve solo para evaluar la producción pasada de los programas de posgrado.

Item type: Journal article (Paginated)
Keywords: Avaliação da ciência. Qualis Periódicos. Boas práticas de avaliação científica. Dissonância cognitiva na ciência. Science evaluation. Qualis Periodicals. Good practices in scientific evaluation. Cognitive dissonance in science. Evaluación de la ciencia. Periódicos Qualis. Buenas prácticas de evaluación científica. Disonancia cognitiva en la ciencia.
Subjects: E. Publishing and legal issues.
H. Information sources, supports, channels. > HA. Periodicals, Newspapers.
Depositing user: Dr. Vinícius M. Kern
Date deposited: 03 Jan 2024 11:35
Last modified: 03 Jan 2024 11:35
URI: http://hdl.handle.net/10760/45200

References

ALMEIDA, C. C.; GRÁCIO, M. C. C. O fator de impacto e as boas práticas de avaliação científica. Ciência da Informação em Revista, Maceió, v. 7, n. 1, p. 138-152, 2020.

ALVAREZ, G. R.; CAREGNATO, S. A ciência da informação e sua contribuição para a avaliação do conhecimento científico. BIBLOS - Revista do Instituto de Ciências Humanas e da Informação, Rio Grande, RS, v. 31, n. 1, p. 9-26, 2017.

BARATA, R. D. C. B. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação, Brasília, v. 13, n. 300, p. 13-40, 2016.

BLATTMANN, U.; SANTOS, R. N. M. Revistas científicas brasileiras e sua visibilidade no acesso aberto. Informação & Sociedade: Estudos, João Pessoa, v. 24, n. 3, p. 99-106, 2014.

BORNMANN, L.; DANIEL, H. D. Transparency in research evaluation: An analysis of the transparency of review processes and decisions in the Norwegian Research Council's evaluations. Research Evaluation, [S. l.], v. 20, n. 2, p. 109-116, 2011.

BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Qualis-Periódicos. Brasília: CAPES, [entre 2013 e 2016]. Disponível em https://sucupira.capes.gov.br/sucupira/public/index.xhtml, opção "Qualis". Acesso em: 10 ago. 2018.

CAMPOS, L. A. Qualis, para que te quero? Novos Debates: Fórum de Antropologia, Brasília, v. 6, n. 1-2, 2020.

CARDOSO, M. D.; KERN, V. M. Qualis para avaliar indivíduos. Dataset de resultados finais do projeto de iniciação científica “Levantamento documental sobre a adoção do Qualis-Capes para avaliação de indivíduos” (UFSC e PIBIC/CNPq, 2019-2020). SocArXiv, Open Science Framework (OSF), 2022. Disponível em: https://osf.io/gkbxm/. Acesso em: 06 abr. 2022.

CHEN, C.; HSU, C. The bibliometric landscape of research assessment in the digital age. Journal of the Association for Information Science and Technology (JASIST), [S. l.], v. 65, n. 7, p. 1356-1368, 2014.

DEMING, W. E. Out of the crisis. Cambridge-MA, EUA: MIT Press, 2000. 454 p.

EDWARDS, M. A.; ROY, S. Academic research in the 21st century: Maintaining scientific integrity in a climate of perverse incentives and hypercompetition. Environmental Engineering Science, [S. l.], v. 34, n. 1, p. 51-61, 2017.

GABRIEL JUNIOR, R. F. Geração de indicadores de produção e citação científica em revistas de Ciência da Informação: estudo aplicado à base de dados BRAPCI. 2014. 140 f. Tese (Doutorado em Ciência da Informação) – Universidade Estadual Paulista Júlio de Mesquita Filho, Marília, 2014.

HICKS, D.; WOUTERS, P.; WALTMAN, l.; DE RIJCKE, S.; RAFOLS, I. Bibliometrics: the Leiden Manifesto for research metrics. Nature, [S. l.], v. 520, n. 7548, p. 429-431, 2015.

HIL, R. Whackademia: An insider's account of the troubled university. Sydney: NewSouth Publishing, 2012. 240 p.

KERN, V. M.; URIONA M. O custo da precariedade: o colapso da saúde dos editores é também o colapso da revista. Em Questão, v. 28, n. 1, 2021.

KERN, V. M.; URIONA M., M.; FREIRE, P. S.; PACHECO, R. C. S. Construção da interdisciplinaridade para a inovação. In: PHILIPPI JR., A.; SILVA NETO, A. Interdisciplinaridade em ciência, tecnologia & inovação. São Paulo: Manole, 2011. p. 743-767.

MARTÍNEZ-ÁVILA, D. Qualis Periódicos: el sistema brasileño de evaluación de revistas. Anuario ThinkEPI, [S. l.], v. 13, 2019.

MASON, S.; SINGH, L. When a journal is both at the ‘top’ and the ‘bottom’: the illogicality of conflating citation-based metrics with quality. Scientometrics, [S. l.], v. 127, n. 6, p. 3683-3694, 2022.

OLIVEIRA, J. P. M. O QUALIS não deve ser usado para a avaliação de pesquisadores – a solução (blog post). Site do Prof. Palazzo, 22 jul. 2017. Disponível em: https://www.palazzo.pro.br/Wordpress/nova-metrica-para-avaliar-pesquisadores/. Acesso em: 26 fev. 2022.

PINTO, A. L.; MATIAS, M.; MOREIRO-GONZÁLEZ, J. A. Produção da ciência da informação na Web of Science entre 1994 e 2013 e a lista Qualis/Capes da área. Ibersid: Revista de Sistemas de Información y Documentación, Zaragoza (España), v. 10, n. 1, p. 51-61, 2016.

PIRES, A. D. S.; REATEGUI, E.; FRANÇA, A. C. X; BETTINGER, E.; FRANCO, S. R. K. Implicações do sistema de classificação de periódicos Qualis em práticas de publicação no Brasil entre 2007 e 2016. Arquivos Analíticos de Políticas Educativas, Arizona, v. 28, n. 25, p. 1-25, 2020.

RAFF, J. W. The San Francisco declaration on research assessment. Biology Open, v. 2, n. 6, p. 533-534, 2013.

ROOS, G.; MOED, H. F. Objectivity and subjectivity in bibliometric evaluations: A review of research on the h-index. Journal of the American Society for Information Science and Technology (JASIST), [S. l.], v. 59, n. 2, p. 209-220, 2008.

SEGLEN, P. O. Why the impact factor of journals should not be used for evaluating research. BMJ: British Medical Journal, [S. l.], v. 314, n. 7079, p. 498, 1997.

STRATHERN, M. ‘Improving ratings’: audit in the British University system. European Review, [S. l.], v. 5, n. 3, p. 305-321, jul. 1997.

VOLPATO, G. Ciência: da filosofia à publicação. 6. ed. rev. e ampl. São Paulo: Cultura Acadêmica, 2013. 377 p.

WILSDON, J.; ALLEN, L.; BELFIORE, E.; CAMPBELL, P.; CURRY, S.; HILL, S.; JONES, R.; KAIN, R.; KERRIDGE, S.; THELWALL, M.; TINKLER, J.; VINEY, I.; WOUTERS, P.; HILL, J.; JOHNSON, B. The metric tide: Report of the independent review of the role of metrics in research assessment and management). The Higher Education Funding Council for England (HEFCE), July 2015. Disponível em: https://fapesp.br/avaliacao/manuais/2015_metric_tide.pdf. Acesso em: 26 fev. 2022.


Downloads

Downloads per month over past year

Actions (login required)

View Item View Item