Limites dos indicadores bibliométricos de bases de dados internacionais para avaliação da Pós-Graduação brasileira: a cobertura da Web of Science nas diferentes áreas do conhecimento

Neri de Melo, João Henrick, Trinca, Tatiane Pacanaro and Maricato, João de Melo Limites dos indicadores bibliométricos de bases de dados internacionais para avaliação da Pós-Graduação brasileira: a cobertura da Web of Science nas diferentes áreas do conhecimento. TransInforma��o, 2021, vol. 33, pp. 1-16. [Journal article (Paginated)]

[thumbnail of Article]
Preview
Text (Article)
Artigo_2021_Limites dos indicadores bibliometricos_Melo_Trinca_Maricato.pdf - Published version
Available under License Creative Commons Attribution.

Download (2MB) | Preview

English abstract

Considering the growing use of bibliometric and scientometric indicators in the evaluation of Brazilian Graduation Programs, this paper aims to identify Web of Science’s coverage concerning bibliographic output scientific papers). It focuses on the major knowledge and evaluation areas set by the Coordination for Higher Education Staff Development, a Brazilian public organization for research funding, and seeks to highlight the limits and possibilities of the use of these indicators as devices for evaluating the scientific activity of the national graduation system. For this purpose, data surveys were held on the bibliographic production of 4,377 graduate programs currently registered on Sucupira Platform, and Web of Science Core Collection, between 2017 and 2018. Consolidated by empirical data and a theoretical approach, the results show that 46.56% of journals employed by Brazilian researchers affiliated to Brazilian graduate programs are currently indexed on this database, while 53.44% are not. The conclusion, therefore, is that there are variations on the indexation levels among the various Major Knowledge and Evaluation Areas. We also addressed the recommendation that processes of evaluation consider the results of scientific activities beyond just papers indexed on international bibliographic databases.

Portuguese abstract

Considerando o crescimento do uso de indicadores bibliométricos e cientométricos em processos de avaliação da Pós-Graduação brasileira, buscou-se identificar o nível de cobertura da Web of Science em relação à produção bibliográfica brasileira (artigos) nas diferentes Grandes Áreas do Conhecimento e Áreas de Avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, agência pública brasileira de financiamento à pesquisa, apontando limites e possibilidades da adoção desses indicadores como mecanismos de avaliação dos resultados da atividade científica dos programas que compõem o Sistema Nacional de Pós-Graduação. Para tanto, recorreu-se ao levantamento de dados da produção bibliográfica dos 4.377 Programas de Pós-Graduação cadastrados na Plataforma Sucupira nos anos de 2017 e 2018, bem como à coleta de dados da Core Collection da Web of Science. Diante dos dados empíricos e do referencial teórico adotado, evidenciou-se que 46,56% dos periódicos utilizados para publicação por pesquisadores vinculados aos Programas de Pós-Graduação brasileiros estão indexados na base, enquanto 53,44% dos periódicos utilizados não estão indexados. Demonstrou-se variações de cobertura/ indexação nas diferentes Grandes Áreas do Conhecimento e Áreas de Avaliação, assim como abordou-se a necessidade de se considerar, em processos de avaliação de Programas de Pós-Graduação, os resultados das atividades científicas para além da produção bibliográfica de artigos indexados em bases bibliográficas internacionais.

Item type: Journal article (Paginated)
Keywords: Scientific activity evaluation. Bibliometric. Scholars communication. Bibliometric studies. Bibliometric sources. Scientific production.
Subjects: B. Information use and sociology of information > BB. Bibliometric methods
B. Information use and sociology of information > BF. Information policy
Depositing user: Sra. Tatiane Pacanaro Trinca
Date deposited: 10 Feb 2022 11:53
Last modified: 10 Feb 2022 11:53
URI: http://hdl.handle.net/10760/42897

References

Associação Brasileira de Saúde Coletiva. Critérios para classificação das revistas: apreciação da proposta de Qualis Periódico Referência. Abrasco, Rio de Janeiro, 22 ago. 2019. Notícias. Disponível em: https://www.abrasco.org.br/site/outras-noticias/notas-oficiais-abrasco/apreciacao-da-proposta-de-qualis-periodico-referencia/42328/. Acesso em: 10 set. 2020. [ Links ]

Barata, R. C. B. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação, v. 13, n. 30, 2016. Doi: https://doi.org/10.21713/2358-2332.2016.v13.947. [ Links ]

Barbosa, G. R. Avaliação da pesquisa em humanidades: relatório técnico DAV. Brasília: Capes, 2020. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/23072020-dav-aph-pdf. Acesso em: 25 fev. 2021. [ Links ]

Brambilla, S. D. S.; Stumpf, I. R. C. Produção científica da UFRGS representada na Web of Science (2000-2009). Perspectivas em Ciência da Informação, v. 17, n. 3, p. 35-50, 2012. Doi: https://doi.org/10.1590/S1413-99362012000300004. [ Links ]

Bufrem, L. S.; Nascimento, B. S. A produção científica brasileira na Web of Science (2017-2019): entre o discurso político e os estudos métricos de informação. Logeion: Filosofia da Informação, v. 6 n. 1, p. 12-26, 2019. Doi: https://doi.org/10.21728/logeion.2019v6n1.p12-26. [ Links ]

Cadernos de Saúde Pública. Contribuições ao debate sobre a avaliação da produção científica no Brasil. Cadernos de Saúde Pública, v. 35, n. 10, 2019. Doi: https://doi.org/10.1590/0102-311x00173219. [ Links ]

Cassiolato, J. E. et al. Indicadores de inovação: uma análise crítica para os BRICS. Rio de Janeiro: RedeSist, 2007. Disponível em: http://www.redesist.ie.ufrj.br/images/Textos_Discussao_DIT/2007/TD_2007_4.pdf. Acesso em: 25 fev. 2021. [ Links ]

Clarivate Analytics. A pesquisa no Brasil: promovendo a excelência. Filadélfia: Clarivate Analytics, 2019. Disponível em: https://discover.clarivate.com/Research_Excellence_Awards_Brazil_Download. Acesso em: 10 jul. 2020. [ Links ]

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Dados abertos: conjunto de dados: avaliação da Pós-Graduação stricto sensu. Brasília: Capes, 2019. Disponível em: https://dadosabertos.capes.gov.br/dataset?organization=diretoria-de-avaliacao. Acesso em: 23 fev. 2020. [ Links ]

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Sobre as áreas de avaliação. Brasília: Capes, 2020. Disponível em: https://www.gov.br/capes/pt-br/acesso-a-informacao/acoes-e-programas/avaliacao/sobre-a-avaliacao/areas-avaliacao/sobre-as-areas-de-avaliacao/sobre-as-areas-de-avaliacao. Acesso em: 24 out. 2020. [ Links ]

Declaration on Research Assessment. Declaração de São Francisco sobre avaliação da pesquisa. São Francisco: Dora, 2012. Disponível em: https://sfdora.org/wp-content/uploads/2018/11/DORA_Brazilian-Portuguese.pdf. Acesso em: 21 set. 2020. [ Links ]

Franssen, T.; Wouters, P. Science and its significant other: representing the humanities in bibliometric scholarship. Journal of the Association for Information Science and Technology, v. 70, n. 10, p. 1124-1137, 2019. Doi: https://doi.org/10.1002/asi.24206. [ Links ]

Fundação Oswaldo Cruz. Carta aberta sobre a proposta do Qualis Periódicos [internet]. [2019]. Disponível em: http://periodicos.fiocruz.br/sites/default/files/anexos/carta_FECF_criterios-Qualis-Capes_v2_Fitosassina_22082019_0.pdf. Acesso em: 21 set. 2020. [ Links ]

Giménez-Toledo, E.; Tejada-Artigas, C.; Mañana-Rodríguez, J. Evaluation of scientific books’ publishers in social sciences and humanities: results of a survey. Research Evaluation, v. 22, n. 1, p. 64-77, 2013. Doi: https://doi.org/10.1093/reseval/rvs036. [ Links ]

Hicks, D. The four literatures of Social Science. In: Moed, H. F.; Glänzel, W.; Schmoch, U. (ed.). Handbook of quantitative science and technology research: the use of publication and patent statistics in studies of S&T systems. Dordrecht: Springer, 2004. cap. 21, p. 473-496. Doi: https://doi.org/10.1007/1-4020-2755-9_22. [ Links ]

Hicks, D. et al. The Leiden Manifesto for research metrics. Nature, v. 520, n. 7548, p. 429-431, 2015. Doi: https://doi.org/10.1038/520429a. [ Links ]

International Centre. Access to the ISSN-L table. Paris: International Centre, 2020. Available from: https://www.issn.org/services/online-services/access-to-issn-l-table/. Cited: Mar. 10, 2020. [ Links ]

Jupyter. Project Jupyter. United States: Jupyter, 2020. Available from: https://jupyter.org/. Cited: Jun. 16, 2020. [ Links ]

Larivière, V.; Sugimoto, C. R. Mesurer la science. Montréal: Les Presses de l’Université de Montréal, 2018. Disponible en: https://www.pum.umontreal.ca/catalogue/mesurer-la-science. Accès en: 21 sept. 2020. [ Links ]

Leta, J. Indicadores de desempenho, ciência brasileira e a cobertura das bases informacionais. Revista USP, n. 89, p. 62-67, 2011. Doi: https://doi.org/10.11606/issn.2316-9036.v0i89p62-77. [ Links ]

Martínez-Ávila, D.; Muriel-Torrado, E.; Bisset-Álvarez, E. Qualis Periódicos de Brasil: nuevos criterios y estado de las revistas españolas de Comunicación e Información. Anuario ThinkEPI, v. 14, p. 1-6, 2020. Doi: https://doi.org/10.3145/thinkepi.2020.e14e05. [ Links ]

Martins, D. L. et al. Qualis Periódicos referência 2017/18 da Área Comunicação e Informação: uma crítica construtiva aos seus critérios, resultados e impactos na área. Brasília: Programa de Pós-Graduação em Ciência da Informação, 2019. Disponível em: http://www.ppgcinf.fci.unb.br/en/component/k2/item/4308-qualis-periodicos-referencia-2017-18-da-area-comunicacao-e-informacao-uma-critica-construtiva-aos-seus-criterios-resultados-e-impactos-na-area. Acesso em: 21 set. 2020. [ Links ]

Medeiros, F. A avaliação científica. In: Medeiros, F. A historiografia medieval portuguesa na viragem do milénio: análise bibliométrica (2000-2010). Évora: Publicações do Cidehus, 2015. p. 38-87. Doi: https://doi.org/10.4000/books.cidehus.1232. [ Links ]

Meneghini, R. Visibilidade internacional da produção brasileira em saúde coletiva. Cadernos de Saúde Pública, v. 26, n. 6, p. 1058-1059, 2010. Doi: https://doi.org/10.1590/S0102-311X2010000600001. [ Links ]

Menezes, S. D.; Caregnato, S. E. Produção científica brasileira em Química entre 2004 e 2013: análise dos artigos indexados na Web of Science. Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação, v. 23, n. 53, p. 25-38, 2018. Doi: https://doi.org/10.5007/1518-2924.2018v23n53p25. [ Links ]

Minayo, M. C. S. A produção de conhecimentos na interface entre as ciências sociais e humanas e a saúde coletiva. Saúde e Sociedade, v. 22, n. 1, p. 21-31, 2013. Doi: https://doi.org/10.1590/S0104-12902013000100004. [ Links ]

Mingers, J.; Leydesdorff, L. A review of theory and practice in scientometrics. European Journal of Operational Research, v. 246, n. 1, p. 1-19, 2015. Doi: https://doi.org/10.1016/j.ejor.2015.04.002. [ Links ]

Moed, H. F. Citation analysis in research evaluation. Amsterdam: Springer, 2005. [ Links ]

Morel, R. L. M.; Morel, C. M. Um estudo sobre a produção científica brasileira, segundo os dados do institute for scientific information (ISI). Ciência da Informação, v. 6, n. 2, p. 99-109, 1977. Disponível em: http://revista.ibict.br/ciinf/article/view/85. Acesso em: 12 set. 2020. [ Links ]

Mugnaini, R. et al. Panorama da produção científica do Brasil além da indexação: uma análise exploratória da comunicação em periódicos. Transinformação, v. 31, e190033, 2019. Doi: https://doi.org/10.1590/2318-0889201931e190033. [ Links ]

Mugnaini, R.; Digiampietri, L. A.; Mena-Chalco, J. P. Comunicação científica no Brasil (1998-2012): indexação, crescimento, fluxo e dispersão. Transinformação, v. 26, n. 3, p. 239-252, 2014. Doi: https://doi.org/10.1590/0103-3786201400030002. [ Links ]

Nederhof, A. J. Bibliometric monitoring of research performance in the social sciences and the humanities: a review. Scientometrics, v. 66, n. 1, p. 81-100, 2006. Doi: https://doi.org/10.1007/s11192-006-0007-2. [ Links ]

Oliveira, T. As políticas científicas na era do conhecimento: uma análise de conjuntura sobre o ecossistema científico global. Perspectivas em Ciência da Informação, v. 24, n. 1, p. 191-215, 2019. Doi: https://doi.org/10.1590/1981-5344/3520. [ Links ]

Open Refine. A free, open source, powerful tool for working with messy data. [s. l.]: Open Refine, 2020. Available from: https://openrefine.org/. Cited: Jun. 16, 2020. [ Links ]

Packer, A. L. Os periódicos brasileiros e a comunicação da pesquisa nacional. Revista USP, n. 89, p. 26-61, 2011. Doi: https://doi.org/10.11606/issn.2316-9036.v0i89p26-61. [ Links ]

Rizzotto, M. L. F.; Costa, A. M.; Lobato, L. V. C. Os novos critérios da Capes para classificação dos periódicos e a repercussão no campo da saúde coletiva. Saúde em Debate, v. 43, n. 122, p. 649-656, 2019. Doi: https://doi.org/10.1590/0103-1104201912200. [ Links ]

Sivertsen, G.; Larsen, B. Comprehensive bibliographic coverage of the social sciences and humanities in a citation index: an empirical analysis of the potential. Scientometrics, v. 91, n. 2, p. 567-575, 2012. Doi: https://doi.org/10.1007/s11192-011-0615-3. [ Links ]

Spera, H. B.; Mugnaini, R. Características da produção científica em direito: desafios para a avaliação. In: Encontro Nacional de Pesquisa em Ciência da Informação, 20., 2019, Florianópolis. Anais eletrônicos [...]. Florianópolis: ANCIB, 2019. Disponível em: http://hdl.handle.net/20.500.11959/brapci/123068. Acesso em: 12 jul. 2020. [ Links ]

Sugimoto, C. et al. Rethinking impact factors: new pathways in journal metrics. F1000Research, v. 8, n. 671, p. 1-15, 2019. Doi: https://doi.org/10.7490/f1000research.1116751.1. [ Links ]

Van Leeuwen, T. N.; Van Wijk, E.; Wouters, P. F. Bibliometric analysis of output and impact based on CRIS data: a case study on the registered output of a Dutch university. Scientometrics, v. 106, p. 1-16, 2016. Doi: https://doi.org/10.1007/s11192-015-1788-y. [ Links ]

Van Raan, A. F. J. Scientometrics: state-of-the-art. Scientometrics, v. 38, n. 1, p. 205-218, 1997. Doi: https://doi.org/10.1007/BF02461131. [ Links ]

Wilsdon, J. et al. The metric tide: report of the independent review of the role of metrics in research assessment and management. Bristol: HEFCE, 2015. Doi: https://doi.org/10.13140/RG.2.1.4929.1363. [ Links ]

Wouters, P. The citation: from culture to infrastructure. In: Cronin, B.; Sugimoto, C. R. (ed.). Beyond bibliometrics: harnessing multidimensional indicators of scholarly impact. Cambridge: MIT Press, 2014. p. 47-66. [ Links ]

Wouters, P. et al. The metric tide: literature review: supplementary report I to the independent review of the role of metrics in research assessment and management. Bristol: HEFCE, 2015. Doi: https://doi.org/10.13140/RG.2.1.5066.3520. [ Links ]


Downloads

Downloads per month over past year

Actions (login required)

View Item View Item