Índice de Publicações Altamente Citadas (PAC): aplicações na área de Estudos Métricos da Informação Brasileira

Melo Maricato, João and Rodrigues dos Santos, Priscila Índice de Publicações Altamente Citadas (PAC): aplicações na área de Estudos Métricos da Informação Brasileira., 2021 [Preprint]

[thumbnail of ArtigoBCA_Versoportugus-páginas-excluídas.pdf]
Preview
Text
ArtigoBCA_Versoportugus-páginas-excluídas.pdf

Download (586kB) | Preview

English abstract

The use of different bibliometric indicators to analyze the individual scientific production of researchers constantly raises questions among several authors. Based on this problem, Waltman, Van Eck and Wouters (2013) propose a methodology that values highly cited papers (high impact) over low cited papers (low impact). To this end, the authors developed a stylized Highly Cited Publications (HCP) index aiming to minimize some limitations inherent to the metrics used to evaluate scientists. The present work proposes to carry out the empirical application of the HCP index stylized by the authors to researchers in the field of Information Metrics Studies (IMS) in Brazil in order to identify its potentialities and limitations. This is a study with an empirical approach on the use of the stylized HCP index proposed by the authors Waltman, Van Eck and Wouters (2013). The corpus of the research was limited to 101 researchers in the area of IMS in Brazil, who had their production and citation data extracted from Google Citations in the month of July 2020, being evaluated different data sets in two distinct time periods (1941-2020 versus 2010-2020), for the purpose of comparative analysis, being possible to observe that according to Person's correlation, the use of different data sets, as long as they respect the same variables, do not show significant changes in the ranking of the researchers' HCP indexes. The use of the stylized HCP index is interesting for the identification of highly cited publications and can be used to complement the evaluation indicators, but it presents limitations that may inhibit its use, for example, the negative indexes of certain researchers.

Portuguese abstract

O uso de diferentes indicadores bibliométricos para analisar a produção científica individual dos pesquisadores constantemente provoca questionamentos entre vários autores. Partindo desse problema, Waltman, Van Eck e Wouters (2013) propõem uma metodologia que valoriza os trabalhos altamente citados (alto impacto) em detrimento dos pouco citados (baixo impacto). Para isso, os autores desenvolveram um índice estilizado de Publicações Altamente Citadas (PAC) objetivando minimizar algumas limitações inerentes às métricas utilizadas para avaliar cientistas. O presente trabalho propõe realizar a aplicação empírica do índice PAC estilizada pelos autores aos pesquisadores da área de Estudos Métricos da Informação (EMI) no Brasil de maneira a identificar suas potencialidades e limitações. Trata-se de um estudo com abordagem empírica sobre o uso do índice PAC estilizado proposto pelos autores Waltman, Van Eck e Wouters (2013). O corpus da pesquisa delimitou-se a 101 pesquisadores da área de EMI no Brasil, que tiveram seus dados de produção e citação extraídos do Google Citations no mês de julho de 2020, sendo avaliados diferentes conjuntos de dados em dois recortes temporais distintos (1941-2020 versus 2010-2020), para fins de análise comparativa, sendo possível observar que de acordo com a correlação de Person, o uso de diferentes conjuntos de dados, desde que respeitem as mesmas variáveis, não demonstram alterações significativas no ranking dos índices PAC dos pesquisadores. O uso do índice PAC estilizado se mostra interessante para identificação de publicações altamente citadas e pode ser utilizado para complementar os indicadores de avaliação, porém apresenta limitações que podem inibir o seu uso, a exemplo, dos índices negativos de determinados pesquisadores.

Item type: Preprint
Keywords: Bibliometria. Estudos Métricos da Informação. Indicadores científicos. Publicações Altamente Citadas (PAC).
Subjects: B. Information use and sociology of information > BB. Bibliometric methods
Depositing user: Dr João de Melo Maricato
Date deposited: 25 Jun 2022 16:17
Last modified: 25 Jun 2022 16:17
URI: http://hdl.handle.net/10760/43307

References

AITHAL, P. S. Comparative Study of Various Research Indices Used to Measure Quality of Research Publications. International Journal of Applied and Advanced Scientific Research, v. 2, n. 1, p. 81-89, 2017.

BICALHO, L. M. As relações interdisciplinares refletidas na literatura brasileira da informação 2009. 269 f. Tese (Doutorado em Ciência da Informação) - Programa Pós-Graduação em Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009. Disponível em: https://repositorio.ufmg.br/bitstream/1843/ECID7UUQ69/1/teselucineia_versaodefinitiva.pdf. Acesso em: 19 abr. 2020.

BORNMANN, L. A better alternative to the h index. J. Informetrics, v. 7, n. 1, p. 100, 2013. Acesso em: https://doi.org/10.1016/j.joi.2012.09.004. Acesso em: 17. abr. 2020.

BORNMANN, L.; DE MOYA-ANEGÓN, F.; LEYDESDORFF, L. The new excellence indicator in the world report of the scimago institutions rankings. 2011. Disponível em: https://doi.org/10.1016/j.joi.2011.11.006. Acesso em: 14 jun. 2020.

CLARIVATE ANALYTICS. Web of science core collection help. 2020. Disponível em: https://images.webofknowledge.com/images/help/WOS/hs_citation_applications.html. Acesso em: 03 ago. 2020.

DAINESI, S. M.; PIETROBON, R. Scientific indicators of productivity: time for action. Revista Brasileira de Psiquiatria, São Paulo, v. 29, n. 2, 2007. Disponível em: https://doi.org/10.1590/s1516-44462007000200002. Acesso em: 10 abr. 2020.

EGGHE, L. Theory and practise of the g-index. Scientometrics, v. 69, n. 1, p. 131-152, 2006. Disponível em: https://doi.org/10.1007/s11192-006-0144-7. Acesso em: 19 abr. 2020.

GABRIEL JUNIOR, R. F.; FREITAS, J. L.; BUFREM, L. S. Relações temáticas e de autorias em estudos métricos da informação representados na brapci. In: ENANCIB: POLÍTICAS DE INFORMAÇÃO PARA A SOCIEDADE, 12, 2011, Brasília. Anais… Brasília: Universidade de Brasília, 2011. Disponível em: http://200.20.0.78/repositorios/handle/123456789/2161?show=full. Acesso em: 111 jul. 2020.

GARFIELD, E. Introducing citation classics-human side of scientific reports. 1977. Disponível em: http://www.garfield.library.upenn.edu/essays/v3p001y1977-78.pdf. Accesso em: 11 jul. 2020.

HARZING, A. W. Publish or Perish 4 User's Manual. 2016. Disponível em: https://harzing.com/pophelp/metrics.htm#gindex. Acesso em: 13 jun. 2020.

HICKS, D. et al. Bibliometrics: the Leiden Manifesto for research metrics. Nature, v. 520, n.

7548, p. 429-431, 2015. Disponível em: https://doi.org/10.1038/520429a. Acesso em: 18 jun.

2020.

HIRSCH, J. E. An index to quantify an individual's scientific research output. Proceedings of the National academy of Sciences, v. 102, n. 46, p. 16569-16572, 2005. disponível em: https://arxiv.org/abs/physics/0508025. Acesso em: 19 abr. 2020.

HU, Z.; TIAN, W.; XU, S.; ZHANG, C.; WANG, X. Four pitfalls in normalizing citation indicators: An investigation of ESI’s selection of highly cited papers. Journal of Informetrics, v. 12, n. 4, p. 1133-1145, 2018. Disponível em: https://www.sciencedirect.com/science/article/pii/S1751157718301147?casa_token=EK1Nn3

Acesso em: 18 fev. 2018.

HUANG, M.; CHI, P. A comparative analysis of the application of h-index, g-index, and a index in institutional-level research evaluation. Journal of Library and Information Studies, v. 8, n. 2, p. 1-10, 2010. Disponível em: https://core.ac.uk/download/pdf/26994985.pdf. Acesso em: 13 jun. 2020.

INCITES. Highly Cited Papers. 2019. Disponível em: http://help.prodincites.com/inCites2Live/indicatorsGroup/aboutHandbook/usingCitationIndicatorsWisely/highlyCitedPapers.html. Acesso em: 27 jul. 2020.

JORDAN, K. Exploring the ResearchGate score as an academic metric: Reflections and implications for practice. 2015. Disponível em: https://doi.org/10.1016/j.tree.2006.01.005. Acesso em: 14 jan. 2020.

KELLY, C. D.; JENNIONS, M. D. The h index and career assessment by numbers. Trends in Ecology & Evolution, v. 21, n. 4, p. 167-170, 2006. Disponível em: https://doi.org/10.1016/j.tree.2006.01.005. Acesso em: 14 jun. 2020

LIMA, L. S.; SOARES, C. F.; OLIVEIRA, E. F. T. Investigação da Produção Científica no tema "Estudos Métricos" na base de dados Brapci: uma análise bibliométrica. EDICIC, v. 1, n. 4, p. 299-310, 2011. Disponível em: http://hdl.handle.net/11449/115232. Acesso em: 25 maio 2020.

MATTEDI, M. A.; SPIESS, M. R. A avaliação da produtividade científica. História, Ciências, Saúde-Manguinhos, v. 24, n. 3, p. 623-643, 2017. Disponível em: https://www.scielo.br/pdf/hcsm/v24n3/0104-5970-hcsm-24-03-0623.pdf. Acesso em: 09 jun. 2020.

MORAL-MUNOZ, E.; COBO, M. J.; CHICLANA, F. et al. Analisando artigos altamente citados em sistemas de transporte inteligentes. IEEE Trans Intell Transport Syst, v. 17 p. 993–1001, 2016.

MUELLER, S. P. M. Métricas para a ciência e tecnologia e o financiamento da pesquisa: algumas reflexões. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, v. 13, n. 1, p. 24-35, 2008. Disponível em: https://brapci.inf.br/_repositorio/2010/09/pdf_04810f633d_0011925.pdf. Acesso em: 18 abr. 2020.

NASCIMENTO, A. G. Altmetria para bibliotecários: guia prático de métricas alternativas para avaliação da produção científica. Porto Alegre: Simplíssimo, 2016.

OLIVEIRA, E. F. T. Análise de domínio em “estudos métricos” no Brasil: produção, impacto e visibilidade em âmbito nacional e internacional. São Paulo: Cultura Acadêmica, 2013. Disponível em: https://www.marilia.unesp.br/Home/Publicacoes/estudos-metricos-da informacao-no-brasil---e-book.pdf. Acesso em: 1 jun. 2020.

PRAUS, Petr. High-ranked citations percentage as an indicator of publications quality. Scientometrics, v. 120, n. 1, p. 319-329, 2019. Disponível em: https://link.springer.com/article/10.1007/s11192-019-03128-6. Acesso em: 18. fev. 2018.

REIS, E. V.; NOGUEIRA, E. C. T.; OLIVEIRA, E. F. T. tendências de pesquisa do GT-7: comparando citações em dois períodos. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 20, 2019. Florianópolis. Anais… Florianópolis: Universidade Federal de Santa Catarina, 2019. Disponível em: https://conferencias.ufsc.br/index.php/enancib/2019/paper/view/938/935. Acesso em: 21 ago. 2020.

RESEARCHGATE. RG Score. 2020. Disponível em: https://explore.researchgate.net/display/support/RG+Score. Acesso em: 14 jun. 2020.

SCHREIBER, Michael. How much do different ways of calculating percentiles influence the derived performance indicators? A case study. Scientometrics, v. 97, n. 3, p. 821-829, 2013. Disponível em: https://doi.org/10.1007/s11192-013-0984-x. Acesso em: 18 fev. 2020.

THOMAZ, P. G.; ASSAD, R. S.; MOREIRA, L. F. P. Uso do fator de impacto e do índice H para avaliar pesquisadores e publicações. Arquivos Brasileiros de Cardiologia, v. 96, n. 2, p. 90-93, 2011. Disponível em: https://repositorio.usp.br/item/002164190. Acesso em: 28 abr. 2020.

TRUEGER, N. Seth et al. The altmetric score: a new measure for article-level dissemination and impact. Annals of emergency medicine, v. 66, n. 5, p. 549-553, 2015.

URBIZAGASTEGUI, R. Bibliometria, infometria, cienciometria e outras" métricas" no Brasil. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, v. 21, n. 47, p. 51-66, 2016. Disponível em: https://doi.org/10.5007/1518-2924.2016v21n47p51. Acesso em: 01 ago. 2020.

WALTMAN, L.; VAN ECK, N. J. The inconsistency of the h‐index. Journal of the American Society for Information Science and Technology, v. 63, n. 2, p. 406-415, 2012. Disponível em: https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.21678. Acesso em: 19 abr. 2020.

WALTMAN, L.; VAN ECK, N. J.; WOUTERS, P. Counting publications and citations: Is more always better?. Journal of Informetrics, v. 7, n. 3, p. 635-641, 2013. Disponível em: https://openaccess.leidenuniv.nl/handle/1887/20468. Acesso em: 20 abr. 2020.


Downloads

Downloads per month over past year

Actions (login required)

View Item View Item