AVALIAÇÃO DIRETA E CONJUNTA DE SISTEMAS DE INDEXAÇÃO AUTOMÁTICA POR ATRIBUIÇÃO

de Brito Silva, Sâmela Rouse, Fernandes Correa, Renato and Gil-Leiva, Isidoro AVALIAÇÃO DIRETA E CONJUNTA DE SISTEMAS DE INDEXAÇÃO AUTOMÁTICA POR ATRIBUIÇÃO. Informação &Amp; Sociedade: Estudos, 2020, vol. 30, n. 4, pp. 1-27. [Journal article (Paginated)]

[thumbnail of Brito_Fernandes_Gil-Leiva_2020.pdf]
Preview
Text
Brito_Fernandes_Gil-Leiva_2020.pdf

Download (339kB) | Preview

English abstract

This work proposes a methodological pathway for the direct and joint evaluation of automatic indexing systems by assignment, as well as applying the proposed methodological pathway in the evaluation of the quality of indexing of the SISA (Sistema de Indización Semi-Automático) and MAUI (Multi-purpose Automatic Topic Indexing) for automatic indexing by assignment of scientific articles written in Portuguese in the area of Information Science. The research is exploratory and empirical, involving a case study and data collection through an indexing experiment. The experiment consists of the automatic indexing of scientific articles from a reference corpus composed of 60 articles from scientific journals indexed intellectually using the Brazilian Thesaurus for Information Science as an indexing language. It concludes that the methodological pathway proved to be adequate and that both systems presented good results, however MAUI stood out for presenting better performance indexes.

Portuguese abstract

Propõe um percurso metodológico para a avaliação direta e conjunta de sistemas de indexação automática por atribuição, bem como aplica o percurso proposto na avaliação da qualidade da indexação dos sistemas SISA (Sistema de Indización Semi-Automático) e MAUI (Multi-purpose Automatic Topic Indexing) na indexação automática por atribuição de artigos científicos escritos em português da área da Ciência da Informação. A pesquisa é exploratória e empírica, envolvendo estudo de caso e coleta de dados por meio de um experimento de indexação. O experimento constitui-se da indexação automática dos artigos científicos de um corpus de referência composto por 60 artigos de periódicos indexados intelectualmente usando o Tesauro Brasileiro de Ciência da Informação como linguagem de indexação. Conclui-se que o percurso metodológico se mostrou adequado e que os sistemas apresentaram bons resultados, porém o MAUI se destacou por apresentar melhores índices de desempenho.

Item type: Journal article (Paginated)
Keywords: Sistemas de indexação automática. Indexação automática por atribuição. Ciência da Informação. Avaliação da indexação automática. SISA. Automatic indexing systems. Automatic indexing by assignment. Information Science. Evaluation of automatic indexing. SISA.
Subjects: L. Information technology and library technology > LL. Automated language processing.
Depositing user: Isidoro Gil Leiva
Date deposited: 16 Nov 2023 12:09
Last modified: 16 Nov 2023 12:09
URI: http://hdl.handle.net/10760/45079

References

ANDERSON, J.D.; PEREZ-CARBALLO, J. The Nature of Indexing: How Humans and Machines Analyze Messages and Texts for Retrieval. Part I: Research and the Nature of Human Indexing. Information Processing & Management, v. 37, p. 231-54, 2001.

BANDIM, M. A. S.; CORREA, R. F. A consistência na indexação automática por atribuição de artigos científicos na área de Ciência da Informação. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, v. 23, n. 53, p.64-77, set. 2018. DOI: 10.5007/1518-2924.2018v23n53p64.

BANDIM, M. A. S.; CORREA, R. F. Indexação automática por atribuição de artigos científicos em português da área de Ciência da Informação. Transinformação, v. 31, p. 1-12, 2019. DOI: 10.1590/2318-0889201931e180004.

CAJUEIRO, R. L. P. Manual para elaboração de trabalhos acadêmicos: guia prático do estudante. 3. ed. Petrópolis: Vozes, 2015. 110 p.

FARROW, J.F. A Cognitive Process Model of Document Indexing. Journal of Documentation, v. 47, p. 149-66, 1991.

FROHMANN, B. Rules of Indexing: A Critique of Mentalism in Information Retrieval Theory. Journal of Documentation, v. 46, n.2, p. 81-101, 1990.

FUGMANN, R. Subject Analysis and Indexing: Theoretical Foundation and Practical Advice. Frankfurt/ Main: Indeks Verlag, 1993.

CERVO, A. L.; BERVIAN, P. A.; SILVA, R. Metodologia científica. 6. ed. São Paulo: Pearson Prentice Hall, 2007. 162 p.

GIL LEIVA, I. La automatización de la indización de documentos. Gijón: Trea, 1999.

GIL LEIVA, I. Sistema para la indizacíon automática (SISA) de artículos de revista de Biblioteconomia y documentacíon. II Jornadas de Tratamiento y Recuperacíon de Information. Madrid: 2003.

GIL LEIVA, I. Manual de indización: teoría y práctica. Gijón: Trea, 2008.

GIL LEIVA, I, RUBI, M. P., FUJITA, M. S. L. Consistência na indexação em bibliotecas universitárias brasileiras. Transinformação, Campinas, v. 20, p. 233-54, 2008.

GIL LEIVA, I. SISA – Automatic indexing system for scientific articles: Experiments with location heuristics rules versus TF-IDF Rules. Knowledge Organization, v.44, n. 3, p. 139-162, 2017.26

GOLUB, K., et al. A Framework for Evaluating Automatic Indexing or Classification in the Context of Retrieval. Journal of the Association for Information Science and Technology, v. 67, n. 1, p. 3-16, 2016.

HASAN, K. S.; NG, V. Automatic keyphrase extraction: a survey of the State of the Art. In: ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 52., 2014, Baltimore. Proceedings... Baltimore: Association For Computational Linguistics, 2014. p. 1262 - 1273.

HJORLAND, B. Information Seeking and Subject Representation: An Activity-Theoretical Approach to Information Science. Westport, CT: Greenwood Press, 1997.

HJØRLAND, B. Automatic Indexing. In: Lifeboat for Knowledge Organization, 2008.

INÁCIO, M. de O. Avaliação da indexação em bibliotecas universitárias: uma aplicação em catálogos online. 2012. 157 f. Dissertação (Mestrado) – Programa de Pós-Graduação em Ciência da Informação, Universidade Estadual Paulista (Unesp), Marília 2012.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO 5963-1985: Documentation -- Methods for Examining Documents, Determining Their Subjects, and Selecting Indexing Terms. Geneva: ISO, 1985.

LANCASTER, F. W. Indexação e resumos: teoria e prática. 2. ed. ver. atual. Brasília: Briquet de. Lemos, 2004.

LUHN, H.P. A Statistical Approach to Mechanized Enconding and Searching of Literary Information. IBM Journal of Research and Development, v. 1, p. 309-17, 1957.

MAI, Jens-Erik. Deconstructing the Indexing Process. Advances in Librarianship, v. 23, p. 269-98, 2000.

MEDELYAN, O. Human-competitive automatic topic indexing. PhD Thesis. University of Waikato, New Zealand, 2009.

NARUKAWA, C. M. Estudo de Vocabulário Controlado na Indexação Automática: Aplicação no Processo de Indexação do Sistema de Indización Semiautomatica (SISA). 2011. 222 f. Dissertação (Mestrado) - Faculdade de Filosofia e Ciências, Universidade Estadual Paulista: Marília, 2011.

NARUKAWA, C. M.; GIL LEIVA, I.; FUJITA, M. S. L. Indexação automatizada de artigos de periódicos científicos: análise da aplicação do software sisa com uso da terminologia decs na área de odontologia. Informação & Sociedade: Estudos, v. 19, n. 2, 2009.

PAPAGIANNOPOULO, E; TSOUMAKAS, G. A Review of keyphrase extraction. ArXiv, abs/1905.05044, 2019. Disponível em: https://arxiv.org/pdf/1905.05044.pdf , acesso em: 10 de jun, 2019.

PINHEIRO, L.V.R.; FERREZ, H.D. Tesauro Brasileiro de Ciência da Informação. Rio de Janeiro: IBICT, 2014.

ROBREDO, J. Indexação automática de textos: uma abordagem otimizada e simples, Ciência da Informação, Brasília, v. 20, n. 2, p. 130-136, jul/dez. 1991.27.

SILVA, B. F. M; CORREA, R. F. O processo de construção de corpus de referência em Ciência da Informação. Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação, v. 24, p. 1-27, 2019. DOI: 10.5007/1518-2924.2019.e65166.

SILVA, B. F. M; CORREA, R. F. A aplicação da folksonomia assistida na construção de corpus de referência em Ciência da Informação. Em Questão, v. 26, n. 2, p. 413-436, 2020. DOI: 10.19132/1808-5245262.413-436.

SILVA, S. R. B; CORREA, R. F. Sistemas de indexação automática por atribuição: uma análise comparativa. Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação, v. 25, p. 1-25, 2020. DOI: 10.5007/1518-2924.2020.e70740. Acesso em: 16 jul. 2020.

SOUZA, R. R. Uma proposta de metodologia para escolha automática de descritores utilizando sintagmas nominais. Belo Horizonte, 2005. 215f. Tese (Doutorado em Ciência da Informação) – Escola de Ciência da Informação da Universidade Federal de Minas Gerais. Belo Horizonte, 2005.

KIM, S. N; MEDELYAN, O.; KAN, M.Y.; BALDWIN, T. 2013. Automatic keyphrase extraction from scientific articles. Language Resources and Evaluation, v.47, n.3, p. 723–742.


Downloads

Downloads per month over past year

Actions (login required)

View Item View Item