Impactmessung, Transparenz & Open Science

Herb, Ulrich Impactmessung, Transparenz & Open Science. Young Information Scientist, 2016, vol. 1. [Journal article (Unpaginated)]

[thumbnail of YIS_1_2016_59_Herb.pdf] Text
YIS_1_2016_59_Herb.pdf - Published version

Download (140kB)

English abstract

Objective — The article discusses if it is sufficient to scale down Open Science to a free availability of objects, for example scientific publications (open access), or whether impact metrics that steer science and scientists must also be re-modeled under open science principles. Methods — Well-known, citation-based impact metrics and new, alternative metrics are reviewed using the following criteria to assess whether they are open metrics: Scientific verifiability and modeling, transparency in their construction and methodology, consistency with the principles of open knowledge. Results — Neither citation-based impact metrics nor alternative metrics can be labeled open metrics. They all lack scientific foundation, transparency and verifiability. Conclusions — Since neither citation-based impact metrics nor alternative metrics can be considered open, it seems necessary to draw up a list of criteria for open metrics. This catalog includes aspects such as justifications and documentation for the selection of data sources, open availability of the data underlying the calculation of the impact scores, options to retrieve the data automatically via software interfaces, logical, scientific and documented justifications about the formula or parameters used to calculate impact values.

German abstract

Zielsetzung — Der Beitrag diskutiert, inwiefern es genügt, Open Science, die offene Wissenschaft, auf die rein entgeltfreie Verfügbarkeit von Objekten, z.B. wissenschaftlichen Publikationen im Open Access zu kaprizieren, und welche Rolle Impact-Informationen, die Wissenschaft und Wissenschaftler reaktiv steuern, zukommt sowie, ob diese ebenfalls im Sinne der offenen Wissenschaft neu modelliert werden müssen. Forschungsmethoden — Altbekannte, zitationsbasierte Impact-Metriken und neue, alternative Metriken werden anhand folgender Kriterien daraufhin überprüft, ob sie offene Metriken sind: Wissenschaftliche Überprüfbarkeit und Modellierung, Transparenz in ihrem Zustandekommen und ihrer Methodik, Übereinstimmung mit den Prinzipien des offenen Wissens. Ergebnisse — Weder Zitationsmetriken noch alternative Metriken verdienen das Etikett offen. Es fehlt ihnen allen an wissenschaftlichem Gehalt, meist aber auch an Transparenz und Überprüfbarkeit. Insbesondere können die alternativen Metriken die von ihnen teils erwartete Demokratisierung der Wissenschaftsbewertung nicht bewirken. Schlussfolgerungen — Da weder Zitationsmetriken noch alternative Metriken als offen zu bezeichnen sind, erscheint es notwendig, einen Kriterienkatalog offener Metriken zu erarbeiten. Dieser Katalog umfasst Aspekte wie Begründungen und Dokumentationen bei Auswahl an Datenquellen, offene Bereitstellung der Daten, die der Berechnung der Impact-Scores zugrunde liegen, Möglichkeiten, die Daten und die daraus ermittelten Werte automatisiert abzufragen, logische, wissenschaftliche und dokumentierte Begründungen, anhand welcher Formel oder Parameter die Werte berechnet wurden.

Item type: Journal article (Unpaginated)
Keywords: Wissenschaftsbewertung, Zitate, Alternative Metriken, Offene Wissenschaft, Transparenz, Methodik, Offenes Wissen, Szientometrie, impact, citations, altmetrics, open science, transparency, methodology, open knowledge, scientometrics
Subjects: B. Information use and sociology of information
B. Information use and sociology of information > BB. Bibliometric methods
E. Publishing and legal issues. > ED. Intellectual property: author's rights, ownership, copyright, copyleft, open access.
Depositing user: Otto Oberhauser
Date deposited: 13 Sep 2016 07:34
Last modified: 13 Sep 2016 07:34
URI: http://hdl.handle.net/10760/29991

References

Altmetric (2014). Press release — Altmetric launches new tool to help academic institutions track and report on broader impact of research. https://www.altmetric.com/press/press-releases/altmetric-launches-new-tool-to-help-academic-institutions-track-and-report-on-broader-impact-of-research/ [besucht am 8. Juni 2016].

Altmetric (2015). How is the Altmetric score calculated? https://help.altmetric.com/support/solutions/articles/6000060969-how-is-the-altmetric-score-calculated- [besucht am 8. Juni 2016].

Archambault, É.; Vignola-Gagné, É.; Côté, G. u. a. (2006). Benchmarking scientific output in the social sciences and humanities: The limits of existing databases. In: Scientometrics 68(3), S. 329–342. http://link.springer.com/10.1007/s11192-006-0115-z [besucht am 8. Juni 2016].

Bar-Ilan, J. (2012). JASIST@mendeley. In: ACM web science conference 2012 workshop. Evanston, IL. http://altmetrics.org/altmetrics12/bar-ilan/ [besucht am 8. Juni 2016].

Bollen, J.; Van de Sompel, H.; Hagberg, A.; Chute, R. (2009). A principal component analysis of 39 scientific impact measures. In: PloS one 4(6), e6022. http://www.plosone.org/article/info:doi/10.1371/journal.pone.0006022 [besucht am 8. Juni 2016].

Brown, T. (2004). Peer review and the acceptance of new scientific ideas. London: Sense About Science. http://www.senseaboutscience.org/data/files/resources/17/peerReview.pdf [besucht am 8. Juni 2016].

Clermont, M.; Dyckhoff, H. (2012). Coverage of business administration literature in Google Scholar: Analysis and comparison with EconBiz, Scopus and Web of Science. In: Bibliometrie – Praxis und Forschung 1, S. 5-1–5-19. http://www.bibliometrie-pf.de/article/view/165 [besucht am 8. Juni 2016].

Deutsche Forschungsgemeinschaft (2005). Publikationsstrategien im Wandel? Ergebnisse einer Umfrage zum Publikations- und Rezeptionsverhalten unter besonderer Berücksichtigung von Open Access. Weinheim: Wiley.

Dickel, S.; Franzen, M. (2015). Digitale Inklusion: Zur sozialen Öffnung des Wissenschaftssystems. In: Zeitschrift für Soziologie 44(5), S. 330–347.

Dong, P.; Loh, M.; Mondry, A. (2005). The “impact factor” revisited. In: Biomedical digital libraries 2(7). http://www.bio-diglib.com/content/2/1/7 [besucht am 8. Juni 2016].

Elsevier (2011). The evolution of journal assessment. Elsevier. http://www.journalmetrics.com/documents/Journal_Metrics_Whitepaper.pdf [besucht am 8. Juni 2016].

Eysenbach, G. (2011). Can tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact. In: Journal of Medical Internet Research 13(4). http://www.jmir.org/2011/4/e123/ [besucht am 8. Juni 2016].

Faas, T.; Schmitt-Beck, R. (2008). Die Deutsche Politikwissenschaft und Ihre Publikationen: Ist und Soll. Ergebnisse einer Umfrage unter den Mitgliedern der DVPW. In: Politikwissenschaft: Rundbrief der Deutschen Vereinigung für Politikwissenschaft (139), S. 166–176.

Franzen, M. (2015). Der Impact Faktor war gestern. In: Soziale Welt 66(2), S. 225–242.

Fröhlich, G. (1999). Das Messen des leicht Meßbaren: Output-Indikatoren, Impact-Maße: Artefakte der Szientometrie? In: Kommunikation statt Markt: Zu einer alternativen Theorie der Informationsgesellschaft. Hrsg. von Becker, J.; Göhring, W. Sankt Augustin: GMD – Forschungszentrum Informationstechnik, S. 27–38. http://eprints.rclis.org/9115/ [besucht am 8. Juni 2016].

Fröhlich, G. (2003). Anonyme Kritik: Peer Review auf dem Prüfstand der Wissenschaftsforschung. In: GMS Medizin – Bibliothek – Information 3(2), S. 33–39. http://www.agmb.de/mbi/2003_2/froehlich33-39.pdf [besucht am 8. Juni 2016].

Guerrero-Bote, V. P.; Moya-Anegón, F. (2012). A further step forward in measuring journals’ scientific prestige: The SJR2 indicator. In: Journal of Informetrics 6(4), S. 674–688. http://linkinghub.elsevier.com/retrieve/pii/S1751157712000521 [besucht am 8. Juni 2016].

Herb, U. (2011). Wissensorganisation à la Open Source: Wie die Open Knowledge Foundation freies Wissen fördert. In: C’t Magazin für Computer und Technik, S. 142–144. http://www.heise.de/artikel-archiv/ct/2011/19/142_kiosk [besucht am 8. Juni 2016].

Herb, U. (2015). Open Science in der Soziologie: Eine interdisziplinäre Bestandsaufnahme zur offenen Wissenschaft und eine Untersuchung ihrer Verbreitung in der Soziologie. Glückstadt: Verlag Werner Hülsbusch. https://zenodo.org/record/31234 [besucht am 8. Juni 2016].

Hirsch, J. E. (2005). An index to quantify an individual’s scientific research output. In: Proceedings of the National Academy of Sciences of the United States of America 102(46), S. 16569–16572. http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=1283832&tool=pmcentrez&rendertype=abstract [besucht am 8. Juni 2016].

House of Commons – Science and Technology Committee (2011). Peer review in scientific publications. Eighth report of session 2010–12. Bd. I: Report, together with formal minutes, oral and written evidence. http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/856.pdf [besucht am 8. Juni 2016].

Li, X.; Thelwall, M. (2012). F1000, Mendeley and traditional bibliometric indicators. In: Proceedings of the 17 th international conference on science and technology indicators. Hrsg. von Archambault, É. u. a. Bd. 2. Montréal: OST und Science-Metrix, S. 541–551. http://2012.sticonference.org/Proceedings/vol2/Li_F1000_541.pdf [besucht am 8. Juni 2016].

Li, X.; Thelwall, M.; Giustini, D. (2012). Validating online reference managers for scholarly impact measurement. In: Scientometrics 91(2), S. 461–471. http://www.springerlink.com/index/10.1007/s11192-011-0580-x [besucht am 8. Juni 2016].

McKerahan, T. L.; Carmichael, S. W. (2012). What is the impact factor, anyway? In: Clinical anatomy 25(3), S. 283. http://onlinelibrary.wiley.com/enhanced/doi/10.1002/ca.21291/ [besucht am 8. Juni 2016].

McVeigh, M. E.; Mann, S. J. (2009). The journal impact factor denominator: Defining citable (counted) items. In: JAMA: the journal of the American Medical Association 302(10), S. 1107–1109. http://jama.jamanetwork.com/article.aspx?doi=10.1001/jama.2009.1301 [besucht am 8. Juni 2016].

Merton, R. K. (1968). The matthew effect in science: The reward and communication systems of science are considered. In: Science 159(3810), S. 56–63. doi: 10.1126/science.159.3810.56 [besucht am 22. August 2016].

Münch, R. (2009). Publikationsverhalten in der Soziologie. In: Publikationsverhalten in unterschiedlichen Disziplinen: Beiträge zur Beurteilung von Forschungsleistungen. Hrsg. von Alexander von Humboldt-Stiftung. Bonn: Alexander von Humboldt-Stiftung, S. 69–77.

Nosek, B. A.; Bar-Anan, Y. (2012). Scientific utopia: I. Opening scientific communication. In: Psychological Inquiry 23(3), S. 217–243. http://www.tandfonline.com/doi/abs/10.1080/1047840X.2012.692215 [besucht am 8. Juni 2016].

Open Knowledge Foundation (2016). Open definition 2.1. http://opendefinition.org/od/2.1/en/.

Rossner, M.; Van Epps, H.; Hill, E. (2007). Show me the data. In: Journal of cell biology 179(6), S. 1091–1092. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2140038/?tool=pmcentrez [besucht am 19. August 2016].

Rossner, M.; Van Epps, H.; Hill, E. (2008). Irreproducible results: A response to Thomson Scientific. In: Journal of experimental medicine 205(2), S. 260–261. http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=2271027&tool=pmcentrez&rendertype=abstract [besucht am 8. Juni 2016].

Seglen, P. O. (1998). Citation rates and journal impact factors are not suitable for evaluation of research. In: Acta Orthopaedica 69(3), S. 224–229. http://www.informaworld.com/10.3109/17453679809000920 [besucht am 8. Juni 2016].

Shotton, D. (2013). Open citations. In: Nature 502(7471), S. 295–297. http://www.nature.com/doifinder/10.1038/502295a [besucht am 8. Juni 2016].

Shuai, X.; Pepe, A.; Bollen, J. (2012). How the scientific community reacts to newly submitted preprints: Article downloads, Twitter mentions, and citations. In: PLoS ONE 7(11), e47523. http://arxiv.org/abs/1202.2461 [besucht am 8. Juni 2016].

Smeyers, P.; Burbules, N. C. (2011). How to improve your impact factor: Questioning the quantification of academic quality. In: Journal of Philosophy of Education 45(1), S. 1–17. doi: 10.1111/j.1467-9752.2011.00787.x [besucht am 22. August 2016].

Suber, P. (2007). Why we need OA to citation data. In: Open Access News: News from the open access movement. http://www.earlham.edu/~peters/fos/2007/12/why-we-need-oa-to-citation-data.html [besucht am 8. Juni 2016].

The PLoS Medicine Editors (2006). The impact factor game: It is time to find a better way to assess the scientific literature. In: PLoS medicine 3(6), e291. http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0030291 [besucht am 8. Juni 2016].

Thelwall, M.; Haustein, S.; Larivière, V.; Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. In: PloS one (8) (5), e64841. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3665624/?tool=pmcentrez [besucht am 19. August 2016].

Van Leeuwen, T. (2013). Bibliometric research evaluations, Web of Science and the social sciences and humanities: A problematic relationship? In: Bibliometrie – Praxis und Forschung 2, S. 8-1–8-18. http://www.bibliometrie-pf.de/article/view/173 [besucht am 8. Juni 2016].

West, J.; Bergstrom, C. T. (2008). Pseudocode for calculating EigenfactorTM score and Article InfluenceTM score using data from Thomson-Reuters Journal Citations Reports. http://www.jevinwest.org/Documents/JournalPseudocode_EF.pdf [besucht am 22. August 2016].


Downloads

Downloads per month over past year

Actions (login required)

View Item View Item