Open Citations – Die Transparenzforderungen der San Francisco Declaration on Research Assessment (DORA)

Tüür-Fröhlich, Terje Open Citations – Die Transparenzforderungen der San Francisco Declaration on Research Assessment (DORA). Information. Wissenschaft & Praxis, 2018, vol. 69, n. 4, pp. 183-189. [Journal article (Paginated)]

[img]
Preview
Text
[Information - Wissenschaft Praxis] Open Citations Die Transparenzforderungen der San Francisco Declaration on Research Assessment (DORA).pdf - Published version

Download (1MB) | Preview

English abstract

A growing number of learned societies, journals, institutions and scientists argue and campaign against the 'almighty' journal impact factor. The most famous initiative of protests and recommendations is named DORA, The San Francisco Declaration on Research Assessment. The critics emphasize the erroneous, biased and "opaque" nature of quantitative evaluation procedures and their negative effects on scientific personnel, especially early career scientists and scientific development. The often subtle discrimination of cultural and social sciences is overseen and not discussed at all. We should not uncritically be captured by the metrics paradigm and hail the next indicator presented. DORA’s slogan "Putting Science into the Assessment of Research" may not be understood only as a scientometrical abbreviation. Social phenomena cannot be studied merely by quantitative and natural sciences methods. Critique and transformation of the social activities – which evaluation is – demand to consider the perspectives of philosophy of sciences and social sciences. Evaluation is not a value-free establishment, but closely linked to power structures, including the decision making for the available resources apportionment.

German abstract

Eine wachsende Anzahl von wissenschaftlichen Gesellschaften, Zeitschriften, Institutionen und wissenschaftlich Tätigen protestieren und bekämpfen den "allmächtigen" Journal Impact Faktor. Die bekannteste Initiative von Protest und Empfehlungen heißt DORA, The San Francisco Declaration on Research Assessment. Kritisiert wird die fehlerhafte, verzerrte und intransparente Art der quantitativen Evaluationsverfahren und ihre negativen Auswirkungen auf das wissenschaftliche Personal, insbesondere auf junge Nachwuchskräfte und ihre wissenschaftliche Entwicklung, insbesondere die subtile Diskriminierung von Kultur- und Sozialwissenschaften. Wir sollten nicht unkritisch im Metrik-Paradigma gefangen bleiben und der Flut neuer Indikatoren aus der Szientometrie zujubeln. Der Slogan "Putting Science into the Assessment of Research" darf nicht szientistisch verkürzt verstanden werden. Soziale Phänomene können nicht bloß mit naturwissenschaftlichen Methoden untersucht werden. Kritik und Transformation der sozialen Aktivitäten, die sich "Evaluation" nennen, erfordern sozialwissenschaftliche und wissenschaftsphilosophische Perspektiven. Evaluation ist kein wertneutrales Unternehmen, sondern ist eng mit Macht, Herrschaft, Ressourcenverteilung verbunden.

French abstract

Un nombre croissant de sociétés savantes, de revues, d’institutions et de chercheurs contestent et contestent et combattent « l’hégémonie » du facteur d’impact des revues. L’initiative la plus célèbre en termes de protestation et de recommandations est DORA, la Déclaration de San Francisco sur l’évaluation de la recherche. Les critiques soulignent le caractère erroné, déformé et opaque du processus d’évaluation quantitative et ses effets négatifs sur le personnel scientifique, en particulier sur les jeunes chercheurs et sur le développement des sciences, relevant notamment la discrimination subtile des sciences sociales et culturelles. Nous ne devrions pas rester enfermés sans esprit critique dans le paradigme des métriques et applaudir le flot de nouveaux indicateurs issus de la scientométrie. Le slogan « Putting Science into the Assessment of Research » (« Pour une évaluation scientifique de la recherche ») ne doit pas être compris de façon réductrice et scientiste. Les phénomènes sociaux ne peuvent pas être étudiés exclusivement avec les méthodes des sciences exactes. La critique et la transformation des activités sociales qui s’appellent « évaluation » requièrent les perspectives de la sociologie et de la philosophie des sciences. L’évaluation n’est pas une entreprise neutre en termes de valeur, mais elle est étroitement liée au pouvoir, à la domination et à l’allocation des ressources.

Item type: Journal article (Paginated)
Keywords: Citation frequency, Criticism, Evaluation, Impact factor, Research, Scientist, Social sciences
Subjects: B. Information use and sociology of information > BB. Bibliometric methods
B. Information use and sociology of information > BC. Information in society.
Depositing user: Claus Harringer
Date deposited: 19 Mar 2020 07:17
Last modified: 19 Mar 2020 07:17
URI: http://hdl.handle.net/10760/39749

References

Adam, David. 2002. The counting house. Nature, 415: 726–729.

Archambault, Éric and Vincent Larivière. 2009. History of the journal impact factor: contingencies and consequences. Scientometrics 79 (3): 1–15.

Balaram, Padmanabhan. 2013. Research Assessment: Declaring War on the Impact Factor. Current Science, 104: 1267–1268.

Bundesministerin für Wissenschaft und Forschung Wien (2010/2012): Kennzahl 3.B.1: Wissensbilanz, Leistungsvereinbarung: Output und Wirkungen der Kernprozesse – Forschung und Entwicklung/Entwicklung und Erschließung der Künste. Verordnung der Bundesministerin für Wissenschaft und Forschung über die Wissensbilanz (Wissensbilanz-Verordnung 2010 – WBV 2010) StF: BGBl. II Nr. 216/2010; Änderung BGBl. II Nr. 292/2012; BGBl. II Nr. 253/2013.

Chou, Chuing Prudence, Hsiao Fang Lin and Yun-ju Chiu. 2013. The impact of SSCI and SCI on Taiwan’s academy: an outcry for fair play. Asia Pacific Education Review, 14: 23–31. DOI: 10.1007/s12564-013-9245-1.

DORA. 2012. San Francisco Declaration on Research Assessment. Putting science into the assessment of research. http://am.ascb.org/dora/ [15.5.2018]; aktuell https://sfdora.org [21.7.2018].

DORA. 2013. Letter to Thompson (sic! TTF) Reuters. Archiviert unter https://web.archive.org/web/20170204072933/, http://www.ascb.org/dora/a-letter-to-thompson-reuters/ [25.5.2018]

Espeland, Wendy Nelson und Mitchell L. Stevens. 2008. A Sociology of Quantification. European Journal of Sociology 49: 401–436.

Franceschini, Fiorenzo, Domenico Maisano and Luca Mastrogiacomo. 2016. Do Scopus and WoS correct ‘old’ omitted citations? Scientometrics. Published online: 1 February 2016. DOI 10.1007/s11192-016-1867-8.

Harzing, Anne-Wil. 2013. Document categories in the ISI Web of Knowledge: Misunder-standing the Social Sciences? Scientometrics 94: 23–34.

Jacsó, Péter. 2009. Errors of omission and their implications for computing scientometric measures in evaluating the publishing productivity and impact of countries. Online Information Review 33 (2): 376-385.

Jiménez-Contreras, Evaristo, Delgado López-Cózar, Rafael Ruiz-Pérez und Víctor M. Fernández. 2002. Impact-factor rewards affect Spanish research. Nature 417 (6892): 898.

Merton, Robert King. 1973. The Sociology of Science: Theoretical and Empirical Investigations, 267–278. Chicago: University of Chicago Press.

Merton, Robert King. 1972. Wissenschaft und demokratische Sozialstruktur. In: (Hrsg.) Peter Weingart, Wissenschaftssoziologie I. Wissenschaftliche Entwicklung als sozialer Prozeß, 45–59. Frankfurt/Main: Fischer Athenäum.

Merton, Robert King. 1968. The Matthew Effect in Science. Science 159(3810): 56–83.

Moed, Henk F. 2005. Citation Analysis in Research Evaluation. Dordrecht: Springer.

Rossner, Mike, Heather Van Epps and Emma Hill. 2007. Show me the data. The Journal of cell biology 179: 1091–1092.

Rossner, Mike, Heather Van Epps and Emma Hill. 2008. Irreproducible Results – a Response to Thomson Scientific. The Journal of General Physiology 131: 183–184.

Seglen, Per O. 1997. Why the impact factor of journals should not be used for evaluating research. British Medical Journal 314: 497–502.

Šubelj, Lovor, Marko Bajec, Biljana Mileva Boshkoska, Andrej Kastrin and Zoran Levnajić. 2015. Quantifying the Consistency of Scientific Databases. PLoS ONE 10(5): e0127390. doi:10.1371/journal.pone.0127390.

Tüür-Fröhlich, Terje. 2014. "Needless to say my proposal was turned down". The early days of commercial citation indexing, an "error-making" (Popper) activity and its repercussions till today. Theory of Science 36 (2):155–180. http://sammelpunkt.philo.at:8080/2426/ [15.5.2018].

Tüür-Fröhlich, Terje. 2016. The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation. Glücksstadt/D.: VWH, Schriften zur Informationswissenschaft, Band 69 (zugleich Doctoral Thesis, Johannes Kepler Universität Linz, Institut für Philosophie und Wissenschaftstheorie).

Tüür-Fröhlich, Terje. 2018. Eine "autoritative" Datenbank auf dem Prüfstand: Der Social Sciences Citation Index (SSCI) und seine Datenqualität. Erscheint in: IWP 69(5–6).

Wu, Xiu-fang, Qiang Fu and Ronald Rousseau. 2008. On indexing in the Web of Science and predicting journal impact factor. Journal of Zhejiang University SCIENCE B 9 (7): 582–590.


Downloads

Downloads per month over past year

Actions (login required)

View Item View Item