"Informed Peer Review" : Ausgleich der Fehler und Verzerrungen?

Fröhlich, Gerhard . "Informed Peer Review" : Ausgleich der Fehler und Verzerrungen?, 2006 In: UNSPECIFIED, (ed.) Von der Qualitätssicherung der Lehre zur Qualitätsentwicklung als Prinzip der Hochschulsteuerung? Hochschulrektorenkonferenz HRK, pp. 193-204. [Book chapter]

Preview

PDF 0510informedpeer.pdf Download (212kB) | Preview

English abstract

Under the aspects of science studies, evaluation (in the sense of criticizm, evaluation of theories, methods, reports according to scientific criteria) is constuitive for scientific methodology. "Ruthless" (Karl Popper) criticizm is a definition criterion for science. The peer review system does not exist in the singular version, only in most different practises, which have only the name in common. Researches for inhibitory factors for scientific innovation show several misjudgements of evaluators and editors of acknowledged journals. The myth of quality control: at experimental enquiries of manuscripts with several errors inside, referees did not recognise even the severe flaws. Qualitative evaluations of articles of reviewed journals showed heavy deficiencies. Only very few cases of scientific misconduct (plagiarism, fraud and camouflage) were uncovered by referees or editors. Peer review and scientometrics: Do errors and distortions really balance each other? Defenders of the status quo often correlate evaluator decisions with the number of citations. But they are prone for the same distortions: already established theories, methods, scientists and institutions are rewarded by the "impact" factor, innovative, status lower outsiders are punished. The "Matthew Effect" (Robert K. Merton) is getting stronger through the interaction of quantitative and qualitative evaluation. Reform suggestions demand the right of access to the full text of the evaluations by refereed persons, mandatory, open lists of criteria for evaluators. More radical pundits demand open systems instead of arcane practises, especially the storage of manuscripts, evaluation reports, statements and critiques in digital archives. I suggest to give more space to coincidence, as well at the selection of referees, as well at the meta analysis of the raw data, laboratory diaries and evaluation reports.

German abstract

Wissenschaftstheoretisch gesehen ist Evaluation (im Sinne von Kritik, Bewertung von Theorien, Methoden, Befunden nach wissenschaftlichen Kriterien) konstitutiv für wissenschaftliche Methodik. "Rücksichtslose" (Karl Popper) Kritik ist ein Definitionskriterium für Wissenschaft. Das Peer-Review-System im Singular gibt es nicht, sondern nur höchst unterschiedliche Praktiken, die oft bloß den Namen gemeinsam haben. Recherchen nach hemmenden Faktoren für wissenschaftliche Innovation zeigen zahllose Fehlurteile von Gutachtern bzw. Herausgebern renommierter Journale. Mythos Qualitätskontrolle: Bei den experimentellen Untersuchungen mittels Manuskripten mit eingebauten Fehlern übersahen die Referees auch schwere Fehler. Qualitative Bewertungen von Artikeln aus referierten Journalen zeigen schwerste Mängel. Nur wenige Fälle wissenschaftliches Fehlverhaltens (Plagiat, Betrug und Täuschung) wurden durch Referees bzw. Editoren aufgedeckt. Peer Review und Szientometrie: Gleichen sich deren Fehler und Verzerrungen wirklich aus? Verteidiger des Status quo korrelieren oft Gutachter-Bewertungen mit Zitationshäufigkeiten. Doch diese sind für die gleichen Verzerrungen anfällig: Bereits etablierte Theorien, Methoden, WissenschaftlerInnen, Institutionen werden durch "Impact"-Werte belohnt, innovative, noch statusniedrige Außenseiter hingegen bestraft. Der "Matthäus-Effekt" (Robert K. Merton) wird in der Interaktion von quantitativer und qualitativer Evaluation weiter aufgeschaukelt. Reformvorschläge pochen auf Einsichtnahme in die vollständigen Gutachtentexte durch die Begutachteten, verbindliche, offen gelegte Kriterienlisten für Gutachter. Radikalere Kritiker fordern statt Arkanpraxis offene Systeme, v.a. die Lagerung von Manuskripten, Gutachten, Stellungnahmen und Kritiken in digitalen Archiven. Ich schlage vor, dem Zufall mehr Raum zu geben, sowohl bei der Auswahl der Referees, als auch bei der Meta-Analyse der Rohdaten, Labor-Tagebüchern und der Gutachten selbst.

Item type:	Book chapter
Keywords:	Peer Review, Szientometrie, Wissenschaftsforschung, Kritik, peer review, scientometrics, social studies of science, critics
Subjects:	B. Information use and sociology of information > BB. Bibliometric methods E. Publishing and legal issues. > EF. Censorship.
Depositing user:	Wolfgang Theis
Date deposited:	24 Jan 2007
Last modified:	02 Oct 2014 12:06
URI:	http://hdl.handle.net/10760/8838

References

Addis, E. / Villa, P. (2003): The Editorial Boards of Italian Economics Journals: Women, Gender, and Social Networking. Feminist Economics 9 (1), 75-91

Armstrong, J. S. (1997): Peer Review for Journals: Evidence on Quality Control, Fairness, and Innovation. Science and Engineering Ethics 3 (1),63-84

Azar, O. F. (2004): Rejections and the Importance of First Response Times. International Journal of Social Economics, February 2004

Biagioli, M. (2002): From Book Censorship to Academic Peer Review. Emergences 12 (1), 11-45

Bradley, J. V. (1981): Pernicious publication practices. Bulletin of the Psychonomic Society 18 (1), 31-34

Braun, T. / Dióspatonyi, I. (2005): US Scientists Dominate as Journal Gatekeepers. The Scientist 19 (5), 10

Campanario, J. M. (1996): The Competition for Journal Space among Referees, Editors, and Other Authors and Its Influence on Journals' Impact Factors. Journal of the American Society for Information Science 47 (3), 184-192

Eldredge, J. D. (1997): Identifying peer-reviewed journals in clinical medicine. Bulletin of the Medical Library Association 85 (4); 418-422

FeIt, U. et al. (1995): Wissenschaftsforschung. Frankfurt a. M. /New York

Fischer, K. (2002): "Ist Wissenschaftsevaluation unvermeidlich innovationshemmend?", in: Pipp, E. (Hg.): Drehscheibe E-Mitteleuropa. Wien, 109-128

Frey, B. S. (2004): Publizieren als Prostitution? Perspektiven der Wirtschaftspolitik 5 (3), 333-336

Fröhlich, G. (1999): Das Messen des leicht Meßbaren. Output-Indikatoren, Impact Maße: Artefakte der Szientometrie? GMD-Report 61, 27-38

Fröhlich, G. (2002): Anonyme Kritik. Peer Review auf dem Prüfstand der empirisch theoretischen Wissenschaftsforschung, in: Pipp, E. (Hg.): Drehscheibe E-Mitteleuropa. Wien, 129-146, http://eprints.rclis.org/archive/00008499/

Fröhlich, G. (2003a): Wie rein ist die Wissenschaft? Fälschung und Betrug im rauen Wissenschaftsalltag, in: Etzlsdorfer, Hannes et al. (Hrsg.) echt_falsch. Will die Welt betrogen sein? Wien, 72-93

Fröhlich, G. (2003b): Visuelles in der wissenschaftlichen Kommunikation - z. B. Betrug und Fälschung. S - European Journal for Semiotic Studies 15 (2-4), 627-655

Gans, J. S. / Shepherd, G. B. (1994): How are the Mighty Fallen: Rejected Classic Artic1es by Leading Economists. Journal of Economic Perspectives 8 (1), 165 -180

Glogoff, S. (1988): Reviewing the Gatekeepers: A Survey of Referees of Library Journals. American Society for Information Science Journal 39 (6), 400-407

Green, K. (1998): The Gender Composition of Editorial Boards in Economics. Royal Economic Society's Committee on Women in Economics

Kiernan, V. (1998): Tobacco Industry Paid Letter-Writing Scientists. The Chronicle of Higher Education, 14. 8. 1998, A16

Meinefeld, W. (1985): Die Rezeption empirischer Forschungsergebnisse - eine Frage von Treu und Glaube? Zeitschrift für Soziologie 14 (4), 297-314

Merton, R. K. (1968): The Matthew Effect in Science. Science 159 (3810), 56-83

Merton, R. K. (1988): The Matthew Effect in Seience, 11. Cumulative Advantage and the Symbolism of Scientific Property. ISIS 79, 606-623

Peters, D. P. / Ceci, S. J. (1982): Peer review practices of psychological journals: The fate of published artic1es, submitted again. Behavioral and Brain Science 5, 187-195

Popper, K. R. (1969): Das Elend des Historizismus. Tübingen (c 1965)

Simkin, M. V. / Roychowdhury, V. P. (2003): Read before you cite! Complex Systems 14 (3), 269-274

Stegemann-Boehl, S. (1994): Fehlverhalten von Forschern. Stuttgart

Weller, A.C. (2001): Editorial Peer Review: Its Strengths and Weknesses. Medford / NJ

Downloads

Actions (login required)

View Item