Das Messen des leicht Meßbaren : Output-Indikatoren, Impact-Maße: Artefakte der Szientometrie?

Fröhlich, Gerhard . Das Messen des leicht Meßbaren : Output-Indikatoren, Impact-Maße: Artefakte der Szientometrie?, 1999 In: Kommunikation statt Markt : Zu einer alternativen Theorie der Informationsgesellschaft. GMD - Forschungszentrum Informationstechnik GmbH, pp. 27-38. [Book chapter]

Preview

PDF Das_Messen_des_leicht_Messbaren.pdf Download (94kB) | Preview

English abstract

Formal scientometric models serve for mathematical modelling and extra polation of quantitative developments. They are hardly usable for contentual, practise relevant, power sensitive questions, because they ignore the social character of scientific methods (Karl Popper). Nowadays databases are used more and more for the generation of output and input factors: publication frequency of authors, institutions, disciplines ("productivity"), frequency of citations ("impact"), often interpreted as "quality" of publications. The equalisation of productivity with scientific achievment, creativity and innovation, as well of syntony with quality are highly questionable: they ignore customs and power relations, see the discussion about "unethical authorships": department leaders, brokers of money or material are mentioned as "honour authors" at all papers of the project. Important contributors are hidden in footnotes (sub-authors). Several cash flows from several funds for several authors produce several papers, on which someone can be mentioned as co-author. Evaluative scientometrics is not – as claimed – based on "non-reactive measurement procedures". The "measurement"-proceedings in interatcion with the anticipation of the affected persons produce artifacts: artificial products and result distortions. The logic of quantitative evaluation seems to be similar to the Soviet centrally planned economy logic. Productivity parameters of authors, groups and institutions are more indicators for power, social and economical capital, than for "pure" scientific achievment. Syntony is also an effect of publicity, prestige, connections and money: "Hot papers" descend from more authors from from more participating insitutions than average quoted papers. The more research supporters, the more impact. With the growing number of co-authors, the number of direct and indirect "self citations" is growing as well ("group-self-citations2). Distorting, less known authors and institutions discriminating facts: citation databases adopt the quotation lists of the original papers with all included errors. They are not randomly distributed: the names of more known authors are more likely to be written correctly respectively a misspelling is more likely to be corrected than of unknown authors, English-based names of authors are more likely to be spellt correctly than non-English ones in US-databases. The journal bias of the ISI has called for criticizm and reform suggestions. For the reform of scientific communication Cameron suggests an universal, internet-based, bibliographic citation database. In the age of cost effective decentralized internet technologies this is not an utopian enterprise. I plead for scientometrics, that has been enlightened by philosophy of science and that has been purified by social sciences.

German abstract

Formale szientiometrische Modelle dienen mathematischer Modellierung und Extrapolation quantitativer Entwicklungen. Für inhaltliche, praxisrelevante, machtsensitive Fragestellungen sind sie kaum geeignet, denn sie ignorieren den sozialen Charakter der wissenschaftlichen Methoden (Karl Popper). Datenbanken werden heute immer mehr zur Erstellung von Output- und Impact-Indikatoren genutzt: Publikationshäufigkeit von Autoren, Institutionen, Disziplinen ("Produktivität"); Zitationshäufigkeiten ("Impact"), oft interpretiert als "Qualität" von Publikationen. Gleichsetzungen von Produktivität mit wissenschaftlicher Leistung, Kreativität und Innovation sowie von Resonanz mit Qualität sind äußerst fragwürdig: Sie ignorieren Betriebssitten und Machtverhältnisse, vergleiche die Debatte um "unethische Autorenschaft": Institutsleiter, Vermittler von Geld oder Material werden oft bei allen Artikeln aus dem Projekt als "Ehrenautoren" angeführt. Wichtige Mitarbeiter werden hingegen in Fußnoten versteckt (Subautoren ). Viele Gelder aus vielen Fonds für viele Autoren erbringen viele Papers, auf denen man sich als Koautor anführen lassen kann. Evaluative Szientometrie beruht keineswegs, wie beansprucht, auf "nicht-reaktiven Messverfahren". Die "Mess"-Vorgänge in Interaktion mit der Antizipation der Betroffenen produzieren Artefakte: Kunstprodukte und Ergebnisverzerrungen. Die Logik quantitativer Evaluation ähnelt der sowjetischen Planwirtschaftslogik. Produktivitätskennziffern von Autoren, Gruppen und Institutionen sind eher Indikatoren für Macht, soziales und ökonomisches Kapital, als für "reine" wissenschaftliche Leistung. Auch Resonanz ist ein Effekt von Bekanntheit, Ansehen, Beziehungen und Geld: "Hot papers" stammen von mehr Autoren aus mehr partizipierenden Institutionen als durchschnittlich zitierte Papiere; je mehr Forschungsförderer, desto mehr Impact. Mit der Zahl der Ko-Autoren steigt die Zahl direkter und indirekter "Selbst-Zitationen" ("Gruppen-Selbst-Zitationen", "Zitationsfilz"). Verzerrende, die weniger bekannten Autoren bzw. Institutionen benachteiligende Faktoren: Zitationsdatenbanken übernehmen die Zitatenlisten der Originalaufsätze mit allen enthaltenen Fehlern. Diese sind nicht zufällig verteilt: Bekanntere Autorennamen werden eher richtig geschrieben bzw. ihre Falschschreibung häufiger erfolgreich korrigiert als unbekanntere, englischsprachige Autorennamen in den US-Datenbanken eher richtig buchstabiert als fremdsprachige. Der Zeitschriften-Bias der ISI-Produkte hat Kritik und Reformvorschläge auf den Plan gerufen. Cameron schlägt zwecks Reformierung der Wissenschaftskommunikation eine universale, internet-basierte, bibliographische Zitationsdatenbase vor. Im Zeitalter kostengünstiger dezentral verteilter Internet-Technologien wäre dies kein utopisches Vorhaben. Ich plädiere für eine wissenschaftstheoretisch aufgeklärte und sozialwissenschaftlich geläuterte Szientometrie.

Item type:	Book chapter
Keywords:	Wissenschaftsforschung, Szientometrie, Impact Factor, Output Indikator, Datenbank, Bibliometrie, scientometrics, impact factor, output indicator, database, bibliometrics, science studies
Subjects:	B. Information use and sociology of information > BA. Use and impact of information. B. Information use and sociology of information > BB. Bibliometric methods
Depositing user:	Wolfgang Theis
Date deposited:	20 Mar 2007
Last modified:	02 Oct 2014 12:06
URI:	http://hdl.handle.net/10760/9115

References

Anderson, C. (1992): Authorship: Writer’s cramp. Nature 355, 101

Bungard, W./Lück, H. E. (1974): Forschungsartefakte und nicht-reaktive Meßverfahren. Stgt.

Cameron, R. D. (1997): A Universal Citation Database as a Catalyst for Reform in Scholarly Communication. <http://elib.cs.sfu.ca/project/papers/citebase/citebase. html> (letzter URL-Test: 7. 11. 1999)

Candolle, A. de (1885): Histoire des sciences et des savants ... Genève-Bale

Callon, M. et al. (Eds., 1986): Mapping the Dynamics of Science and Technology. Houndsmill, London

Cronin, B./Snyder, H. W. (1995): "Citation indexing's Achilles Heel? Evaluative bibliometrics and non coverage of the monographic literature" <http://www-slis.lib. indiana.edu/Research/cronin-achilles.html> (letzter URL-Test: 7. 11. 1999)

Cronin, B. et al. (1997): Comparative citation rankings of authors in monographic and journal literature: A study of sociology. Journal of Documentation 53 (3), 263-273

Finetti, M./Himmelrath, A. (1999): Der Sündenfall. Betrug und Fälschung in der deutschen Wissenschaft. Stgt. etc.

Flanagin, A. et al. (1998): Prevalence of Articles With Honorary Authors and Ghost Authors in Peer-Reviewed Medical Journals. JAMA 280, 222-224

Fröhlich, G. (1994): Der (Mehr-)Wert der Wissenschaftskommunikation, in: Rauch, W. (Hg.): Der Mehrwert der Information. Konstanz, 84-95

Fröhlich, G. (1996): Surplus Values of Scientific Communication. Review of Information Science 1(2), http://eprints.rclis.org/archive/00008670/

Fröhlich, G. (1998): Optimale Informationsvorenthaltung als Strategem wissenschaftlicher Kommunikation, in: Zimmermann, H./Schramm, V. (Hg.): Knowledge Management und Kommunikationssysteme. Konstanz, 535-549, http://eprints.rclis.org/archive/00008496/

Fröhlich, G. (1999a): Kontrolle durch Konkurrenz und Kritik? Der öffentliche und soziale Charakter der wissenschaftlichen Methoden, in: Löffler, W. L./ Runggaldier, E. (Hg., 1999): Vielfalt und Konvergenz der Philosophie. Wien, Teil 1, 166-170

Fröhlich, G. (1999b): Gegen-Evaluation: Das Peer-Review-System auf dem Prüfstand der Wissenschaftsforschung. GWTF-Jahrestagung 1999, Hamburg (Gesellschaft für Wissenschafts- und Technikforschung)

Galton, F. (1874): English Men of Science: Their Nature and Nurture. London

Garfield, E. (1977): Essays of an information scientist. Philadelphia, 2. Bände

Garfield, E. (1979): Citation Indexing. N. Y. etc.

Gould, C. C. (Ed., 1989): The Information Web. Ethical and Social Implications of Computer Networking. Boulder et al.

Gupta, B. M./Karisiddappa, C. R. (1998): Collaboration in theoretical population genetics speciality. Scientometrics 42 (3), 349-376

Haiqi, Z. (1997): More authors, more institutions, and more funding sources: Hot papers in biology from 1991 to 1993. Journal of the American Society for Information Science 48 (7), 662-666

Lewison, G./Dawson, G. (1998): The effect of funding on the outputs of biomedical research. Scientometrics 41 (1-2), 17-27

Lotka, A. J. (1926): The frequency distribution of scientific productivity. Journal of the Washington Academy of Science 16, 317

Luwel, M./Moed, H. F. (1998): Publication delays in the science field and their relationship to the ageing of scientific literature. Scientometrics 41 (1-2), 29-40

Merton, R. K. (1968): The Matthew Effect in science. Science 159 (3810), 56-83

Merton, R. K. (1988): The Matthew Effect in Science, II. Cumulative advantage and the symbolism of scientific property. ISIS 79, 606-623

Popper, K. R. (1970), Die offene Gesellschaft und ihre Feinde, Band 2. Bern/München (c 1958)

Price, D. de S. (1974): Little Science, Big Science. Ffm. (Original USA 1963)

Szabó, A. T. (1985): Alphones de Candolle’s early Scientometrics (1883, 1885) with references to recent trends in the field (1978-1983). Scientometrics 8 (1-2), 13-33

Ugolini D. et al. (1997): Analysis of publication quality in a Cancer Research Institute. Scientometrics 38 (2), 265-274

Van Hooydonk, G. (1998): Standardizing relative impacts: Estimating the quality of research from citation counts. Journal of the American Society for Information Science 49 (10), 932-941

Van Hooydonk, G./Milis-Proost, G. (1998): Measuring impact by a full option method and the notion of bibliometric spectra. Scientometrics 41 (1-2), 169-183

Van Raan, A. F. J. (1998): The influence of international collaboration on the impact of research results: Some simple mathematical considerations concerning the role of self-citations. Scientometrics 42 (3), 423-428

Downloads

Actions (login required)

View Item