Fröhlich, Gerhard . Das Messen des leicht Meßbaren : Output-Indikatoren, Impact-Maße: Artefakte der Szientometrie?, 1999 In: Kommunikation statt Markt : Zu einer alternativen Theorie der Informationsgesellschaft. GMD - Forschungszentrum Informationstechnik GmbH, pp. 27-38. [Book chapter]
|
PDF
Das_Messen_des_leicht_Messbaren.pdf Download (94kB) | Preview |
English abstract
Formal scientometric models serve for mathematical modelling and extra polation of quantitative developments. They are hardly usable for contentual, practise relevant, power sensitive questions, because they ignore the social character of scientific methods (Karl Popper). Nowadays databases are used more and more for the generation of output and input factors: publication frequency of authors, institutions, disciplines ("productivity"), frequency of citations ("impact"), often interpreted as "quality" of publications. The equalisation of productivity with scientific achievment, creativity and innovation, as well of syntony with quality are highly questionable: they ignore customs and power relations, see the discussion about "unethical authorships": department leaders, brokers of money or material are mentioned as "honour authors" at all papers of the project. Important contributors are hidden in footnotes (sub-authors). Several cash flows from several funds for several authors produce several papers, on which someone can be mentioned as co-author. Evaluative scientometrics is not – as claimed – based on "non-reactive measurement procedures". The "measurement"-proceedings in interatcion with the anticipation of the affected persons produce artifacts: artificial products and result distortions. The logic of quantitative evaluation seems to be similar to the Soviet centrally planned economy logic. Productivity parameters of authors, groups and institutions are more indicators for power, social and economical capital, than for "pure" scientific achievment. Syntony is also an effect of publicity, prestige, connections and money: "Hot papers" descend from more authors from from more participating insitutions than average quoted papers. The more research supporters, the more impact. With the growing number of co-authors, the number of direct and indirect "self citations" is growing as well ("group-self-citations2). Distorting, less known authors and institutions discriminating facts: citation databases adopt the quotation lists of the original papers with all included errors. They are not randomly distributed: the names of more known authors are more likely to be written correctly respectively a misspelling is more likely to be corrected than of unknown authors, English-based names of authors are more likely to be spellt correctly than non-English ones in US-databases. The journal bias of the ISI has called for criticizm and reform suggestions. For the reform of scientific communication Cameron suggests an universal, internet-based, bibliographic citation database. In the age of cost effective decentralized internet technologies this is not an utopian enterprise. I plead for scientometrics, that has been enlightened by philosophy of science and that has been purified by social sciences.
German abstract
Formale szientiometrische Modelle dienen mathematischer Modellierung und Extrapolation quantitativer Entwicklungen. Für inhaltliche, praxisrelevante, machtsensitive Fragestellungen sind sie kaum geeignet, denn sie ignorieren den sozialen Charakter der wissenschaftlichen Methoden (Karl Popper). Datenbanken werden heute immer mehr zur Erstellung von Output- und Impact-Indikatoren genutzt: Publikationshäufigkeit von Autoren, Institutionen, Disziplinen ("Produktivität"); Zitationshäufigkeiten ("Impact"), oft interpretiert als "Qualität" von Publikationen. Gleichsetzungen von Produktivität mit wissenschaftlicher Leistung, Kreativität und Innovation sowie von Resonanz mit Qualität sind äußerst fragwürdig: Sie ignorieren Betriebssitten und Machtverhältnisse, vergleiche die Debatte um "unethische Autorenschaft": Institutsleiter, Vermittler von Geld oder Material werden oft bei allen Artikeln aus dem Projekt als "Ehrenautoren" angeführt. Wichtige Mitarbeiter werden hingegen in Fußnoten versteckt (Subautoren ). Viele Gelder aus vielen Fonds für viele Autoren erbringen viele Papers, auf denen man sich als Koautor anführen lassen kann. Evaluative Szientometrie beruht keineswegs, wie beansprucht, auf "nicht-reaktiven Messverfahren". Die "Mess"-Vorgänge in Interaktion mit der Antizipation der Betroffenen produzieren Artefakte: Kunstprodukte und Ergebnisverzerrungen. Die Logik quantitativer Evaluation ähnelt der sowjetischen Planwirtschaftslogik. Produktivitätskennziffern von Autoren, Gruppen und Institutionen sind eher Indikatoren für Macht, soziales und ökonomisches Kapital, als für "reine" wissenschaftliche Leistung. Auch Resonanz ist ein Effekt von Bekanntheit, Ansehen, Beziehungen und Geld: "Hot papers" stammen von mehr Autoren aus mehr partizipierenden Institutionen als durchschnittlich zitierte Papiere; je mehr Forschungsförderer, desto mehr Impact. Mit der Zahl der Ko-Autoren steigt die Zahl direkter und indirekter "Selbst-Zitationen" ("Gruppen-Selbst-Zitationen", "Zitationsfilz"). Verzerrende, die weniger bekannten Autoren bzw. Institutionen benachteiligende Faktoren: Zitationsdatenbanken übernehmen die Zitatenlisten der Originalaufsätze mit allen enthaltenen Fehlern. Diese sind nicht zufällig verteilt: Bekanntere Autorennamen werden eher richtig geschrieben bzw. ihre Falschschreibung häufiger erfolgreich korrigiert als unbekanntere, englischsprachige Autorennamen in den US-Datenbanken eher richtig buchstabiert als fremdsprachige. Der Zeitschriften-Bias der ISI-Produkte hat Kritik und Reformvorschläge auf den Plan gerufen. Cameron schlägt zwecks Reformierung der Wissenschaftskommunikation eine universale, internet-basierte, bibliographische Zitationsdatenbase vor. Im Zeitalter kostengünstiger dezentral verteilter Internet-Technologien wäre dies kein utopisches Vorhaben. Ich plädiere für eine wissenschaftstheoretisch aufgeklärte und sozialwissenschaftlich geläuterte Szientometrie.
Item type: | Book chapter |
---|---|
Keywords: | Wissenschaftsforschung, Szientometrie, Impact Factor, Output Indikator, Datenbank, Bibliometrie, scientometrics, impact factor, output indicator, database, bibliometrics, science studies |
Subjects: | B. Information use and sociology of information > BA. Use and impact of information. B. Information use and sociology of information > BB. Bibliometric methods |
Depositing user: | Wolfgang Theis |
Date deposited: | 20 Mar 2007 |
Last modified: | 02 Oct 2014 12:06 |
URI: | http://hdl.handle.net/10760/9115 |
References
Downloads
Downloads per month over past year
Actions (login required)
![]() |
View Item |