Bibliometria vs peer review: è possibile la sperimentazione di nuovi percorsi?

Galimberti, Paola Bibliometria vs peer review: è possibile la sperimentazione di nuovi percorsi?, 2012 . [Conference paper]

[img]
Preview
PDF
Bibliometria vs peer reviewPG BARI 2012.pdf

Download (620kB) | Preview

English abstract

The paper presents a case study (project is under way). A group of multidisciplinary universities agreed on an evaluation protocol for the HSS. Aim of the project is comparability using the same tools and methods. Journal lists as tools for the evaluation in the HSS are discussed.

Spanish abstract

La brusca accelerazione determinatasi con l’operatività dell’Agenzia nazionale ANVUR, prima, e il varo della valutazione pluriennale della ricerca VQR, poi, ha ri-attivato la discussione e l’attenzione sulle metodiche utilizzate, e utilizzabili, per realizzare un esercizio di valutazione ad ampia scala in grado di rendere comparabili settori, tipologie di prodotti e modalità di accrescimento e di diffusione delle conoscenze scientifiche. A una generale richiesta di disponibilità di informazioni strutturate ha fatto seguito un processo diffuso e partecipato di critica alle diverse proposte metodologiche, processo che ha tuttavia rappresentato un’opportunità di approfondimento e di condivisione circa le possibili soluzioni. In particolare la discussione si è manifestata all’interno delle aree di scienze sociali e umane(HSS secondo l’acronimo inglese) dove, accanto alla condivisa critica alla bibliometria, è emersa una domanda di bilanciamento rispetto alle eventuali distorsioni della peer review, o per facilitare un meccanismo di informed peer review. Tra le opzioni emerse, anche nell’ambito del variegato lavoro per l’individuazione dei criteri da parte dei panel tematici/disciplinari, un ruolo particolare è stato rivestito dalla classificazione delle riviste e da quella degli editori, tema che ha visto in campo fautori (molte società scientifiche) e detrattori (in particolare alcuni analisti). I rating e ranking oggi disponibili, che sono il primo prodotto di questa analisi, costituiscono un primo parziale tentativo di qualificare l’analisi in quei settori dove l’assenza o la scarsa robustezza di dati bibliometrici e le probabili distorsioni nel processo di peer review, rischiavano di generare un esito scarsamente credibile. Ma forse il dato più interessante che è emerso dall’esercizio è una riflessione sulla modalità con cui queste valutazioni possono essere fatte: chi sono i titolati ad esprimere i giudizi, quali parametri e indicatori utilizzare, come si governano le dinamiche, che uso può essere fatto della documentazione raccolta, in particolare rispetto a possibili diverse destinazioni e alla salvaguardia della condivisione nella comparabilità dei giudizi. Il tema è particolarmente caldo in alcune discipline dove l’impatto non sempre coincide col riconoscimento da parte delle, spesso ridotte, comunità scientifiche o dove esiste un variegato rapporto tra compiti “divulgativi” e compiti “scientifici”. Il paper affronta questa materia rappresentando un’esperienza concreta realizzata (il progetto è però ancora in corso) come attività interateneo di classificazione che ha permesso a un gruppo di atenei partecipanti di creare una base informativa comune, interdisciplinare sulle aree 10-14, partendo però dalle esigenze e dalle specificità delle singole realtà, realizzando un osservatorio che favorisca lo scambio dei dati fra atenei diversi e la comparazione fra le diverse strutture. Questa attività va colmare un vuoto di strumenti e di informazioni per le aree 10-14 che ha reso fino ad ora gli Atenei autoreferenziali nella valutazione di queste aree e permette in prospettiva una serie di considerazioni e politiche di indirizzo dell’attività scientifica per quanto riguarda le discipline umanistiche.

Item type: Conference paper
Keywords: research evaluation, bibliometrics, peer review, journal rating, evaluation at institutional level, valutazione della ricerca, bibliometria, valutazione dell'istituzione, rating delle riviste
Subjects: B. Information use and sociology of information > BA. Use and impact of information.
Depositing user: P. Galimberti
Date deposited: 15 May 2012
Last modified: 02 Oct 2014 12:22
URI: http://hdl.handle.net/10760/16974

References

ANVUR, Consiglio direttivo (8 marzo 2012), La bibliometria della VQR, http://www.anvur.org/sites/anvur-miur/files/la_bibliometria_della_vqr.pdf

Bonaccorsi A., (2012) Potenzialità e limiti dell’analisi bibliometrica nelle aree umanistiche e sociali. Verso un programma di lavoro http://www.anvur.org/sites/anvur-miur/files/valutazione_aree_umanistiche_e_sociali.pdf

CIRC http://epuc.cchs.csic.es/circ/que.html

CNRS http://www.cnrs.fr/comitenational/sections/doc/categorisation37_0911.pdf

Ellison G. (2011), Is peer review in decline?. Economic Inquiry, 49: 635–657. doi: 10.1111/j.1465-7295.2010.00261.x

Era 2012 http://www.arc.gov.au/era/era_2012/era_journal_list.htm

KNAW (2010), Standard evaluation Protocol 2009-2015, http://www.knaw.nl/Content/Internet_KNAW/publicaties/pdf/20091052.pdf

KNAW (2011) Quality indicators for research in the Humanities, http://www.knaw.nl/Content/Internet_KNAW/publicaties/pdf/20111024.pdf

Lamp J. (2009), At the sharp end: journal ranking and the dreams of academics, Online information review 33(4), pp 827-830

Linee guida per la valutazione della ricerca VTR 2001-2003 http://vtr2006.cineca.it/documenti/linee_guida.pdf

Martin B. et al. (2010) Towards a bibliometric database for the Social Sciences and Humanities – A European Scoping Project. A report produced for DFG, ESRC, AHRC, NWO, ANR and ESF, 8 March 2010, http://www.dfg.de/download/pdf/foerderung/grundlagen_dfg_foerderung/informationen_fachwissenschaften/geisteswissenschaften/esf_report_final_100309.pdf

REF 2014 http://www.hefce.ac.uk/research/ref/panels/members.htm

ROARS, Return On Academic research, www.roars.it

Taylor, J. (2011), The Assessment of Research Quality in UK Universities: Peer Review or Metrics?. British Journal of Management, 22: 202–217. doi: 10.1111/j.1467-8551.2010.00722.x

Van Gestel R. e Vranken J., Assessing Legal Research: Sense and Nonsense of Peer Review versus Bibliometrics and the Need for a European Approach, 12 German Law Journal 901-929 (2011)

Wissenschaftsrat (2010) Empfehlungen zur vergleichenden Forschungsbewertung in den Geisteswissenschaften, http://www.wissenschaftsrat.de/download/archiv/10039-10.


Downloads

Downloads per month over past year

Actions (login required)

View Item View Item