La valutazione della ricerca a livello istituzionale: problemi, sfide e possibili soluzioni. Il caso dell’Italia

Galimberti, Paola La valutazione della ricerca a livello istituzionale: problemi, sfide e possibili soluzioni. Il caso dell’Italia. Rassegna italiana di Valutazione, 2013, vol. 2012, n. 52. [Journal article (Unpaginated)]

[img]
Preview
Text
rivPG-1.pdf - Accepted version

Download (172kB) | Preview

English abstract

Aim of this paper is to investigate evaluation at national and at institutional level, their differences, relationship and possibility of integration. Italy is a latecomer in the field of research evaluation, but big efforts have been made in recent years to bridge the gap even following best practices at international level. While at national level the National Agency of Evaluation (ANVUR) has played an important role in stimulating discussions, considerations (and controversies), and in the attempt to establish a model and a methodology for qualitative evaluation, there is not a common model for institutional evaluation and the possibility to gain reliable benchmarking information depends in this moment on collaboration with other institutions in the definition of a common frame and in the sharing of data, expertise and tools.

Italian abstract

Tra le modifiche e le trasformazioni che hanno interessato le università italiane intese singolarmente e il sistema considerato tale perché ne unisce condizioni e destini, la valutazione costituisce una tra le più rilevanti. Le motivazioni che hanno portato a tali cambiamenti sono molteplici ma possono essere riassunte in due macro categorie: da una parte la contrazione delle risorse, spesso associata a meccanismi almeno nominalmente selettivi per la loro attribuzione e, dall’altra, una domanda di trasparenza e accountability sui soggetti pubblici che ha investito pesantemente anche la cultura, la formazione e la ricerca. Nel fare questo l’Italia arriva parecchio in ritardo rispetto ad altri paesi europei, e presenta un panorama molto difforme rispetto alle pratiche valutative in atto nei diversi atenei , ma, come molti follower, si è posta l’obiettivo ambizioso di recuperare investendo sulle strutture (la nuova Agenzia di valutazione ), sugli strumenti, sui processi, e, in parallelo, stimolando gli atenei ad uno sforzo di adeguamento alle nuove richieste. Il presente articolo è volto ad analizzare le principali caratteristiche della valutazione a livello nazionale e a livello locale e il loro rapporto reciproco, se esistente e necessario. Nel fare questo si interroga se tali caratteristiche rappresentino oggi un frame ragionevole per consentire ulteriori e razionali sviluppi dei diversi disegni possibili, molti dei quali fermi a indicazioni di indirizzo presenti in leggi e documenti, il tutto a partire da riflessioni connesse alla disponibilità e qualità dei “mattoni” a disposizione attraverso i quali realizzare e concretizzare gli “edifici” attesi. Anche nella valutazione, infatti, e fuori dalla metafora, i mattoni sono costituiti dalle informazioni e dal loro trattamento , in particolare se questo implica analisi comparative i cui esiti devono essere riconosciuti vicendevolmente. In questo scenario non risulta secondario l’ esame del rapporto fra gli esiti della valutazione e i suoi utilizzi (anche in relazione ai costi) e le conseguenze che ne derivano.

Item type: Journal article (Unpaginated)
Keywords: research evaluation; data model; institutional assessment
Subjects: B. Information use and sociology of information
B. Information use and sociology of information > BA. Use and impact of information.
Depositing user: P. Galimberti
Date deposited: 01 Oct 2013 07:14
Last modified: 02 Oct 2014 12:27
URI: http://hdl.handle.net/10760/20216

References

"SEEK" links will first look for possible matches inside E-LIS and query Google Scholar if no results are found.

Baccini A. (2012), ”La bibliometria fai-da-te dell’ANVUR (1/2)” (24-1-2012) Misurare nani e giganti, ROARS http://www.roars.it/online/vqr-la-bibliometria-fai-da-te-dellanvur-12/

Benedetto S. e Ancaiani A. (2012), VQR 2004-2010. Statistiche sui prodotti conferiti e commenti preliminari, http://www.anvur.org/sites/anvur-miur/files/statistiche_commenti_prodotti_0.pdf

Bertuzzi S., Brandtner T., Cook L., Cunningham P., Foster I., Freeman R., Gutierrez-Cortines C., Holland M., Hope C., Kirrane D., Koizumi K., Kotsis G., Krzyzanowska A., Kuroda M., Lane J., Little S., Lium E., Oar L. M., Reeve N., Robinson D., Samors R., Sedwick S., Seligman R., Silverman B., Smith T., Valdez B., van Nes P., Wilcox R., Wood J. and Zatloukal K. (2011). EU/U.S. “Roadmap to measuring the results of investments in science: the Bellagio Statement: a report following the “EU/US Science of Science Policy” Rockefeller Foundation Bellagio Center Workshop, 27 June – 30 June 2011. ISC Intelligence”, Brussels http://oro.open.ac.uk/31233/1/

Brownridge K., Chaytor S., Clements A., Colledge L., Conway S., Fowler N., Green J., Lamont A. R., Langley D., McArdle I., Phillips M., Rutherford S. and Stevens P.,(2012) The snowball project, agreeing metrics for research information management, http://www.projectsnowball.info/wp-content/uploads/snowballproject.pdf

CIVR. VTR 2006 (2006). Relazione finale. Executive Summary, http://vtr2006.cineca.it/php5/vtr_rel_civr_sist_nazionale.php?info=

Commissione Europea (17 luglio 2012) Raccomandazioni sull’accesso all’informazione scientifica e sulla sua conservazione (2012/417/UE) http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:L:2012:194:0039:0043:IT:PDF

CUN (2013) Le emergenze del sistema, http://www.cun.it/media/118417/dichiarazione_cun_su_emergenze_sistema.pdf

De Nicolao G. (2012), “La bibliometria fai-da-te dell’ANVUR (2/2)” (24-1-2012) ROARS http://www.roars.it/online/vqr-la-bibliometria-fai-da-te-dellanvur-22/

De Nicolao G. e e Baccini A. (2012), “VQR: tutte le valutazioni sono uguali ma alcune sono più uguali delle altre”, ROARS, (24-3-2012) http://www.roars.it/online/vqr-tutte-le-valutazioni-sono-uguali-ma-alcune-sono-piu-uguali-delle-altre/

Galimberti P. (2012a), “Via il velo: la trasparenza dei dati nella produzione scientifica del paese”, I convegno di ROARS, Roma, Istituto dell’Enciclopedia italiana, 29-11-2012 http://www.roars.it/online/paola-galimberti-via-il-velo-la-trasparenza-dei-dati-nella-produzione-scientifica-del-paese/

Galimberti P. (2012b) “Bibliometria vs peer review: è possibile la sperimentazione di nuovi percorsi?” Convegno AIV 2012 “Evidence based policy e valutazione. Dal mito alla realtà. Bari 19-20 aprile, http://eprints.rclis.org/16974/

Jeffery K. and Asserson A., (2010) Cerif – Cris for the European e-infrastructure, in : Data Science Journal, 9,pp. 1-6

Joerg B., (2010) CERIF: the common European research information format Model, in : Data Science Journal, 9, p. 24-31

Lenzi A. (Presidente CUN), Intervista ROARS, 18 gennaio 2013 http://www.roars.it/online/dichiarazione-cun-sulle-emergenze-del-sistema/

Meijer I., (2012) Societal returns of scientific research. How can we measure it?, WP CWTS http://www.cwts.nl/pdf/CWTS-WP-2012-014.pdf

Mozione CUN 16/01/2013 sull’applicazione degli articoli 3bis e 3 ter della legge 9 gennaio 2009 n. 1 http://www.cun.it/media/118320/mo_2013_01_16.pdf

EUROCRIS http://www.eurocris.org/Index.php?page=homepage&t=1

Research information management: developing tools to inform the management of research and translating existing good practice (2010) www.snowballmetrics.com/wp-content/uploads/research-information-management.pdf

ROARS Return On Academic ReSearch www.roars.it

Russel R. (2012) , Adoption of CERIF in HEIs in the UK: a Landscape Study, UKOLN http://www.ukoln.ac.uk/isc/reports/cerif-landscape-study-2012/CERIF-UK-landscape-report-v1.1.pdf

Schmidt B. (2012), A Bibliometric Analysis as Part of a Benchmarking Process of Several German Universities, Workshop Evaluation of Research: the perspective of a large comprehensive university 29 November 2012 Università degli Studi di Milano

Snowball project, http://www.snowballmetrics.com/

STAR METRICS, https://www.starmetrics.nih.gov/

Taylor M. e Thorisson G. A. (2012) Fixing authorship – towards a practical model of contributorship, Research Trends, http://www.researchtrends.com/issue-31-november-2012/fixing-authorship-towards-a-practical-model-of-contributorship/

Università degli Studi di Palermo: Criteri per la determinazione della condizione di ricercatore attivo http://www.unipa.it/~dipbio/documenti/criteri%20per%20ricercatore%20attivo-2010-1.pdf

Università degli Studi di Torino Relazione del Nucleo di valutazione 2011, http://www.unito.it/unitoWAR/ShowBinary/FSRepo/Area_Portale_Pubblico/Documenti/R/relazione_nucleo_2011.pdf

Yan Koon-K. and Gerstein M. (2011) “The Spread of Scientific Information: Insights from the Web Usage Statistics in PLoS Article-Level Metrics”. PLoS ONE 6(5): e19917. doi:10.1371/journal.pone.0019917

VQR 2004-2008 http://civr.miur.it/vqr_decreto.html

VQR 2004-2010 http://www.anvur.org/?q=schema-dm-vqr-definitivo


Downloads

Downloads per month over past year

Actions (login required)

View Item View Item