La ricerca italiana promossa a pieni voti. Oppure no? - Giornalismo scientifico e comunicazione.


La ricerca italiana promossa a pieni voti. Oppure no?

Share on FacebookTweet about this on TwitterShare on LinkedInShare on TumblrPin on PinterestEmail this to someoneShare on Reddit

MorattiLa ricerca italiana è promossa a pieni voti. E’ la conclusione del Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) un organismo di valutazione creato dal MIUR che in una conferenza stampa del 26 Gennaio ha  presentato i risultati del primo rapporto sulla  valutazione della ricerca Italiana, riproposti in maniera assai poco critica da quasi tutti media.

L’immagine che ne viene fuori è quella di una ricerca italiana al "top":  il 30 % dei "prodotti" scientifici valutati è stato giudicato “eccellente” secondo "una scala di valore condivisa dalla comunità scientifica internazionale",  la fascia più ampia, pari al 46%, si è posizionata sul “buono”. Infine  19 % di prodotti sono stati giudicati  “accettabili” e soltanto il 5%  “limitati”.

"La ricerca italiana supera l’esame della valutazione, mostrando risultati di qualità" – dichiara così il ministro Moratti, che ha fortemente sostenuto la creazione del CIVR.

Ma allora – viene da pensare- va tutto bene? Siamo di fronte all’ennesimo miracolo italiano, che di colpo annulla  gli annosi problemi della nostra ricerca,  con il suo carico di povertà cronica, baronati, finanziamenti senza logica, fuga dei cervelli e a rischio di calo verticale della produttività?
Guardando da vicino  il rapporto ci si accorge che non è tutto oro quello che luccica.

Cerchiamo di semplificare: dato che tutto è relativo, quando qualcuno ci dice che qualcosa è "eccellente", "buono" o "accettabile" , la prima cosa da fare è capire a quale scala di valori si riferisce. Secondo il CIVR,  la scala di valori è quella  "condivisa dalla comunità scientifica internazionale". E’ davvero così?

IL Research Assesment Excercise britannico, ad esempio, è  considerato  dalla stessa Moratti una dei metodi    di riferimento mondiali per la valutazione della ricerca, e ad esso si è ispirato il  lavoro del CIVR. Questa è la definizione di "eccellenza" che troviamo nelle linee guida del RAE:

    Four star:
    Quality that is world-leading in terms of originality, significance and rigour.

Traduzione: secondo il RAE (e secondo i criteri universalmente accettati) è eccellente la ricerca che risulta al massimo livello mondiale in termini di originalità, importanza e rigore.

Questa, invece,  è la scala di valori   adottata dal CIVR e pubblicata nel suo rapporto:

Eccellente:
Il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale
Buono:
Il prodotto si colloca nel segmento 60%-80%

Accettabile
Il prodotto si colloca nel segmento 40%-60%
Limitato:
Il prodotto si colloca nel 40% inferiore

In altre parole: il CIVR ha chiesto ai propri esperti (interni ed esterni) di classificare come  "eccellenti" i "prodotti" (principalmente pubblicazioni scientificiche e brevetti) che a loro giudizio rientrano nel "top 20% " di tutta la produzione mondiale.

E qui nasce un  problema -che un addetto ai lavori chiamerebbe "bias metodologico": la definizione di eccellenza adottata dal CIVR non corrisponde a quella adottata nel resto del mondo.

Qual’è la differenza fra le due definizioni di "eccellenza"? Quella  saggiamente adottata oltremanica   è qualitativa: è eccellente il prodotto che risulta al massimo livello mondiale in termini di originalità, importanza e rigore. La definizione scelta dal CIVR è invece quantitativa: sono "eccellenti" tutti i prodotti che rientrano nei migliori 20% del proprio campo.

Non ci sarebbe nulla di male se solo fosse chiaro da dove arriva quel fatidico 20 per cento.  Infatti, anche se può sembrare  strano, la  soglia di eccellenza universalmente accettata nella valutazione della produttività scientifica non è del 20 ma dell’ uno per cento: infatti, anche se non ci sono leggi scritte, la consuetudine è di giudicare eccellente solo quegli articoli, quei progetti scientifici, quei ricercatori, che si situano nel top 1% mondiale dei loro rispettivi campi (alcuni considerano come soglia il 5%, ma questo cambia poco nel nostro caso).

Facciamo un esempio per capire: se in una scuola di mille alunni decidiamo di considerare eccellenti solo i migliori dieci (l’1 per cento) sceglieremo  con tutta probabilità dieci piccoli geni (o i dieci più secchioni). Se decidiamo che sono eccellenti i migliori 200 (il 20 per cento), quasi sicuramente annovereremo fra gli "eccellenti" anche un bel pò di alunni mediocri, e perfino qualche ciuccio.

E nella scienza,  se si vuole prendere quello che è veramente buono, bisogna essere estremamente stringenti, perchè è tristemente noto che  la maggior parte degli articoli scientifici che vengono pubblicati è "fuffa"- cioè non verrà mai citato in altri lavori (quest’ultimo è un argomento che prometto di spiegare  in dettaglio in post futuri).

La  definizione di "eccellente" adottata dal CIVR è perciò  troppo  elastica, e comprende verosimilmente molti "prodotti" che , secondo i criteri universalmente accettati, verrebbero considerati tutt’ al più passabili, e forse anche qualche "ciuccio".

Con questo non voglio dire che non ci sia spazio per l’eccellenza nella ricerca Italiana; al contrario, nel mio blog porterò molti esempi   e indicatori di assoluta eccellenza mondiale in alcuni campi.
E’ positivo che finalmente si faccia uno sforzo per valutare l’output della ricerca italiana, e per stabilire criteri di finanziamento basati sui risultati, e di questo va dato merito al ministro Moratti che ha fortemente sostenuto questa strada.

Tuttavia, adottando criteri troppo elastici per definire l’eccellenza il CIVR e il ministro   Moratti offrono   un’immagine virtuale ed edulcolorata della ricerca italiana. Si tratta di un esercizio rischioso perchè invece di premiare i migliori finisce  col mettere  ancora una volta sullo stesso piano  chi fa veramente ricerca eccellente e chi no. I ciucci ringraziano.

 

Share on FacebookTweet about this on TwitterShare on LinkedInShare on TumblrPin on PinterestEmail this to someoneShare on Reddit

Comments

comments


Questo sito utilizza cookie tecnici e di terze parti per fornire alcuni servizi. Continuando la navigazione ne consentirai l'utilizzo. Maggiori informazioni

The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.

Close