di V.F. Polcaro per Marx21.it
V. F. Polcaro è responsabile nazionale ricerca del PdCI
Il “Bando per la valutazione per la valutazione della qualità della ricerca 2004-2010”
Ad ottobre, l’ANVUR, l’Agenzia per la valutazione dell’Università e della Ricerca, ha emesso il suo primo “Bando per la valutazione della qualità della ricerca 2004-2010” (VQR), che chiuderà ai primi di maggio.
Scopo del “Bando 2004-2010”, secondo quanto dichiarato dall’ANVUR (2011) è, per ogni struttura che si sottopone alla VQR:
“1. Descrivere gli strumenti posti in essere dagli organi di governo per:
a. la programmazione della ricerca, in termini di obiettivi verificabili
b. la verifica del grado di raggiungimento degli obiettivi
c. la correzione e il miglioramento delle situazioni critiche
2. Stimare il posizionamento della struttura nel panorama nazionale e internazionale della ricerca nelle varie aree coperte dalla struttura
3. Esercitare una riflessione critica, anche propedeutica all’attività di autovalutazione che costituisce uno dei tre assi portanti del decreto legislativo n. 19 del 27 gennaio 2012, sulle attività di ricerca in termini di risultati e risorse impegnate per ottenerli.”
La valutazione è certamente una questione importante, sia per i singoli ricercatori che per le istituzioni accademiche, ma fino ad ora è stata considerata in modo alquanto superficiale e discussa solo nel quadro del luogo comune, ormai accettato acriticamente da tutti, per il quale “La valutazione della ricerca è necessaria”. Tuttavia, anche accettando questo concetto, che è certamente vero ma che non è “neutrale” rispetto al modello di società e di economia che si usa, questo “bando” lascia profondamente delusi.
In primo luogo, appare inaccettabile la forma, dato che il linguaggio del bando è improntato ad una terminologia aziendalista, completamente fuori luogo quando si tratta di ricerca scientifica, cioè dell’attività finalizzata alla produzione di nuovo sapere: tutta l’attività scientifica viene descritta dall’ANVUR in termini di “prodotti” come fossimo al supermarket, e gli “indicatori” ricordano gli strumenti merceologici impiegati per valutare la bontà di una produzione di bulloni o di lavatrici.
Tuttavia, è ben più grave la sostanza.
Purtroppo, pur dichiarando di volere impiegare criteri freddi ed oggettivi di valutazione della ricerca e di volere evitare di valutare “a peso” la carta prodotta dai ricercatori, si sono introdotti indicatori inaccettabili e metodologie inutilmente complesse, che portano chi risponde al “bando” a spendere tempo e fatica per pensare ai meccanismi di valutazione anziché badare alla sostanza. Infatti, anche se si riconosce che la valutazione va svolta all’interno dello specifico settore disciplinare, cosa che è inevitabile perché è evidente che non si può giudicare con lo stesso metro una ricerca nella fisica delle alte energie ed una sulla letteratura medievale, il “bando” fissa criteri guida inapplicabili per molti settori. Ad esempio, viene attribuito un maggiore peso ai lavori pubblicati e citati nelle riviste recensite dall’ISI, un criterio che ormai tutta la letteratura scientifica più recente giudica inadeguato (vedi ad esempio Adler et al., 2008; Reedijk, 2012), dato che l’ISI non era stato concepito come strumento di valutazione, che copre prevalentemente riviste scientifiche americane o comunque in lingua inglese (e con costi di pubblicazione inaccessibili per gli attuali bilanci di università ed enti di ricerca italiani), che per alcune scienze, specialmente in campo umanistico (come per la Sociologia e l’Archeologia, ma non solo), considera solo poche riviste, spesso meno diffuse e prestigiose nel proprio campo di altre che non sono invece inclusei. Anche per la valutazione delle monografie si usano criteri molto discutibili, stabilendo che abbiano valore prevalentemente quelle pubblicate con grandi case editrici, che hanno costi di pubblicazione inaccessibili oppure accettano solo opere che abbiano un potenziale di mercato per un grande pubblico, cosa ovviamente molto difficile per pubblicazioni accademiche: questa scelta, oltre ad essere ingiusta e tecnicamente sbagliata, rischia inoltre di produrre conseguenze estremamente negative sulla piccola editoria nazionale (Burgio e Marella, 2012).
Per di più, nella valutazione compaiono come “prodotti” i brevetti e di conseguenza il relativo indicatore numerico di quantità, come se tutte le ricerche potessero portare ad un brevetto e come se depositare brevetti fosse un criterio di “innovatività” in assoluto, mentre molta letteratura dà da tempo per assodato che numero di brevetti non rispecchia la conseguente redditività (vedi ad es. CADTH, 2006). Inoltre è molto discutibile il principio per il quale spetti all’università ed ai centri di ricerca pubblica privatizzare la conoscenza, mettendola a disposizione solo di qualche impresa piuttosto che diffonderla. Nuovi standard di valutazione, persino negli USA, propongono nuovi modelli di condivisione scientifica in particolare quando si parla di “beni comuni”. La necessità di un metodo di valutazione differente appare ad esempio evidente dalle problematiche emerse nei casi di concessioni di licenze esclusive da parte delle università in possesso di brevetti nel campo biomedico nei confronti di grandi industrie del settore (vedi ad es. l’ampio lavoro di rassegna in Gallin, 2002).
Infine, nel “Bando VQR” vengono imposti criteri inutilmente complessi di selezione dei lavori che si presentano per la valutazione dell’istituzione, che hanno già provocato confusione nelle università e negli enti di ricerca (e che hanno provocato la ripetuta proroga della scadenza di chiusura del bando), che escludono la produzione scientifica di precari e “ricercatori associati”, come se l’ANVUR non sapesse che ormai quasi la metà di coloro che svolgono attività di ricerca rientrano in queste categorie, mentre vengono fissate regole ferree per stabilire a quale ricercatore di ruolo debba essere attribuito il lavoro valutato.
Ciò mostra chiaramente che l’obiettivo reale è quello di mettere in piedi un meccanismo analogo a quello inventato in Inghilterra dal governo Thatcher, per il quale non solo ogni istituzione accademica venne penalizzata se non si poneva al totale servizio dell’industria, ma anche ogni singolo studioso che non “produceva” abbastanza secondo il criterio imposto vide messo in pericolo il suo livello di stipendio, se non anche il suo posto di lavoro.
Non a caso, i Sindacati dell’università e della ricerca hanno espresso un parere fortemente negativo sul “Bando VQR” ed hanno chiesto insistentemente, ma senza risultati, al MIUR di fermare questo processo ed iniziare un confronto di merito con la comunità scientifica e con le organizzazioni che la rappresentano per arrivare a nuove regole di valutazione condivise (vedi ad es. FLC CGIL, 2012).
Valutazione della ricerca “a priori” ed “a posteriori”
In realtà, bisogna prendere atto del fatto che “valutare” significa confrontare un risultato con un modello e che quindi, prima di chiedersi come eseguire tecnicamente questo confronto, bisogna essere sicuri che il modello usato sia quello giusto. Secondo il paradigma liberista, il sapere va considerato soltanto come fattore di produzione e l’attribuzione di un contenuto intellettuale al lavoro rappresenta un costo da ottimizzare. Riteniamo che questo modello, che impronta tutta la logica del “bando VQR”, sia inaccettabile e che nessuna seria “valutazione della qualità della ricerca” possa essere effettuata in base ad esso, perché il sapere non è una merce ma un bene comune, che dalla condivisione accresce e non diminuisce il suo valore. Perciò, intervenire sulle università e sugli Enti di Ricerca valutandoli per la loro capacità di comportarsi come “imprese”, spingendoli ad una competizione su basi commerciali, significa distruggerli.
Appare quindi indispensabile che si riveda completamente il criterio di valutazione della ricerca, proponendo un metodo completamente diverso dai tentativi di “misura scientometrica” usati fino ad ora, che hanno mostrato tutti di essere inapplicabili o, peggio, controproducenti (vedi ad es. l’ampia rassegna per i casi dell’Olanda e del Regno Unito di Leišytė, 2007).
Infatti, a dire il vero, il problema non è nuovo: l’attività scientifica, da quando si è differenziata dalla magia e dalla teologia, è sempre stata valutata per l’accettazione dei relativi risultati. Non avrebbe infatti alcun senso se una teoria, l’esito di un esperimento, una nuova tecnologia venissero accettati acriticamente: sarebbe come ritornare allo “jurare in verba magistris” di scolastica memoria. La valutazione è quindi intrinseca al metodo scientifico, riassunto nel “provando e riprovando” galileiano. Per altro, lo stesso processo a Galileo può essere considerato come una procedura di valutazione e già questo esempio ci dimostra che non sempre l’esistenza di un processo di valutazione garantisce che il suo esito sia corretto.
In ogni caso, fino alla metà del secolo scorso la valutazione veniva fatta “a posteriori”, perché la gran parte della ricerca scientifica richiedeva mezzi economici abbastanza limitati che i ricercatori avevano a disposizione, in un modo o nell’altro, senza una selezione preventiva, mentre i “grandi progetti” costituivano eccezioni, il finanziamento di ognuna delle quali costituiva un caso a sé (si pensi alle spedizioni polari dell’inizio del XX secolo). Al contrario, ora la parte preponderante dell’attività scientifica e tecnologica viene condotta nell’ambito di progetti che comportano la necessità di ingenti risorse e che debbono quindi essere scelti in base ad una valutazione “a priori”, per l’ovvio motivo che, se se ne portano avanti alcuni, poi non ci sono più risorse disponibili per altri.
Allo stato attuale delle cose è quindi inevitabile stabilire come debba essere fatta una valutazione “a priori”, per poterci assicurare che essa sia efficace e giusta o, almeno, che essa non funzioni al contrario, selezionando solo proponenti poco capaci e ricerche di scarso valore.
Già questo ovvio criterio chiarisce un punto importante: a differenza dalla valutazione “a posteriori”, che può giudicare ottimo un risultato ritenuto precedentemente impossibile o addirittura che nessuno avrebbe mai neppure potuto immaginare, la valutazione “a priori” non può prescindere da una scala di valori predeterminata, perché altrimenti si cadrebbe in un processo valutativo affidato al puro capriccio dei valutatori, il che è, ovviamente, inaccettabile. Questa scala di valori è, altrettanto inevitabilmente, politica, dato che non vi è nessun criterio “oggettivo” che possa stabilire quale debba essere la disponibilità di risorse (economiche, materiali ed umane) che debbono essere messe a disposizione per progetti destinati a campi disciplinari (o interdisciplinari) differenti e quindi non confrontabili tra loro. È quindi la politica, e solo lei, a determinare il budget totale per ogni classe di progetti, costituendo così un vincolo dal quale nessun criterio di valutazione potrà poi prescindere: su ciò, c’è poco da discutere e l’unica cosa che si può fare per garantire che queste scelte siano “giuste” è che tutti i cittadini, inclusi i ricercatori, facciano la scelta giusta nel momento in cui eleggono i propri governanti.
Comunque siano state scelte le tematiche, all’interno di ognuna di esse bisognerà poi selezionare tra le diverse proposte e qui si pone subito un altro problema: la necessità di garantire in qualche modo che il lavoro dei referees sia accurato ed obiettivo o, in altre parole, la necessità di trovare un valutatore che sia allo stesso tempo competente e disinteressato. Queste due qualità sono ovviamente in conflitto quando tutti i componenti di una data comunità scientifica vengono messi in competizione tra loro per le risorse all’interno di un budget inevitabilmente fisso e ormai spesso, se non sempre, insufficiente a garantire la sopravvivenza di tutta quella comunità. La valutazione delle proposte per l’assegnazione dei fondi “a priori” è quindi intrinsecamente diversa da quella “a posteriori” per il riconoscimento del merito di un lavoro scientifico, ad esempio per permetterne la pubblicazione su di una rivista scientifica. In questo caso infatti il referee non deve temere che, se valuta positivamente un lavoro, egli stesso non possa poi pubblicare un futuro articolo sulla stessa rivista, magari sullo stesso argomento, mentre, al contrario, ogni finanziamento approvato all’interno di un budget prefissato toglie spazio ad altri progetti nello stesso settore.
Il sistema della “peer review semplice” (nel quale ognuno può essere, a seconda dei casi, valutatore o valutato), che per le pubblicazioni funziona abbastanza beneii, non è quindi immediatamente applicabile alla valutazione delle proposte di finanziamento alla ricerca ed agli altri casi nei quali le risorse a disposizione non siano illimitate o, almeno, largamente sufficienti a garantire, prima o poi, una ragionevole probabilità di successo a tutti coloro che chiedono di usufruirne: tipico è il caso dei finanziamenti sui “bandi” di tutti i tipi ma lo stesso problema si pone nei casi più diversi di valutazione “a priori”, dall’assegnazione del tempo di osservazione sui telescopi spaziali ai concorsi universitari.
Dato che in questi casi il metodo della “peer review semplice” non può funzionare, bisogna vedere con cosa sostituirlo.
Vi possono essere diversi sistemi di “peer review complessi” che vengono usati a questo scopo. Ad esempio, per la valutazione delle proposte su scala nazionale, forse sarebbe sufficiente ricorrere solo a referees stranieri, almeno nei settori scientifici nei quali l’internazionalizzazione della ricerca non sia ormai globale (se ve ne sono), ma il problema rimarrebbe comunque per le proposte su scala internazionale. Alcuni sistemi di ricerca hanno sviluppato metodi estremamente complessi di valutazione basati sulla “peer review”: basti pensare al sistema di formazione delle commissioni di concorso nelle università italiane o al sistema di valutazione “a tre fasi e doppio cieco” impiegato per il finanziamento dei progetti dall’EPSRC ingleseiii. Anche se, indiscutibilmente, alcuni di questi metodi funzionano meglio di altri (ma costano anche di più: l’EPSRC impiega ormai per la valutazione quasi il 10% del proprio budget), nessuno di questi sistemi riesce però a risolvere il problema del conflitto di interessi dei valutatori in presenza di risorse complessive insufficienti, dato che è inevitabile che, se è in gioco la sopravvivenza della propria comunità, nessuno può riuscire a mantenersi “neutrale ed oggettivo”iv.
Tuttavia, è più comune che per la valutazione “a priori” dei progetti di ricerca all’interno di un bilancio prefissato si usi un sistema che non ha nulla a che fare con la “peer review”: la valutazione “della Commissione”. La valutazione viene in questo caso affidata ad un gruppo di persone selezionate da un’autorità competente, che di solito (ma non sempre) è l’istituzione che poi erogherà i finanziamenti per portare avanti le proposte approvate. E’ questo ad esempio il caso della valutazione dei progetti europei, delle commissioni per i concorsi negli Enti Pubblici di Ricerca (finché si sono potuti fare), delle commissioni di selezione dei docenti nelle università anglosassoni, di quelle per l’assegnazione del tempo di osservazione ai grandi telescopi, ecc. Naturalmente, anche in questo caso, oltre al sistema della “commissione semplice”, vi possono essere delle varianti: ad esempio, la commissione può effettuare la valutazione avvalendosi della consulenza di esperti esterni, oppure può essere l’autorità stessa a svolgere la funzione di valutazione ma ovviamente ciò non cambia la sostanza.
Il principio teorico sul quale si basa questo metodo è molto semplice: dato che chi eroga le risorse ha certamente interesse a che il processo selezioni le proposte (o le persone) migliori, sceglierà sicuramente i commissari migliori. Tuttavia, ancora una volta, si pone il problema di trovare persone che siano contemporaneamente competenti e disinteressate e ciò non è ovviamente più semplice se queste sono nominate invece di essere scelte in modo più o meno casuale (o più o meno democratico) all’interno di una data comunità, come accade nel caso della “peer review”. Anzi, se, per assurdo, si potessero nominare nella commissione tutti i maggiori esperti di un dato settore, ci si troverebbe poi di fronte all’insolubile contraddizione o di impedire ai migliori di presentare proposte o di far valutare le proposte dagli stessi proponenti. Tuttavia, questo problema in pratica non si pone, dato che la nomina serve non a “selezionare i migliori valutatori” ma solamente a garantire, in misura maggiore rispetto alla “peer review”, la congruità dei progetti approvati agli obiettivi politici che l’ente erogante le risorse si propone (cosa che diviene tanto più importante quanto più ristretto è il budget totale disponibile).
Conclusioni e proposte
Volendo trarre alcune conclusioni di carattere generale, possiamo quindi affermare che la selezione “a priori” tra progetti di ricerca è il principale, se non l’unico, mezzo con il quale la società può intervenire sulla ricerca scientifica e quindi risponde inevitabilmente a criteri più politici che tecnici: bisogna inevitabilmente prenderne atto e scegliere a livello politico a quali tematiche dare la priorità, senza cercare (o fare finta di cercare) di far decidere “alla comunità scientifica” se sia da finanziare di più, ad esempio, la ricerca ambientale o quella sui nuovi farmaci.
Bisogna poi anche riconoscere che la parte tecnica della valutazione “a priori”, muovendosi all’interno di condizionamenti esterni che vincolano al raggiungimento di obiettivi prefissati, difficilmente può favorire progetti di ricerca molto innovativi e di conseguenza a rischio molto alto. A maggior ragione, non può permettere lo sviluppo di settori di ricerca completamente nuovi.
Non ostante ciò, bandi per ricerche specifiche che sono state valutate politicamente importanti sono sicuramente estremamente utili. Tuttavia, se le risorse ad essi destinate sono troppo limitate, genereranno inevitabilmente una pressione eccessiva ed impossibile da gestire. Minori sono infatti le risorse disponibili, più complesso diviene controllare il conflitto di interessi dei valutatori ed impedire comportamenti scorretti. E’ quindi chiaro che, se si spera di affidare lo sviluppo della ricerca al “finanziare solo l’eccellenza” e al “favorire i settori di maggior interesse per la società” e per di più spendendo per questo il meno possibile, il problema di organizzare un sistema di valutazione giusto ed efficace diviene insolubile e si finisce per sprecare risorse in progetti che non cambieranno lo stato di cose esistente.
L’unica soluzione che permetta non solo di sviluppare “ricerca ordinaria” ma anche di lasciare spazio a reali “rivoluzioni scientifiche” (nel senso dato a questi termini da Khun, 1962, 1970) a questo punto sembra essere quella di invertire completamente quella che è stata la tendenza degli ultimi tre decenni, riducendo il livello di competizione e spingendo invece i ricercatori e le loro istituzioni ad una maggiore collaborazione.
Ne consegue che, per quanto riguarda la ricerca “di base”v, il sistema più efficace di finanziamento è quello di riportare i fondi di finanziamento ordinario di università ed enti di ricerca ad un livello che permetta a tutti, da soli o in gruppi formati liberamente, di poterla svolgere, assumendo il personale necessario e fissandosi liberamente tempi, organizzazione ed obiettivi, lasciandone poi la valutazione alla “peer review” a posteriori. Per i “grandi progetti di ricerca” (sia di base che applicata) una volta che siano state fissate (politicamente) le tematiche, bisogna garantire che i programmi selezionati abbiano risorse adeguate e consentano di accedervi a tutta la comunità del settore per evitare che il concentrare le risorse in pochi programmi lasci chi non riesce ad entrarvi nell’impossibilità di lavorare e spinga quindi chi li valuta ad approvare solo progetti di persone e gruppi “amici”.
Per la ricerca industriale, il problema è più serio, perché la competizione è intrinseca al sistema di economia di mercato. Infatti, in un sistema di economia di mercato “puro” ogni impresa dovrebbe attrezzarsi da sola per la competizione tecnologica ed ogni “incentivo” sarebbe controproducente, perché favorirebbe chi non riesce a reggersi da solo. Dato però che il problema italiano è quello di un’impresa che non vuole competere sul piano tecnologico e che, per il bene della Nazione, deve essere spinta a farlo (al fuori da ogni regola liberista, che richiederebbe solo che una tale impresa soccomba!) il problema non è di valutazione dato che la parte preponderante dell’imprenditoria italiana non è in grado di presentare proposte di ricerca valide ma vuole solo essere sovvenzionata. Di conseguenza, ogni proposta di aumento indiscriminato dei finanziamenti per la ricerca industriale o la defiscalizzazione “tout court” delle spese di ricerca e innovazione, come proposto da Confindustria, è controproducente, perché diminuisce invece che aumentare la propensione dell’impresa ad attrezzarsi davvero per produzioni tecnologicamente più avanzate e favorirebbe tentativi di usare gli incentivi solo come sovvenzioni. Meglio defiscalizzare solo attività specifiche e che non abbiano bisogno a monte di controlli del fatto che si tratti effettivamente di spese per ricerca capaci di produrre risultati concreti. Si potrebbe ad esempio defiscalizzare subito l’assunzione a tempo indeterminato di ricercatori ed i programmi di ricerca in collaborazione con università ed istituzioni pubbliche di ricerca.
Quando, con più ricercatori al proprio interno e più volontà reale di collaborare con la ricerca pubblica, l’impresa italiana diverrà veramente intenzionata e capace di fare ricerca ed innovazione e lo Stato avrà messo a punto un sistema efficace di valutazione dell’impatto socio-economico della ricerca industriale che finanzia (che per ora non esiste), allora si potranno aumentare anche i fondi per il supporto alla ricerca industriale in genere; prima, sarebbero soldi sprecati
Bibliografia
Adler, R., Ewing J., Taylor P., 2008, Citation Statistics: A Report form the international mathematical Union in cooperation with the International Council of Industrial and applied Mathematics and the Institute of Mathematical Statistics. Berlin: IMU; http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf
ANVUR, 2012, Valutazione della Qualità della Ricerca 2004-2010 (VQR 2004-2010), http://www.anvur.org/sites/anvur-miur/files/rapportoautovalutazione.pdf
Burgio A., Marella M. R., Università, la valutazione sbagliata, Il Manifesto 21-03-2012
CADTH (Canadian Agency for Drugs and Technologies in Health) 2006, Guidelines for the economic evaluation of health technologies: Canada [3rd Edition]. Ottawa
FLC CGIL, 2012, ANVUR e valutazione di sistema. Così non può funzionare. Osservazioni e richieste della FLC CGIL, http://www.flcgil.it/sindacato/documenti/approfondimenti/osservazioni-e-proposte-flc-cgil-su-anvur-e-valutazione-di-sistema-gennaio-2012.flc
Gallin J. I., 2002, Principles and Practice of Clinical Research, London (Academic Press)
Khun T. 1962, 1970 – The Structure of Scientific Revolutions, , Chicago (Chicago University Press), tr. it della II ed. La struttura delle rivoluzioni scientifiche, Torino, Einaudi, 1979
Leišytė, L., 2007, University Governance and Academic Research, PhD thesis, University of Twente, http://doc.utwente.nl/58088/1/thesis_Leisyte.pdf
Rosenberg N. 1986, Inside the Black Box: Technology and Economics, Cambridge MA (Cambridge University Press)
Reedijk J., 2012, Citations and Ethics , Angew. Chem. Int. Ed., 51, 828 – 830
