Alessandra Capuano

Alessandra Capuano Membro del Gruppo Esperti Valutatori VQR 2011-2014 Paolo Pizzichini e Günce Uzgören

Paolo Pizzichini e Günce Uzgören: Sappiamo che lei ha fatto parte, con la professoressa Teresa Stoppani, del Gruppo Esperti Valutatori (GEV), rappresentando le discipline dell'architettura nell’ambito dell’ ICAR/14. Il vostro operato è stato importante perchè si è occupato delle procedure che hanno determinato quali prodotti dovessero essere sottoposti a valutazione, in un contesto in cui il progetto era stato da poco ammesso come prodotto di ricerca: può dirci qualcosa in più sulle tematiche che hanno caratterizzato i vostri interventi? Alessandra Capuano: Sì, in realtà il lavoro lo abbiamo fatto in tre perché è subentrata anche la professoressa Sara Protasoni e insieme ci siamo occupate del settore concorsuale della progettazione, che vuol dire i settori disciplinari Icar/14-15-16. Il settore Icar/14 è la progettazione architettonica ed urbana, l'Icar/15 la progettazione del paesaggio e l'Icar/16 la progettazione degli interni. Il ruolo che siamo stati chiamati a svolgere come Gev non è stato solo quello di organizzare la distribuzione dei prodotti da sottoporre a valutazione, ma anche di introdurre alcuni correttivi che si sono resi necessari dopo la prima Valutazione della Qualità della Ricerca (Vqr) e il conseguente dibattito che si è attivato.

Lo sconcerto che aveva suscitato la Vqr del 2004-2010 (primo esercizio di valutazione in assoluto), espresso talvolta in severi giudizi che ne criticavano i criteri valutativi, credo dipendesse anche dal fatto che molti di noi avevano realizzato, solo a risultati pubblicati, e in seguito ai successivi provvedimenti adottati dagli atenei, le reali implicazioni derivanti

dal sistema della Vqr, che avrebbe dovuto avere come obiettivo primario e originale la valutazione della ricerca che si svolge nelle strutture e negli enti, per monitorarne l’andamento e per decidere della distribuzione delle risorse. Purtroppo molti atenei, in particolare quelli più grandi del centro-sud, hanno fatto un uso distorto dei dati, che sono stati utilizzati anche per la valutazione dei singoli individui e non solo delle strutture, e questo ha provocato quel senso di disorientamento e di confusione che serpeggiava nella nostra comunità scientifca. Nonostante queste storture, penso che il sistema della valutazione vada difeso perché dovrebbe innescare meccanismi virtuosi di sana competizione tra i ricercatori e di miglioramento delle performance, che sono obiettivi importanti per una collettività scientifca, che deve continuamente interrogarsi sulla qualità della ricerca e sul proprio ruolo nella società.

Tutti i sistemi sono passibili di perfezionamento e pertanto è nostro compito lavorare in tal senso, pur consapevoli che i risultati che si ottengono vanno utilizzati per l’uso efettivo per cui erano stati immaginati, ovvero sottoporre la ricerca a valutazione per stimolare il miglioramento delle istituzioni, la valorizzazione delle vocazioni e la corretta individuazione degli obiettivi.

La valutazione dovrebbe permettere di costruire una geografa delle istituzioni in Italia e di avanzare qualche considerazione attorno ai modi con i quali si fa ricerca e sul valore che essa assume entro un panorama internazionale; dovrebbe permettere qualche considerazione sull’evolversi di questa geografa in un tempo medio di dieci anni, attraverso il confronto con la situazione degli anni precedenti.

Di seguito, secondo gli intenti del ministero, i risultati della valutazione dovrebbero essere utilizzati anche per l’allocazione dei fondi statali alle Università (e agli Enti di Ricerca con modalità diverse), secondo quanto stabilito dall’articolo 60 del D.L. 69/2013. A ben guardare è proprio questo obiettivo che fnisce per creare delle distorsioni, una sorta di giustifcazione ideologica per ridurre e concentrare le poche risorse disponibili. Per raggiungere questo obiettivo il parametro della produzione scientifca della Vqr viene inserito in un algoritmo che confronta la produzione di una determinata area scientifca con quella di tutte le aree scientifche e con altri indicatori di carattere gestionale che condizionano il risultato fnale. Ad ogni modo, il nostro operato si è concentrato sull'obiettivo di migliorare i criteri di valutazione specifci della nostra disciplina e, in particolare, sulla verifca della tassonomia dei prodotti

del bando che non era adeguata per il settore architettura, perché non restituiva un ritratto fedele dei temi e delle modalità in cui si svolge la ricerca. Non compariva ad esempio la parola progetto e, di conseguenza, vi era una totale sottostima della ricerca progettuale, che è il cuore della nostra disciplina.

Il bando della Vqr 2011-2014, attraverso l'ampliamento della tipologia dei prodotti, ha registrato questa varietà di espressione, non penalizzando o privilegiando alcun tipo di prodotto tra quelli elencati. Poichè la Vqrdovrebbe avere il compito di valutare la qualità della ricerca e non altro, sono stati anche specifcati gli aspetti che distinguono i prodotti scientifci da quelli meramente didattici o divulgativi (testi, cataloghi di mostre che raccolgono materiali prodotti nei corsi di insegnamento, manuali didattici, ecc.) con il fne di individuare i prodotti ammissibili alla valutazione della ricerca.

Il nostro compito è stato quindi di fornire chiare defnizioni dei prodotti della ricerca e indicazioni su come andassero presentati se sottoposti a valutazione. È stato dunque precisato cosa sia ad esempio monografa, cosa si intenda per curatela o cosa signifchi progetto architettonico, afnchè non venissero sottoposti a valutazione prodotti non appartenenti alle categorie, evitando che venissero, di conseguenza, mal valutati. Un altro lavoro importante ha riguardato la necessità di stabilire criteri condivisi sul sistema di valutazione. I sistemi di valutazione che si usano in ambito accademico sono due: bibliometrico e non bibliometrico. Il primo è una sorta di modello matematico, ed ha a che fare con il numero di citazioni che una certa pubblicazione ha ottenuto. Più volte si è citati, più l’articolo ha interessato la comunità scientifca, e quindi ha una valutazione più alta. Questo sistema può anche subire delle deformazioni, perché ci sono delle riviste scientifche che, quando si scrive un articolo, chiedono esplicitamente di citare qualcuno che ha già scritto nella rivista, generando un meccanismo per aumentare il numero delle citazioni, ma in linea di massima è un criterio quantitativo rigoroso e indiscutibile. Questo sistema non ci riguarda nello specifco, perché le materie umanistiche in generale, o la nostra disciplina che è un po’ a cavallo tra l'ambito umanistico e quello scientifco, sono invece valutate secondo la peer review, ovvero la valutazione tra pari: si scelgono altri ricercatori nel campo che devono leggere il testo e stabilirne la qualità. Anche qui possono esserci delle oscillazioni sul giudizio determinante da vari fattori. Ad esempio, quando si afda la valutazione bisognerebbe avere l’accortezza

di assegnare un certo numero di testi al valutatore, afnchè egli abbia dei termini di paragone. La valutazione che darà sarà più equilibrata. Siamo inoltre in un ambito delicato e in parte discrezionale, perché possono esserci persone più rigorose e severe, oppure più generose nel valutare. Per questo motivo i testi vengono dati da leggere a persone diverse (la mia opinione è che dovrebbero essere tre, ma qui entrano in gioco anche fattori economici). Essendo un sistema non-bibliometrico, le valutazioni sono maggiormente dipendenti da stime soggettive. La peer review si è dimostrata più severa, ma c’è da dire che questo favorisce la collocazione dei prodotti nelle classi intermedie rispetto a quelle estreme.

Per cercare di uniformare maggiormente i criteri di valutazione, quindi, occorreva fornire ai revisori una griglia di parametri e principi condivisi che potesse determinare una valutazione equa. I criteri fssati riguardavano l’originalità, il rigore metodologico, l’impatto attestato o potenziale sulla comunità internazionale di riferimento, l’autorevolezza della sede editoriale tenendo conto dei caratteri del mercato editoriale e dei modi con i quali si ha accesso ad esso. Anche i circuiti locali/nazionali/internazionali in cui l’opera si colloca sono elemento che, analogamente, incide sull’impatto attestato o potenziale della stessa. Di questo elemento occorre tenere conto, pur cercando di evitare le ingenuità di una equivalenza tra internazionalizzazione e circuiti di difusione, essendo la prima defnita più che dalla sede o dalla lingua, da interlocutori individuati esplicitamente o implicitamente (ovvero a chi si rivolge).

Per quanto riguarda i giudizi discordanti e i prodotti non valutabili, il Gev ha formato dei gruppi di consenso costituiti da tre membri che hanno esaminato le diferenze e le motivazioni, potendo scegliere se giungere a un verdetto motivato, oppure ricorrere a un terzo revisore. Comunque il dato sulle valutazioni discordanti per l’area 08 mette in luce una percentuale tutto sommato rassicurante.

GU: Quale prodotto di ricerca ci si aspetta che venga elaborato da un dottorando? AC: Direi che il dottorando è un giovane che vuole imparare il mestiere della ricerca. La ricerca si può fare in molte istituzioni, enti, società. Tra i luoghi della ricerca l’università è senz’altro al primo posto. Quindi un dottorando che voglia poi continuare il proprio percorso di ricercatore comincerà a produrre ricerca nell’ambito che più gli interessa. L’output della ricerca è sostanzialmente lo stesso per tutta la comunità scientifca

a cui anche il dottorando appartiene. Quindi i prodotti di ricerca saranno quelli della disciplina di appartenenza. Per la progettazione architettonica i prodotti più frequenti sono: monografe, curatele, saggi, articoli in rivista, proceeding, progetti architettonici che abbiano ottenuto premi o riconoscimenti o che siano stati pubblicati.

PP: Quali sono i vantaggi ed i benifci del sistema IRIS per ricercatori e studenti? Abbiamo ascoltato con piacere la sua lezione al dipartimento, ma possiamo chiederle anche in questa sede quali sono i punti essenziali di utilizzo del sistema? AC: I prodotti segnalati per la Vqr provengono dal Database Iris, ove per ogni prodotto l'autore è stato invitato, al momento dell'inserimento, a dare informazioni sulla circolazione (nazionale/internazionale), sulla eventuale classifcazione della rivista, sulla eventuale presenza di comitati scientifci etc. Tali informazioni, raccolte in base a quanto hanno dichiarato gli stessi autori, concorrono alla valutazione del prodotto. Il Database Iris serve quindi come attestazione dell’esistenza di un prodotto e serve anche per tutta una serie di altre valutazioni a cui i ricercatori in generale (quindi docenti e dottorandi) sono sottoposti in diverse occasioni, non solo per la Vqr. Ad esempio quando si presenta una domanda di ricerca, quando si valuta la produttività e la qualità di un dottorato e così via.

GU: Quali sono, se ce ne sono, i miglioramenti attuabili all’intero sistema di catalogazione IRIS? AC: I maggiori problemi che riscontro sono nella piattaforma che non gestisce bene il conferimento dei prodotti da parte di co-autori o collaboratori generando spesso doppioni. Inoltre permette di inserire tutta una serie di informazioni irrilevanti a mio giudizio per la valutazione della ricerca, che riguardano invece i ruoli ricoperti dai ricercatori. Infne per modifcare il prodotto occorre rivolgersi ai responsabili della piattaforma e questo complica inutilmente le cose. Si tratta però di problemi tecnici e non di sostanza.

METODO

Nella pagina precedente: Gilbert Garcin, Surmonter les obstacles, 2005