Queste istituzioni gli opuscoli cultura della valutazione

Cultura della valutazione Marina Gigante Bernardo Pizzetti Sergio Ristuccia

!I ERNST & YOUNG Amministrazioni Pubbliche e Organizzazioni Non Profit

--

-

-

•

-

•1

}

4

I

I

I

i

Cultura della valutazione Marina Gigante Hernardo Pizzetti Sergio Ristuccia

!I ERNST & YOUNG Amministrazioni Pubbliche e Organizzazioni Non Profit

Indice

Marina Gigante Le trasformazioni dell'Amministrazione e la funzione di valutazione

5

Bernardo Pizzetti Valutare e misurare la ricerca: dal dibattito alla prassi operativa

Sergio Ristuccia I dilemmi del controllo e le ambiguità delle «tre E»

© by Queste Istituzioni 1994 Via E.Q. Visconti, 8 -00193 Roma Realizzazione: IM.A.G.E. - Roma Stampa: I.G.U. - Ottobre 1994

14

Cultura della valutazione

Di valutazione e di cultura della valutazione si parla da molto. Spesso con quella amena leggerezza davanti alla quale non si capisce se tutto sia già chiaro e definito e non si tratti che di mettersi all'opera ovvero se ci si rfirisca ad una strada lunga, un po' difficile, che sembra sconsigliabile prendere e basta parlarne un p0' per convincersene. Di questa leggerezza i dibattiti nella pubblica amministrazione offiono spesso i più variegati esempi.

Cerchiamo, quindi, di andare al fondo della questione. Da tempo in tutte le sedi in cui si spendono risorse finanziarie e umane per fini non di profitto girano domande semplici e oneste: i soldi spesi sono andati a buon fine? è stato giusto spenderli? quali effetti hanno avuto?

Una fondazione che abbia sostenuto questo o quel programma, domande del genere se le pone se è una fondazione seria. Ed infatti è da oltre un decennio che le grandi fondazioni europee si scambiano esperienze in materia. Intorno alla parola valutazione, o meglio a quella inglese evaluation, si è creata una biblioteca amplissima.

Perché valutare è un'operazione che ha per oggetto prevalentemente la qualità e non la quantità. Coinvolge sensibilità e parametri di giudizio di più soggetti (chi dà e chi riceve, chi decide e chi esegue e così via). E un'operazione che si fa prima e dopo, o come anche si dice più pomposamente, ex-ante ed ex-post.

Che l'amministrazione pubblica sia chiamata a valutare e ad essere oggetto di valutazione è chiaro da tempo e certi discorsi di amena leggerezza ne sono la testimonianza.

Noi pensiamo che valutare sia dffìcile, soprattutto se è un'operazione da compiere non da un solo punto di vista ma da tutti i princzali punti di vista (dunque, un'operazione multidisczplinare).

Per questo ne cominciamo a parlare sistematicamente.

3

Le trasformazioni dell'Amministrazione e la funzione di valutazione* di Marina Gigante

A circa vent'anni di distanza dalla pubblicazione del lavoro su 'Tattività tecnica della P.A.", le riflessioni di Vittorio Bachelet circa lo stato della dottrina in tema di attività tecnica della P.A. conservano gran parte della loro attualità. Bachelet osservava che l'attenzione al riguardo era scarsa, e prevalentemente circoscritta alle ipotesi in cui l'attività tecnica era strumentale all'emanazione di un atto amministrativo, oppure si incentrava sul problema strettamente collegato della discrezionalità tecnica.

Per gran parte, anche oggi l'interesse della dottrina continua ad essere focalizzato sul tema della discrezionalità tecnica, nel tentativo di tracciare una linea di demarcazione il più possibile netta tra valutazioni tecniche e valutazioni del pubblico interesse (Ledda, Cerulli, Ottaviano; accenti in parte diversi in Marzuoli e Violini). È vero, peraltro, che in tal modò la dottrina tende ad arrivare dall'interno, per così dire, dell'atto amministrativo allo scopo cui era soprattutto interessato Bachelet, quello di estendere la rilevanza giuridica dell'attività tecnica, di "ricondurre la tecnica alla sfera del dirit-

to sottraendola a quella riserva che di fatto il potere si era assicurato a suo favore" (Ledda), aprendo il giudizio amministrativo alla conoscenza dei fatti e costruendolo come giudizio sulla ragionevolezza dell'agire della P.A. Pur con queste precisazioni, resta pur sempre il fatto che l'interesse della dottrina tende ad incentrarsi sull'attivita tecnica che costituisce 1 antecedente o almeno un lato dell'attività amministrativa" (Ranelletti), e che è quindi strumentale all'emanazione di un atto amministrativo; così come resta confermato il disagio che essa dimostra quando invece tale attività tecnica consiste nel compimento di opere o nella prestazione di servizi, ed è quindi essa stessa che direttamente realizza la cura di determinati interessi pubblici attribuiti alla pubblica amministrazione.

Un tale disagio nasce indubbiamente, come rilevava Bachelet, dal fatto che nella ricostruzione del diritto amministrativo come sistema fondato sull'atto amministrativo, l'attività tecnica stenta a venire in considerazione in sé e per sé, complessivamente considerata, e rileva piuttosto «solo per i suoi con-

5

tatti puntuali con l'una o l'altra manifestazione dell'attività c.d. giuridica dell amministrazione E, in effetti, un sistema fondato sull'atto amministrativo non riesce a dar conto in modo soddisfacente dei problemi sollevati dall'attività tecnica, che emergono con particolare evidenza proprio quando questa costituisce di per se stessa il modo di esplicazione dell'attività amministrativa: in primo luogo, il problema della capacità di rispondere alla cura di determinati bisogni pratici della collettività, il problema dell'efficienza, della funzionalità.

Non a caso d'altronde, questo tipo di attività tecnica emergeva in modo più netto nella sfera della c.d. attività sociale dello Stato, quella cioè più intimamente legata al processo di trasformazione delle funzioni pubbliche ed al passaggio dallo Stato di diritto allo Stato sociale. Qui, in effetti, si avvertiva con particolare evidenza l'emergere dei profili di efficacia dell'azione amministrativa che non erano assorbibili ed erano, anzi, potenzialmente confliggenti con quelli della legittimità, e si evidenziava la crisi di quel principio di legalità in senso formale su cui riposa il sistema ad atto amministrativo.

Allo stesso Bachelet non era sfuggito lo stretto collegamento tra attività tecnica ed efficacia ("la verità è che... non sempre le categorie della legittimità e del merito - costruite in relazione ad atti amministrativi formali 6

sono adeguate alla valutazione giuridica dell'attività tecnica"). Del resto, da tutto il suo lavoro traspare la consapevolezza che il contenuto tecnico dell'attività non poteva non influire sulla configurazione degli istituti giuridici, e nello stesso tempo la chiara percezione della difficoltà di ricondurre questa negli schemi tradizionali dell'amministrazione pubblica. Ciò emerge con particolare evidenza nel tentativo di conferire una valenza giuridica, e non meramente descrittiva, agli uffici tecnici: uno dei tratti tipici di questi, infatti, è dato proprio dalla loro, almeno parziale, sottrazione al vincolo gerarchico (Marongiu), e quindi dal loro distacco dal tradizionale meccanismo che funge da collante dell'organizzazione pubblica, e ne assicura il rispetto del principio di legalità (Berti).

La percezione dell'irriducibilità della tecnica alla logica della legalità formale rimaneva peraltro ancora nell'ombra finchè l'attività tecnica della P.A. era sopratutto quella susseguente all'attività amministrativa vera e propria, e consistente nella costruzione di opere o nello svolgimento di servizi - per questo si dubitava addirittura che potesse considerarsi vera e propria attività amministrativa, e comunque la sua irregolarità o mancanza costituiva una semplice inefficacia pratica dell'azione amministrativa (Ranelletti).

Quanto all'attività tecnica anteceden-

te l'emanazione dell'atto, essa aveva un rilievo limitato, e a darne conto bastava il ricorso alla funzione consultiva, che non a caso presentava anch'essa difficoltà di inquadramento teorico (Giannini), e che comunque dava vita quasi ad un circuito parallelo e sostanzialmente subordinato a quello principale, fondato sulla gerarchià e sulla legalità.

Tale percezione emerge con assai maggiore evidenza ed incisività quando per una pluralità di fattori - in primo luogo l'evoluzione delle funzioni pubbliche in settori a pi1 forte valenza tecnica, e lo sviluppo stesso della tecnica - l'applicazione di principi e regole tecniche assume una crescente importanza all'interno della stessa attività amministrativa.

Non è un caso, dunque, che la valorizzazione dell'elemento tecnico sia un elemento ricorrente in buona parte delle innovazioni introdotte nell'organizzazione amministrativa nell'ultimo quindicennio, attraverso le quali si è concretizzato un progressivo allontanamento dal modello tradizionale di amministrazione pubblica: si può ricordare il crescente ricorso alla creazione di amministrazioni indipendenti in primo luogo, che per tanti profili - posizione istituzionale, poteri, funzioni, organizzazione - coniugano in modo nuovo il rapporto dell'Amministrazione con la legge (Marzona), o anche il nuovo assetto conferito alle università e agli enti pubblici di ricer-

ca a carattere non strumentale dalla legge 9 maggio 1989 n. 168 (Merloni), che si fonda tra l'altro sul riconoscimento a tali figure di un potere normativo secondario che non è riconducibile alla tradizionale relazione di esecutività della fonte subordinata rispetto alla legge (Di Gaspare), e ancora al riordinamento dell'Istat e alla connessa creazione del Sistema statistico nazionale, effettuato con d.lg. 6 settembre 1989 n. 322, che con la configurazione di una funzione conoscitiva autonoma ha confermato la progressiva attenuazione della caratterizzazione provvedimentale dell'attività amministrativa (Merloni).

In tutti questi casi, si ha l'impressione per un verso che la valorizzazione della tecnica non possa emergere se non attraverso formule organizzative nuove, che consentano l'espressione di caratterizzazioni intrinseche alla tecnica, quali l'oggettività, il radicamento nella realtà, l'aderenza ai fatti, quindi il valore stesso dei fatti, altrimenti "coperti" dalla legalità e dalla qualificazione che di essi danno le norme.

Nello stesso tempo, viene in rilievo l'intima correlazione che intercorre tra tecnicizzazione e nuovo modello di amministrazione, e che fa sì che questo non possa prescindere dalla prima.

In effetti, il progressivo distacco che viene in piii modi maturando dell'Amministrazione dal tradizionale modello legalitario burocratico, fondato sul principio di legalità formale e ':4

sulla relazione di esecutività dell'atto amministrativo rispetto alla legge, e il delinearsi di un nuovo modello, ancora non ben definito, ma comunque caratterizzato da una pii netta distinzione dell'Amministrazione dalla politica e improntato ad una cultura dell'efficacia e della responsabilità (Berti, Di Gaspare), portano in primo piano le regole non solo giuridiche, ma anche tecniche se non scientifiche che presiedono allo svolgimento dell'attività amministrativa (Berti, Marzona).

La tecnica, dunque, penetra nel cuore stesso dell'attività amministrativa e sollecita la definizione di nuove forme organizzative e di nuove funzioni, capaci di esprimere una logica diversa da quella della legalità, attenta alla realtà dei fatti e ai risultati dell'azione amministrativa.

LA FUNZIONE DI VALUTAZIONE

Tra le novità pRi significative che si ricollegano alla valorizzazione dell'elemento tecnico dell'azione amministrativa vi è appunto il delinearsi di una funzione di tipo nuovo: la funzione di valutazione.

Essa si fonda sulla sottolineatura della specificità dell'apporto dei tecnici al processo decisionale pubblico, e si configura come il contributo proprio e specifico, in certa misura tipizzato, che essi apportano al processo di costruzione delle scelte amministrative.

[I

Attraverso di essa si realizza una trasformazione del ruolo dei tecnici nel processo decisionale pubblico, da "consiglieri del principe" a detentori di un ruolo proprio e specifico, di un potere assai pRi definito e identificato di quello, in genere meramente consultivo, che li aveva caratterizzati nel recente passato, e che in molti casi continua a caratterizzarli tuttora.

Non si può dire che la fùnzione di valutazione abbia ancora assunto un assetto del tutto definito, e la varietà di forme in cui si manifesta non è solo frutto della ricchezza delle sue potenzialità applicative, quanto anche dell'incertezza dei suoi contorni. Pur con queste precisazioni, alcune considerazioni al riguardo possono farsi fin d'ora.

Intanto, va ribadito che la funzione di valutazione comporta lo svolgimento di un'attività eminentemente tecnica, che richiede il possesso di conoscenze specialistiche e che perciò può essere svolta solo da esperti. Ciò spiega perché il personale addetto agli uffici di valutazione sia formato esclusivamente da tecnici: si tratta di un'importante novità, perché la presenza dei tecnici nell'Amministrazione pubblica solo raramente è avvenuta in forma pura, più spesso frammista alla rappresentanza di interessi.

In secondo luogo, si tratta di un'attività mista di conoscenza e di giudizio, che scaturisce dal tronco dell'attività conoscitiva, ma se ne distingue perché

non sembra limitarsi ad un giudizio di fatti, sia pure "volto a definire i caratteri di un fenomeno in vista degli effetti che può produrre in seguito" (Levi); sembra infatti esserci qualcosa di più, un vero e proprio giudizio di valore fondato su dati tecnici. Peraltro, al di là della difficoltà di distinguere tra giudizio difatti e giudizio di valore, il dato da sottolineare al riguardo è che la valutazione introduce maggiore oggettività nel processo decisionale, e ciò sembra influire sul modo di configurare la discrezionalità, da un lato accentuando l'importanza del momento intellettivo, dall'altro ancorando maggiormente alla realtà, ai fatti, anche il momento della volizione (M.S.Giannini sottolinea la tendenziale trasformazione della discrezionalità amministrativa in discrezionalità tecnica; Marzona, Di Gaspare).

In terzo luogo, si tratta di un'attività che si potrebb&definire di tipo ausiliario, per sottolineare che essa non comporta l'esercizio di poteri amministrativi. Peraltro, se in alcuni casi la valutazione si configura come una funzione autonoma, non collegata ad uno specifico provvedimento, in altri appare intrecciata con un procedimento a carattere non pubblicistico, bensì negoziale, che fa capo al sistema sindacale (Cassese, D'Antona).

Ancora, la funzione di valutazione sembra frutto di un ripensamento della funzione consultiva e di' quella di

controllo alla luce di una nuova cultura amministrativa, che incentra la sua attenzione sull'attività e sulla funzione, e sul risultato di essa. Alla luce di tale cultura, il riferimento all'atto amministrativo, - che è centrale per distinguere consulenza e controllo, sopratutto quando questo si configura come controllo-conoscenza, controllo senza misure, - perde di valore, ed emerge piuttosto il dato del comune contributo che la valutazione apporta al conseguimento degli obiettivi, all'efficacia dell'azione amministrativa. Anche i sociologi, del resto, ci dicono che è in atto una trasformazione nel modo di concepire il controllo, da attività eminentemente configurata come una verifica ad una funzione di indagine e di consulenza (Lorino).

Infine, una ulteriore caratteristica è data dalla stretta connessione che intercorre tra i tratti funzionali ora indicati, e un particolare modello organizzativo, che ha come elementi qualificanti, oltre alla composizione eminentemente tecnica dell'ufficio, l'attribuzione ai suoi addetti di uno status particolarmente garantito, e il conferimento ad esso di autonomie organizzatorie di varia ampiezza. In esso, dunque, si configura un rapporto del tutto peculiare con l'autorità politica, improntato ad una separazione assai più netta che nell'amministrazione tradizionale.

9

Gli uffici di valutazione e i servizi di controllo interno Come si è accennato, funzioni di valutazione sono attualmente svolte da diversi uffici, secondo modalità che talvolta differiscono tra di loro marcatamente.

Una prima distinzione può farsi a seconda che tali uffici siano collocati all'interno dell'organizzazione più tradizionale della P.A.,quella ministeriale, oppure operino all'esterno di questa, nell'ambito del variegato fenomeno del pluralismo amministrativo.

All'interno dell'organizzazione ministeriale, uffici di valutazione in senso proprio (1) possono essere considerati il Servizio centrale degli ispettori tributari (Secit), istituito presso il ministero delle Finanze dalla legge n.146 deI 1980, e poi disciplinato anche dall'art.16 I. n.123 del 1987 e dall'art.

11 legge n. 358 del 1991, cui è affidata principalmente una funzione di controllo, avente per oggetto l'attività di accertamento degli uffici finanziari, nonchè le verifiche eseguite dalla Guardia di Finanza; il Nucleo di valutazione per gli investimenti pubblici, previsto dalla legge n.181 del 1982 e da quella n.878 del 1986 presso la Segreteria generale della programmazione economica del ministero del Bilancio, e la Commissione tecnico-scientifica per la valutazione dei progetti di protezione e di risanamento ambientale, prevista presso il Ministero del10

l'Ambiente dall'art.4 legge n.41 del 1986, e poi dall'art. 18 comma 4 legge n.67 del 1988, che operano entrambi nel campo degli investimenti pubblici e provvedono alla istruttoria tecnico-economica dei progetti che aspirano ad ottenere finanziamenti pubblici.

A questi tre uffici vanno aggiunti i servizi di controllo interno, o nuclei per la verifica dei risultati, previsti dall'art.2, punto 2, lett. g, della legge 241 del 1993, e regolati dall'art. 20 d.lg. n.

470 del 1993, cui è affidato il compito di «verificare, mediante valutazioni comparative dei costi e dei rendimenti, la realizzazione degli obiettivi, la corretta ed economica gestione delle risorse pubbliche, l'imparzialità e il buon andamento dell'azione amministrativa". Anche se la disciplina finora dettata alloro riguardo è ancora vaga, e non consente di definire con certezza la loro fisionomia, tali servizi sembrano presentare notevoli omogeneità con quelli qui sopra esaminati, e possono quindi essere collocati anch'essi nell'ambito della valutazione.

I primi tre uffici sono posti all'interno della struttura ministeriale, ma sganciati dall'organizzazione gerarchica di questa: essi, infatti, non entrano a far parte dell'organizzazione tradizionale degli uffici, ma la affiancano, essendo posti alle dirette dipendenze del ministro, e, nel caso del Nucleo, di quelle del Segretario generale della programmazione economica.

Anche lo statuto del personale ad essi addetto è peculiare, poichè esso ha un rapporto più stretto con l'autorità politica (che li nomina), ma al tempo stesso più garantito (la nomina è procedimentalizzata; i requisiti ad essa relativi sono stabiliti per legge; l'incarico è a tempo determinato, e la sua durata è stabilita per legge, e fissata per un periodo di tempo presumibilmente più lungo di quello che in genere hanno gli incarichi ministeriali; viene fissato un regime particolarmente rigoroso delle incompatibilità).

Analoghe peculiarità si registrano circa la posizione organizzativa dei tre uffici, improntata ad una maggiore autonomia rispetto agli ordinari uffici ministeriali.

Anche all'interno dell'organizzazione ministeriale la tecnicizzazione ha dunque comportato l'introduzione di moduli organizzativi peculiari, il cui impatto con la struttura ministeriale si è peraltro rivelato - sopratutto nel caso dei primi due uffici, improntati ad una maggiore autonomia e separazione rispetto all'autorità politica - tutt'altro che agevole.

Ciò è apparso particolarmente evidente nel caso del Nucleo di valutazione degli investimenti pubblici, le cui vicissitudini - che pure in buona parte sono addebitabili al fallimento della programmazione per progetti cui esso era strettamente collegato - sono dovute anche all'accentuata ambiguità del disegno organizzativo.

Qui, infatti, la difficoltà di tenere insieme autonomia tecnica e responsabilità ministeriale era in qualche modo esaltata dalla diretta strumentalità della valutazione del Nucleo al provvedimento di attribuzione dei fondi, e si rifletteva nell'incertezza della qualificazione giuridica da dare alla valutazione stessa (parere obbligatorio, parere vincolante, presupposto), come anche all'ufficio (ufficio meramente interno, ufficio con rilevanza esterna, organo, organo procedimentale), per non dire al rapporto di servizio del personale ad essi addetto (funzionari onorari, funzionari professionali, funzionari onorari professionali).

Ciò spiega perché gli sviluppi della funzione di valutazione sembrano affidati a modalità caratterizzate da più profondi ripensamenti dell'organizzazione amministrativa.

Queste sono costituite in primo luogo dagli uffici di controllo interno, con i quali si è introdotta una forma di autocontrollo della P.A. che, incentrandosi sull'attività e non più solo sull'atto, ed essendo finalizzata al perseguimento dell'efficacia dell'azione amministrativa, segna una profonda revisione dei controlli amministrativi.

La portata innovativa dell'istituzione dei Nuclei sembra peraltro non limitarsi al terreno dei controlli, e aver innescato un meccanismo più ampio di ripensamento del modello amministrativo nel suo complesso, in quanto che essa spinge inevitabilmente ver11

so un'attribuzione di responsabilità in ordine al risultato che si collega ad un ripensamento del ruolo della dirigenza amministrativa (Di Gaspare), d'altronde anche sotto altri profili operato dal d. lg. n. 29 del 1993.

L'autonomia della valutazione La funzione di valutazione sembra aver trovato poi ulteriore sviluppo fuori dell'organizzazione ministeriale, associandosi a modelli organizzativi che da questa si distaccano sensibilmente. quanto è accaduto nel caso della Commissione di garanzia dell'attuazione del diritto di sciopero nei servizi pubblici essenziali, prevista dalla legge n. 146 del 1990.

A tale Commmisione, che rappresenta una delle amministrazioni indipendenti in cui la separazione dal potere politico si realizza in modo pii pieno (Cerulli), è, tra l'altro, affidato il compito di "valutare l'idoneità delle misure volte ad assicurare il contemperamento dell'esercizio del diritto di sciopero con il godimento dei diritti della persona, costituzionalmente tutelati, "alla vita, alla salute, alla libertà e alla sicurezza, alla libertà di circolazione, all'assistenza e previdenza sociale, all'istruzione e alla libertà di comunicazione.

Qui, èancora pii evidente il carattere autonomo assunto dalla valutazione, che in questo caso non solo 12

prescinde dal provvedimento, ma si collega invece con un procedimento negoziale; il suo inserirsi nell'ambito di una profonda modificazione del ruolo dell'amministrazione, la cui attività da regolatoria tende piuttosto a divenire di controllo e di riequilibrio, volta alla individuazione e affermazione di regole di comportamento dei rapporti interprivati (F. Benvenuti); la posizione neutrale e non interessata della Commissione, volta alla salvaguardia di beni - i diritti della persona costituzionalmente tutelati - che non sono fatti appartenere all'organizzazione pubblicistica (Marzona); l'attenzione per l'effettività della tutela di tali beni, che emerge chiaramente dal disposto normativo, se si considera che scopo della legge n. 146, a garanzia dell'attuazione della quale è stata appunto costituita la Commissione, è proprio quello di assicurare "l'effettività nel loro contenuto essenziale dei diritti della persona, costituzionalmente tutelati, di cui all'art. i comma 1".

Si può infine accennare come andrebbe attentamente vagliata la possibilità di inquadrare nell'ambito della valutazione anche l'attività di vigilanza affidata all'Autorità per la vigilanza sui lavori pubblici, prevista dall'art. 4 della legge 11febbraio 1994 n. 109, nonché i compiti di controllo affidati alla rinnovata Corte dei conti dalla legge n.20 del 1994, almeno nella parte in cui questi consistono nell accertare 9a

rispondenza dei risultati dell'attività amministrativa agli obiettivi stabiliti dalla legge, valutando coniparativa-

mente còsti, modi e tempi dello svolgimento dell'azione amministrativa" (art.3 comma 4)**

* Le osservazioni esposte nel testo costituiscono la prima traccia di un più ampio lavoro sul tema dell'attività tecnica della P.A. attualmente in corso di elaborazione.

Infatti, o la loro composizione ha carattere misto, tecnico-politico, o la tecnicità ditali uffici, pur essendo testimoniata dalla loro composizione esclusivamente tecnica, non è tuttavia assistita da sufficienti garanzie, sia per quanto riguarda lo statuto del personale che gli aspetti organizzativi.

Una rassegna ditali uffici è in M. Gigante, Verso un nuovo ruolo dei tecnici ne/processo d.ecisionale pubblico: l.aJi#izione di valutazione in G. D'Auria-P. Bellucci, Politici e burocrati al governo dell'amminùpazione, in corso di stampa per i tipi del Mulino, dov'è contenuto anche un più analitico esame delle caratteristiche funzionali e organizzative degli uffici di valutazione.

I numerosi uffici di valutazione presenti nell'amministrazione di tipo ministeriale, inseriti per la gran parte nella fase istruttoria di procedimenti per l'attribuzione di finanziamenti pubblici - quindi quasi tutti operanti nel settore della valutazione degli investimenti pubblici - si discostano in realtà. sensibilmente dal modello ora delineato, tanto che nella maggior parte dei casi può dirsi che per essi si è, in realtà, fuori dalla figura della valutazione.

13

Valutare e misurare la ricerca: dal 'dibattito alla prassi operativa di Bernardo Pizzetti

Da parecchi anni si assiste allo sviluppo di un ampio e particolareggiato dibattito sulla possibilità e sulla necessità di giungere a definire dei criteri di misurazione delle «performances» di quei settori i cui output non sono immediatamente quantificabili in termini monetari. La questione appartiene al fecondo filone di indagine che prende le mosse dai tentativi di valutazione delle politiche pubbliche (intese nella loro concezione più ampia), tentativi che hanno trovato una collocazione ed una sintesi metodologica nella cosiddetta analisi costi-benefici, i cui contributi sono oramai conosciuti nella letteratura economica dato che sull'argomento sono apparsi numerosi rapporti, libri, articoli, contributi e studi di vario genere. Occorre tuttavia riassumere brevemente gli argomenti che sono stati sostenuti nel corso degli 'anni. Sintetizzando oltre i limiti normalmente consentiti dalla vastità e complessità di tale dibattito, possiamo dire che l'analisi costi benefici ha vissuto un primo periodo in cui il tentativo compiuto dagli esperti di tale disciplina è stato quello di tradurre in termini monetari i benefici di cui una colletti14

vità si appropria in seguito allo svilupparsi di determinate azioni di politica pubblica; l'esempio utilizzato comunemente è quello relativo alla maggior durata della vita umana in un quartiere ad alto tasso di criminalità in seguito all'incremento del servizio di pattugliamento di polizia. Per poter «monetizzare» gli effetti di tale azione, i cui costi sono misurabili in termini di personale e mezzi aggiuntivi impiegati, occorre assegnare un valore all'incremento della vita media nel quartiere in questione; a questo fine è possibile mutuare i criteri utilizzati dalle compagnie di assicurazione che, tramite una serie di parametri quali l'età dei soggetti, l'impiego, il reddito e così via recitando, associano un valore monetario alla vita media di un individuo. Mettendo a confronto i costi sostenuti con i benefici raggiunti, dovrebbe essere possibile, in linea teorica, poter esprimere un giudizio sull'efficienza e sull'efficacia della politica perseguita.

Naturalmente i sistemi di calcolo messi a punto sono più complessi e approfonditi di quanto esposto; tuttavia, pur nella sua semplicità, l'esempio

proposto rappresenta un caso estremo utile per introdurre le tematiche che sono state affrontate in una seconda fase del dibattito su questi aspetti. In particolare si è cominciato ad osservare che tale approccio non riesce ad emancipare il giudizio sulle politiche pubbliche dagli aspetti puramente monetari del problema, limitandosi a fornire una «contabilità della felicità» che prescinde dai giudizi di merito e di valore che qualunque policy maker, al momento di prendere le decisioni, è chiamato ad esprimere indipendentemente dal rientro monetario che la messa in opera delle proprie azioni comporta. Ciò non deve significare che non sia valida in assoluto una procedura che misura i benefici per poterli poi mettere in relazione con i costi monetari sostenuti ma, semplicemente, che c'è un limite alla loro traduzione in termini di moneta poiché tale approccio non riesce a fornire una rappresentazione reale e completa degli impatti conseguenti alle azioni di politica pubblica. È a partire da questa discussione che sono stati ricercati dei metodi di misurazione in grado di tenere conto di tali effetti senza ridurli necessariamente a moneta. Ciò ha comportato lo sviluppo di due filoni di indagine fra loro separati ma facilmente integrabili: uno è quello relativo alla definizione degli indicatori necessari a misurare i fenomeni, mentre il secondo è re-

lativo alla forma assunta dal sistema (o dai sistemi) di rendicontazione ditali indicatori, delle attività e della situazione «sociale» sottostante e che ha portato alla definizione di strumenti quali il bilancio sociale, il bilancio verde (ecobilancio), il bilancio di missione, etc, che rappresentano tutti tentativi di risposta ai problemi di misurazione non monetaria delle attività.

L'attenzione di questa nota sarà concentrata maggiormente sugli aspetti relativi alla definizione di un sistema di indicatori nello specifico settore della ricerca, mentre per gli aspetti relativi al secondo filone si rimanda alla lettura dell'interessante articolo di Gabrovec Mei i che fornisce un quadro sufficientemente esauriente sulle tematiche in argomento.

Relativamente alla problematica della valutazione, vale sottolineare che i termini di riferimento concettuali sono abbastanza ampi e delimitarne il campo non è operazione delle più semplici: infatti, poiché i metodi di valutazione impiegati (o indagati) variano in funzione di una quantità di variabili tale da non aver ancora ricevuto una adeguata collocazione schematica ed esaustiva al punto da ricomprendere al suo interno la varietà dei casi, in letteratura (ma anche nella pratica operativa) ci si trova di fronte a classificazioni e riorganizzazioni della materia funzionali allo specifico settore di interesse indagato.

15

A questo proposito vale osservare che una delle poche istituzioni che ha tentato una sistematizzazione delle procedure e dei metodi utilizzati per misurare l'impatto e l'efficacia delle attività intraprese è la Comunità Europea, che sottopone periodicamente a valutazione i propri programmi di intervento in diversi settori (in particolare BRITTE, ESPRIT, ERASMUS) avvalendosi, fra gli altri, dei metodi individuati nell'ambito del programma VALUE, pensato ed attivato con la finalità specifica di fornire dei criteri omogenei di indagine e di rappresentazione dei risultati delle accennate attività di valutazione. I rapporti di valutazione che ne scaturiscono rappresentano i pochi esempi di prassi operativa suli argomento.

Altri soggetti che, a livello europeo, operano in campi affini e a volte collegati a quelli di intervento della Comunità, sono individuabili in quell'ampio e variegato settore che afferisce alle Fondazioni ed in particolare a quelle che fanno capo al Club dell'Aia. Queste ultime, infatti, stanno dimostrando una sempre maggiore sensibilità verso le problematiche relative alla misurazione degli impatti che scaturiscono dall'esercizio delle proprie attività istituzionali e, anche se con gradi di completezza e di approfondimento diversi l'una dall'altra, si stanno attivando nella messa a punto di metodologie di intervento in questo particolare settore.

16

Si è detto precedentemente della complessità concettuale relativa alla definizione di una puntuale classificazione delle attività di valutazione. Per fornire un'idea delle molteplici angolature dalle quali è possibile affrontare il tema della misurazione delle performances di un'organizzazione, oltre alla breve panoramica sui diversi filoni del dibattito sopra esposta, basti far riferimento alla seguente individuazione delle caratteristiche che differenziano tra loro le diverse tipologie di organizzazione «... che potrebbero giustificare la diversità dei metodi di valutazione da queste adottati. La prima caratteristica è la natura giuridica o, più semplicemente, l'appartenenza dell'organizzazione al settore pubblico o a quello privato. La seconda caratteristica è la natura commerciale o non commerciale dell'organizzazione. La terza caratteristica è il livello di competitività esistente fra le organizzazioni che forniscono prodotti o servizi analoghi.

La quarta caratteristica è la misura in cui un'organizzazione è responsabile nei confronti del potere politico. La quinta caratteristica, l'eterogeneità, si riferisce al numero di prodotti o servizi diversi che essa produce. Il grado di complessità rappresenta invece la misura in cui un'organizzazione è costretta a mobilitare un certo numero di competenze diverse per assicurare i servizi che le competono o per realizzare i propri prodotti. Infine, le organizzazioni sono caratterizzate da un deter-

minato livello di incertezza riguardo agli obiettivi da raggiungere e al relativo rapporto tra fini e mezzi» 2 A tutto ciò occorre aggiungere la non univocità del termine valutazione: con tale termine si intende infatti fornire un giudizio di merito su di un'attività o una politica? Si intende effettuare un controllo a posteriori? Oppure tramite l'attività di valutazione si tenta di definire a priori quali siano le azioni da intraprendere per il perseguimento degli obiettivi che ci si è posti? È tutto questo insieme ed altro ancora.

Per chiarezza espositiva occorre sottolineare che, dal nostro punto di vista, si tenterà di prescindere dalle caratteristiche organizzative sopra individuate, e che per attività di valutazione si intenderà quel processo che tenta di definire a posteriori - tramite l'utilizzo e la messa a punto di appositi indicatori - quale sia stato il contributo di un particolare fattore (non misurabile esclusivamente in termini monetari) nel dispiegarsi di un progetto o di una successione di azioni di politica. In altre parole ci si riferirà al processo di valutazione inteso sotto il particolare pùnto di vista del controllo e del monitoraggio di attività e quindi della rispondenza di obiettivi posti e risultati perseguiti. Per far ciò si è scelto di soffermare l'attenzione sulla valutazione delle attività di ricerca scientifica e tecnologica; la scelta di tale peculiare campo si giustifica con il fatto che

questo per la sua ampiezza e vastità, per la diversità degli attori coinvolti (che possono o no essere dotati di una o pii delle sette caratteristiche ricordate precedentemente), per la varietà degli obiettivi e dei risultati conseguibili (dovuti all'alea propria della materia), è tale da rappresentare allo stesso tempo sia un parametro di riferimento per le tecniche e le modalità di valutazione utilizzate, che un campo di sperimentazione, selettivo ed innovativo, al quale gli altri settori interessati ad una eventuale migrazione di tecniche e strumenti (in particolare la Pubblica Amministrazione) possono guardare con attenzione ed a cui, eventualmente, attingere.

Prima di affrontare nel dettaglio le problematiche connesse alla misurazione delle attività di ricerca, occorre soffermarsi brevemente su alcune considerazioni di ordine generale. Può darsi che, in alcune situazioni, il processo di valutazione rappresenti una variabile endogena della fase di determinazione degli obiettivi; in altre parole è possibile (e non raro) che una volta individuati, stabiliti e messi a regime un certo numero di indicatori, l'obiettivo delle politiche venga definito in termini di miglioramento degli indicatori stessi. È evidente che in questo caso le strategie e le azioni risulteranno diverse da quelle attivate in situazioni di inesistenza o non quantificazione di indicatori. Se questo fatto rappresenti una circostanza positiva o 17

negativa non è cosa definibile a priori ma dipenderà dalla natura dell'attività. Ciò che è certo però, è che ci si troverà di fronte ad un cambiamento qualitativo del ruolo svolto dalla valutazione e dagli strumenti utilizzati: è infatti ipotizzabile che questi abbandoneranno il proprio ruolo di strumenti di supporto alle decisioni, per diventare una sorta di meccanismo autoreferenziale per la classificazione e l'elaborazione dei dati.

e risultati conseguiti. Il processo di valutazione che ne scaturisce, come ricordato, non è univocamente determinato; infatti gli approcci di valutazione e le relative metodologie applicative, si caratterizzano in funzione dei seguenti parametri:

il momento temporale in cui viene effettuata la valutazione. In genere si distingue fra: - valutazione ex - ante; - valutazione in itinere;

CARATFERISTICHE GENERALI

Si è fatto precedentemente riferimento a ciò che si intende per processo di valutazione in termini generali; entrando nello specifico, l'attività di valutazione della ricerca può essere definita come il tentativo di sviluppare una metodologia - e l'individuazione dei conseguenti passi operativi - che consenta l'analisi della qualità e della efficacia delle attività intraprese dalle varie istituzioni di ricerca, nonché della efficienza dei risultati, tramite la definizione di parametri ed indici che risultino il pii possibile «oggettivi».

Ricordando l'avvertenza appena fatta, nel proseguire ci si riferirà alla valutazione come ad una teorica procedura ((neutrale)> che, in quest'ottica, rappresenta uno strumento funzionale alla produzione di informazioni sulle dinamiche delle azioni e sugli attori che partecipano alle stesse, sui loro interessi, obiettivi, modalità d'interazione 18

- valutazione cx - post.

I soggetti coinvolti a vario titolo nell'attività di ricerca. Si distinguono in: - finanziatori/decisori; - gestori; - ricercatori (intesi in senso ampio, come quei soggetti - siano essi enti, università, imprese o persone fisiche che svolgono materialmente la ricerca).

Gli obiettivi che tali soggetti (in modo particolare i finanziatori/decisori) perseguono tramite la ricerca.

Il grado di incertezza connesso ai diversi approcci di ricerca: l'incertezza risulta essere sempre minore via via che ci si sposta dalla ricerca di base alle fasi di sviluppo. In generale la letteratura distingue fra le seguenti tipologie: 3 - ricerca di base (pura o fondamentale), volta principalmente ad acquisire

nuova conoscenza e con assenza di specifici obiettivi:

- ricerca applicata, volta principalmente all'ottenimento di specifici obiettivi; - sviluppo, inteso come quel lavoro sistematico volto alla conoscenza di nuovi processi per la realizzazione di nuovi prodotti.

Tuttavia, a parere di chi scrive, queste appaiono essere definizioni che non tengono conto della difficoltà di separare, nella pratica, con nettezza le diverse tipologie. In termini generali (anche se un p0' utopici), si può affermare che la finalità a cui ricondurre queste diverse attività di ricerca è la produzione di nuova conoscenza che ne rappresenta il comune denominatore, i cui utilizzi sono classificabili come segue: - la traduzione industriale dei trovati messi a punto; - la dffiisione dei risultati; - la formazione.

In ogni caso, una procedura di valutazione, a qualunque di queste tipologie venga applicata, non può prescindere dall'analisi del quadro di riferimento generale in cui un progetto di ricerca va ad inserirsi. Per effettuare tale analisi è necessario svolgere le seguenti funzioni: 1) definizione dell'oggetto della valutazione; 2) individuazione delle dimensioni su cui effettuare

l'analisi; 3) studio dell'attuazione e gestione del programma; 4) individuazione del sistema di indicatori coerente con gli obiettivi da sottoporre a monitoraggio; 5) raccolta delle informazioni necessarie alla valutazione; 6) elaborazione delle informazioni; 7) stesura del rapporto nel quale sono contenuti i risultati dell'analisi degli indicatori e l'identificazione degli effetti di secondo ordine.

I primi tre compiti hanno la finalità di evidenziare gli obiettivi e la struttura del programma da valutare; i successivi concentrano l'attenzione sui risultati, sia identificando gli effetti scientifici, tecnologici e industriali che scaturiscono direttamente dall'attività di ricerca, sia definendo gli effetti di tipo indiretto quali il diffondersi di una cultura cooperativa, la volontà di partecipare ad altri programmi, una maggiore attenzione al processo di innovazione. Sugli aspetti relativi alla raccolta ed elaborazione delle informazioni torneremo in seguito. È quindi evidente che la flessibilità del meccanismo di valutazione dovrà risultare tale da poter rispondere alla varietà dei casi; ad esempio, se le finalità perseguite dall'ente o istituzione che finanzia la ricerca riguardano la produzione di sola conoscenza (e viene richiesta una valutazione ex - ante) allora le metodologie e le tecniche utilizzate saranno diverse dal caso in cui Si debba valutare, ex - post, la rispon19

denza dei risultati di una ricerca applicata con gli obiettivi che il soggetto finanziatore si era prefisso di raggiungere. Ad ulteriore dimostrazione della necessità di dotarsi di meccanismi di valutazione il più possibile flessibili si rifletta sulla moltiplicazione esponenziale degli approcci di valutazione che avviene quando questo esempio viene messo in relazione con le sette caratteristiche delle organizzazioni di cui si è trattato precedentemente.

Proseguendo, si può distinguere ancora fra valutazioni interne e valutazioni esterne; «le valutazioni interne sono condotte da soggetti coinvolti nella attività che deve essere valutata e che hanno dunque piena consapevolezza delle difficoltà e delle inefficienze del sistema e dell'ambiente in cui si trovano ad operare; hanno il vantaggio di essere meno costose e di fornire indicazioni in tempi relativamente brevi ma, proprio perché effettuate dai soggetti interessati alla ricerca, rischiano di essere parziali e, di conseguenza, poco credibili. Al contrario le valuta zioni esterne forniscono maggiori garanzie di indipendenza e di imparzialità, accrescendo la credibilità dei risultati.

Tuttavia l'estraneità dei valutatori al programma rende necessaria una lunga attività preliminare, durante la quale i valutatori si procurano tutte le informazioni rilevanti ed approfondiscono la conoscenza del contesto in gli

cui si andrà ad inserire la loro attività; inoltre, per assicurare la validità della valutazione, è opportuno fare ricorso a valutatori professionisti. Pertanto le valutazioni esterne sono inevitabilmente più costose rispetto a quelle interne e la loro convenienza viene a dipendere dall'entità del programma da valutare: in genere si ricollega a valutazioni esterne laddove i programmi mobilitano ampie risorse ed a valutazioni interne laddove le risorse sono limitate» 4.

La valutazione ex - ante Questo tipo di valutazione svolge una funzione di supporto al processo decisionale che porta a definire ed attuare un progetto di ricerca; tale supporto riguarda in particolare la definizione degli obiettivi del programma, la scelta della scala delle priorità, e la conseguente allocazione delle risorse disponibili.

Normalmente la valutazione ex - ante è una valutazione interna che si avvale di strumenti quali l'analisi costi benefici ed il giudizio dei pari (sul quale torneremo in seguito). In questa sede non ci si soffermerà ad analizzare tale tipologia di valutazione, avendo preferito un approccio alle tematiche della valutazione intesa come misurazione, reporting e controllo, attività che esulano dall'ambito proprio della valutazione ex - ante.

La valutazione in itinere Sebbene una buona valutazione dovrebbe partire quando i risultati dell'attività di ricerca sono disponibili, oppure quando questi hanno prodotto tutti i loro effetti sociali ed economici, è anche vero d'altra parte che i rapporti di valutazione sono necessari quando è ancora possibile modificare decisioni già prese o che devono ancora essere prese.

Le valutazioni in itinere vengono condotte contemporaneamente all'attuazione di un programma di ricerca, perché presentano il vantaggio di poter individuare i punti deboli della gestione in tempo utile per poter prendere le opportune misure connettive.

Quando questo tipo di valutazione viene condotta all'esterno della struttura di ricerca, i risultati e le indicazioni operative che ne scaturiscono risultano pii attendibili di quelle condotte all'interno, in quanto sono confortati dal requisitodi indipenclenza. Tuttavia ciò incontra una difficoltà di ordine temporale rispetto alle funzioni proprie della valutazione in itinere (i risultati disponibili il prima possibile), difficoltà riscontrabili nel fatto che chi conduce la valutazione ha bisogno di un periodo di tempo iniziale per raccogliere i dati e per entrare a pieno titolo nel progetto di ricerca; inoltre i costi sostenuti per attivare una struttura esterna sono inevi-

tabilmente maggiori di quelli necessari per condurre una valutazione interna.

La valutazione ex - posiLo scopo delle valutazioni ex post è quello di verificare la rispondenza fra i risultati ottenuti con l'attività di ricerca e gli obiettivi perseguiti (sorge qui il problema della definizione degli obiettivi: tanto pii chiari e «leggibili» saranno questi ultimi e la relativa scala di priorità con cui vengono ordinati, tanto migliore risulterà la valutazione), di verificare l'efficienza nella gestione delle risorse, nonché di misurare, ove possibile, l'impatto dei risultati sull'ambiente esterno. In definitiva il metodo di valutazione ex - post intende fornire «una analisi generale del grado di successo o di insuccesso ottenuto da un programma; lo scopo in questo caso non sarà quello di correggere eventualmente il tiro, bensì di dare un giudizio positivo o negativo sulla validità degli obiettivi e dei risultati dell'intervento» 5 .

Le valutazioni ex- post vengono condotte raramente, non tanto perché quando queste intervengono le decisioni rilevanti sono già state prese, quanto perché non vi è una adeguata presenza di strutture esterne indipendenti in grado di svolgerle; infatti «le organizzaziòni specializzate nella valutazione di R&S sono rare; normal21

mente vengono creati "panels" di esperti in diversi campi. Più sono eterogenei i panels, migliori risultano le valutazioni» 6

STRUMENTI UTILIZZATI PER LA VALUTAZIONE

Per poter essere considerate valide, le valutazioni devono essere dotate del requisito della «robustezza»; i valutatori dovranno cioè basare le loro conclusioni su dati quantitativi e qualitativi e codificarli in opportuni indici.

Gli indicatori normalmente utilizzati per valutare i programmi ed i progetti attivati dalla Comunità Europea si dividono in: indicatori di qualità; indicatori di efficienza; indicatori di impatto.

Indicatori di qualità Il sistema più diffuso per valutare la qualità di una ricerca nella comunità scientifica è il giudizio dei pari; questo metodo consiste nel sottoporre il programma (o i suoi risultati) alla valutazione di esperti che forniscono un responso sul grado di innovatività e sull'avanzamento delle conoscenze che il programma può essere in gradò di raggiungere o ha raggiunto. Il metodo è basato sulla considerazione che gli scienziati sono più o meno d'accordo 22

sulla definizione di «bontà» della scienza; appare tuttavia evidente che il metodo presenta l'ovvio limite di riferirsi esclusivamente a giudizi soggettivi ed inoltre il numero di esperti che, per motivi di tempo e di costo, è possibile coinvolgere nella valutazione è estremamente limitato. Per tentare, dunque, di fornire maggiori elementi di oggettività alla valutazione sono stati messi a punto degli indicatori che tentano di <(misurare)> la qualità della scienza (scientometria) e della tecnologia (tecnometria).

Per quanto concerne l'ambito della scienza, gli indicatori maggiormente utilizzati sono il numero delle pubbli cazioni, che viene preso come indice di produttività della ricerca, e le cita-. zioni che una pubblicazione riceve, che rappresentano un indice dell'impatto che una pubblicazione produce nella comunità scientifica.

Questi indicatori sono appropriati per valutare la qualità della ricerca di base, il cui fine ultimo (è bene ricordarlo) consiste nell'avanzamento delle conoscenze e nella diffusione più ampia possibile dei risultati raggiunti.

Quando si passa dalla valutazione della ricerca di base (che con una forzatura può essere definita «scienza») alla valutazione della ricerca applicata (innovazione tecnologica»), cioè a quella parte del processo di ricerca che ha come fine ultimo la messa a punto

di nuovi prodotti o processi, è possibile avvalersi degli indicatori della «tecnometria». Questi si basano in gran parte sull'analisi dei brevetti.

Un primo indicatore è dato dal numero di brevetti ottenuti da un progetto; analogamente al caso bibliometrico, ciò rappresenta un indicatore della produttività delle attività sviluppate. tuttavia ,possibile raffinare qualitativamente 1 analisi individuando, all interno del numero di brevetti, quanti di questi siano stati estesi all'estero (è possibile effettuare anche una ponderazione a seconda della difficoltà a brevettare nei diversi paesi; un brevetto giapponese, ad esempio, ha un valore maggiore di un brevetto italiano).

Un altro indicatore è dato dalla verifica di quanti dei prodotti o processi coperti da tutela brevettuale abbiano poi trovato concreta applicazione industriale e quanti invece non siano semplicemente brevetti di protezione.

Semprein analogia con l'analisi bibliometrica, un indicatore di impatto, nel caso dei brevetti, è dato dal numero di citazioni brevettuali che un brevetto riceve successivamente al suo deposito; queste possono ulteriormente differenziarsi fra citazioni esposte dal richiedente il brevetto e citazioni fatte dall'esaminatore della richiesta. Altri indici della tecnometria sono rappresentati da macroindicatori quali il saldo della bilancia tecnologica dei pagamenti e i dati sul commercio di prodotti ad alta tecnologia.

Indicatori di efficienza Questa tipologia di indicatori tende principalmente a fornire un giudizio sulla struttura organizzativa e gestionale del progetto di ricerca; i metodi maggiormente utilizzati si riferiscono al ricorso ad interviste e questionari che, rendendo possibile la raccolta di una notevole quantità di informazioni e punti di vista, superano le difficoltà legate all'utilizzo di pochi esperti.

Altro indicatore dell'efficienza della gestione è dato dal numero di rapporti e documenti interni che le unità di ricerca scambiano tra loro nel corso del progetto. Questo indice fornisce una misura del grado di comunicazione fra i soggetti coinvolti nell'attività di ricerca; l'ipotesi sottostante l'utilizzo di tale indice è che livello di comunicazione interna ed efficienza di gestione del progetto siano direttamente proporzionali.

L'esempio appena proposto rappresenta un caso emblematico di migrazione e adattamento delle tecniche di valutazione da un settore ad un altro; infatti queste particolari metodologie di analisi sono state sviluppate prevalentemente nel Regno Unito sotto l'Amministrazione Thatcher per misurare la produttività del settore pubblico nell'ambito della cosiddetta «burometria>'. Si pensi che il Libro Bianco sulla Spesa Pubblica registrava, nel 1988, oltre 2.000 indicatori di questo genere.

23

Indicatori di impatto Il più tradizionale tra gli indicatori in esame è quello relativo all'analisi costibenefici, su cui vi è ampia letteratura e su cui, come precedentemente ricordato, non ci soffermeremo. Nello specifico delle analisi di tipo ex - post e specialmente nell'ipotesi di valutatori esterni, gli indicatori utilizzati nella valutazione sono di due tipi: 1) analisi mediante confronto; 2) co-word analysis.

L'analisi mediante confronto è un sistema di analisi che può essere a sua volta diviso in altre due tipologie: lo studio di un ambiente prima e dopo l'attuazione di un programma di ricerca (utilizzando, fra gli altri, anche i metodi esposti precedentemente). In questo caso il giudizio da dare sui risultati conseguiti è relativo al confronto nel tempo di gruppi di indicatori predefiniti; il metodo dei gruppi di controllo.

Tale ultimo metodo tenta di valutare l'impatto di un programma analizzando la situazione dei soggetti direttamente beneficiari del programma e confrontandola con quella di soggetti che non ne hanno beneficiato. Ad esempio, nel caso di una fondazione che abbia bandito per un certo numero di anni borse di studio, se ne può valutare l'impatto mettendo a confronto le carriere dei vincitori delle borse con quelle di coloro che, pur 24

non avendo vinto, hanno comunque partecipato al bando (ciò al fine di garantire l'omogeneità del campione), utilizzando il metodo dei questionari e delle interviste. Naturalmente il nesso di causalità fra ottenimento della borsa e conseguenti maggiori possibilità di «carriera», non è sempre così stretto ma, se il campione è abbastanza numeroso si possono ottenere delle relazioni sufficientemente significative.

Metodo della co-word analysis; con questo metodo, «programmi informatici classificano il contenuto di una ricerca attraverso parole chiave: contando la co-presenza delle parole chiave in diverse aree di ricerca, si individua l'intensità dei legami tra le varie aree [Operativamente], ogni documento viene descritto da parole chiave, quindi la rete di parole chiave viene suddivisa in sottosistemi di parole legate da associazioni più forti. Per identificare i sottosistemi, vengono raggruppati i termini che compaiono nei documenti con una certa frequenza calcolando il prodotto delle probabilità che, su una coppia di documenti, un documento abbia una parola chiave quando è presente l'altra. Per ogni sottosistema vengono calcolati: 1) un indice di densità (il valore medio dei legami interni); 2) un indice di centralità (il valore medio dei legami esterni).

Collocando i sottosistemi in un grafico di centralità - densità, il cui punto

di origine è il valore medio di ogni indice, si può vedere la posizione di un tema in diversi archivi e trarne delle implicazioni: ad esempio temi mai centrali nella scienza accademica non dovrebbero essere finanziati in un contesto accademico» 7, ma eventualmente nell'ambito di strutture dedicate alla ricerca applicata o allo sviluppo.

IL RUOLO DEL SISTEMA INFORMATIVO E L'ATTIVITÀ DI REPORTING

Abbiamo fin qui esposto degli esempi di indicatori e di sistemi di valutazione che possono essere applicati ad una generica attività di ricerca; naturalmente l'elenco proposto non è esaustivo (né potrebbe esserlo), anche se è rappresentativo degli indirizzi applicativi utilizzati comunemente nella valutazione dei programmi di ricerca della Comunità Europea. È tuttavia necessario affrontare brevemente alcune delle problematiche relative alle difficoltà connesse alla disponibilità e reperibilità dei dati. In linea generale è auspicabile che, in fase di definizione del sistema degli indicatori necessario per effettuare la valutazione, si tenga conto della possibilità di alimentare gli indicatori stessi con i dati raccolti da un sistema informativo che deve consentire la tempestiva disponibilità di informazioni utili ed attendibili.

Le fonti da cui attingere i dati posso-

no essere sia esterne che interne alla struttura che avvia la valutazione ed ognuna esplica le proprie potenzialità a seconda delle situazioni particolari: ad esempio, sulla rilevanza delle fonti esterne si pensi al caso di una misurazione della performance di un programma di ricerca di base effettuata con l'ausilio degli indicatori bibliometrici e alla necessità di avere garantito l'accesso ad una delle poche banche dati in grado di effettuare tale servizio, come condizione necessaria per poter effettuare la valutazione stessa, non essendo tali dati reperibili in altro modo. Sul versante interno, come impostazione generale, la disponibilità dei dati è strettamente connessa con lo sviluppo e l'attivazione di quelle procedure mutuabili dalle esperienze di controllo di gestione e, pii in particolare, con la definizione di un sistema informativo coerente con gli indicatori individuati. Occorre in altre parole mettere a punto un sistema di monitoraggio che, nel raccogliere le informazioni, sia ispirato ai seguenti principi: 1) raccogliere solo i dati di cui si ha effettivamente bisogno; 2) evitare la duplicazione di banche dati; 3) raccogliere le informazioni dove sono custodite.

Lo strumento con cui bisogna procedere alla raccolta delle informazioni e dei dati è il report, cioè un documento composto da uno o più moduli standardizzati in grado di elencare sinteti25

)

camente, per ogni unità elementare sottoposta ad analisi, le risorse impegnate nell'attività (umane, strumentali e finanziarie), gli obiettivi generali e specifici, le conseguenti politiche ed azioni, gli indicatori collegati ed i dati necessari all'alimentazione di tutto il sistema.

sormontabili, non hanno impedito l'affermarsi, specie nei paesi anglosassoni, di strutture specializzate nella valutazione di progetti e programmi di ricerca. La Comunità Europea ha invece deciso che l'uso dei panels può dare una maggiore garanzia di indipendenza, generando al tempo stesso un impatto politico pii grande.

STRUYFURE ESTERNE DI VALUTAZIONE

«L'uso dei panels consente di riunire esperti in diversi campi e di diverse nazionalità; l'esperienza ha dimostrato che le migliori valutazioni sono risultate quelle condotte dai panels maggiormente eterogenei. Infatti, se i membri del panel sono troppo specializzati sulla materia oggetto di esame, la discussione tende a concentrarsi su problemi specifici e sui dettagli tecnici, trascurando l'analisi dell'impatto generale del programma. Non bisogna inoltre dimenticare che i decision makers possono usare le valutazioni per definire le priorità tra diversi campi di ricerca; ciò è possibile se il pane1 di valutazione è composto da specialisti di diversi settori oltre che da esperti della materia di esame» 8

Una valutazione esterna indipendente può essere condotta sia da un'organizzazione specializzata che da un «pane1» di esperti indipendenti. Abbiamo già accennato precedentemente i motivi per cui le organizzazioni specializzate nella valutazione siano rare, vale tuttavia la pena ricordare i vantaggi e gli svantaggi che derivano dall'affidare a queste strutture l'attività di valutazione.

I vantaggi risiedono essenzialmente nel fatto che la valutazione viene effettuata integralmente da tali organizzazioni e che i risultati sono in genere disponibili quando servono; gli svantaggi risiedono invece nella difficoltà di riunire un gruppo di valutazione sufficientemente eterogeneo, sia dal punto di vista delle materie che della nazionalità dei componenti, nonché nella difficoltà ad affermare la credibilità dei risultati della valutazione (in genere si tende a vedere tali organizzazioni come «accomodanti» nei confronti del cliente). Tuttavia queste difficoltà, che infatti non appaiono in26

Altro aspetto significativo nella formazione di un panel, è dato dalla indipendenza dei suoi membri; in questo caso per indipendenza si intende che essi non devono beneficiare, direttamente o indirettamente, del programma oggetto di valutazione. Inoltre dovrebbero essere sufficientemente «illu-

stri» per stendere un rapporto di valutazione di indiscutibile qualificazione.

Si è tentato, con queste brevi note, di fornire un breve resoconto, di aprire una finestra su quell'ampio panorama che riferisce alle attività di valutazione

e che, a seconda dei casi, è possibile intendere come programmazione, monitoraggio o controllo. Senza avere la pretesa di dire qualcosa di esaustivo, si è voluto sottolineare l'interesse sempre più accentuato che diversi soggetti (non esclusivamente «pubblici») mostrano sull'argomento; al di là delle sistematizzazioni teoriche, pure importanti e necessarie, è necessario evidenziare un ultimo tratto caratteristico di questa peculiare attività: data la necessità di sperimentare tecniche e metodi, e quindi di aprire ad ampio raggio le possibilità applicative di tali tecniche, occorre tuttavia essere consapevoli che nulla di definito e definibile (se non in termini assolutamente generici come quelli qui presentati) può essere proposto a priori. In questo senso il panorama di riferimento presentato può essere inteso come una utile «guida per l'azione» ma, nella prassi applicativa occorrerà mettere alla prova ed affidarsi alle conoscenze, alle capacità innovative e alla fantasia delle singole strutture di valutazione.

I O. GABROVEC ME!, Il Bùancio Sociale, in «Inserto di Amministrazione & Finanza», n° 611993.

2 N. CARTER, Come misurare la performance: l'impiego degli indicatori all'interno delle organizzazioni, in «Problemi di Amministrazione Pubblica», n° 2, giugno 1992.

Si veda il rapporto Formez-Progetto FALs su: L'in-

1992.

5 P. MAGNATrI, La valutazione: uno strumento per apprendere, in Strategie e valutazione nella politica industriale, F. Angeli, Milano, 1991.

6 L. MASSIMO - dalla relazione allo SPEAR Day del 22 aprile 1991 - Roma.

I COSTI DELLA VALUTAZIONE

Normalmente i costi sostenuti per l'attività di valutazione variano fra lo 0,25 e l'i % del costo totale del programma. Il campo di variazione è determinato dagli strumenti utilizzati (l'analisi bibliometrica è meno costosa di una valutazione basata su interviste e questionari) e dal fatto se la valutazione sia interna o esterna, ad esempio, la regola applicata dalla Comunità Europea per stabilire il costo di un panel esterno indipendente è che questo non risulti maggiore dello 0,25 % del costo totale.

CONCLUSIONI

tervento pubblico nel campo della ricerca scientijìca e innovazione tecnologica: criteri e metodi di valutazione in particolare il capitolo 5 a cura di A. Di MAI0.

VALENTINA MELICIANI - ISRD/CNR - Roma, giugno

V. MELICIANI, cit.

8 L. MASSIMO, cit.

27

I dilemmi del controllo e le ambiguità delle "tre E"* di Sergio Ristuccia

Il tema dei "criteri di efficienza, efficacia ed economicità nei controlli interni ed esterni" è di quelli che si prestano ad essere svolti lavorando sulle prospettive, cioè in termini di politica dei controlli.

Ciò del resto è esigenza obiettiva. La stessa situazione presente del paese suggerisce questa linea. Situazione che sembra richiedere un ritorno alla politica come attività che crea obiettivi e valori in cui la collettività e il paese possano riconoscersi e che possano perseguire con senso della realtà ma con la necessaria dose di ambizione.

Voglio cioè assumere che ci sia un'esigenza di politica di misura inversamente proporzionale al rifiuto della politica come uso del potere quale è stato fatto da gran parte della classe politica appena uscita di scena.

Questa esigenza di politica, denominata come nuova, viene spesso affermata ma rimane tutta da realizzare. Sempreché la logica del massimo cambiamento compatibile con il massimo di conservazione non farà da insormontabile ostacolo.

In ogni caso valgono alcune constatazioni: è aperta una nuova fase del si28

stema politico, con regole ancora incerte ma certo diverse da quelle finora conosciute;è sull'agenda politica la riforma della forma-Stato con una proposta federalista che, uscendo dalle formule polemiche dei gruppi emergenti, potrebbe trovare anche altri soggetti che l'interpretino e la rilancino; sta per partire il processo preparatorio della Conferenza Intergovernativa del 1996 che costituirà una tappa fondamentale per l'assestamento dell'Unione Europea come meccanismo d'integrazione ovvero per la sua messa in posizione di stallo a tempo indefinito.

Ancora, e soprattutto, c'è l'esigenza di una risposta in termini istituzionali alla questione morale che è divenuta con Tangentopoli (e la conseguenziale rimozione per via giudiziaria di un'intera classe politica) la questione di riferimento per numerosi e fondamentali aspetti del nostro sistema istituzionale e costituzionale. E c'è, per finire, l'esigenza di quella riorganizzazione dell'Amministrazione imposta dalla strisciante rivolta fiscale che non è pi1 bisogno dileggi di riforma - dopo la grande ondata normativa degli ultimi anni e soprattutto dell'ultimo anno -

ma esigenza di una strategia e di una pratica della realizzazione che non si può aspettare, certo, da semplici atti di buona volontà che nascano dalla lettura di tante norme di incerta portata.

In questo quadro è chiaro che bisogna fare spazio per la politica dei controlli.

Questa costituisce, infatti, un capitolo importante della politica di cui c'è domanda. Sarà, anzi dovrà essere, l'occasione per sottrarre la questione dei controlli a quella sorta di privativa che gli addetti ai lavori hanno finora esercitato. Forse senza neppure volerlo, forse solo per l'indifferenza e il disinteresse degli altri. A loro volta mai molto incoraggiati, gli altri, ad occuparsi di controlli per quel tanto di esotericità che il dibattito, tenuto in ambiente endogamico, ha fatalmente creato nel tempo.

Non mi sembra, quindi, ci sia una consolidata cultura delle tre E (efficienza, efficacia, economicità) cui si possa fare riferimento per una riflessione sulla valenza della loro applicazione ai diversi campi di attività o di controllo. Ci sono studiosi e sperimentatori del valore di Bruno Dente che stanno mettendo a punto strumenti e criteri. Dobbiamo augurarci che il loro discorso si imponga e faccia cultura.

In ogni caso mettere in relazione tali criteri con i controlli interni ed esterni significa comunque porre una questione di politica dei controlli.

I CONTROLLI IN QUESTIONE. L'ESIGENZA PRELIMINARE DI INTENDERSI SUI TERMINI

È in corso un'importante discussione sulla revisione contabile fondata, rispetto alle società quotate in borsa, sul d.P.R. 136 del 1975. Ci si chiede talvolta in questa discussione se esista parallelismo fra settore privato e settore delle pubbliche amministrazioni.

Personalmente ritengo che si possono fare comparazioni su alcune questioni di fondo, ma non sugli aspetti ordinamentali e tecnici specifici.

Il fatto è che da tempo è aperta una questione dei controlli. Ci si pone cioè il problema: "esistono i controlli, non esistono, sono efficaci, sono inefficaci" e via di seguito. E dunque c'è un forte parallelismo almeno nei termini generali con il dibattito aperto in relazione alla revisione , anche se, devo dire, io sono dell'opinione del Prof.

Giuseppe Bruni (espressa anche in un recente incontro alla seconda Università di Roma) che sul terreno proprio della revisione non si deve parlare di crisi in senso lamentatorio e limitativo. Piuttosto, si deve parlare - almeno in Italia - di una crisi di crescenza che capita in un momento difficilissimo, cioè nel momento in cui nel contesto di Tangentopoli, sono emerse tutte le componenti negative o deboli dell'assetto ordinamentale e della pratica della revisione contabile relativa alle imprese. Tuttavia essendo recente il 29

breve periodo di sperimentazione della revisione (Bruni ha ricordato che si tratta di non più di dodici anni di certificazione di bilanci), è giusto e necessario ragionare in termini di aggiustamenti e miglioramenti quali una crisi del genere può suggerire.

Dunque, c'è la possibilità di qualche comparazione. Il guaio è che le comparazioni si fanno bene se esistono elementi fattuali e dati ben raccolti, se esistono delle ricognizioni empiriche scientificamente costruite. In realtà, essendo il terreno dei controlli in ambito pubblico un terreno ben poco arato dalle scienze sociali, ho l'impressione che il dibattito avvenga molto più in termini di ciò che è desiderabile o possibile per gli attuali addetti ai lavori che non attraverso quei dati che sarebbe opportuno avere.

Che cos'è nella pratica il controllo, come lo si svolge, che effetti ha, quali sono i costi del controllo e quali del non-controllo, quali i benefici del controllo: tutto ciò vorrebbe una o più ricerche ad hoc che nessuno ha mai fatto e che forse sarebbe il caso di fare.

Ancora, pesa sulle possibili comparazioni e sulle suggestioni che se ne possono trarre la forte ambiguità dei termini. C'è qui più che altrove un problema di explicatio terminorum pregiudiziale che si constata giorno per giorno.

I controlli che sono? A che servono? A chi servono?

30

Non sono state ben concettualizzate finora le possibili accezioni di parole come controllo, termine per sé polisenso, che può essere usato in molte occasioni e che d'altra parte ha molti sinonimi, o apparentemente tali, in parole come revisione, monitoraggio, valutazione, misurazione e così via.

Tutti termini a cui siamo abituatissimi ormai, che ritroviamo e nei discorsi e nelle dichiarazioni di fede o di interesse o nel linguaggio legislativo ma in ordine al quale sorgono continui malintesi, a dir poco, perché ognuno capisce con certe parole una cosa ed altri ne capiscono altre.

Questo uso promiscuo di termini compresenti fa anche in modo che, mentre nell ambito dell ordinamento privato, cioè nella revisione contabile in senso stretto, ci sono tuttavia 12 anni di esperienza fatta e riferita ad un ambito concettuale bene o male preciso (che comunque - come abbiamo detto - va aggiustato e rimesso in ordine) in ambito pubblico invece tutto è più indeterminato una volta che si esca fuori dalla logica del controllo di legittimità, tanto confortevole nella sua ingenua semplicità.

Allora si capiscono (e vanno appoggiate) alcune recenti iniziative come, ad esempio, quella che sta prendendo il CNEL per mettere insieme un gruppo di lavoro che si dedichi stabilmente al tema "La misurazione dell'azione amministrativa", espressione più o meno "passe-partout", che deve tra-

dursi in concetti precisi, metodi precisi, condivisi, accettati, e sperimentati per successive correzioni. La speranza è che ne nasca una fondazione o un istituto che abbia l'autorità di un'Accademia della Crusca per capacità intellettuali e lucidità di proposte ma non per attribuzione legislativa.

Dunque, bisogno di concettualizzazione e di messa a punto degli strumenti. Per rispondere a questo bisogno occorre coltivare comunque solo attese realistiche.

L'esigenza di ri-concettualizzare vale anche nell'ambito della revisione. Basta ricordare tutto il problema dei rapporti fra attività di revisione contabile in senso stretto e tutte le altre possibili attività professionali che fanno da contorno, e non soltanto per la pressione dei professionisti ad occuparsi di tante altre cose perché sono curiosi, bravi, intelligenti o perché vogliono fare più affari. Non è questo il punto.

La ragione profonda della trasformazione della revisione contabile in una revisione aziendale che concerne un ben più ampio ventaglio di aspetti economici dell'azienda è da rintracciare nella stessa limitatezza e crisi di significatività dei bilanci. La crescente esigenza di valori di stima impone apporti e tecniche di valutazione che superano gli ambiti delle metodiche della revisione contabile tradizionale.

Insomma anche per il controllo vale l'avvertenza - tante volte ricordata an-

che da chi parla a proposito di Pubblica Amministrazione - che occorre declinare al plurale. I controlli sono plurimi.

Due, in ogni caso, i principi che debbono essere chiari in premessa: il primo è che i controlli sono fondamentali, soprattutto in una società complessa, per un buon funzionamento del mercato, dello Stato, della democrazia; il secondo è che tuttavia i controlli, comunque concettualizzati, comunque giuridicamente sistemati, comunque tradotti in mestiere, costituiscono un attivita non prima o primaria ma seconda , cioe un attivita che accede ad altra, che la segue. I controlli accedono e seguono l'attività di gestione, cioè l'amministrare. È questa la sostanza profonda del controllo e delle sue varie e possibili sfaccettature: essere un'attività che segue, in qualche modo asseconda, ma comunque non è l'attività primaria. Ciò va tenuto presente non certo per alimentare del controllo un concetto debole, ma perché semplicemente questa è la sua natura. Il che significa che tutte le volte che si assume o si richiede un'assoluta primazia dei controlli ci si trova in una situazione anomala e fortemente patologica. In condizioni di normalità non si può immaginare un'amministrazione in cui il ruolo del controllore sia talmente preminente da tradursi poi in effetti in negazione dell'amministrazione.

31

Possiamo dunque concludere su questo punto dicendo che c'è oggi un gran bisogno, nell'ambito dei controlli, di ridefinizione e di nuove concettualizzazioni. Ma come sempre queste operazioni debbono fare i conti con le sensibilità e con il momento storico in cui il problema si pone. E qui è chiaro che se in una realtà fisiologica, ben assestata, di normalità amministrativa, il controllo mantiene necessariamente il suo profilo di attività "seconda" diventa un'esigenza invece primaria e sentita nel momento in cui la soglia dell'andamento fisiologico viene superata, come nel caso di grandi crack aziendali, di malgoverno evidente e diffuso, di tangentopoli.

La sensibilità della gente impone in qualche modo la prospettiva da seguire. Oggi dover provvedere a rimettere a punto i controlli significa fare i conti con questa sensibilità sia pure tarandola di tutte le emotività. Ci sono richieste, ovvero oggettive esigenze sociali, cui bisogna dare una risposta.

E qui si ripropone un dilemma, che chi abbia fatto controllo ha sempre vissuto. Il controllo serve per evitare che si rubi, che si facciano ladrocini, che si facciano appropriazioni indebite ovvero serve per evitare mal funzionamenti, inefficienze. Nella realtà concreta talora le due cose sono le medesime (l'inefficienza crea occasione di furto) ma concettualmente sono due cose molto diverse. Soprattutto sono 32

diverse le culture di riferimento, se così vogliamo dire.

L'incipit di un libretto di "Que saisje" delle Presses Universitaires de France scritto da Jean Raynaud, già procuratore generale della Corte dei conti francese, ricorda come la Corte dei conti francese sia nata "par une préoccupation essentielle: la méfiance". Ebbene non c'è dubbio che la diffidenza sia il filo conduttore di molti meccanismi del controllo, anche se spesso attutiti e ammorbiditi da logiche co-gestionarie. Rimettere a nuovo i meccanismi del controllo può ben significare ritornare a sottolineare i motivi, ragionevoli tutto sommato, della cultura della diffidenza.

Sul lato opposto, occorre osservare che attraverso spezzoni normativi (non si è mai trattato di un sistema di norme di qualche organicità) sono state date parziali risposte legislative a esigenze diverse di controllo o di revisione che fanno riferimento ad altre culture: quella dell'efficienza o della qualità del servizio, per esempio. Insomma, abbiamo avuto un'ampia introduzione dei strumenti di tipo revisione o auditing: in questo grande mix terminologico, l'ultima novità è la legge in materia ambientale in cui viene sanzionato, credo per la prima volta, in Gazzetta Ufficiale il termine CCdi ambientale" (audit è scritto in corsivo).

Se è vero che le esigenze di controllo via via emerse rispondono a «culture" diverse e di vario tipo (si pensi al tema della qualità, riguardante singoli prodotti o singoli fornitori nel campo delle opere pubbliche o della fornitura di beni) questo complesso di punti di riferimento va dipanato, razionalizzato perché al momento rischia di creare confusione. Siamo di fronte ai molteplici sintomi, se vogliamo metterla così, della consapevolezza diffusa che bisogna migliorare e cambiare le prestazioni di controllo. Rimanendo tuttavia entro risposte a spezzoni e fra loro scollegate, può avvenire semplicemente che un controllo intralci l'altro.

A questo punto quali paiono essere i termini del problema?

Tanti controlli, finalizzati a tanti obiettivi e avendo alle spalle tante culture di riferimento vogliono tanti diversi soggetti di controllo (è ciò che sta avvenendo con la logica della moltiplicazione delle autorità indipendenti) ovvero, ed in quale misura, bisogna ripensare i controlli, anche quelli tradizionali, non più come monoculturali, cioè a prevalenza del parametro giuridico, ma come controlli multidisciplinari, multiculturali A cascata da questa domanda iniziale sorgono altre questioni. C'è una questione di equilibri inter-soggettivi sul piano operativo, c'è una poderosa questione di innovazione del metodo e delle procedure del "far controllo", c'è una strategia del reclutamen-

to e della formazione di figure professionali di diversa provenienza disciplinare che devono collaborare fra loro; c'è una questione riguardante le modalità continue o discontinue del controllo.

E poi sono necessarie alcune avvertenze. La seguente, per esempio: è chiaro che troppi soggetti di controllo, anche quando veramente rispondano ad esigenze assai avvertite, divengono inevitabilmente fonte e ragione di vincoli ulteriori che si pongono all'amministrare e al produrre servizi per la collettività così come al "fare economia".

D'altra parte è una pretesa fuori della realtà immaginare una sola entità di controllo che sappia fare tutto, perché probabilmente potrebbe fare tutto nel senso che poi decide di non fare niente o quel poco che è possibile.

Questi i delicati problemi che abbiamo davanti e che si pongono con urgenza soprattutto nel settore delle Pubbliche Amministrazioni perché qui siamo in quella singolare situazione in cui, per effetto anche dell'arretratezza che mediamente ha il settore nel suo complesso, tutte le cose piovono addosso insieme e tutte devono trovare una sensata sistemazione.

DA DOVE NASCE LA DOMANDA DI UNA CULTURA DEI COSTI

A questo punto del mio ragionamento vorrei evitare un malinteso.

33

Riferendomi alla politica dei controlli e all'entrata in scena di vari soggetti e realtà di controllo attraverso spezzoni normativi non desidero proporre ulteriori aggiustamenti legislativi di vario tipo. Penso soltanto ad un buon uso delle norme che ci sono e soprattutto ad una adeguata strategia della realizzazione.

A tal fine occorre ricercare se esista un nucleo di indicazioni normative a cui convenga fare riferimento e che occorra in qualche modo valorizzare facendone emergere le potenzialità. Penso che tale nucleo di indicazioni possa rintracciarsi nelle norme che hanno introdotto nel nostro ordinamento qualche iniziale attenzione al problema dei costi. Si tratta fondamentalmente dell'art. 7 della legge 362/1988, che prescrive l'obbligo di quantificare il costo delle proposte di legge e delle norme che a partire da quanto disposto dall'art. 25 del d.l. n.

66/1989 (convertito con legge n.

144/1989) si sono succedute in materia di dissesto degli enti locali. Malgrado sia falsata da una logica meramente finanziaria, la normativa sul dissesto vuole che ci sia una cultura dei costi alla base delle procedure di risanamento.

Soffermiamoci sulla quantificazione degli oneri delle leggi. I due punti caratterizzanti l'obbligo della quantificazione sono, da una parte, l'obbligo del governo di accompagnare i disegni di 34

legge con relazioni tecniche che devono indicare i dati e i metodi utilizzati, le loro fonti ed ogni elemento utile per la verifica tecnica in sede parlamentare e, dall'altra, le relazioni quadrimestrali della Corte dei conti contenenti una valutazione ex-post sulla quantificazione dei costi delle leggi via via emanate. È noto come nel processo legislativo il circuito sia stato completato attraverso l'intervento dei Servizi Bilancio di Camera e Senato che provvedono a verificare in itinere le quantificazioni delle relazioni tecniche. Seppur finalizzato al processo legislativo l'obbligo di quantificazione degli oneri presuppone, per essere adempiuto, una rilevazione di base dei costi che operi al livello delle singole amministrazioni, anzi muova dalle stesse unità di base delle medesime.

1ottima quantificazione significa piena capacità di analisi e previsione dei costi dell'azione amministrativa nonché di altri fattori incidenti nella applicazione delle leggi. In altri termini la norma del 1988 deve essere intesa come un importante volano della "cultura dei costi".

In un recentissimo rapporto del Servizio Bilancio della Camera (giugno 1994) si legge che si è registrato un progressivo affinamento delle relazioni tecniche quanto a metodologia e completezza dei dati. Si auspica comunque che presso tutti i ministeri si creino uffici specializzati anche per alleggerire la funzione di supplenza che ta-

lora è svolta dalla Ragioneria generale dello Stato. Sembri lecito dedurre da questo auspicio che in effetti le potenzialità della normativa non siano ancora pienamente dispiegate.

Già al momento dell'emanazione della legge si poteva suggerire un piano di realizzazione che si può così riassumere: metodi di rilevazione e calcolo Si ipotizzava una fase sperimentale da cui trarre, anche su base comparativa, un metodo che potesse essere ampiamente condiviso anche attraverso un manuale ad hoc. dati e loro fonti Il riferimento ai dati significa far entrare nella routine di tutte le amministrazioni la raccolta sistematica dei dati concernente la propria attività. Ciò dicendo si anticipavano le esigenze del sistema statistico nazionale che sarebbe stato di lì a poco creato con la riforma dell'ISTAT, e che è tuttora in corso di realizzazione. formazione e aggiornamento Non si maneggiano dati senza una preparazione adeguata. Di qui l'esigenza di una formazione ad hoc e di un'attività costante di aggiornamento. valutazione dei costi ex-ante ed ex-post Si sottolineava l'opportunità di mettere in sequenza le valutazioni richieste per il processo legislativo attraverso una logica sistemica che consentisse un costante miglioramento delle quantificazioni ma anche il consolida-

mento degli elementi costitutivi di una cultura dei costi.

Non sono in grado di dire cosa sia avvenuto in ordine a queste indicazioni di lavoro ricavabili dalla norma dell'88 e certo in linea con le raccomandazioni elaborate in sede OCSE già nella prima metà degli anni Ottanta (ricordo il lavoro denominato Capacity to Budget cui ho personalmente partecipato) secondo le quali la politica di bilancio deve trovare radici e responsabilità piena nelle singole amministrazioni. Per rispondere bene al quesito su cosa è avvenuto occorrerebbe un'accurata indagine su un quinquennio di relazioni tecniche e sui soggetti che 1e hanno elaborate.

Se torniamo alla proposta già citata del Servizio Bilancio della Camera, la proposta cioè di uffici ad hoc presso i ministeri, mi pare che essa stia ad attestare che molta strada è ancora da fare. E che le virtualità dell'obbligo di quantificare i costi delle leggi sono ancora da cogliere.

Analoghe osservazioni vanno fatte per quel che riguarda la normativa riguardante il dissesto degli enti locali. I piani e l'azione di risanamento che essa impone sembrerebbero far riferimento, sia nelle norme di legge che nelle norme di regolamento, soltanto o quasi esclusivamente ai concetti e ai mezzi di un'operazione di liquidazione che ha ad oggetto i rapporti di de35

bito e credito. Senonchè l'impossibilità finale di liquidare un ente locale rende impropria una linea d'azione fondata prevalentemente se non esclusivamente su vincoli finanziari e non su criteri sostanziali di gestione che abbiano come punto forte la capacità di gestire i costi. Beninteso, la normativa sul dissesto non impedisce sviluppi in questo senso a parte quanto già previsto dalla mobilità del personale.

Al contrario, non può non implicarli quando parla di risanamento. C'è di pi1: l'introduzione dell'istituto del dissesto e del severo regime vincolistico che ne consegue suggerisce - ma forse si dovrebbe dire: impone - un'azione di prevenzione, la quale, a sua volta, ha bisogno di fondarsi su buoni avvisatori d'insolvenza, costruiti soprattutto su una buona intelligenza dei costi.

Dunque, occorre lavorare a far emergere ciò che è implicito. Tale esigenza si coniuga, del resto, quasi naturalmente con le domande di strumenti di governo delle gestioni locali che nascono dalla nuova fisionomia delle amministrazioni locali che hanno nel sindaco eletto dalla popolazione il responsabile ultimo e visibile dell'andamento del comune. La domanda che nasce in questo tipo di amministrazioni, anche per la necessità di render conto agli elettori, riguarda, da una parte, la capacità di ben intendere da dove si parte e come ci si muove (dunque: esigenza di monitoraggio) e, 36

dall'altra, la capacità di modificare, in qualche modo, gli andamenti inerziali della gestione. Chiunque si ponga questi problemi finisce per dover richiedere e dover acquisire una buona cultura dei costi.

TORNANDO Al CRITERI DI EFFICACIA, EFFICIENZA ED ECONOMICITÀ

Veniamo dunque ai criteri delle "tre E".

Si tratta di criteri di cui si parla da molti anni nella letteratura internazionale e che quindi dimostrano la ruggine del tempo. Criteri che vengono soprattutto usati riguardo al tema riorganizzazione delle Pubbliche Amministrazioni. Si afferma che la riorganizzazione debba avvenire all'insegna di questi criteri. Ciò, del resto, risulta chiaro anche solo da una rapida ricognizione concernente l'uso legislativo dei termini efficacia ed efficienza.

L'inevitabile genericità dei criteri quando siano enunciati in generale ha lasciato successivamente il campo alla messa a punto di indicatori che, una volta sperimentati ed applicati, hanno dato luogo ad esperienze interessanti e talora di successo. Se consideriamo il criterio dell'efficienza e quello che gli si accompagna usualmente, cioè l'economicità, si deve dire che essi hanno normalmente un significato simbolico quasi trasformandosi in un valore profondamente e ampiamente condiviso.

Lo hanno notato due fra i maggiori

autori di teoria dell'organizzazione come March e Olsen.

Dall'efficienza vengono indicazioni normative di tipo manageriale (la chiarezza delle responsabilità dirigenziali, l'idea che una persona ben identificata debba essere a capo dell'organizzazione, l'idea della non duplicazione di compiti e strutture e così via). L'economicità si riferisce soprattutto all'equilibrio di entrate e spese e pone l'esigenza del risparmio sui costi.

Dietro efficienza ed economicità c'è l'idea, in termini di microeconomia, che l'efficienza si ottiene nella competizione sui mercati piuttosto che in sistemi di meccanismi gerarchici. Di qui la spinta che i criteri di efficienza ed economicità danno alla politica delle privatizzazioni.

Efficienza ed economicità sono i più attesi obiettivi delle "riorganizzazioni", anche se spesso creano delusioni.

In ogni caso c'è da dire che l'efficienza riguarda i mezzi dell'azione amministrativa non invece i fini. Tutte le volte che si tratti di scegliere fini e missioni il criterio di efficienza perde di significato.

Quanto all'efficacia, se il criterio si riferisce alla capacità di un'organizzazione di compiere il proprio mestiere e di conseguire la propria missione istituzionale, c'è da dire che non sempre si concilia con gli altri criteri. L'effectiveness, osservava di recente uno studioso di Berkeley (Craig W. Thomas), "è

spesso assunta come postulato piuttosto che discussa dai pianificatori e teorici della riorganizzazione".

Di certo, l'efficacia può confliggere con un'efficienza ed economicità che significhino, per esempio, una continua riduzione dei costi.

In realtà, l'efficacia sembra più un criterio di valutazione dall'esterno di un'organizzazione e soprattutto da parte dei destinatari finali delle prestazioni istituzionali o da chi ne rappresenti gli interessi.

Naturalmente, sorge intorno al criterio dell'efficacia il problema dell'identificazione dei compiti o fini dell'organizzazione. Se si ragiona in termini di obiettivi che questa si dà nel tempo può trattarsi di compiti non sempre né necessariamente riconoscibili dall'esterno. In questo caso c'è un giudizio sull'efficacia che rimane all'interno dell'organizzazione. Se si ragiona in termini di fini istituzionali la riconoscibilità dall'esterno è più facile, anzi è un elemento costitutivo di un'organizzazione pubblica. Tuttavia si tratta normalmente di fini definiti in termini molto generali. I parametri della valutazione sull'efficacia sono di conseguenza diversi, anche se non opposti.

Se i criteri delle tre E ci portano alla questione della riorganizzazione amministrativa, conviene soffermarsi su alcune recenti evidenze segnalate dagli studiosi di processi riorganizzativi. Mi riferisco non tanto al caso di riorga37

nizzazioni di apparati pubblici quanto, più in generale, di grandi apparati, privati o pubblici che siano.

Secondo Hall, Rosenthal e Wade che ne parlano in un recente numero della «Harvad Business Review», soio progetti di ridisegno organizzativo che abbiano grandi dimensioni e vadano molto a fondo hanno dimostrato di produrre ampi e duraturi risultati. La riorganizzazione per essere tale significa il cambiamento di alcuni fattori comportamentali chiave. Dunque, non è possibile pensare a operazioni Cuna volta per tutte" ma bisogna piuttosto pensare, con un 'espressione colorita, a una serie di onde che puliscano per un periodo di anni Ne deriva la necessità del pieno coin volgimento dei leader dell'organizzazione nell'opera di riorganizzazione. Si indica un impegno fra il 20 e il 50 per cento del tempo dei chi ef executives. Se ciò è vero, si trova spiegato il fallimento frequente delle riorganizzazioni pubbliche che, anche quando tradotte in questioni o bandiere politiche, vedono solo un interessamento iniziale da parte di vertici politici o di alti dirigenti ma non un loro coinvolgimento costante e duraturo.

Tenendo conto di quanto appena riportato, torniamo all'ipotesi di una riorganizzazione che, dando per fermi i compiti istituzionali di un'amministrazione pubblica,, si ispiri ai criteri dell efficienza e del! economicita.

38

Occorre innanzitutto darsi del tempo (ma ben definito) e muovere in profondità, per lungo e largo. In questa operazione si imporrà un'analisi reiterata dei processi attraverso i quali opera l'organizzazione.

Ci sono due modi di considerare un'organizzazione. Uno è quello, più tradizionale, che guarda alle funzioni standardizzate e ha come fondamentale punto di riferimento l'organigramma. L'altro, affermatosi negli ultimi quindici anni, dà prevalente attenzione ai processi applicativi. La scomposizione analitica dei processi consente di considerare come si raggiungono certi risultati, cioè attraverso quali attività.

Questo modo di considerare un'organizzazione ha effetti un pò dissonanti, se non dissacranti, nei confronti dell'usuale idea che l'ottimo organizzativo stia nella sicura definizione delle competenze delle singole unità operative e soprattutto nei confronti del concetto possessivo delle medesime competenze che a quest'idea si accompagna. Non teme aprioristicamente il problema delle duplicazioni cercando comunque di risolverlo in chiave di procedure precise; tende a utilizzare in positivo, e quasi a valorizzare, le competizioni interne e i conflitti d'interesse. Soprattutto, per tornare al filo dei ragionamenti sui costi, consente un'analisi dei medesimi per attività e per durata delle attività (fondamenta-

le, dunque, il fattore tempo) e non soltanto per unità organizzative.

Mi pare dunque che in questi metodi di analisi dei processi e dei costi si possa individuare la nuova frontiera per l'applicazione dei criteri di efficienza ed economicità.

IN CERCA DI CONCLUSIONI

È il momento di cercare le conclusioni.

Ponendoci di fronte al dilemma controlli interni - controlli esterni sembra che, in coerenza con quanto appena detto non sia il caso di stabilire attribuzioni secche di appartenenza o competenza. Anche perché appa're piuttosto opportuno ribadire una prospettiva di politica dei controlli, nel senso però che oggi non è il momento delle definizioni normative ma della strategia dell'attuazione o, meglio, del buon uso delle norme che ci sono.

Quale che sia il giudizio che si voglia dare, per esempio, a proposito di come si è giunti alla legge n. 20/1994 sui controlli della Corte dei conti o a proposito dei suoi contenuti.

Non è questo il momento di entrare in argomento. Tengo solo a ricordare che era già in atto da anni una riforma strisciante dei controlli della Corte (e neppur tanto strisciante se si pensa al secco ridimensionamento del controllo preventivo ad opera del decreto iegislativo n. 29 del 1993), che comun-

que poneva rilevanti problemi: di riorganizzazione dell'organo di controllo, di cultura dei controlli. L'augurio è che la riforma aiuti a trovare le soluzioni: fatto per nulla scontato.

Una prima conclusione che sentirei di fare è la seguente: non credo che esista la possibilita di «fare sistema fra controlli interni e controlli esterni. Le finalizzazioni sono diverse e, dunque, anche i metodi.

Già parlando di criteri di efficacia, efficienza ed economicità si vede che c'è il criterio (intendo l'efficacia intesa come capacità di conseguire tempestivamente e utilmente i fini istituzionali) che ben s'attaglia all'osservazione dall'esterno compiuta o da un organo a ciò deputato o dagli utenti o beneficiari; mentre gli altri criteri meglio si attagliano a servire da guida per chi debba governare direttamente le gestioni. Altra questione è, beninteso, l'omogeneità degli strumenti concettuali, del linguaggio, dei modi d'intendersi.

Una seconda osservazione riguarda la necessità che i controlli rispondano alle diverse domande di controllo che salgono dalla società.

Quelli esterni risponderanno prevalentemente all'esigenza che venga bene reso il conto da parte degli amministratori riguardo all'uso corretto delle risorse.

I controlli interni sembrano invece dover dare risposta alla domanda so92

ciale di buòni e pronti servizi pubblici, pur in presenza di risorse limitate.

Tali controlli si adegueranno al concetto di monitoraggio da definirsi (sulla scia di un'indicazione di L. Gappugi) come la serie.: delle operazioni intese a massimizzare la probabilità che ogni progetto o azione venga realizzato con il minore impiego possibile di risorse ed in modo da ottenere i risultati quantitativi e qualitativi che si intendeva raggiungere e ciò anche attraverso la correzione o miglior definizione degli obiettivi.

Una terza osservazione riguarda le modalità di esercizio, date le diverse finalità. Ai controlli interni può ben appartenere una certa dose di riservatezza, quelli esterni invece non posso-

• Relazione tenuta il giorno 10 giugno 1994 al Convegno organizzato dalla Banca d'Italia a Perugia sul tema: Nuovo sistema di controlli sulla spesa pubblica.

40

no che realizzarsi nella maggiore trasparenza possibile.

Potrebbe sembrare che, alla fine, ci si voglia avviare verso un'affermazione della separazione e della separatezza dei controlli. È importante, invece, dissipare questa impressione in ragione almeno di quest'ultima, ribadita, considerazione: c'è ancora un grande lavoro da fare per costruire una buona cultura dei controlli. A questo lavoro si dovrà contribuire, da varie sponde, con molte fresh idezs, idee "fresche", come si usa dire in certi dibattiti nei campus americani. Ebbene, dopo un adeguato lavoro compiuto nelle discipline piii coinvolte (e sono molteplici) e nell'attività pratica, molte approssimazioni di oggi saranno superate o modificate.

i