INTRODUZIONE ALLA VALUTAZIONE DELLE AZIONI E DEGLI INTERVENTI DI FORMAZIONE
1
Obiettivi della risorsa di apprendimento
2
COSA SIGNIFICA VALUTARE
Proviamo ad analizzare qualche definizione… “La valutazione è una raccolta sistematica di informazioni sulle attività, caratteristiche e risultati per formulare giudizi sul programma, migliorarne l’efficacia e/o indirizzare decisioni sulla futura programmazione” (Patton,1998) “…è un’attività cognitiva rivolta a fornire un giudizio su di un’azione (o complesso di azioni) intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni, che si fonda su attività di ricerca e che segue procedure codificabili” (M.Palumbo, Il processo di valutazione, F.Angeli, 2001)
3
Risultati auspicati e desiderati
Risultati desiderati
1 Risultati inattesi
Il modello di Bezzi
2 Valutazione svincolata dagli obiettivi
3 4
La Lavalutazione valutazioneèèquindi quindiun unprocesso processo
Secondo Palumbo (2001), la valutazione si caratterizza per il fatto di: 1)esprimere un giudizio 2)fondato su criteri e premesse di valore espliciti 3)riferite a una o più caratteristiche o proprietà di un oggetto (detto evaluando). Essa si realizza: 1)mediante comparazioni 2)sviluppate all’interno di un processo (coerente) 3)secondo procedure determinate, fondate sulle scienze sociali La valutazione è quindi: un PROCESSO che accompagna un altro processo (un’azione sociale) ex ante, in corso d’opera, finale, expost ma anche un SISTEMA (ovvero si costruisce progressivamente e riflessivamente) inserito in un “ciclo decisionale”
5
La Lavalutazione valutazionesisidifferenzia differenziada daaltri altriapprocci approcci
6
Monitoraggio Monitoraggiooovalutazione? valutazione? Monitoraggio
Valutazione
Informazione
Giudizio
Attività di supporto diretto al management
Attività svolta per un committente interno o esterno
Riguarda tendenzialmente tutti gli aspetti (misurabili) dell’azione
Riguarda una selezione di aspetti dell’azione
Per ogni intervento/servizio
Per una selezione di casi o a campione
Viene realizzato con rilevazioni regolari, come un flusso
Può essere fatta in diversi momenti o in uno solo
Misura lo scostamento da uno standard
Definisce dei rapporti in base a criteri
7
Valutare Valutarela laformazione: formazione:alcuni alcuniapprocci approcci Nella formazione aziendale gli approcci alla valutazione della formazione possono essere ricondotti a 2 paradigmi fondamentali: a) quella “positivista” o funzionalista, che ha come punti essenziali la catena logica obiettivi-risultati, la ricerca dell’oggettività della misurazione, il nesso formazionecompetenza - performance (cfr. Tyler) b) quella “costruttivista” o fenomenologica che ha come attenzioni fondamentali il processo formativo (goal free) e la sua complessità, l’ermeneutica del soggetto e la costruzione di un senso condiviso, la relazionalità tra i soggetti della valutazione (cfr. Stake)
Il primo approccio è ancora il più diffuso nella formazione d’aula e si basa su metodi di tipo quantitativo, il secondo è basato su metodi di tipo qualitativo e viene utilizzato per lo più nella formazione oltre l’aula.
8
IlIlmodello modellodi diScriven Scriven
• •
Valutazione formativa: ha come focus il processo formativo (stato di avanzamento, livello di motivazione dei partecipanti, clima, …) e gli apprendimenti Valutazione sommativa: ha come focus i risultati (a livello cognitivo, operativo comportamentale) in funzione degli obiettivi iniziali
I risultati possono essere visti anzitutto in relazione agli obiettivi formativi, a vari livelli: • Sistema o sottosistema organizzativo (in funzione di determinati cambiamenti attesi, performances economiche o processi) • Ruolo professionale (in funzione di evoluzioni relative a competenze o atteggiamenti) • Persona in apprendimento (in funzione dell’acquisizione di conoscenze, capacita’, comportamenti)
9
IlIlmodello modellodi diKirpatrick Kirpatrick Dimensione
Focus valutativo
Reazione
In che misurare e di che cosa i partecipanti sono soddisfatti?
Apprendimento
Che cosa i partecipanti hanno appreso partecipando all’azione formativa?
Comportamento
I partecipanti hanno modificato i loro comportamenti in base agli apprendimenti ottenuti?
Risultati
I cambiamenti comportamentali ottenuti hanno avuto un influenza significativa sull’organizzazione?
10
IlIlmodello modellodi diPhillips Phillips
Dimensione
Focus valutativo
Reazione e piano di azione
Misure relative alla reazione dei partecipanti e ai piani di azione
Apprendimento
Misure relative alle conoscenze, abilitĂ e atteggiamenti appresi
Applicazioni lavorative
Misure relative e specifici cambiamenti nelle condotte lavorative
Risultati organizzativi
Misure di impatto organizzativo
Ritorno economico sull’investimento
Misure di valore monetario
11
IlIlmodello modellodi diLichtner Lichtner
VALUTATORI Formatore
Partecipanti
A.A. Valutazione Valutazione del del rendimento rendimento
B.B. Auto Auto valutazione valutazione
Partecipanti
C.C. Valutazione Valutazione del del formatore formatore
D.D. Valutazione Valutazione dei dei partecipanti partecipanti
Azione formativa
12
L’insieme L’insiemedegli degliinterventi interventidi divalutazione valutazione
13
Alcuni Alcunilivelli livellidi diValutazione Valutazione
Livello 1 - Percezione del programma e azioni applicative. Si misura il grado di soddisfazione dei partecipanti e congiuntamente viene richiesta un elenco di azioni per l’applicazione di ciò che è stato appreso. La maggior parte delle organizzazioni valuta questo livello utilizzando questionari generici di fine corso. Sebbene questi strumenti siano importante per analizzare la soddisfazione dei partecipanti, il gradimento favorevole non informa sul fatto che i partecipanti abbiano appreso nuove abilità e conoscenze. Livello 2 - Apprendimento. Si misura ciò che i partecipanti hanno appreso durante il programma formativo. Gli strumenti più comunemente utilizzati sono: test, attività esercitative, role playing, simulazioni, discussioni di gruppo. La verifica dell’apprendimento valida il grado di interiorizzazione delle conoscenze e come utilizzarle. Riscontri positivi a questo livello non evidenziano necessariamente che il materiale appreso sarà trasferito al contesto lavorativo.
14
Alcuni Alcunilivelli livellidi diValutazione Valutazione
Livello 3 - Trasferimento al contesto lavorativo. Si valuta se i partecipanti trasferiscono al contesto lavorativo ciò che hanno appreso. A questo livello si utilizza una varietà di strumenti valutativi di follow up. Sebbene questi aiutino a determinare la frequenza d’uso delle abilità e delle conoscenze apprese informando indirettamente sulla riuscita del programma, tali riscontri non evidenziano necessariamente l’esistenza di un impatto positivo per l’organizzazione. Livello 4 - Impatti organizzativi e finanziari. Si misurano i risultati lavorativi raggiunti dai partecipanti come conseguenza dell’applicazione delle abilità e delle conoscenze apprese. La quantificazione di questi impatti è svolta secondo tecniche di analisi dei costi, degli output (ROI), del tempo, e della soddisfazione del cliente/utente.
15
Livello Livelloeestrumenti strumenti LIVELLO 1
LIVELLO 2
LIVELLO 3
LIVELLO 4
Reazioni Percezioni Elenco di azioni
Apprendimento
Trasferimento
Impatti
•
•
Questionari sugli atteggiamenti Feedback dei partecipanti
• • •
Test Simulazione Tecniche informali
•
•
• • • • • • •
Questionari di follow up sugli atteggiamenti Osservazioni sul posto di lavoro Interviste ai partecipanti Focus Group di follow up
•
Monitoraggio della prestazione
Questionari di follow up Progetti di breve durata Piani di azione Contratti formativi Sessioni di follow up sui contenuti del programma 16
Esempio Esempiodi dipianificazione pianificazionevalutativa valutativa
LIVELLO
OBIETTIVI
Reazioni Percezioni Elenco di azioni
• • •
Apprendimento
• •
Trasferimento
• • •
Impatti
•
STRUMENTI
TEMPO
RESPONSABILE
Reazioni • positive Miglioramen ti Lista di azioni
Questionario • di reazione percettiva •
Al termine • del 2° giorno Al termine del 3° giorno
Conduttore
Acquisizione di abilità Selezione di abilità
Attività esercitative
Durante il corso
•
Conduttore
•
•
Uso di abilità • Frequenza • d’uso Barriere
Questionario • Sessioni di follow up
3 mesi o 3 • settimane dopo • l’ultimazione del corso
Coordinator e del corso Conduttore
Aumento di vendite
Monitoraggi o della prestazione
3 mesi dopo • l’ultimazione del corso
Coordinator e del corso
•
•
17
Valutare Valutareeedopo? dopo?
Interrogarsi rispetto alla modalità di trattamento dei dati in relazione alle finalità (ad esempio: elaborazione statistica e anonima o analisi del contenuto?) Decidere a chi dare un feedback sui risultati della valutazione (organizzazione, docenti, partecipanti‌) Stabilire a priori come utilizzare i risultati della valutazione (ipotizzare come intervenire, cosa cambiare... )
18
Avvertenze Avvertenzeper peruna unavalutazione valutazionepartecipativa partecipativadella dellaformazione formazione 1. La formazione è un 1. La valutazione cerca di plusvalore per l’impresa misurare questo 2. La formazione è dinamica plusvalore precisandone i ed evolutiva: ha degli risultati concreti effetti previsti ed 2. La valutazione supera la imprevisti logica del controllo di 3. La formazione è un affare conformità, tenta di di tutti chiarficare tutti i tipi di 4. La formazione è cambiamenti e suscita la professionale e operativa: concertazione per questo il management permanente ha un ruolo motore 3. La valutazione è una responsabilità condivisa 4. La valutazione coinvolge il management soprattutto nella definizione degli obiettivi e nel bilancio professionale 19
77regole regoleper peruna unabuona buonavalutazione valutazione
Alain Meignant 1. Valutare suppone una comparazione dei risultati ad un “referenziale” (= ciò che auspicato o prescritto), definito in modo chiaro e reso noto sia ai formatori che ai partecipanti prima di iniziare la formazione. 2. Per valutare bisogna trovare degli indicatori pertinenti e misurabili definiti dal referenziale. 3. Un buon sistema di valutazione è apprezzato anche per la sua capacità di essere accettato positivamente dagli attori interessati alla valutazione. E’ meglio un indicatore semplice, ma accettato che un sistema sofisticato tecnicamente, ma rifiutato dagli attori. 4. La formazione non è il solo elemento esplicativo di un risultato. Occorre sia guardarsi da eccessivi trionfalismi, sia fare attenzione che un risultato positivo in un ambito di attività non costituisca un “effetto perverso” in un altro ambito.
20
77regole regoleper peruna unabuona buonavalutazione valutazione
5. Non tutto è valutabile in riferimento ad un referenziale stabilito, soprattutto nel campo dello sviluppo personale. È meglio riservare la valutazione sistematica alle azioni formative che interessano l’organizzazione e certi attori chiave. 6. E’ opportuno diffondere sempre i risultati della valutazione ai clienti della formazione, anche se questi risultati non fossero positivi. 7. La valutazione è uno strumento di management. L’interesse essenziale della valutazione non sta solo nel risultato, ma in ciò che esso permette di spiegare. Ciò aiuta a migliorare e a sviluppare la qualità della formazione.
21
ESERCITAZIONE
Sulla base di alcuni ipotetici obiettivi formativi generali di un percorso quali: 1. Imparare a stimolare la motivazione e la coesione dei gruppi 2. ottimizzare i tempi di gestione dei progetti scoprendo le proprie aree di miglioramento nell’organizzazione del tempo e riconoscendo le priorità per evitare dispersioni 3. sviluppare strumenti e metodi di lavoro per i nuovi servizi della circoscrizione al fine di favorire partecipazione, condivisione e comunicazione tra persone e parti del sistema. 4. sviluppare integrazione interfunzionale e interorganizzativa 5. Superare le resistenze al cambiamento, sviluppando tra i propri collaboratori una modalità d'approccio positivo ai differenti momenti di transizione
Obiettivi
Strumento di valutazione
Obiettivi della valutazione
1 2 3
Cerca di specificare quali strumenti di valutazione applicheresti ad ogni obiettivo e qual è il relativo obiettivo di valutazione. Per lo svolgimento del tuo lavoro utilizza la griglia di seguito riportata:
22 22
APPROFONDIMENTI APPROFONDIMENTI
•
M&V Procedure: http://bit.ly/procedure_ita
•
La valutazione nelle organizzazioni e nei processi Formativi approcci e modelli: http://bit.ly/GTzs6U
23