TH
&M A
themahogeronderwijs.org
Sinds eind jaren negentig stimuleert SURF – de samenwerkingsorganisatie van instellingen in het hoger onderwijs en onderzoek – ICT-innovatie in het hoger onderwijs, met als doel de kwaliteit van het onderwijs te verbeteren. In drie artikelen schetsen we achtereenvolgens de ontwikkeling van een instrumentarium voor innovatieprogramma’s; de zoektocht naar een zinvol framework voor het vormgeven van evaluatie; en tenslotte geven we inzicht in de impact van de programma’s en lessons learned.
Drieluik over innovatie met impact Deel 2: De zoektocht naar betekenisvolle evaluatie Christien Bok en Annette Peet SURFfoundation
I
n de afgelopen tien jaar hebben instellingen voor hoger onderwijs in SURF-verband ervaringen opge daan met de mogelijkheden die ICT biedt in het onderwijs. Dit gebeurde binnen verschillende stimule ringsprogramma’s: het Onderwijsvernieuwingsprogramma (1999-2009), het Nationaal Actieplan e-Learning (2006-2011) en Studiekeuzegesprekken wat werkt? (2009-2011). ICT-projecten leggen vaak kiemen voor de toekomst: na het zaaien kan er niet altijd direct worden geoogst. De projec ten maken onderdeel uit van een langdurig veranderproces in het onderwijs, waarbij ICT bijdraagt aan het eigentijds en aantrekkelijk maken van het onderwijs, en aan het ver beteren van de kwaliteit ervan, door het efficiënter en/of effectiever te maken. De vraag welke rol een project precies speelt in een verandertraject is vaak moeilijk te beantwoor den, laat staan te kwantificeren. Toch is het belangrijk om te onderzoeken wat de toegevoegde waarde van projecten is, en wat succes- en faalfactoren zijn. Het inzichtelijk maken van de toegevoegde waarde vergroot de kans dat de resul taten uit het project ook worden geadopteerd en duurzaam worden ingezet. Om gericht te kunnen investeren in inno vatie, is het dus van belang om inzicht te krijgen in wat wel en niet werkt. In theorie is iedereen het erover eens dat evaluatie een noodzakelijke voorwaarde is bij het uitvoeren van inno vatieprojecten. Maar in de praktijk blijkt het vormgeven van evaluatie binnen projecten en programma’s makke lijker gezegd dan gedaan. SURF ontwikkelt op basis van
voortschrijdend inzicht een aanpak voor de evaluatie van projecten, met hulp van experts uit instellingen voor hoger onderwijs, Kennisnet en TNO, die net als SURF innovatie projecten stimuleren en uitvoeren. In dit artikel beschrijven we onze belangrijke lessons learned bij het uitvoeren van evaluaties rond innovatieprojecten en wat belangrijke ele menten zijn in de aanpak van evaluaties. Verschillende stadia van innovatie In de loop van de jaren ontwikkelde ICT-innovatie zich van onderzoek naar de mogelijkheden van ICT in de onder wijspraktijk naar het strategisch inzetten van ICT in het onderwijs. Eind jaren negentig was ICT nog een relatief nieuw fenomeen in het onderwijs en werd er vooral geëx perimenteerd met nieuwe toepassingen en mogelijkheden. Zo werd onderzocht welke rol bijvoorbeeld GPS, online samenwerkingstools of streaming video in het onderwijs zouden kunnen spelen. Op het moment dat meer kennis en ervaring ontstond over wat kansrijke toepassingen zijn voor het onderwijs kon een volgende stap gezet worden, en werd een ‘proof of concept’ ontwikkeld. Geleidelijk ontstond de behoefte om een volgende stap te zetten en technieken die hun potentie voor het onderwijs bewezen hadden, op grotere schaal te kunnen invoeren. Het Nationaal Actie plan e-Learning (2006-2011) was daarop gericht. Het pro gramma heeft een strategische doelstelling: het verhogen van studierendement en/of het verbeteren van de instroom, 59
&M A
TH
3 - 1 1
Grassroots projecten
DOEL: kleinschalige experimenten met nieuwe technieken in onderwijs praktijk
Ontwikkel projecten
Opschalingsprojecten
DOEL: ontwikkelen en ontwerpen van kansrijke technieken in onderwijspraktijk
DOEL: op grotere schaal inzetten van succesvolle technieken in de onderwijspraktijk
Implementatie projecten
DOEL: succesvolle technieken implementeren in bestaande organisatie
Figuur 1: Succesvolle projecten kunnen 'doorgroeien' naar een volgend stadium doorstroom en uitstroom in het hoger onderwijs. De projec ten die de instellingen binnen het programma uitvoerden, moesten bijdragen aan die doelstelling. Van experiment tot implementatie Afhankelijk van het stadium van innovatie, heeft een pro ject bepaalde karakteristieken. SURF wil met vier typen projecten de groei van kleinschalige experimenten naar implementatie faciliteren. Succesvolle projecten kunnen ‘doorgroeien’ naar een volgend stadium. Grassroots zijn kleine experimentele (ontwikkel)projecten, vaak uitgevoerd door één persoon in een kleine setting, om te onderzoeken op welke manier methoden of technieken kunnen worden ingezet in de onderwijspraktijk. Ontwik kelprojecten ondersteunen de (door)ontwikkeling of het ontwerp van een ICT-innovatie tot een proof of concept door een kleine groep van samenwerkende instellingen. Opschalingsprojecten bieden instellingen de mogelijkheid om te onderzoeken of methoden en technieken die in een kleinere setting succesvol waren, ook op grotere schaal wer ken. Een volgende logische stap vormen implementatieprojec ten waarbij de innovatie ook daadwerkelijk op grote schaal wordt ingevoerd. Met deze projecten wil SURF in toekom stige programma’s experimenteren. Waar tot dusver binnen een programma voor één type project werd gekozen, zullen nieuwe thematische programma’s ruimte bieden aan meer dere stadia van innovatie. Inherent aan innovatie is dat niet alle experimenten wer ken. Daarom is evaluatie essentieel, om onderbouwd te besluiten of een experiment kansrijk genoeg is om door te groeien naar een volgend stadium. Hoewel de aard en de omvang van de evaluatie verschilt per type project kunnen we drie generieke fases onderscheiden bij het uitvoeren van evaluaties: vooraf, tijdens en na het project. Een goede start Evaluatie begint niet pas na afloop van een project. Juist de periode voor de start van een project is een cruciaal moment om een experiment te kunnen evalueren. Dat 60
Lessons Learned 1: Expliciteren van de doelstelling De ervaring leert dat als de doelstelling en de rede nering die ten grondslag ligt aan een project worden geëxpliciteerd, doorgaans de kwaliteit van het project plan verbetert, wat weer een positief effect heeft op de uitvoering van het project. Het expliciteren van de doelstellingen en de hypothese van een project vragen om een investering die zich tijdens en na afloop van het project ruimschoots terug betaalt. Zeker als het hele projectteam er samen aan werkt, zorgt dat voor een soepele start en uitvoering van een project, omdat men gezamenlijk richting geeft aan het project.
begint bij het expliciteren van de doelstelling van het pro ject. Waarom wordt gekozen voor een bepaalde interventie? De keuze voor een interventie is gebaseerd op een veron derstelling over de werking ervan. Die veronderstelling is vaak gebaseerd op intuïtie. Het is de kunst om die veron derstelling te onderbouwen, bijvoorbeeld door gebruik te maken van resultaten van eerdere onderzoeken en beschik bare literatuur. Bij voorkeur worden de doelstellingen en de hypothese van het project ook getoetst bij toekomstige gebruikers. In de werkwijze van SURF is het expliciteren van de doel stelling en de aannames die eraan ten grondslag liggen een van de criteria om in aanmerking te komen voor subsidie. Projectvoorstellen worden beoordeeld op kwaliteit en kans rijkheid door de Wetenschappelijk Technische Raad (WTR) van SURF. De WTR bestaat uit erkende autoriteiten, die niet alleen de nieuwste ontwikkelingen op hun specifieke expertisegebied kennen, maar ook letterlijk thuis zijn in de wereld van het hoger onderwijs. Als een project wordt gesubsidieerd moet een Controlling Document worden opgesteld, waarin de op te leveren resul taten, de projectinrichting, planning en financiën worden beschreven. Deze instrumenten stimuleren een goede start van de evaluatie van projecten.
TH
&M A
themahogeronderwijs.org
Lessons Learned 2: onderscheid programma- en projectdoelstelling
Lessons Learned 3: slim omgaan met beschikbare middelen
Het Nationaal Actieplan e-Learning heeft als doelstel ling het verhogen van de participatie in en het studie rendement het hoger onderwijs. Om te kunnen meten of het programma die doelstelling zou halen, moesten de projecten kwantificeren welke bijdrage zij zouden leveren aan de programmadoelstelling. Soms is de relatie met de programmadoelstelling echter indirect. Het heeft geen zin om waardevolle projecten die indi rect bijdragen aan de programmadoelstelling, te vragen hun resultaten direct te relateren aan de programma doelstellingen. Daarmee wordt geen bruikbare bijdrage geleverd aan de evaluatie van de programmadoelstel lingen, noch aan de projectdoelstellingen.
Om een hypothese wetenschappelijk te toetsen en een causaal verband aan te kunnen tonen tussen de interventie en de effecten moeten er voldoende gege vens beschikbaar zijn, en moet gewerkt worden met een controlegroep. Dat is binnen innovatieprojecten, gezien de beperkte looptijd en geringe onderzoeksbud getten vaak niet haalbaar. Bovendien vraagt de aard van projecten vaak om een praktijkgerichte aanpak van evaluatie, waarin ook kwalitatief onderzoek een belang rijke rol speelt. In de praktijk sluiten projecten steeds vaker allianties met onderzoeksgroepen en lectoraten om een deel van de evaluatie uit te voeren. Op deze manier wordt er slim gebruik gemaakt van beschik bare expertise en menskracht.
Invulling van programmadoelstelling Innovatieprojecten van SURF worden uitgevoerd in het kader van programma’s. De programma’s worden opge steld in samenspraak met de instellingen voor hoger onderwijs, om te garanderen dat ze aansluiten bij de ont wikkelingen binnen het hoger onderwijs. Instellingen die projecten uitvoeren zijn vrij om hun eigen specifieke pro jectdoelstellingen te kiezen binnen de thematische innova tieprogramma’s, die optimaal aansluiten op hun eigen situ atie. De doelstellingen van de projecten zijn een specifieke invulling van de programmadoelstelling. Praktijkgericht onderzoek Bij de aanvang van het project krijgt de evaluatie daadwer kelijk invulling. Een eerste stap is de nulmeting. Deze is van belang om te kunnen onderzoeken of de doelstelling wordt behaald. Op basis van die nulmeting ontstaat tijdens het project een beeld of de interventie inderdaad leidt tot de gewenste nieuwe situatie. Tijdens het project wordt op gezette tijden de stand van zaken ten opzichte van de nulmeting bekeken. Evaluatie tijdens het project zorgt voor voortdurende reflectie: of de doelstellingen nog wel worden gehaald, en of in het project de juiste middelen worden ingezet om de doelstellingen te halen. Als het nodig is, kan dan tijdig worden bijgestuurd. Ook kan, op basis van de uitkomsten van de evaluatie gedurende het project, blijken dat de hypothese moet worden bijgesteld. Door tijdens het project te blijven volgen of de hypothese nog spoort met de werkelijkheid en te onderbouwen waarom wel of waarom niet, kan innovatie op een onderbouwde manier gestuurd worden. In de loop van een project komen ook tal van onverwachte, niet voorziene zaken aan het licht. Die onverwachte effec ten kunnen een heel belangrijke rol spelen in de evaluatie
resultaten, en moeten daarom voldoende aandacht krijgen. In een dynamisch proces als het onderwijs waarin zoveel externe factoren een rol spelen, het heel moeilijk is om een directe relatie aan te tonen tussen een verandering in het onderwijs en een ICT-interventie. Het is dus heel belangrijk om ook omgevingsfactoren mee te nemen in de evaluatie. De evaluatie van de verschillende typen projecten hebben elk hun eigen insteek. De evaluatie van grassrootsprojec ten is meestal kleinschalig en kortcyclisch van aard. Als sprake is van ontwikkelprojecten waarin een protoptype of redelijk uitgekristalliseerde interventie wordt ingezet, richt de evaluatie zich op de vraag of de verwachte opbrengsten zich in de praktijk voordoen. Dit kan aanleiding geven tot opschaling. In opschalingsprojecten is van belang na te gaan of de verwachte opbrengsten zich ook op grote(re) schaal aandienen. De projecten binnen de SURF-programma’s kennen geen apart budget voor onderzoek. Het leeuwendeel van de middelen wordt besteed aan de subsidie voor innova tieprojecten. Het onderzoek dat wordt uitgevoerd, vindt plaats binnen de innovatieprojecten zelf. De middelen voor onderzoek zijn dus beperkt en grootschalig onder zoek is daarom niet mogelijk. Projecten moeten daarom realistische keuzes maken over wat zij willen en kunnen evalueren. Door vooraf de doelstellingen en de hypothese helder te omschrijven is het makkelijker om de belangrijk ste vragen te identificeren die in het project beantwoord zouden moeten worden. Welke vragen dat zijn, en hoeveel dat er zijn, wordt mede bepaald door de (te verwachten) beschikbaarheid van data, de beschikbare expertise, tijd en menskracht. Dit betekent prioriteiten stellen in wat je pre cies gaat meten, en bepalen van welke populatie je infor matie wilt verzamelen. Om zo efficiënt mogelijk gebruik te maken van beschikbare middelen verdient het aanbeveling 61
&M A
TH
3 - 1 1
Voor
Tijdens
Doelstelling, hypothese, onderbouwing van gekozen interventie
Monitoring doelstelling Toetsing hypothese Eventueel bijsturing
Na
Conclusie & evaluatie Lessons learned
Lange Termijn
Conculsies lange termijn.
Figuur 3: Prioriteiten stellen in wat je precies gaat meten, en bepalen van welke populatie je informatie wilt verzamelen Grassroots projecten
Kwalitatief onderzoek
Ontwikkel projecten Opschalings projecten Implementatie projecten
Kwantitatief onderzoek
Figuur 2: Onderscheid in kwalitatieve en kwantitatieve evaluatie zo veel mogelijk gebruik te maken van data die al door de instelling verzameld worden, en aansluiting te zoeken bij onderzoeksgroepen binnen instellingen. Enthousiasme en inspiratie Als duidelijk is welke vragen relevant zijn voor de eva luatie is het zaak om te kiezen voor de beste methode om die vragen te beantwoorden. Hierbij is onderscheid te maken in kwalitatieve en kwantitatieve evaluatie. Het belang van kwalitatief onderzoek, bijvoorbeeld in de vorm van observaties, interviews, enquêtes en focusgroepen, mag niet worden onderschat. Kwalitatief onderzoek kan een indicatie geven over de waarde van de interventie, en het geeft inzicht in de ervaringen van gebruikers. Het succes van een interventie hangt namelijk ook nauw samen met het enthousiasme van de personen die ermee werken. Door dit enthousiasme inzichtelijk te maken is de kans groot dat anderen ook enthousiast worden. Resultaten en bevindin gen zijn dan nog niet wetenschappelijk van aard, maar kun nen wel dusdanig veel belovend zijn, dat ook mensen bui ten het project enthousiast worden en geïnspireerd raken. Hoewel het geen wet van Meden en Perzen is, is het naar mate een project meer richting opschaling en implemen tatie gaat mogelijk om meer gebruik te maken van kwanti tatieve methodes, en van evaluaties met controlegroepen. Evaluatie van het proces Daar waar de projectleider tijdens het project zorgt voor de inhoudelijke evaluatie en onderzoekt of de interventie oplevert wat werd verondersteld, zorgt de Commissie 62
Projectbewaking van SURF tijdens het project voor de bewaking van het proces. Deze onafhankelijke commissie bestaat uit experts op het terrein van ICT-onderwijsinnova ties en het uitvoeren en begeleiden van grote projecten. De bewaking is primair gericht op de bewaking van planning, budget en beoogde resultaten. Dit gebeurt om te voor komen dat projecten ontsporen in planning en budget. Daarbij ontstaat een spanningsveld: juist in het geval van innovatieprojecten moet voldoende ruimte zijn voor experi menteren en moet voldoende mogelijkheid zijn om plannen aan te passen op basis van de inhoudelijke evaluatie die de instellingen uitvoeren. Innovatie- en veranderprocessen ver lopen lang niet altijd volgens plan, maar kunnen grillig zijn. Koerswijziging gedurende het project moet daarom altijd mogelijk zijn, mits goed onderbouwd. Het gaat er tenslotte om dat de doelstelling van een project gehaald wordt, niet dat precies wordt uitgevoerd wat vantevoren bedacht was. De balans opmaken Na afloop van een project is het moment om de bevindingen op een rijtje te zetten en conclusies te trekken. Verschillende componenten zijn waardevol om op te nemen in het evalu atieverslag: zijn de doelstellingen behaald? Zijn de beloofde deliverables geleverd? En vooral ook: wat zijn de lessons learned? In de praktijk zijn projectteams en opdrachtgevers vooral gericht op het behalen van succes, en te weinig op het leren van opgedane ervaringen, succesvol of niet. Terwijl leren van wat niet werkt een heel essentieel onderdeel is van innovatietrajecten. Sterker: een kenmerk van innovatie is dat er ook zaken niet lukken. Bij een bedrijf als Google geldt zelfs het adagium: 'als er niet genoeg mislukt, dan hebben we niet genoeg geprobeerd.' De evaluatie na afloop van het project bestaat ook uit het laten zien wat de toegevoegde waarde van ICT kan zijn in het onderwijs, en welke factoren de adoptie ervan bepalen. De resultaten van die evaluatie zijn heel goed bruikbaar voor de disseminatie van de projectresultaten. Geleerde lessen en procesevaluaties zijn waardevol voor instellingen voor hoger onderwijs, zo kunnen zij voortbouwen op eerdere ervarin gen. Ook moet er voldoende kennisuitwisseling zijn binnen en tussen de verschillende innovatieprogramma’s, zodat projectleiders in verschillende stadia van innovatie van elkaar kunnen leren, ook over wat niet werkt.
Voor
Tijdens
Na
PROGRAMMA: Nationaal strategisch programmadoelstellingen Hypothese Onderbouwing gekozen interventie (programmaactiviteiten en criteria voor projectsubsidies)
PROGRAMMA: Nulmeting rondom thema in hoger onderwijs Monitoring doelstelling Toetsing hypothese, kwalitatief/kwantitatief Eventueel bijsturing
PROGRAMMA: Evaluatie programmaresultaten, op basis van doelstellingen en hypothese en op basis van projectresultaten Procesevaluatie Disseminatie van resultaten en lessons learned
PROJECT: Projectvoorstel met: Projectdoelstelling Hypothese Onderbouwing gekozen interventie
PROJECT: Prioriteren evaluatievragen, haalbaarheidsanalyse evaluatie Inrichten meetprogramma, kwalitatief en/of kwantitatief Nulmeting Monitoring doelstelling Toetsing hypothese, kwalitatief/kwantitatief Eventueel bijsturing
PROJECT: Evalueren projectresultaten op basis van doelstelling en hypothese Procesevaluatie Disseminatie van resultaten en lessons learned
PROCES Selectie projecten door WTR op basis van programmacriteria en kwaliteitscriteria Controlling Document met uitgewerkte planning en budget
PROCES Voortgangsbewaking door Commissie Projectbewaking op basis van kwartaalrapportages en reviews.
PROCES End Review door Commissie Projectbewaking
TH
&M A
themahogeronderwijs.org
Lessons Learned 4: Wees realistisch over wat je kunt meten SURF had bij het Nationaal Actieplan e-Learning aan vankelijk de ambitie om effecten op langere termijn te meten. Maar instellingen liepen tegen heel praktische grenzen op. De projecten waren gericht op dooront wikkeling en implementatie, op zichzelf al weerbar stige trajecten, waar ze maar beperkte tijd voor hadden. Het bleek lastig te om daarnaast ook invulling te geven aan effectmeting, En bovendien: echte effecten worden pas zichtbaar als de implementatie is afgerond, en er dankzij de ICT –interventie een nieuwe situatie is ont staan. In het onderwijs is een cyclus van een jaar vaak een goede periode om te onderzoeken of rendementen gestegen zijn. Vaak bleek het niet mogelijk deze cyclus in de projectperiode te passen. Daarom neemt SURF het meten van effecten op lange termijn niet meer op in de criteria voor het uitvoeren van project.
Figuur 4: Een project vormt vaak een eerste stap in een veranderingsproces. Effecten op langere termijn Een project vormt vaak een eerste stap in een veranderings proces. De echte effecten van die verandering zijn meestal pas op langere termijn zichtbaar. Het kan dan bijvoorbeeld gaan om kwaliteitaspecten als hogere studenttevredenheid, meer efficiëntie of effectiviteit van het onderwijs. Het meten van effecten op langere termijn valt buiten het bereik van projecten die met subsidie van SURF worden uitgevoerd, die vaak maximaal twee jaar duren. Door de evaluatie vooraf, tijdens en na afloop van het project, zou het voor instellingen wel eenvoudiger moeten zijn om die effecten op termijn te meten. Tenslotte is het juist het inzicht in de effecten van investeringen die relevant zijn voor de instellingen. Idealiter worden evaluaties van geïm plementeerde methoden en technieken opgenomen in de reguliere instellingsevaluaties. Dit gebeurt bij een aantal projecten uit het Nationaal Actieplan e-Learning.
1. Beschrijving probleem en context: Wat is het pro bleem waarvoor de innovatie wordt ontworpen? Hoe zit de opleiding in elkaar en hoe kan de context van de onderwijsinstelling waarin de innovatie wordt toe gepast het beste worden beschreven? 2. Explicitering van de redeneerketen: Waarom lost de interventie (in de vorm van de gekozen ICT-innovatie of methode) het probleem binnen de opleiding op? 3. Beschrijving innovatie: Hoe beschrijf je de innovatie zo dat andere instellingen die eventueel kunnen over nemen? De innovatie moet zo duidelijk en compleet mogelijk worden beschreven, zodat een geïnteres seerde leek er iets aan kan hebben en kan inschatten of het op zijn of haar context van toepassing is. 4. Effectmeting: Welke effecten kan je meten, waarvoor zijn data beschikbaar of te verzamelen? Hoe kan het effect van de interventie het beste worden gemeten? Evaluatie op programma-niveau
Een heldere redeneerketen Om invulling te geven aan de drie stadia van evaluatie, en ook aan de effectmeting op lange termijn, kan de redeneerketen een handig hulpmiddel zijn. Redeneerketen Om te beschrijven hoe de interventie helpt om tot de gewenste situatie te komen ontwikkelden Daan Andries sen en Eja Kliphuis van Hogeschool INHOLLAND de redeneerketen. Deze kent vier onderdelen, die, afhanke lijk van het soort project, gehanteerd kunnen worden:
SURF stimuleert de evaluatie op projectniveau, maar wil ook inzichtelijk maken wat de opbrengst van een programma als geheel is geweest. Daarbij gaat het niet alleen om de resultaten van de verschillende projecten, maar ook om de lessons learned en dwarsverbanden. De evaluatie van een programma zou er daarom in grote lijnen hetzelfde uit moeten zien als de evaluatie van een project. In thematische programma’s die SURF momen teel ontwikkelt, vormt de evaluatiemethodiek daarom ook onderdeel van het innovatieprogramma als geheel. Binnen programma’s met een thematische insteek is het 63
&M A
TH
3 - 1 1
Deliverables
Informatie over de werking van de interventie
Informatie over onverwachte resultaten
Resultaten om al dan niet op voort te bouwen
Inzicht in kansrijkheid voor doorgroei/ implementatie
Inzicht in kansrijkheid voor doorgroei/ implementatie
Voor vervolg en nieuwe projecten
SURF stelt alle resultaten beschikbaar voor instellingen
Inzicht in kansrijkheid van nieuwe projecten (WTR)
Inzicht in kansrijkheid van nieuwe projecten (WTR)
Voor vervolg en nieuwe projecten (CP)
Lessons learned 5: Vergelijkbaarheid blijft lastig
Lessons learned
Komen tot vergelijkbare evaluaties blijft lastig. Een uniforme wijze van evalueren blijft lastig te realiseren, wat een gevolg is van een steeds terugkerend dilemma: voor het meten van effecten van onderwijsinterventies moeten deze zoveel mogelijk op dezelfde wijze uit gevoerd en gemeten worden, maar de praktijk vraagt vaak verschillen in aanpak. Een serieuze investering in het ontwikkelen voor een format dat resultaten verge lijkbaar maakt is daarbij van belang.
Over SURF In SURF werken de Nederlandse universiteiten, hoge scholen en onderzoeksinstellingen samen aan grens verleggende ICT-innovaties. Ze creëren zo de basis om optimaal gebruik te maken van de mogelijkheden van ICT en te excelleren in hun onderwijs en onderzoek. SURF bestaat uit drie organisaties: SURFfoundation, SURFnet en SURFdiensten.
Figuur 5: De evaluatiemethodiek is onderdeel van het innovatieprogramma als geheel
zinvol om de resultaten van de verschillende projecten binnen het programma onderling te kunnen vergelijken, om vast te stellen welke interventies wel en welke niet werken en onder welke omstandigheden. Het programma ‘Studiekeuzegesprekken, wat werkt?’ is zo’n programma. Het is erop gericht om inzicht te krijgen in wat succesvol le manieren zijn om studiekeuzegesprekken in te richten en in te zetten in het studiekeuzeproces. Om daar een uit spraak over te kunnen doen, werd een format ontwikkeld, zodat de resultaten van de verschillende projecten vergele ken konden worden. Op die manier wilde het programma een antwoord geven op de vraag wat werkt en wat niet. Dat is gedeeltelijk gelukt. In de praktijk bleek dat verge lijkbaarheid toch lastig was, simpelweg omdat de omstan digheden binnen verschillende instellingen weer sterk verschillen. De uitkomsten van een aantal projecten kon echter wel ten opzichte van elkaar worden vergeleken in een cross-case analyse. Zo bood het programma toch enig inzicht in de verschillende uitwerkingen van studiekeuze gesprekken en hun effect op verschillende variabelen. Samenvattend Om inzicht te krijgen in de kansrijkheid van experi menten met ICT in het onderwijs, is evaluatie van groot belang. Er zijn drie stadia van evaluatie te onderschei den; voor, tijdens en na een project. Daarnaast zijn er drie niveaus van evaluatie te onderscheiden: op program maniveau, op projectniveau, en op procesniveau. ICT-innovatieprojecten leveren verschillende resultaten op. De resultaten van de evaluatie dienen verschillende doelen. 64
Binnen SURF-programma’s zijn de resulaten van belang in het langdurige veranderings- en vernieuwingsproces dat de instellingen voor hoger onderwijs uitvoeren. Enerzijds bieden ze inzicht in de kansrijkheid van experimenten om door te groeien, anderzijds bieden ze leerpunten voor de beoordeling en uitvoering van nieuwe projecten. In het laatste deel van dit drieluik gaan we in op factoren die de kansrijkheid bepalen om van een experiment naar daadwerkelijke implementatie te komen.
&◀
Christien Bok is werkzaam bij de SURFfoundation bok@surf.nl Annette Peet is werkzaam bij de SURFfoundation peet@surf.nl Met dank aan Daan Andriessen van INHOLLAND, Alfons ten Brummelhuis van Kennisnet en Matthijs Leendertse van TNO
Bronnen: 10 jaar onderwijsinnovatie. Evertse, J., februari 2011 Onderwijsvernieuwingsprojecten, 10 jaar innovatie in de praktijk. SURFfoundation, april 2008 Studiekeuzegesprekken in het hoger onderwijs. Drs. Fred Verbeek, Dr. Marjan Glaudé, Drs. Edith van Eck, september 2010.