TH
&M A
themahogeronderwijs.org
Sinds eind jaren negentig stimuleert SURF – de samenwerkingsorganisatie van instellingen in het hoger onderwijs en onderzoek – ICT-innovatie in het hoger onderwijs, met als doel de kwaliteit van het onderwijs te verbeteren. In drie artikelen schetsen we achtereenvolgens de ontwikkeling van een instrumentarium voor innovatieprogramma’s; de zoektocht naar een zinvol framework voor het vormgeven van evaluatie; en in dit laatste deel van het drieluik geven we inzicht in de impact van de programma’s en lessons learned.
Innovatie met impact Deel 3: De kracht van samenwerking Christien Bok Annette Peet SURFfoundation
I
nnovatie vraagt om scharrelruimte: tijd die niet altijd (direct) effectief is. Innovatie is geen lineair proces, dat loop van het signaleren van nieuwe kansen naar het implementeren van ontwikkelde instrumenten. Onderweg sneuvelen creatieve ideeën en blijken vermoede kansen onbegaanbare wegen. Het is bij het ontstaan van een idee niet zeker of het doel gehaald kan worden. Instellingen voor hoger onderwijs zien het belang van innovatie van het onderwijs, maar willen tegelijkertijd hun beperkte budgetten zo verantwoord mogelijk inzetten. Er bestaat een spanning tussen de noodzaak tot beheersing van primaire werkprocessen en het creëren van een innovatief klimaat, waar ruimte is voor vernieuwing. Docenten ervaren enerzijds de druk om te zorgen voor kwalitatief goed onderwijs. Tegelijkertijd vormen innovatietrajecten onderdeel van het iteratieve proces van kwaliteitsverbetering en het eigentijds maken van het onderwijs. Om in dit spanningsveld zo effectief mogelijk te investeren in innovatie en te leren van elkaar in wat werkt en wat niet werkt, bundelen instellingen voor hoger onderwijs binnen SURF hun krachten op het gebied van ICT-innovatie in het hoger onderwijs. Dat biedt ze de mogelijkheid kennis en expertise samen te brengen, ruimte te creëren voor creativiteit en eigenzinnigheid en gezamenlijk te investeren in een gemeenschappelijke ambities. Met innovatieprogramma’s zoals het Onderwijsvernieuwingsprogramma (1999-2009), het Nationaal Actieplan
e-Learning (2006-2012), Toetsing en Toetsgestuurd Leren (2010-2014) en Open Educational Resources (2011-2014) geven instellingen vorm aan hun gezamenlijke ambitie om met behulp van ICT het onderwijs eigentijds en aantrekkelijk te maken en de kwaliteit ervan te verbeteren door het efficiënter en effectiever te maken. Van experiment tot rendement Beperkte innovatiebudgetten dwingen instellingen om te zoeken naar randvoorwaarden om die budgetten zo in te zetten dat zij een zo groot mogelijke impact op het onderwijs hebben. Ontwikkeling van nieuwe methoden en technieken vraagt om een lange adem. Innovatieprojecten leggen kiemen voor de toekomst: na het zaaien is het zelden mogelijk direct te oogsten. Het is een langdurig proces, waarin succesvolle ideeën overleven en verder uitgebouwd kunnen worden, en waarbij ook ruimte nodig is voor ‘mislukken’. Ontdekken welke wegen niet leiden tot succes en waarom dat zo is, is minstens zo belangrijk als het behalen van successen. Er moet dus enerzijds voldoende ruimte zijn om te experimenteren, anderzijds bestaat de wens dat investeringen een zo hoog mogelijk rendement opleveren. Sommige instellingen lopen ver voorop als het gaat om specifieke thema’s, maar hebben nog weinig expertise in huis over andere. Samenwerking tussen instellingen zorgt 53
TH
&M A
4 - 1 1
STIMULEREN VAN IMPLEMENTATIE
Gebruik van de deliverables van de innovatieprojecten binnen het Onderwijsvernieuwingsprogramma en het Nationaal Actieplan e-Learning Deliverables in gebruik genomen? Ja, door alle bij het project betrokken instellingen
65%
Deliverables nog Hoe lang steeds in geleden is het gebruik? project afgerond? 53%
Gem. 3 jaar VERKENNEN EN SIGNALEREN
Ja, door een gedeelte van de bij het project betrokken instellingen
24%
41%
Gem. 4 jaar
Ja, alleen door de penvoerende instelling
3%
6%
Gem. 7 jaar
Nee
8%
8%
Gem. 7 jaar
UITVOEREN VAN SUBSIDIE- EN INNOVATIE- PROGRAMMA’S Nationaal Actieplan e-Learning Toetsing en Toetsgestuurd leren Studiekeuzegesprekken Open Educational Resources
VERZAMELEN EN BESCHIKBAAR STELLEN VAN INFORMATIE SURFspace
PROFESSIONALISEREN CREËEREN EN FACILITEREN VAN NETWERKEN
Figuur 1 Gebruik van de deliverables van de innovatieprojecten binnen het Onderwijsvernieuwingsprogramma en het Nationaal Actieplan e-Learning
SURFacademy Dé Onderwijsdagen
Special Interest Groups
Figuur 2
ervoor dat instellingen elkaar kunnen aanvullen. Afhankelijk van de verschillende ontwikkelingsfasen waarin zij verkeren treden ze soms op als volger, soms als trekker. Kernonderdelen van de samenwerking binnen SURF zijn verkennen en signaleren, het verzamelen en beschikbaar stellen van informatie, het creëren en faciliteren van netwerken, professionaliseren en het stimuleren van gebruik. Uit ervaring blijkt dat de kansrijkheid van ICT-innovaties wordt vergroot als al deze elementen in samenhang een plek krijgen in innovatietrajecten. Innovatief klimaat Innovatie begint met een idee, en het is cruciaal dat innovatoren elkaar kunnen vinden om ideeën uit te wisselen en inspiratie te vinden. Binnen instellingen is innovatiekracht vaak versnipperd aanwezig. Vernieuwers met verschillende expertises operen vaak geïsoleerd in hun eigen omgeving, en hebben weinig mogelijkheid om kennis uit te wisselen met collega’s. Sinds de start van de eerste innovatieprogramma’s in 1999 zijn landelijke netwerken van experts, de Special Interest Groups (SIG’s), opgericht. Experts maken zo deel uit van een community waarin zij met collega’s uit andere instellingen kunnen samenwerken en kennis kunnen delen rondom een specifiek onderwerp. Binnen de SIG’s ontstaan nieuwe ideeën en vinden resultaten van projecten hun weg naar een bredere groep gebruikers. Dit leidt tot versnelling in het innovatieproces. Instellingen creëren hiermee gezamenlijk een innovatief klimaat. De Special Interest Groups hebben met www.surfspace.nl een eigen communityplatform waar zij informatie kunnen uitwisselen en kunnen discussiëren. Ook actieve verspreiding van kennis en het organiseren van professionalisering dragen bij aan het scheppen van 54
Figuur 2
een innovatief klimaat. SURFacademy biedt medewerkers van instellingen voor hoger onderwijs een professionaliseringsprogramma op het gebied van ICT en onderwijs & onderzoek. Dat gebeurt door kennis die aanwezig is binnen de instellingen te bundelen en aan te bieden in workshops, seminars, schools, masterclasses en webinars. Medewerkers kunnen zowel trainer als deelnemer zijn en delen zo kennis en ervaringen over producten, diensten en projectresultaten. De bijeenkomsten versterken de inhoudelijke SURF programma’s en projecten, en bieden voldoende ruimte voor nieuwe trends en ontwikkelingen. De Onderwijsdagen, een jaarlijks nationaal congres, biedt een podium aan de resultaten van innovatieprogramma’s en ontwikkelingen op het gebied van ICT-innovaties voor het hoger onderwijs. De hoger onderwijsinstellingen hebben op deze manier een
De kracht van netwerken: weblectures Experts op het gebied van streaming video zijn verenigd in de Special Interest Group Webstroom, die tot op de dag van vandaag bewijst een sterk netwerk te zijn, dat nationaal opereert en een sterke onderlinge loyaliteit kent. De SIG heeft het onderwerp weblectures geagendeerd, dat een plaats heeft gehad in twee belangrijke innovatieprogramma’s, het Onderwijsvernieuwingsprogramma en het Nationaal Actieplan e-Learning. Eerste initiatieven op het gebied van weblectures zijn gebundeld en verder ontwikkeld in het project Triple L, wat de nodige begeestering en aandacht voor deze collegevorm heeft gewekt. De videocolleges kregen vervolgens in het OASE-project een solide didactische basis en werden qua toepassing uitgebreid, waarna de verschillende toepassingen in de praktijk werden getest.
Special Interest Groups Cloud implementaties (in oprichting) Creatieve Labs: 64 leden Digitale toegankelijkheid: 73 leden Digitaal Toetsen: 173 leden Digitale Leer- en Werkomgeving: 253 leden Groene ICT en Duurzaam hoger onderwijs: 240 leden Learning Analytics (in oprichting) NL Portfolio: 133 leden Open Educational Resources: 135 leden Standaarden (in oprichting) SURFdirect, digitale rechten: 125 leden Virtuality, Serious Games: 540 leden Weblectures: 163 leden WEBstroom, streaming video: 469 leden
scala aan instrumenten en samenwerkingsvormen tot hun beschikking die op verschillende momenten een rol spelen in het innovatieproces.
TH
&M A
themahogeronderwijs.org
van SURF-projecten: ontwikkelprojecten worden door minimaal twee en opschalingsprojecten door minimaal drie – en in de praktijk vaak veel meer - samenwerkende instellingen uitgevoerd. Deze samenwerking zorgt ervoor dat resultaten generiek genoeg worden om breed inzetbaar te zijn. Een oplossing die heel specifiek voor één opleiding binnen één instelling ontwikkeld is kan heel waardevol zijn, maar de kans dat die in een bredere context in andere instellingen kan worden overgenomen is klein. Succesvolle projecten zijn juist vanwege de samenwerking generiek genoeg om de weg naar andere instellingen te vinden. Gecombineerd met een onafhankelijke selectieprocedure van projecten door de Wetenschappelijke Technische Raad, die voorstellen op kwaliteit en kansrijkheid beoordeelt, zorgt dit model voor onderbouwde investeringen in het grillige proces van innovatie, zodat de impact van die investeringen zo groot mogelijk is. De Commissie Projectbewaking bewaakt de voortgang van projecten, waardoor er tijdig op planning en budget gestuurd kan worden.
Van innovatie naar implementatie De innovatieprogramma’s van SURF bieden ruimte aan verschillende stadia van innovatie, van eerste idee naar implementatie van nieuwe technieken. Succesvolle ideeën kunnen de verschillende stadia van groei naar volwassenheid doorlopen, van grassrootsproject naar ontwikkelproject en van opschalingsproject naar implementatieproject. Grassroots en ontwikkelprojecten hebben een experimenteler en innovatiever karakter dan de op implementatie en opschaling gerichte projecten. Deze projecten lopen vaak niet helemaal volgens plan, bijvoorbeeld vanwege technische problemen of problemen met het realiseren van de benodigde (complexe) infrastructuur. Soms blijkt dat er geen behoefte is aan instrumenten of methoden die in projecten ontwikkeld worden. Grassrootsprojecten en ontwikkelprojecten bieden de ruimte die nodig is om te onderzoeken wat wel en wat niet werkt. Omdat de investeringen in grassroots en ontwikkelprojecten beperkt zijn, kan die fase het beste dienen als trechter waarin de goede ideeën uitgefilterd worden, zonder dat daar grote financiële risico’s mee gemoeid zijn. De impact van een project wordt groter naarmate het verder in de ontwikkelfase komt. Succesvolle grassroots kunnen doorgroeien naar ontwikkelprojecten, die weer kunnen doorgroeien naar opschalingsprojecten. Los van de resultaten die een project overlevert, wordt de reikwijdte van die resultaten vaak groter omdat steeds meer instellingen participeren in ontwikkel- en opschalingsprojecten. Dat is een voorwaarde voor het uitvoeren
De financiële risico's van grassroots zijn beperkt Reikwijdte Na ruim tien jaar innovatieprogramma’s is het interessant om te onderzoeken wat de impact van deze aanpak is. Er zijn op dit moment elf Special Interest Groups (SIG’s) actief, drie zijn in oprichting. Binnen deze SIG’s vinden ruim 2.300 experts een klankbord bij elkaar. De lijnen tussen de verschillende netwerken zijn kort. Alle SIG’s ontmoeten elkaar jaarlijks tijdens de SIG Netwerkdag, waar zij onderwerpen die voor alle communities relevant zijn bediscussiëren, en elkaar van de ontwikkelingen binnen de SIGs op de hoogte brengen. SURFacademy, het professionaliseringsprogramma van SURF, bereikt een grote groep belangstellenden met een breed opleidingsaanbod. Jaarlijks nemen ruim duizend medewerkers van instellingen voor hoger onderwijs deel aan een aanbod dat bestaat uit 75 trainingen, als docent of als cursist. Jaarlijks bezoeken ruim zevenhonderd professionals de Onderwijsdagen. Ook de reikwijdte van de innovatieprojecten is groot. Bij het Nationaal Actieplan e-Learning, een innovatieprogramma met een budget van 17.000.000 55
TH
&M A
4 - 1 1
“Er is een sterke koppeling ontstaan tussen het voortgezet en hoger onderwijs” (E-klassen)
“Enthousiasme, zowel bij aanstaande studenten als bij scholen en de betrokken universiteiten.” (Aansluitingsmodule Algemene Studievaardigheden)
“Er is door dit project betere communicatie tussen het voortgezet en hoger onderwijs ontstaan; dat is één van de grootste winstpunten.” (NKBW2)
“Betere afstemming studieloopbaanbegeleiding MBOHBO.” (Kansrijk Doorstromen)
Figuur 3 Quotes uit eindrapportages van projecten gericht op aansluitingsproblematiek
euro en een looptijd van zes jaar, waren ruim twintigduizend medewerkers, docenten en studenten betrokken. Hiermee is een verknoopt netwerk ontstaan, leden van SIG’s leiden projecten en treden op als expert binnen SURFacademy of op de Onderwijsdagen. Resultaten Uit onderzoek naar de resultaten van de innovatieprojecten, op basis van een internationale review van het Onderwijsvernieuwingsprogramma uit 2010, een onderzoek onder oud-projectleiders en analyse van de eindrapportages van de projecten uit 2011 biedt enig inzicht in de impact van innovatieprojecten op het hoger onderwijs. Van de 83 projecten die zijn uitgevoerd sinds 2001 hebben 36 projecten meegewerkt aan een onderzoek naar de duurzaamheid van resultaten. 27 van deze 36 projecten werden afgerond tussen 2006 en 2010. Projectleiders geven aan dat de resultaten van deze projecten in bijna alle gevallen nog gebruikt worden door de bij het project betrokken instellingen. Drie jaar na afloop van het project zijn nog steeds de resultaten van meer dan de helft van de projecten in gebruik. Veel projecten hebben dus resultaten opgeleverd die daadwerkelijk in het onderwijs gebruikt worden. Onverwachte effecten Een innovatieproject levert in vrijwel alle gevallen effecten op die bij aanvang niet voorzien waren. Binnen het Nationaal Actieplan e-Learning zijn bijvoorbeeld instrumenten ontwikkeld om de aansluiting van het voortgezet onderwijs en het middelbaar beroepsonderwijs naar het hoger onderwijs te verbeteren. De dialoog met en de samenwerking tussen de verschillende onderwijsniveaus bleken minstens zo belangrijk als de opgeleverde instrumenten. Uit de enquête blijkt dat projectleiders van SURF-innovatieprojecten constateren dat de projecten naast de geplande resultaten leiden tot nieuwe inzichten (56%), een innovatief klimaat (49%) en vervolgtrajecten (56%). Die neveneffecten zijn niet te onderschatten als resultaat.
56
Olievlekwerking projecten Wiskundeaansluiting In 2005 en 2006 subsidieerde SURF de ontwikkelprojecten ‘Webspijkeren’ en ‘Webspijkeren 2’ die zich richtten op het verbeteren van de wiskundeaansluiting van het middelbaar onderwijs op het hoger onderwijs. De kennis die deze projecten opleverde wist zijn weg naar een bredere context te vinden. Het projectteam heeft er met diverse publicaties, een online handboek en de video Webspijkeren voor gezorgd dat de resultaten ook na de afloop van het project voor iedereen toegankelijk zijn. De samenwerking tussen experts op het gebied van wiskundeaansluiting van verschillende instellingen binnen de projecten leidde tot de oprichting van de Special Interest Group Mathematic Activities (SIGMA). De SIG initieerde het project Nationale Kennisbank Wiskunde (NKBW), dat in het Nationaal Actieplan e-Learning de verschillende methodes en toetsen voor wiskundeaansluiting uit eerdere projecten en initiatieven bundelde. Een van de belangrijkste opbrengsten van dit project is het classificatiesysteem waarmee toetsen in het voortgezet onderwijs en het hoger onderwijs kunnen worden vergeleken. NKBW kreeg een vervolg in NKBW2, waarin de focus kwam te liggen op het daadwerkelijke gebruik en de opschaling van de bijeengebrachte en ontsloten methodes en toetsen. Op de resultaten van deze projecten, waaronder de uitgebreide kennisbank, wordt nu voortgebouwd in het project Onbetwist, dat valt binnen het lopende SURFprogramma Toetsing en Toetsgestuurd Leren. De ontwikkelde methodes worden aangescherpt, inzetbaar gemaakt in een bredere context (binnen het eerste jaar of de gehele opleiding) en makkelijker toegankelijker gemaakt, zodat naar verwachting steeds meer instellingen er gebruik van gaan maken. Olievlekwerking Naarmate de rijpheid van het project groeit, groeit ook het aantal betrokken instellingen, waarmee de impact toeneemt. 56% van de projectleiders is na afloop van het project een vervolgproject opgestart. Verschillende projecten binnen de innovatieprogramma’s van SURF hebben geleid tot deze ‘olievlekwerking’. Ook zonder doorontwikkeling haken instellingen aan: 85% van de ondervraagde projectleiders melden dat ook andere opleidingen of instellingen na afloop van hun project gebruik zijn gaan maken van de opgeleverde projectresultaten. Illustratief zijn de projecten op het terrein van Wiskundeaansluiting (zie kader). Ook op andere terreinen, zoals weblectures, doorstroomportfolio en toetsmethodes, zijn vergelijkbare ontwikkelingen waarneembaar.
Succesfactoren van innovatieprojecten -Projectidee: Baseer het project op een helder geformuleerd doel dat aansluit bij een werkelijk gevoeld probleem -Commitment en samenwerking: Zorg voor betrokkenheid van personen in alle lagen van de instelling en samenwerking met andere instellingen en projecten. -kwaliteit projectorganisatie: Zorg voor een ervaren projectleider, een gedreven projectteam, met daarin de juiste mensen met de juiste expertise - Aansluiting op de werkvloer: De interventie moet inpasbaar zijn in betaande didactiek: zorgt voor betrokkenheid en een gezamenlijk gevoeld belang: investeer in het opbouwen van de benodigde ervaring op de werkvloer
Figuur 4 Lessons learned Uit het onderzoek blijkt dat een project staat of valt met een goed projectidee. Het idee moet niet alleen helder en goed uitgewerkt zijn, er moet vooral ook voldoende draagvlak zijn op zowel de werkvloer als bij het bestuur van de instelling. Behalve een goed en uitgewerkt plan en draagvlak, zijn een goede projectleider en een projectteam waarin de benodigde expertise is vertegenwoordigd cruciaal voor het slagen van een project. Door bij aanvang van het project te sturen op deze factoren, wordt de kans op succes groter. Deze aspecten worden meegenomen in de beoordelingsprocedure. Randvoorwaarden voor impact De Nederlandse Instellingen voor hoger onderwijs investeren gezamenlijk in onderwijsinnovatie, in de overtuiging dat samenwerking zorgt voor een hoger rendement van de investeringen. Die samenwerking krijgt invulling in nationale innovatieprogramma’s die ingericht op basis van de volgende uitgangspunten: Instellingen voor hoger onderwijs richten gezamenlijk nationale innovatieprogramma’s in, die aansluiten bij aandachtsgebieden die zij delen. Door samen te werken op specifieke onderwerpen kunnen innovatieprocessen worden versneld, en kunnen afzonderlijke resultaten elkaar versterken binnen een nationaal innovatieprogramma. Een nationaal innovatieprogramma voorziet naast de uitvoering van projecten in het creëren van een netwerk van experts en belangstellenden, professionalisering en het stimuleren van gebruik. De community van experts kan zo de kern zijn van het programma; de leden van de community delen kennis en ervaring en ontwikkelen samen nieuwe ideeën. Het verschil in ontwikkelingsniveau waarop instellingen zich bevinden, zorgt ervoor dat zij in het ene programma optreden als trekker, in het andere als volger. Een nationaal innovatieprogramma biedt ruimte aan innovatieprojecten in verschillende ontwikkelingsstadia. Kansrijke ideeën worden op kleine schaal uitgeprobeerd, en kunnen, als ze succesvol zijn, verder groeien tot opschalings- en implementatieprojecten. Op die manier wordt het afbreukrisico steeds kleiner, en kunnen grotere investeringen beter onderbouwd worden gedaan. Een nationaal innovatieprogramma schept de kaders, experts
TH
&M A
themahogeronderwijs.org
en belanghebbenden vanuit de onderwijsinstellingen formuleren concrete projectvoorstellen en voeren innovatieprojecten uit. De kansrijkheid van innovaties is het grootst als projecten aansluiten op de behoefte op de werkvloer. Samenwerking tussen verschillende instellingen is een ‘must’. Dit zorgt voor generieke resultaten die breed inzetbaar zijn, en biedt instellingen de mogelijkheid resultaten te bereiken die zij afzonderlijk niet zouden kunnen bereiken. De kwaliteit van projectvoorstellen wordt onafhankelijk beoordeeld. Dit waarborgt de aanwezigheid van een sterk en kansrijk projectidee, een helder projectplan en een goed projectteam met een sterke projectleider. Projecten worden gedurende de uitvoering onafhankelijk bewaakt. Zo is het mogelijk tijdig te sturen op planning en budget. Projectleiders worden begeleid en gefaciliteerd en kunnen gebruikmaken van de ervaringen van projectleiders van gelijksoortige projecten. SURF functioneert als verbinder en makelaar van kennis, waardoor blijvend kan worden voortgebouwd op ontwikkelde kennis en lessons learned. Een nationale infrastructuur voor disseminatie van resultaten waar alle innovatieprogramma´s gebruik van kunnen maken, met instrumenten als de Onderwijsdagen, SURFacademy en SURFspace, zorgt voor een groot bereik van de opbrengsten van programma´s. Deze uitgangspunten zijn tot stand gekomen op basis van ruim tien jaar ervaring. In het artikel Van duizend bloeiende bloemen tot geleide groei beschreven we de ontwikkeling en totstandkoming van dit instrumentarium voor het stimuleren van innovatie. In het artikel De zoektocht naar betekenisvolle evaluatie lieten we zien op welke manier we onderzoeken wat de impact van innovatieprojecten is. In dit laatste artikel hebben we laten zien dat de investeringen die sinds 1999 zijn gedaan in het opbouwen van een netwerk van onderwijsvernieuwers, en in een instrumentarium waar zij gebruik van kunnen maken, de kans vergroten dat de voor innovatie zo noodzakelijke scharrelruimte een zo groot mogelijk rendement oplevert. De gezamenlijke investeringen in geld, tijd, creativiteit en eigenzinnigheid zorgen voor resultaten die instellingen afzonderlijk niet zouden kunnen bewerkstelligen. &◀ Christien Bok Annette Peet zijn werkzaam bij de SURFfoundation
Literatuur Het Onderwijsvernieuwingsprogramma, een internationale review, SURFfoundation, juni 2010 10 jaar onderwijsinnovatie. Evertse J., februari 2011 Onderzoeksrapport ‘Opbrengsten en impact SURF-Onderwijsvernieuwingsprogramma’. Evertse, J., augustus 2011 Rapportage deskresearch Opbrengsten Nationaal Actieplan e-Learning. Damen, M., juli 2011 De impact van het Onderwijsvernieuwingsprogramma en het Nationaal Actieplan e-Learning. SURFfoundation, juli 2011
57