Toetsing binnen e-learning 12e Nationale E-learning Congres
Harry M olkenboer 6 april 2011
Harry M olkenboer Opleidingskundig adviseur Taken: accountmanagement, business-ontwikkeling, conceptontwikkeling 23 Jaar in dienst van Teelen Kennismanagement Oud-lid ELN (E-Learning Netwerk), lid BVLT (BrancheVereniging voor E-learning Technology) Lid NVE (Nederlandse Vereniging voor Examens) en lid van de redactie van Examens (tijdschrift voor de toetspraktijk) I nitiatiefnemer en medeauteur van het boek “Toetsontwikkeling in de praktijk. Hoe maak ik goede vragen en toetsen?” Projectleider van grootschalige e-learningproducties
6 april 2011
2
Opbouw van de presentatie
Wat is Teelen Kennismanagement (nalezen) Toetsen als katalysator voor leren E-learning en toetsen E-learning, toetsen en HRD Organiseren van toetsen Toetsen als e-learning
Theorie afgewisseld met demo’s van e-learningapplicaties
6 april 2011
3
Wat is Teelen Kennismanagement
Achtergronden Teelen Opgericht in 1985 door Jeroen Teelen Sterke banden met Toegepaste Onderwijskunde (Universiteit Twente) M ensen-mensen: betrokken, meedenkend, kritisch ten aanzien van de oplossing en kwaliteit M aker van TestVision Schrijver en uitgever van het boek “Toetsontwikkeling in de praktijk. Hoe maak ik goede vragen en toetsen?”
6 april 2011
4
Wat is Teelen Kennismanagement
Waar staan wij voor?
Klantgedrevenheid De lerende/kandidaat centraal Diepgaande analyse van de klantvraag Teamwork met de klant Langdurige relaties met opdrachtgevers (partners) Kwaliteit vóór omzet Transparantie vóór commercialiteit Pragmatische en concrete oplossingen Onze kennis en ervaring en het delen ervan
6 april 2011
5
Wat is Teelen Kennismanagement
Wie zijn onze opdrachtgevers?
6 april 2011
6
Wat is Teelen Kennismanagement
Onze (persoonlijke) netwerken Op toetsgebied: lid van de NVE (Nederlandse Vereniging voor Examens) redactielid van Examens; Tijdschrift voor de toetspraktijk
Op het gebied van e-learning: lid van ELN (informeel E-Learning Netwerk) lid van de BVLT (BrancheVereniging voor e-Learning Technology)
Op onderwijskundig gebied: lid van ToPoS (alumnivereniging voor Toegepaste Onderwijskundigen) lid van STI C (Studiekring voor Technische I nformatie en Communicatie) lid van het Genootschap Onze Taal
6 april 2011
7
Wat is Teelen Kennismanagement
Ons portfolio
Corporate learning Onderwijskundige advisering E-learning E-testing (TestVision) Dienstverlening op toetsgebied Schriftelijke cursusmaterialen (standaard en op maat) I nstrumenten voor kennismanagement Projectmanagement
6 april 2011
8
Wat is Teelen Kennismanagement
Delen van kennis en ervaring
M iniseminars Themabijeenkomsten Congressen Boeken Artikelen TeelenVizier Handige overzichten Et cetera
6 april 2011
9
Toetsing binnen e-learning
6 april 2011
10
Toetsen als katalysator voor leren
Science van The New York Times To Really Learn, Quit Studying and Take a Test Science (20 januari 2011) refereert aan een onderzoek. “Taking a test is not just a passive mechanism for assessing how much people know. I t actually helps people learn, and it works better than a number of other studying techniques.� (demo)
6 april 2011
11
Toetsen als katalysator voor leren
Toetsen activeren het leren Voorbeeld Rabobank nadat tientallen e-learnings en toetsen beschikbaar waren. Het effect van veel vrij beschikbare toetsen is dat medewerkers zichzelf de maat willen nemen. Stel daarnaast passende elearningapplicaties beschikbaar en medewerkers gaan uit zichzelf leren. Koppel feedback op vragen aan e-learning, en een activerend leersysteem is gerealiseerd. (demo)
6 april 2011
12
Toetsen als katalysator voor leren
Rol toetsen Zet toetsing in als een ontwikkelinstrument en niet als een afrekeninstrument. Dit wil niet zeggen dat er geen examens meer zijn. Voor degene die zakken bestaat een (begeleid) herkansingsproces.
6 april 2011
13
Toetsen als katalysator voor leren
Demo Security Awareness.
6 april 2011
14
E-learning en toetsen
Twee soorten e-learning 1. 2.
Voor het organiseren van het leren (m.n. onderwijs) Voor het leren zelf (content) (m.n. bedrijfsleven)
1 en 2 komen overigens samen naarmate de leerfunctie zich meer professionaliseert.
6 april 2011
15
E-learning en toetsen
Aspecten e-learning (content) 1. 2. 3. 4.
Flexibel oplossen van een leerprobleem Tegen zo laag mogelijke kosten M et een aantoonbaar leerresultaat En een aantoonbaar rendement in de praktijk
Aspecten 1, 2 en 3 zijn hard realiseerbaar/meetbaar binnen de elearning. Aspect 4 is organiseerbaar buiten de e-learning.
6 april 2011
16
E-learning en toetsen
Toetsfunctie binnen elearningcontent
M eten van voorkennis:
wat nog wel en niet leren (leerefficiency) weten wat aan kennis verwacht wordt (overzicht voor de lerende) nulmeting en in combinatie met eindmeting zichtbaar maken van opgedane kennis/inzichten (leereffect)
Verwerken en toepassen van leerstof (leerfunctie) (demo)
M eten van het leereffect (summatieve functie: geslaagd/gezakt)
Vastleggen van gegevens op een persoonlijke pagina
6 april 2011
17
E-learning en toetsen
Demo Voeren plannings-, functionerings- en beloningsgesprekken. M aatwerk beleggen.
6 april 2011
18
E-learning en toetsen
Waarom toetsen binnen elearning?
Elektronisch leren maakt elektronisch toetsen eenvoudig mogelijk, dus niet toetsen is een gemiste kans
M eetinstrument voor de cursist (waar sta ik en hoe doe ik het)
M aakt de content interactiever en biedt uitdagingen (demo)
M eetinstrument voor de organisatie, wie heeft wanneer en met welk resultaat iets gehaald (aantoonbaar maken van deskundigheid medewerkers bij wft bijvoorbeeld)
M eetinstrument om leerproblemen te ontdekken
Stok achter de deur om zelfstandig leren niet te vrijblijvend te maken
6 april 2011
19
E-learning en toetsen
Demo Rangen en standen.
6 april 2011
20
E-learning, toetsen en HRD
Van content naar organisatie Tot nu toe vormden leren en toetsen een black box. Toetsing aansluitend aan het leren maakt alleen het leereffect zichtbaar, niet de toepassing in de praktijk. Van leren naar ontwikkelen: Gebruik LM S en een digitaal portfolio Persoonlijke pagina voor de medewerker met toegang voor de leidinggevende Rol leidinggevende E-learning, toetsen en HRD
6 april 2011
21
Organiseren van toetsen
Organiseren van toetsen
Als onderdeel van de e-learning (embedded in de e-learning zelf) (om resultaten te registeren moeten gegevens geëxporteerd kunnen worden (via SCORM bijvoorbeeld), dit is dus een ontwerpeis)
Als een losstaande toets (bijvoorbeeld oefentoets in de e-learning, examen er buiten)
6 april 2011
22
Organiseren van toetsen
Professionele toetsen 
Bij een losstaande toets een professioneel toetssysteem gebruiken zoals TestVision

Toetstechnische kwaliteit van de vragen is belangrijk bij examens
6 april 2011
23
Toetsen als e-learning
Tot slot
6 april 2011
24
Toetsen als e-learning
Toetsen als e-learning
(1/3)
Vraag: wat kost e-learning want de klassikale cursus duurt te lang?
De volgende case doet zich voor (BOA): Duur klassikale cursus 12 dagen Omvang leerboek 250 pagina’s over met name wetteksten en de toelichting daarop Ook opmaken proces verbaal Kennisniveau: van VM BO (grootste doelgroep) tot HO Kenmerk grootste doelgroep: doeners Los examen, 5 jaar geldig Zakken betekent beroep niet mogen uitoefenen Vragen van het type: wat is een constitutionele monarchie?
6 april 2011
25
Toetsen als e-learning
Toetsen als e-learning
(2/3)
Normale e-learning is geen goede oplossing: 1. E-learning alleen is geen goede leeroplossing (te omvangrijk) 2. Ook niet een blended variant (klassikaal + e-learning) het onderwerp is te omvangrijk 3. Daarnaast spelen hoge ontwikkelkosten een rol (ook door de omvang) 4. Bovendien is het de vraag of voor de doelgroep e-learning didactisch een goede oplossing is Dus ‌
6 april 2011
26
Toetsen als e-learning
Toetsen als e-learning
(3/3)
Alternatieve oplossing: 1. Ontwikkelen nieuw schriftelijk cursusmateriaal voor zelfstudie 2. Zelfstudie met dakpansgewijze elektronische toetsing (volgens cursisten, vorderingen, resultaten en problemen met onderwerpen) 3. Vier dagen klassikale training: a. kennismaken docent en groep, maken persoonlijke pagina, uitleg opzet en introductie eerste hoofdstukken b. Bespreken problemen en aanreiken nieuwe stof (2x) c. Examentraining
Docent is coach, controleur en activator.
6 april 2011
27
Afsluiting Belangrijkste dat u gehoord heeft?
6 april 2011
28