JA ARGANG 48, NR 9 / NOVEMBER 2018, PRIJS € 6,95
OPINIE EN ONDERZOEK VOOR DE SCHOOLPRAKTIJK
Rafelig toezicht
EN
a R: ek k E RD zo ' r
VE n d e rd e r so aa
b ij rw ouw e d tr 'On be
n
RONDOM HET BINNENHOF PO/VO Elke maand gaan onderwijskenners, politici en bestuurders in gesprek over een brandende kwestie.
Professionaliseer van onderop…
D
e betreurenswaardige teloorgang van de Onderwijscoöperatie nodigt uit tot een herbezinning. Voor de top-down totstandkoming van een sterke nationale beroepsgroep van leraren is niet gemakkelijk een alternatief te verzinnen. Beter lijkt het om de alomaanwezige belangstelling van leraren voor hun professionele ontwikkeling als bottom-up vehikel te kiezen, en leraren het voortouw te gunnen bij de organisatie en de vormgeving daarvan. Dat is de kern van het advies voor minister Slob waaraan ik op dit moment de laatste hand leg. Voorzieningen in tijd en geld op individueel leraarsniveau zijn in de meeste onderwijs-cao’s wel te vinden. Leraren zouden de daaruit voortvloeiende rechten naar mijn mening steviger moeten opeisen, zo nodig met hulp van de vakbeweging en de medezeggenschap, en scholen zouden over hun inzet moeten rapporteren. Om een goed aan-
bod aan ontwikkelingsmogelijkheden veilig te stellen, zou het brede werkterrein van de leraren (po, vo, mbo, so) in kleinere, homogenere deelterreinen gesplitst moeten worden. Informateurs – gerespecteerde leraren – zouden dan voor elk deelterrein een plan van aanpak moeten opstellen. Bij gebleken draagvlak kunnen subsidie en steun verleend worden om het plan uit te voeren. Ik ben ervan overtuigd dat leraren van deze aanpak echt op eigen kracht een succes kunnen maken. Op de langere termijn kunnen de deelorganisaties zich ontwikkelen in de richting van de nationale beroepsorganisatie waar velen naar uitzien. Dan ook kan het bijhouden van de wijze waarop individuele leraren de geboden professionaliseringsfaciliteiten benutten, het sluitstuk gaan vormen van hun gezamenlijke inspanningen. ■
Alexander Rinnooy Kan, voorzitter commissie beroepsgroep leraren.
… en neem een voorbeeld aan ons
B
Lees meer over professionalisering en register op pagina 40.
ijhouden van je professionalisering is voor lerarenopleiders de gewoonste zaak van de wereld. Naast een vereniging van lerarenopleiders (Velon) bestaat er namelijk al jaren ook een onafhankelijk beroepsregister van lerarenopleiders (BRLO). Dit register is gebaseerd op de beroepsstandaard voor lerarenopleiders. Zowel de beroepsstandaard als de registratieprocedure zijn van onderop ontwikkeld, door collega’s zelf, en voorzien in een assessment van de kwaliteit van professionalisering. Ben je een gemiddeld ervaren lerarenopleider en wil je jouw professionele ontwikkeling zichtbaar maken? Dan kun je een registratieaanvraag doen, waarbij je vragen beantwoordt over hoe en op welke wijze jij dat aanpakt. Dat kan van alles zijn en verschilt per persoon en per situatie. Kijk maar eens om je heen: waar leer jij van? Welke congressen bezoek je, welke boeken lees je, welk onderzoek doe je, aan welke intervisiegroepen doe je mee? Het zijn allemaal leermomenten. De manier waarop jij je professionaliseert, is je individuele verantwoor-
delijkheid. Maar wij denken dat hoe dan ook, de groep of je team er beter van wordt als jij je als individu ontwikkelt. Lerarenopleiders ervaren gezamenlijke beroepsregistratietrajecten dan ook als zeer waardevol en leerzaam. De eerste keer wordt je aanvraagdossier beoordeeld door twee erkende registratiebeoordelaars: onafhankelijke, geregistreerde lerarenopleiders met aantoonbare assessmentvaardigheden. Geen voorgestructureerde lijst van activiteiten dus die wel of niet akkoord zijn. Geen dichtgetimmerde protocollen. De beoordelaars beoordelen hoe jij jouw kwaliteit als lerarenopleider onderhoudt en verhoogt. Dit gebeurt in een schriftelijke beoordeling en kan worden aangevuld met een persoonlijk gesprek. Na een positieve beoordeling word je voor vier jaar opgenomen in het beroepsregister en kun je je registratie daarna verlengen door middel van een peer review. Van, voor en door lerarenopleiders dus. Zo simpel kan professionalisering van onderop zijn. Wij kunnen er veel over vertellen en zouden graag een informateur aanbieden om een plan van aanpak te maken. ■
Miranda Timmermans, voorzitter Velon.
november 2018
11
PO/VO ONDERZOEK
Er moet geld bij
Onderzoek sociale wetenschappen kan betrouwbaarder Veel onderzoeksresultaten in de sociale psychologie worden geen tweede keer gevonden. Hoe kan dit beter? De kans op herhaling wordt groter als onderzoek uit meer metingen bestaat. Maar dan hebben de sociale wetenschappen wel meer budget nodig.
T
wee derde tot ruim de helft van de resultaten van honderd sociaalwetenschappelijke studies zijn niet reproduceerbaar. Oftewel, voer zo’n onderzoek nog een keer uit en je krijgt andere resultaten. Dat ontdekte in 2015 een internationale groep onderzoekers (Open Science Collaboration). In de sociale psychologie, waaronder onderwijskunde, ligt het aantal niet-herhaalbare resultaten nog hoger: tussen een kwart en een derde. Dit is een serieus probleem voor de toegepaste onderwijskunde. Want als de meeste onderzoeksresultaten niet reproduceerbaar zijn, dan werkt die schitterende interventie heel goed op die ene school of bij die ene leraar, maar levert ze misschien niks op in een andere school of bij een andere leraar.
Instrument mag dan betrouwbaar zijn, maar is gebruik dat ook?
Onderzoek aanpassen Wat kunnen wij als praktijkonderzoekers doen om ons onderzoek beter reproduceerbaar te maken? De empirische weg zou zijn om te toetsen in hoeverre de resultaten in school/klas/leraar A zich herhalen in school/klas/leraar B. Als de resultaten substantieel verschillen tussen scholen/klassen/leraren, dan is de kans op herhaling vermoedelijk laag. In 1904 introduceerde Charles Spearman al een analyse die uitermate geschikt is voor dit type vraagstukken: betrouwbaarheid. In de jaren zeventig gaf Lee Cronbach het een meer passende naam: generaliseerbaarheid. Dit is de inschatting in hoeverre gevonden scores zich zullen herhalen, maar ook – en dit is heel belangrijk – hoe het onderzoek kan worden aangepast zodat de
22
november 2018
kans op herhaling groter wordt. Mijn hypothese: dat onderzoeksresultaten zich zelden laten herhalen, is het gevolg van de lage generaliseerbaarheid van het sociaalwetenschappelijk onderzoek. Ik wil deze hypothese onderbouwen met voorbeelden die illustreren dat betrouwbaarheid en generaliseerbaarheid nog steeds een probleem kunnen zijn in sociaalwetenschappelijk onderzoek. Ik zal ook laten zien hoe dit consequenties heeft voor gepubliceerde onderzoeksresultaten.
Tekst Rikkert van der Lans
Gemiddelde of correlatie? Ik houd mij bezig met het lesgeven van leraren, dus de voorbeelden komen van dit terrein. Generaliseerbaarheid wordt uitgedrukt op een schaal van 0.00 tot 1.00, waarbij het eerste betekent dat resultaten zich totaal niet herhalen en het tweede dat resultaten zich compleet herhalen. In de ideale situatie streven onderzoekers naar waarden van minstens 0.70.
1. Lesobservaties Observatie is een veelgebruikt middel om inzicht te krijgen in hoe leraren lesgeven. Lang werd gedacht dat bij onderzoek met observatiemethodes een enkele lesobservatie door een enkele persoon voldoende betrouwbaar zou zijn, mits deze persoon was getraind. Maar recente studies laten zien dat dit niet klopt. Bij één lesobservatie door één persoon is de generaliseerbaarheid ongeveer 0.40, ook wanneer deze persoon is getraind. Pas bij drie lesobservaties door drie verschillende observatoren stijgt de generaliseerbaarheid naar ongeveer 0.70 (Van der Lans, 2016).
2. Leerlingprestaties Soms wordt de gemiddelde prestatie in een klas op kennistoetsen, zoals de Cito-toets, gebruikt om uit te drukken hoe goed de leraar lesgeeft. Idealiter wordt aan het begin en einde van het schooljaar zo’n toets afgenomen. Aan het einde van het schooljaar zal de klas gemiddeld beter presteren: daarin zie je de ‘toegevoegde waarde’ van de leraar. Ook hierbij is het van belang om de toetsafname te herhalen. Recent onderzoek laat zien dat een eenmalige berekening van de toegevoegde waarde een betrouwbaarheid heeft van ongeveer 0.29, bij zes keer (over zes schooljaren) is die opgelopen tot 0.52 (Goldhaber en Hanssen, 2013).
3. Leerlingvragenlijsten Ook bij onderzoek met leerlingvragenlijsten lijkt het te helpen om deze herhaaldelijk af te nemen. Bij eenmalige antwoorden van een individuele leerling is volgens de meeste inschattingen de generaliseerbaarheid laag (ongeveer 0.26, Van der Lans en Maulana, 2018). Al gelden hierbij twee kanttekeningen: de betrouwbaarheid van een eenmalig klasgemiddelde is veel groter (hoger dan 0.70), en in onderzoek naar leraren wordt dit vaak gebruikt. Daarnaast is er een verschil tussen ander-beoordelingen (leerling beantwoordt vragen over hoe de leraar lesgeeft) en zelf-beoordelingen (leerling beantwoordt vragen over
Sommigen bagatelliseren het belang van meerdere observaties en vragenlijsten of toetsen per leraar of leerling: één observatie of afname zou voldoende zijn, omdat ‘de grotere meetfouten wel wegvallen in het gemiddelde’, als de steekproef maar ‘groot genoeg’ is. Deze redenatie klopt alleen voor gemiddelden. Maar in het meeste sociaalwetenschappelijke onderzoek wordt gebruikgemaakt van correlaties, en betrouwbaarheid beïnvloedt deze wel degelijk (bij lagere betrouwbaarheid worden correlaties kleiner). En misschien nog wel belangrijker: dit effect blijft bestaan bij een grotere steekproef.
eigen gedrag, houding en interesses, zoals motivatie). Bovenstaande 0.26 betreft de betrouwbaarheid van eenmalige antwoorden bij ander-beoordelingen. Weeg situatie en observator mee In het merendeel van gepubliceerd onderzoek vind je zinnen als: ‘op basis van de betrouwbaarheidsanalyse blijkt dat deze toets/vragenlijst/dit observatieinstrument betrouwbaar is’, ook als de onderzoekers er een eenmalige meting mee deden. Technisch is er ook niks mis met zo’n conclusie; het instrument is inderdaad betrouwbaar. Maar de lagere generaliseerbaarheid in de voorbeelden hierboven ontstaat door verschillen tussen gebruikers en situaties. Wat de ene klas vindt van de lessen van een bepaalde docent, vindt een andere klas misschien niet, en een derde klas heeft weer een andere mening. Dus wanneer je een betrouwbaar instrument eenmalig afneemt bij die ene klas, krijg je misschien toch een onbetrouwbare indruk. Ik pleit er daarom voor om de gebruikers en de situatie waarin het instrument wordt gebruikt, in het onderzoek mee te wegen. Eén versus zeven lesbezoeken Onlangs onderzocht ik hoe herhaald gebruik van twee instrumenten – ICALT-lesobservatie-instrument en Mijn Leraar-leerlingvragenlijst – invloed kunnen hebben op de onderzoeksuitkomsten. Ik heb de samenhang bekeken tussen de scores op deze instrumenten, die allebei de vaardigheid in lesgeven zouden moeten meten. De scores van de leerlingen zouden een hoge samenhang moeten hebben met de scores van de observatoren. Maar het aantal metingen dat ik met de instrumenten liet doen, bleek grote invloed te hebben op de uitkomst.
Duurdere methodes leiden tot betere betrouwbaarheid
>> november 2018
23
PO/VO ONDERZOEK
ADVERTENTIE
Vervolg van pagina 23 >> Wanneer één lesbezoek plaatsvond door één enkele observator en ik deze observatiescore correleerde met de klasgemiddelde score op de leerlingvragenlijst, dan bleek er een matige samenhang (correlatie van 0.26: voor de meeste docenten was er weinig overlap tussen de uitkomsten op de leerlingvragenlijst en het lesobservatieinstrument). Maar bij zeven lesbezoeken, door zeven verschillende personen, was er ineens een sterke samenhang (correlatie van 0.74: voor de meeste docenten overlapten de uitkomsten). Doordat er meer metingen waren gedaan, werden de scores op de instrumenten minder afhankelijk van de toevallige gebruiker in een toevallige lessituatie. Want wat bijvoorbeeld de ene observator niet zag, zagen de anderen wel. 10 miljoen is te weinig Zijn meerdere metingen binnen hetzelfde onderzoek om de betrouwbaarheid omhoog te krijgen de extra kosten wel waard? Herhaald gebruik van instrumenten zal onderwijskundig onderzoek immers duurder maken. Voor een antwoord op deze vraag moeten we misschien voorbij de onderwijskunde kijken. Recent stond er een artikel in de Volkskrant (Spanning rond verdeling extra geld voor wetenschappelijk onderzoek, 5 juni 2018) over de verdeling van een structurele 70 miljoen euro voor onderzoek. Sociale wetenschappers beklaagden zich dat hiervan slechts 10 miljoen was gereserveerd voor sociale, economische en literatuurwetenschappen, tegenover 60 miljoen voor de bèta- en techniekwetenschappen. De minister rechtvaardigde haar besluit met de reden dat het ‘exacte onderzoek veel kostbaarder is’. Laat één ding duidelijk zijn: tenminste één reden dat de kosten voor exact onderzoek hoger zijn, is dat bètaen techniekwetenschappers er doorgaans niet voor terugschrikken om dure apparatuur en methodes te gebruiken om de betrouwbaarheid en generaliseerbaarheid van hun resultaten te verhogen. De bestuurslogica is helder: wie om een dubbeltje vraagt, krijgt een dubbeltje. In mijn ogen doen we leraren, scholen en onszelf tekort wanneer we onze onderzoekspraktijk niet veranderen. Als mijn hypothese klopt, kunnen we de betrouwbaarheid en generaliseerbaarheid van het sociaalwetenschappelijk onderzoek aanmerkelijk verhogen door ook een kwartje te eisen. ■
We vragen om een dubbeltje, maar moeten een kwartje eisen
Bekijk de bronnen bij dit artikel op didactiefonline.nl.
24
Rikkert van der Lans is postdoctoraal onderzoeker aan de lerarenopleiding van de Rijksuniversiteit Groningen.
november 2018
Dé vakbeurs voor professionals in het KO, PO, VO en MBO
Vijf dagen inspiratie, de nieuwste trends en ontwikkelingen Schrijf je nu in voor gratis toegang via not-online.nl
22-26 januari 2019
Jaarbeurs | Utrecht www.not-online.nl