JA ARGANG 46, NR 10 / DECEMBER 2016, PRIJS € 6,95
OPINIE EN ONDERZOEK VOOR DE SCHOOLPRAKTIJK
Het dilemma van Cito
Het maatschappelijk belang dienen of doorgroeien tot multinational?
GRATIS
Special
PO/VO ONDERZOEK
blik op de
leraar
Eén lesbezoek onvoldoende Lesbezoeken zijn steeds gebruikelijker: niet meer alleen de inspectie, maar ook collega’s en schoolleiding komen in de klas kijken. Maar hoe betrouwbaar zijn die observaties?
S
cholen maken meer werk van professionalisering dan vroeger. Alhoewel scholen verschillen in de manier waarop, maken ze regelmatig gebruik van lesobservatiemethodes. Ike Overdiep heeft namens de PO-raad 33 lesobservatiemethodes beschreven die in het basisonderwijs worden toegepast. In het voortgezet onderwijs is er nog niet zo’n overzicht, maar bekende observatie-instrumenten daar zijn De vijf rollen van de leraar (ontwikkeld door Marie Slooter) en de ICALT, ontwikkeld aan de lerarenopleiding van de Rijksuniversiteit Groningen (zie ook het artikel op pagina 29). Verder werkt natuurlijk ook de Onderwijsinspectie met lesobservaties. Lesobservaties kunnen een stimulans zijn voor het professionaliseren van leraren en bijdragen aan de kwaliteit van lesgeven. Tegelijk zit er een andere kant aan. De professionalisering van iedere leraar moet transparant worden vastgelegd. De nadruk op pro-
Zorg voor minstens drie lesobservaties per leraar
Ervaring telt?
Ervaren observatoren zeggen dat zij op basis van een enkele les veel kunnen zien. Natuurlijk zijn ervaren observatoren accurater dan ongetrainde beginners, net zoals sommige instrumenten voor lesobservatie beter zijn dan andere, maar het effect hiervan op de betrouwbaarheid is klein. Ook met de beste experts en het beste instrument heb je meerdere lesbezoeken nodig. Dus als je lesobservaties serieus wilt inzetten in de school om de kwaliteit van het lesgeven te meten en eventueel te verbeteren, dan moet je goed nadenken over hoe dit op een betrouwbare en eerlijke manier in de school kan worden georganiseerd. / RvdL
46
december 2016
fessionaliseren heeft ook geleid tot invoering van de functiemix en meer functioneringsgesprekken. Lesobservatie dient daarmee niet alleen om ‘iets van elkaar te leren’, maar soms ook om ‘de kwaliteit van jouw functioneren vast te leggen’ en daar consequenties aan te verbinden. Als de teamleider bij je achterin de klas zit, dan is het mogelijk dat wat zij of hij bij jou in de les observeert, terugkomt in je functioneringsgesprek. En wanneer een onderwijsinspecteur op lesbezoek komt, wil deze niet in de eerste plaats jou feedback geven, maar een beeld krijgen van de kwaliteit van de lessen op jouw school en nog breder van de onderwijskwaliteit in Nederland. Momentopname Vaak komt iemand één keer observeren. Zelfs als dit gebeurt met een betrouwbaar observatie-instrument, is de vraag of dit eerlijk is. Stel dat je net een klas hebt die je nog niet goed kent of begint aan nieuwe, ingewikkelde lesstof? Of stel dat er net een teamleider komt kijken die altijd heel streng is? Wat is eigenlijk de betrouwbaarheid van lesobservaties? Hoe correct is de informatie die je krijgt als je een leraar één keer observeert? De resultaten liegen er niet om. Eén lesbezoek is altijd onvoldoende. Bij meer dan de helft van de leraren komt bij een volgende lesobservatie een ander beeld naar voren dan tijdens het eerste lesbezoek. De percentages van de observaties, waarbij wel eenzelfde beeld naar voren komt, fluctueren tussen de 27 en de 51%. Het lijkt hierbij weinig uit te maken welk instrument wordt gebruikt of hoe goed de observatoren getraind zijn. Betrouwbaarheid neemt altijd toe met herhaling, waarbij geldt dat het gemiddelde van de herhaalde keren altijd betrouwbaarder is dan de momenten apart. Deze herhaling moet dan wel echt een controle zijn. Stel dat een teamleider meerdere keren bij jou in de klas komt kijken, dan weten we niet of andere collega’s of teamleiders anders naar jouw lessen zouden kijken. Dit terwijl we vanuit de psychologie weten dat mensen dezelfde situatie heel verschillend kunnen beoordelen. Serieuze controle houdt dus in dat er iemand anders komt kijken bij jou in een andere les.
Tekst Rikkert van der Lans
Het is onrealistisch om te denken dat we 100% betrouwbaar kunnen zijn. In 1978 heeft Nunnally twee criteria voorgesteld als richtlijn voor betrouwbaarheid. Hij stelde dat, wanneer het meten geen persoonlijke consequenties heeft, een betrouwbaarheid van .70 (dus in 70% van alle gevallen vind je grofweg hetzelfde) voldoende is. Echter, wanneer er wel persoonlijke consequenties aan worden verbonden, dan zou .90 het minimale moeten zijn. We gebruikten daarom deze richtlijnen in ons onderzoek en vroegen ons af hoeveel observaties je dan wel nodig hebt om goed feedback te geven of om te kunnen beoordelen. Aan ons onderzoek namen 67 leraren deel en ieder van hen kreeg drie lesbezoeken. Ieder lesbezoek werd gedaan door een andere collega. Op basis hiervan kwamen we tot de conclusie dat er minimaal drie lesbezoeken door verschillende collega’s nodig zijn om een betrouwbaarheid van .70 te behalen (dus in 70% van alle gevallen vind je dezelfde resultaten). Verder zijn er minimaal tien lesbezoeken door diverse collega’s nodig om een betrouwbaarheid van .90 te halen. Het getal drie komt ook uit het Amerikaanse onderzoek dat werkte met getrainde experts en met vijf andere instrumenten. Bescheidenheid Dat scholen lesobservaties inzetten voor professionalisering is terecht. Er zijn geen andere methodes waarmee ze zulke rijke informatie over het lesgeven van hun leraren kunnen krijgen. Lesbezoeken bieden
niet alleen feedback aan de leraar, maar ook inspiratie aan de observerende collega en stof tot discussie in de vaksectie of in de lerarenkamer. Andere methodes hebben deze voordelen niet of minder. Het uitvoeren van lesobservaties in de school staat dus ook niet ter discussie. Ten aanzien van de betrouwbaarheid van lesobservaties als input voor functioneringsgesprekken en feedback lijkt bescheidenheid op zijn plaats. De kans is aanzienlijk dat jij op basis van jouw subjectieve observatie(s) verkeerd advies geeft of verkeerde conclusies trekt.Voor de inspectie is de situatie anders. Inspecteurs beoordelen in de eerste plaats het lesgeven in de school en niet het lesgeven van één docent. Dat inspecteurs lessen van telkens andere docenten bezoeken klinkt vanuit dit oogpunt logisch. Hoewel? Vaak is er slechts één inspecteur, wat toch te denken geeft. Wat zou er met de betrouwbaarheid gebeuren als verschillende inspecteurs de school zouden bezoeken? ■
Twee zien beter dan één: gebruik meer dan één observator
Rikkert van der Lans, Wim van de Grift, Klaas van Veen en Marjon Fokkens-Bruinsma, Once Is Not Enough: Establishing Reliability Criteria for Feedback and Evaluative Decisions Based on Classroom Observation. RUG, 2016.
december 2016
47
blik op de
leraar
onderzoek kort PO/VO Tekst Paul Kirschner
Leraar briljant, lerares bazig! Veel scholen betrekken leerlingen bij de evaluatie van hun leraren. Maar dat is meestal niet zo verstandig.
Leerlingen leren niet meer of beter van docent met hoge beoordelingen Neem de metastudie van Uttl, White en Wong Gonzalez uit 2016 waarin zij concluderen dat er geen enkele correlatie is (nou ja, .03, maar dat is statistisch gezien gelijk aan nul) tussen de beoordelingen van studenten en wat zij leren. Je zou denken dat de maat voor een goede leraar is dat je veel van hem of haar leert, toch?! De onderzoekers schrijven: ‘Het hele idee dat het mogelijk is om de effectiviteit van het doceren te meten door het stellen van een aantal vragen aan de lerenden over hoe zij de lessen ervoeren, is onrealistisch.’ En: ‘Leerlingen leren niet meer of beter van docenten met hoge beoordelingen.’ Twintig jaar eerder vonden Krautman en Sander in een studie over de relatie tussen het gegeven cijfer en de beoordeling van leraren dat beoordelingen sterk samenhangen met het (verwachte) cijfer dat zij geven. Krautman cum suis spreken van het ‘kopen’ door leraren van gunstiger beoordelingen door mild te beoordelen, waarbij ‘cijferinflatie’ op de loer ligt. Vierentwintig jaar daarvoor – we zijn inmiddels in
1972 – schreven Rodin en Rodin in Science over de relatie tussen subjectieve en objectieve maten voor een goede leraar. De drie leraren die de laagste subjectieve (anonieme) beoordelingen kregen, behaalden de hoogste objectieve beoordelingen (meting van hoeveel er werkelijk geleerd werd). Zij poneren dat de reden misschien is dat leerlingen een hekel hebben aan leraren die hen (te) hard laten werken, dat wil zeggen harder dan zij zelf willen. Conclusie van de auteurs: ‘Als de hoeveelheid die geleerd wordt, hoofdonderdeel is van goed onderwijs, dan moeten wij tot de conclusie komen dat beoordeling door de leerling geen valide manier is om dat te meten.’ En tot slot blijkt de gegeven beoordeling zelfs af te hangen van het geslacht van de leraar. Een reeks onderzoeken laat zien dat een lerares anders (vaak lager) wordt beoordeeld dan haar mannelijke collega. In een recente studie in een online omgeving (waar dus het geslacht van de leraar niet met eigen ogen te bepalen was), kregen leraren van wie werd verteld dat het mannen waren, betere beoordelingen dan wanneer verteld werd dat het om vrouwen ging – zelfs als het in beide gevallen een vrouw was! Als je een beetje lol wilt beleven, raad ik je aan om naar de blog van Ben Schmidt te gaan waar je met een interactief programma kunt nagaan welke woorden gebruikt worden op RateMyProfessors.com (veertien miljoen beoordelingen) om mannelijke versus vrouwelijke docenten te karakteriseren. Mannen worden bijvoorbeeld gezien als briljant en geniaal, vrouwen als bazig en lastig. Misschien moet de ‘ruime meerderheid van vo-scholen die leerlingen betrekt bij de evaluatie van docenten’ zoals de AVS rapporteert, zich even achter de oren krabben en de oren niet zo sterk laten hangen naar de wensen en dromen van LAKS. Paul Kirschner is hoogleraar Onderwijspsychologie aan de Open Universiteit en schrijft elke maand over internationaal onderwijsonderzoek. Kijk op didactiefonline.nl voor de bronnen bij dit artikel.
kirschner KIEST
Bij beoordelingen van leraren spelen subjectieve oordelen een steeds grotere rol. Maar kan dat zomaar? Hoe betrouwbaar zijn die beoordelingen door collega’s of leerlingen? Onlangs verscheen hierover een mooie metastudie. Helaas ben ik – en samen met mij een reeks onderzoekingen – niet zo positief over hoe betrouwbaar beoordelingen van leraren door leerlingen zijn. Het LAKS (Landelijk Aktie Komitee Scholieren) schrijft bijvoorbeeld: ‘Een belangrijke plek voor leerlingenparticipatie is de aanstelling en de beoordeling van docenten. Leerlingen zouden een belangrijke rol moeten krijgen in het aanstellen en beoordelen van docenten. Scholen kunnen een goed beeld krijgen van het functioneren van docenten door leerlingen jaarlijks een enquête over hun docenten in te laten vullen. Het LAKS is [daarom] een groot voorstander van LED: Leerlingen Evalueren Docenten.’ Het LAKS heeft er zelfs een handboek voor gemaakt. Best raar als je naar onderzoek over de betrouwbaarheid van zulke leerlingevaluaties kijkt. Hier een kleine bloemlezing.
december 2016
39
Rondom het Binnenhof PO/VO Elke maand gaan onderwijskenners, politici en bestuurder in gesprek over een brandende kwestie. Deze maand: de toekomst van cultuureducatie.
‘Cultuureducatie: te vrijblijvend’
C
ultuureducatie wordt te vrijblijvend georganiseerd. De kerndoelen zijn niet concreet en bindend genoeg. Het culturele aanbod op een school hangt nu af van wat de schooldirecteur aanspreekt. In juli 2015 dienden Michiel van Veen, Tweede Kamerlid voor de VVD, en ik, destijds namens de PvdA, een motie in voor een sterkere borging van cultuureducatie. Wij willen landelijke kaders en leerdoelen, zodat duidelijk wordt wat leerlingen moet worden aangeboden. De waarde van cultuureducatie is enorm. Om jongeren goed voor te bereiden op de toekomst zijn naast klassiek onderwijs ook creativiteit, anders kunnen denken en een kritische houding nodig. De WRR schreef onlangs in haar advies Cultuur herwaarderen dat er meer creatieve mensen nodig zijn om onze economie te onderscheiden van andere. Het moet dan wel concreet en helder zijn wat cultuureducatie behelst. Wat geven we onze kinderen mee? Als een kind thuis komt, moet het kunnen zeggen: ‘Papa, mama, dit hebben we vandaag op school gedaan.’ Ik zie bijvoorbeeld voor me dat jongeren in het vo zich de eerste drie á vier jaar een gemeenschappelijke culturele en kunstzinnige basis eigen maken en zich vervolgens individueel verdiepen in een kunstvorm. Met deze lijn zou al op de basisschool begonnen moeten worden. Cultuureducatie kan bijvoorbeeld vorm krijgen door samenwerkingen met lokale culturele instellingen en in naschoolse activiteiten. Scholen moeten er tijd voor vrij maken. Er moeten afspraken komen, ook in het kader van Onderwijs2032. Extra geld is niet nodig. Van de tien miljoen die geïnvesteerd wordt in het onderwijs, gaat er ongeveer drie miljoen naar cultuureducatie. ■
Jacques Monasch, zelfstandig Tweede Kamerlid, voormalig lid voor de PvdA
‘Er moet meer geld bij’
F
ijn dat Jaques Monasch en anderen cultuureducatie willen borgen in het po. Moet hij wel weten waar te beginnen. De voor de meeste scholen bekende TULE-doelen zijn volstrekt duidelijk en concreet genoeg geformuleerd door kunstvakdocenten. Jammer alleen dat het aantal uren op de pabo om die vakken te doceren, zo beperkt is. Groepsleerkrachten hebben lang niet altijd de doelen helder voor ogen en missen vaak de vaardigheden om de lessen te geven. Weet een oude rot in het vak nog wel hoe kunstvakken gegeven moeten worden, dan ontbreekt – in tegenstelling tot vroeger – de fysieke ruimte om vakken als muziek, dans, drama en beeldend te geven. Geef in een klas met ruim dertig leerlingen en één kraan maar eens een verf- of kleiles. Ook is dat ene speellokaal gedeeld met kleutergroepen echt niet toereikend. Onderwijstijd voor cultuur vrij maken kan, maar alleen als die compleet doorgeslagen toetscultuur verdwijnt en er niet steeds meer vakken bijkomen: Engels vanaf de kleuterklas heeft op heel wat scholen kunsturen gekost. Kwaliteit van lessen hangt niet af van toetsen, maar van een goede voorbereiding en dat geldt zeker voor kunstvakken. Die voorbereidingstijd hebben onderwijzers niet meer. De middagpauze is verdwenen in het continurooster. Na schooltijd zijn zij bezig met toetsadministratie, het schrijven van handelingsplannen of het voeren van overleg over zorgleerlingen aan wie passend onderwijs beloofd is, maar voor wie ondersteuning op regulieren scholen zeer beperkt geregeld is. Monasch wil de kwaliteit van het vo ook in het po. Prachtig, maar dan ook de bijbehorende middelen om dit te realiseren. Gelden in de vorm van steeds wisselende subsidieregelingen (CMK en Muziekimpuls) zorgen ervoor dat directies geen langetermijnplannen (kunnen) maken, maar een zigzagbeleid voeren om budgetten binnen te halen. Effecten van subsidieregelingen worden slecht gemonitord. Minister Bussemaker noemt een subsidieregeling al een succes als er meer op wordt ingeschreven dan er gelden beschikbaar zijn! Het is dweilen met de kraan open. Kunstleraren horen niet incidenteel bij gesubsidieerde projecten een school te ondersteunen. Ze horen in elke school structureel een plek (ook letterlijk) te krijgen, net als in het vo. Ze zijn cruciaal om leraren voortdurend te inspireren, om lessen te verzorgen en om de verbinding met de buitenschoolse kunst- en cultuur tot stand te brengen. Zij kunnen bijdragen aan werkdrukverlichting, een hogere onderwijskwaliteit. ■
Liesbeth Kleuver, vakdocent aan de Hilversumse School
Meepraten? Reageer op didactiefonline.nl/blog/ vriend-en-vijand. december 2016
11