JA ARGANG 49, NR 6, JUNI 2019, PRIJS € 6,95
OPINIE EN ONDERZOEK VOOR DE SCHOOLPRAKTIJK
LAKS Onderwijsvrijheid:
Artikel
Gasthoofdredacteur
Edith Hooge, voorzitter Onderwijsraad
ORD 2019
23
PO/VO ONDERZOEK KORT EXTRA
Alles wat je moet weten over onderwijsonderzoek Moet onderwijsonderzoek ‘harde’ resultaten opleveren? Wat is de waarde van ‘zachtere’ kennis? Ter gelegenheid van de ORD een longread van Christian Bokhove: vijf tips om twee werelden te overbruggen.
A
ls leraar ontkom je bijna niet meer aan een ‘Grand Tour’ van onderwijsonderzoek. Waar de een wat langer stilstaat bij Sweller, Bjork en Willingham, slaat de ander hen liever over. De historische werken van Piaget, Vygotsky en Bruner zijn voor sommige leraren een must, anderen vinden ze gedateerd. In onderwijsonderzoek zie je ook nog eens uitstapjes naar bijvoorbeeld de neurowetenschappen en cognitieve psychologie, zoals valt te verwachten bij een in wezen multidisciplinaire tak van sport. In discussies over deze ‘voorkeuren’ kan het er soms hard aan toe gaan, met als gevolg dat sommige leraren hun portie liever aan Fikkie geven. Dat is jammer en onwenselijk. Het is belangrijk dat we elkaars argumenten en visies begrijpen. Debat mag best scherp zijn; het is belangrijk dat we echt op een professionele manier sceptisch zijn. Dat wil zeggen, kritisch op sterke en zwakke punten in onderwijsonderzoek, met een minimum aan vooringenomenheid, streng doch rechtvaardig. Dat is geen sinecure; onderwijsonderzoek wordt zelden in hapklare brokken geserveerd. In dit artikel wil ik vijf tips geven die kunnen bijdragen aan meer wederzijds begrip.
Onderzoek wordt zelden in hapklare brokken opgediend
1. Gooi het kind niet met het badwater weg
Onderwijsonderzoek heeft niet overal een goed imago. Het wordt nogal eens gebruikt om aan te tonen ‘hoe het niet moet’ en neergezet als een vage en weinig robuuste discipline. Uiteraard is onderwijsonderzoek niet onfeilbaar, maar een dergelijke slechte kwalificatie veronachtzaamt wat het is. David F. Labaree, emeritus hoogleraar aan de Stanford Graduate School of Education (VS), heeft een nuttig stuk geschreven over het type kennis dat door onderwijs-
40
juni 2019
onderzoek wordt voortgebracht. Twee kenmerken maken het volgens hem moeilijk om in – zoals hij het noemt – disciplines met ‘zachte kennis’ houdbare en cumulatieve causale claims te maken, met andere woorden: het is lastig om te weten wat werkt. Ten eerste, onderwijsonderzoek gaat over aspecten van menselijk gedrag, en mensen zijn meestal behoorlijk onvoorspelbaar. Ten tweede is er interactie tussen de onderzoeker en wat of wie hij bestudeert, en die interactie wordt ook nog eens beïnvloed door culturele waarden. Dat gebeurt ook als die onderzoeker de leraar zelf is: hoe je als leraar denkt over een interventie, beïnvloedt hoe goed de interventie werkt. Volgens Labaree heeft dit negatieve gevolgen voor onderwijsonderzoek: een lagere academische status, weinig gezag in (onderwijs)praktijk en beleid, druk om onderwijs te veranderen in ‘harde wetenschap’ en scholen in onderzoeksinstituten, en een gevoel dat de discipline nergens naartoe gaat – we zeggen dat we weten hoe iets in elkaar zit en een paar jaar later zit het weer compleet anders. Labaree noemt ook voordelen van de ‘zachte kennis’ die onderwijsonderzoek produceert: het staat dicht bij de onderwijspraktijk, resultaten kunnen daardoor al snel nuttig zijn in de klas. Onderzoekers kunnen multidisciplinair te werk gaan, over grenzen heen. En wat eruit komt, spreekt mogelijk een breder publiek aan. Ga maar na: in welke discipline kunnen we nou een thema als ‘eerlijk onderwijs’ bespreken vanuit het perspectief van pedagogiek, sociologie, psychologie, economie en onze eigen anekdotische ervaringen? Als we van het docentschap werkelijk een beroep willen maken dat kijkt naar onderzoek, zouden we kunnen proberen onderwijsonderzoek ‘hard’ te maken en alles wat dat niet is, terzijde leggen. Maar we kunnen ‘zachte kennis’ juist ook omarmen. Uiteraard, de uitdagingen van onderwijsonderzoek moeten we onderkennen en daar moeten we aan werken. Maar dat is wat anders dan het kind met het badwater weggooien. Het gevaar is dat we nuttige inzichten anders gewoonweg over het hoofd kunnen zien.
Tekst Christian Bokhove
2. Oorzaak en gevolg zijn ingewikkeld (maar soms kun je er best iets over zeggen)
In veel gesprekken over onderwijsonderzoek – zelfs over onderwijs in algemene zin – gaat het over correlatie en causaliteit. Misschien sta je er niet bij stil dat debatten over oorzaak en gevolg al eeuwenlang plaatsvinden, bijvoorbeeld in gesprekken tussen de Verlichtingsfilosofen David Hume en Immanuel Kant. In veel debatten is een opmerking over oorzaak en gevolg de sluitpost: ‘Je kunt niet bewijzen dat het een volgt uit het ander, en daarom is je standpunt niet geldig.’ Het klopt dat we moeten oppassen voor ongeldige conclusies. Maar we moeten die houding niet te ver doorvoeren. Of een conclusie klopt of niet, hangt af van het onderliggende mechanisme. In mijn modules over onderzoeksmethodes laat ik dat zien in de relatie tussen de verkoop van ijsjes en de temperatuur. Een sterke correlatie zou niet verrassend zijn: bij een hogere temperatuur wordt er waarschijnlijk meer ijs verkocht. Wel ligt het voor de hand dat de hogere temperatuur de oorzaak is en de ijsverkoop het gevolg; andersom lijkt het niet aannemelijk. We kunnen dus, ook als we alleen de correlatie berekend hebben, best iets zeggen over oorzaak en gevolg. De uitdaging in onderwijsonderzoek is dat oorzaak en gevolg bij veel fenomenen niet zo helder zijn (‘de kip of het ei’) of dat het ‘beide kanten op gaat’ (ergens goed in zijn, verhoogt waarschijnlijk de motivatie, maar ergens gemotiveerd voor zijn, verbetert
waarschijnlijk ook de prestatie). In al die gevallen is het verstandig om geen overhaaste conclusies te trekken, of een verschijnsel nou wel of niet valt toe te schrijven aan een bepaalde oorzaak. Anders kunnen gebeurtenissen al te snel aan elkaar gekoppeld worden. Zo is het werk van E.D. Hirsch weleens geciteerd om te laten zien hoe de sociale ongelijkheid in Frankrijk is toegenomen, met als ‘bewijs’ dat gedurende een periode van hervormingen leerlingen slechter presteerden op gestandaardiseerde tests. Maar is het een wel het gevolg van het ander?
Weet wat er gemeten is, zodat je de meting op waarde kunt schatten
3. Elke studie draagt een steentje bij
Sommigen zullen argumenteren dat de ‘beste’ manier van wetenschap bedrijven zich houdt aan de falsificatietheorie van filosoof Karl Popper: het moet mogelijk zijn om te bewijzen dat een stelling onwaar is. Als er geen manier is om de hypothese te testen, is er sprake van pseudowetenschap. Popper stelde ook dat bewijs dat in tegenspraak is met de stelling, moet leiden tot het verwerpen van de stelling. Een andere belangrijke naam in de wetenschapsfilosofie is Thomas Kuhn. In zijn visie, in tegenstelling
>> juni 2019
41
PO/VO ONDERZOEK KORT EXTRA
tot die van Popper, hoeven ‘foute’ uitkomsten (die in strijd zijn met de heersende inzichten) niet per se de consensus te schaden, want die heersende inzichten kunnen zelf ook verkeerd zijn. Pas na een tijdje, als er steeds meer tegenstrijdige uitkomsten bij komen, ontstaat het punt waarop een crisis onvermijdelijk is en een nieuwe consensus ontstaat. Kuhn noemde deze verschuiving in consensus een paradigmashift. Beide visies, van Popper en Kuhn, zie je terug in huidige debatten over onderwijs. Geregeld halen – in de geest van Popper – studies het nieuws die met de consensus conflicteren: ‘X blijkt toch anders te zitten’. Zelf zie ik dit bijvoorbeeld gebeuren in discussies over de vraag of betere prestaties leiden tot meer motivatie of andersom, en of kennis alleen domeinspecifiek is (de bijna-consensus is dat het een mix is, domein-generiek en -specifiek). Maar de realiteit van wetenschap, zeker in de sociale hoek, lijkt vaker op Kuhn’s visie. Een enkele studie weerlegt niet zomaar de heersende visie. Onderzoek is een groeiend geheel: elke studie draagt een steentje bij aan meer inzicht in het onderwerp. Geleidelijk aan kan daardoor de heersende consensus veranderen, zoals dat ook is gebeurd toen er in de laatste decennia meer aandacht kwam voor de cognitieve aspecten van menselijk gedrag. Een dergelijke verschuiving vereist meer dan een handjevol studies. We moeten dit ook zien in het licht van publication bias: de vertekening die ontstaat doordat positieve resultaten wel, maar negatieve of onduidelijke resultaten niet gepubliceerd worden. Oftewel: over de interessantste uitkomsten horen we het meest. We moeten een balans zien te vinden tussen de consensus en ruimte voor contrasterende visies, zonder theorieën al te snel en lichtzinnig af te schrijven.
Omarm harde én zachte kennis uit onderzoek
4. Onderzoek heeft altijd een context
Onderwijspsycholoog David Berliner (2002) betoogde dat onderwijsonderzoek ‘the hardest science of them all’ is: sociale wetenschappers opereren in omstandigheden die natuurwetenschappers onuitstaanbaar zouden vinden. Denk maar aan de specifieke, lokale context van een onderzoek waardoor resultaten niet zomaar algemeen geldig zijn. Het is belangrijk om die context te begrijpen. Als voorbeeld noemt Berliner het experiment Project
42
juni 2019
Follow Through. Deze studie komt vaak naar voren in discussies in Engeland over instructie. Het is een van de grootste onderwijsprojecten ooit: een dozijn zeer verschillende instructiemodellen voor jonge kinderen werd ingevoerd op verschillende scholen in de Verenigde Staten, over een langere periode (vanaf de jaren zestig). Het project was ontworpen als een zogeheten planned variation (ook wel horserace design genoemd), waarbij sponsoren samen met de lokale gemeenschap een bepaalde aanpak invoerden. In een wetenschappelijk experiment horen deelnemers willekeurig te worden verdeeld over de groep met die aanpak en de controlegroep, maar hier kozen districten zelf welke aanpak ze zouden kiezen. De leerlingen werden vervolgens getest op basisvaardigheden (zoals spelling en rekenen), cognitieve vaardigheden en sociaal-emotionele ontwikkeling. Over het algemeen deed de meer gestructureerde instructie het beter dan ongestructureerde instructie, ook een speciale directe-instructiemethode (DISTAR) en gedragsanalysemodellen werkten beter. Er is één ‘maar’: de manier waarop dezelfde programma’s werden ingevoerd, verschilde nogal. Soms waren de verschillen tussen twee locaties bijna groter dan de verschillen tussen de instructiemodellen. De context was steeds anders: personeel, onderwijsmethodes, budgetten, leiding en ondersteuning van de lokale gemeenschap.
ten wordt. Zo wordt ‘sociaal-economische status’ zelden direct gemeten, maar bijna altijd via het opleidingsniveau van de ouders. Growth mindset en de belasting van het werkgeheugen worden meestal gemeten via zelfrapportage (vragenlijsten). Het punt is niet dat dit noodzakelijk ‘goed’ of ‘fout’ is, maar dat het belangrijk is om te weten welke vertaling van de onderzoeksvraag er schuilgaat achter een meting. Een tweede probleem is volgens Labaree dat minder makkelijk meetbare zaken, zoals motivatie, buiten de boot dreigen te vallen. Onderzoekers richten zich wellicht meer op wat ze kunnen meten, en niet op wat belangrijk is. Samenhangend met dit punt: we moeten de voor- en nadelen van kwantitatieve en kwalitatieve methoden beter begrijpen. In plaats van een, al dan niet opzettelijke, voorkeur voor een bepaalde methode, moet de onderzoeksvraag leiden tot de methode, en niet andersom (Feuer e.al., 2002). Afhankelijk van de vraag kan de onderzoeker een of meer methoden kiezen. Geen enkele onderzoeksopzet verplicht tot een kwantitatieve of kwalitatieve aanpak (Gorard, 2004). Meer kennis hierover kan meer wederzijds begrip kweken, tussen onderzoekers onderling, tussen onderzoekers en leraren, en tussen verschillende disciplines.
Er is balans nodig in debat over verschillende visies
Het is belangrijk om de invloed van die context te erkennen. Betekent dit dat de uitkomsten van dit soort onderzoek per definitie niet kloppen? Immers, er is altijd een context? Nee, daar is geen sprake van. Voor- en tegenstanders van interventies moeten zich alleen wel vergewissen van deze context en deze meenemen in discussies.
5. De ‘correcte’ manier van meten bestaat niet
De al eerder genoemde Labaree (2011) heeft nog iets interessants uitgewerkt: de historische en sociologische elementen die veel onderwijsonderzoekers afhankelijk hebben gemaakt van statistiek. Statistiek heeft haar oorsprong in de staat: het was een middel om de geloofwaardigheid en status van onderzoeksbevindingen te verbeteren en onderwijsbeleid te staven. Natuurlijk is het waardevol om te proberen onderwijskundige kennis meer kwantificeerbaar en generaliseerbaar te maken, aangezien het weinig informatief is om steeds te zeggen ‘dat hangt ervan af ’. Maar het veroorzaakt ook twee grote problemen. Ten eerste, stelt Labaree, kan lokale, praktische kennis die een individueel klaslokaal effectiever kan maken, in de verdrukking komen en onbenut blijven. In zijn woorden: we dwingen een rechthoekig raster op een bolvormige realiteit. Meten kan waardevol zijn, maar om het op waarde te schatten, moeten we weten wat er precies geme-
In de ontwikkeling naar een meer evidence-informed beroep is het makkelijk om onderwijsonderzoek te bekritiseren op een waslijst aan tekortkomingen. Veel van die kritiek moeten we serieus nemen, maar het is net zo belangrijk om te beseffen dat de kennis die onderwijsonderzoek produceert ‘anders’ is: het zal lastig blijken om ‘zachte kennis’ hard te maken. Erkenning dat er over veel relevante kwesties al decennia, zo niet eeuwenlang, wordt gediscussieerd, kan ons helpen om onderzoeksresultaten te duiden. We moeten niet wegduiken voor de vele uitdagingen in onderwijsonderzoek, maar onderwijsonderzoek ook niet te lichtvaardig afschrijven. Als we willen dat leraren meer weten van onderzoek en dat dit onderzoek praktisch nut heeft in de klas, moeten we als onderzoekers en leraren meer samenwerken. Stap voor stap, zoals het wetenschap betaamt, zodat we een steeds duidelijker beeld krijgen van wat werkt, voor wie en wanneer. ■ Christian Bokhove is associate professor aan de universiteit van Southampton (Verenigd Koninkrijk).
Bekijk de bronnen bij dit artikel op didactiefonline.nl.
juni 2019
43