Betrouwbaar en valide beoordelen in ckv nijhof & visser prak

Betrouwbaar en valide beoordelen in CKV

Tilly Nijhof Jeanine Visser Praktijkonderzoek Master Kunsteducatie Amsterdamse Hogeschool voor de Kunsten Amsterdam, juni 2013

Inhoudsopgave Samenvatting en voorwoord 1.0

Inleiding

3

2.0

Opzet en uitvoering

5

2.1

Onderzoeksontwerp

5

2.2

Dataverzamelingsmethode

5

2.3

Data analyse

6

3.0

Resultaten

7

3.1

Individuele interviews

7

3.1.1 Schema 1 verwerkingsvormen

8

3.2

4.0

3.1.2 Deelvraag 1

14

3.1.3 Deelvraag 2

15

3.1.4 Schema 2 validiteit en betrouwbaarheid

16

3.1.5 Deelvraag 3

17

Beschrijving Focusgroep

18

Conclusie, discussie en aanbevelingen

21

4.1

Conclusie

21

4.2

Discussie

22

4.3

Aanbevelingen

23

Literatuurlijst

24

Bijlagen

25 Bijlage 1 : Lijst van respondenten

26

Bijlage 2 : Deel 1 half - open interview

27

Bijlage 3 : Deel 2 open interview

28

Bijlage 4 : Opzet en draaiboek focusgroep

29

Bijlage 5 : Draaiboek deelnemers focusgroep

31

Bijlage 6 : Lijst van gekozen verwerkingsvormen respondenten (voor gebruik in de focusgroep)

32

Bijlage 7 : Codeerschema

33

1

Samenvatting Het examenprogramma CKV laat veel ruimte voor verschillende interpretaties, opvattingen en wegingen in de beoordelingen (Damen, 2004). Meer onderzoek naar de toetsing bij CKV; verwerkingsvormen en de beoordelingscriteria die hierbij gehanteerd worden, kan bijdragen aan duidelijkheid over welke doelen belangrijk gevonden worden door scholen en docenten. Kloppen deze met de doelen die de overheid stelt? Op basis van bovenstaande is de onderzoeksvraag: wat vinden vakdocenten geschikte verwerkingsvormen voor CKV ervaringen, hoe beoordelen ze die en welke toetsen volgens hen het meest valide en betrouwbaar de eindtermen? In dit beschrijvend survey onderzoek worden zes geselecteerde CKV docenten ge誰nterviewd over de verschillende soorten verwerkingsvormen en hoe ze deze beoordelen. Ook kregen zij de opdracht om drie geschikte verwerkingsvormen voor het vak CKV te selecteren uit hun lessen. Hier kregen zij vervolgens een open interview over. Door de interviews te transcriberen en coderen werden inzichten in beoordelingscriteria, validiteit en betrouwbaarheid betreffende het vak CKV verkregen. Na de interviews is er een focusgroep georganiseerd met vijf respondenten en zijn de verschillende verzamelde verwerkingsvormen besproken. Ook is er gezocht naar een consensus betreffende een optimale valide en betrouwbare verwerkingsvorm. De focusgroep is als triangulatie op de interviews gebruikt.

De belangrijkste uitkomsten: De afwisseling van de verschillende soorten verwerkingsvormen geeft volgens de respondenten een goede valide mix om te beoordelen wat zij willen beoordelen. Echter is de betrouwbaarheid in deze manieren van toetsen niet altijd goed te dekken. De beoordelingscriteria zijn breed en gevarieerd en komen vaak niet of deels (bewust) overeen met de eindtermen van het vak. Er is volgens de respondenten geen ideale verwerkingsvorm te benoemen. Wel geven ze aan voorkeur te geven aan beeldend praktisch werk. Dit heeft misschien te maken met het specialisme van de docenten. Opmerkelijk bij dit onderzoek was dat de ondervraagde CKV docenten niet bewust gebruik maken van de eindtermen (domein D) die verplicht zijn gesteld door de overheid voor het vak CKV. Verder onderzoek naar functie en inhoud van eindtermen voor CKV wordt geadviseerd.

In een vervolgstudie zal daarna de relatie tussen de eindtermen (Domein D) en de inhoud van het vak CKV kunnen worden onderzocht.

Voorwoord We hebben met veel plezier aan dit onderzoeksrapport voor het vak praktijkonderzoek van de Master Kunsteducatie gewerkt. Ondanks dat het thema van het onderzoek, beoordeling, al van te voren was vastgesteld hadden we beiden al gauw een onderwerp waar we ons graag in wilden verdiepen. Zo was het koppel dan ook snel gemaakt. Een onderzoek naar het beoordelen van CKV verwerkingsvormen zou immers goed kunnen worden gebruikt op onze eigen scholen. Het vinden van respondenten was hiermee geen groot probleem gezien ons eigen netwerk van mensen. Binnen de gestelde tijd een praktijk onderzoek induiken, uitvoeren en rapporteren zou op deze wijze niet alleen nuttig zijn maar ook goed uitvoerbaar.

Zonder onze respondenten: Karin Borgman, Stefan Brans, Jeroen Fransen, Peter van de Heuvel, Tesse Kok en Rix Wisse was dit onderzoek niet mogelijk geweest. Wij willen bij deze onze hartelijke dank uitspreken voor jullie tijd, inzet en bereidwilligheid. Daarnaast bedanken wij Talita Groenendijk voor het in ons gestelde vertrouwen en de begeleiding gedurende deze intensieve vier maanden.

Tenslotte willen wij onze partners Jankees Klok en Hans Belier hartelijk bedanken voor de hulp, ondersteuning en begrip tijdens soms lange dagen hard werken!

Tilly Nijhof Jeanine Visser Amsterdam, 20 juni 2013

2

1.0

Inleiding

De Raad van Cultuur en de Onderwijsraad p.o. stellen dat bij kunstzinnige oriëntatie het ontbreekt aan opbrengst gericht werken. Nodig is een meer systematische manier van beoordelen van het werk van leerlingen met betrekking tot opgedane kennis, vaardigheden en attitude in relatie tot de gestelde doelen op schoolniveau. Ook in het v.o. hebben CKV en beoordelen een problematische relatie.

Wat ben je aan het beoordelen (ervaringen zelf, reflecties op ervaringen of verslaglegging van ervaring en/of reflectie) en hoe gaat dat in zijn werk?

Vanaf het schooljaar 1999-2000 is het vak CKV, toen nog CKV1 geheten, tegelijkertijd met de Tweede Fase en het Studiehuis ingevoerd als één van de algemene verplichte vakken voor alle leerlingen in de bovenbouw van het Havo en VWO. Wat houdt het vak CKV in en vooral wat zijn de eisen aan dit vak?

Het vak CKV is bedoeld om kunst en cultuur toegankelijker te maken. Het is een interdisciplinair, vooral ervaringsgericht vak gericht op interactie met de culturele wereld buiten de school. De algemene doelstelling is dat leerlingen gemotiveerd kiezen voor betekenisvolle activiteiten op het gebied van kunst en cultuur (Ganzeboom, Haanstra, Damen, Nagel, 2003). Het handelingskarakter staat voorop, de leerling moet ervaren wat kunst en cultuur is. De eigen ervaring en mening van de leerling is belangrijk en de leerling wordt bij de lesinhoud betrokken.

Het schoolexamen van CKV bestaat uit een examendossier met de volgende onderdelen die tezamen de eindtermen vormen: • Het samenstellen van een kunstdossier (een verwerking van een praktische activiteit maakt deel uit van het kunstdossier).

• De reflectie op het kunstdossier.

De eindtermen hebben betrekking op de vier Domeinen van CKV: het bezoeken van culturele activiteiten (A), het uitvoeren van praktische activiteiten (B), het verkrijgen van kennis van kunst & cultuur (C), reflectie en het samenstellen van een Kunstdossier (D). In dit onderzoek richten we ons op domein D. Het examenprogramma CKV laat veel ruimte voor verschillende interpretaties, opvattingen en wegingen in de beoordelingen. Meer inzicht in de beoordeling van het kunstdossier CKV en de criteria die hierbij gehanteerd worden, kan bijdragen aan duidelijkheid over welke doelen belangrijk gevonden worden door scholen en docenten.

Marie-Louise Damen (2004) vraagt in haar onderzoek docenten naar manieren om verslag te doen van culturele ervaringen welke onderdeel zijn van het kunstdossier. In dit onderzoek toont zij ons onderstaande tabel. We zien hier enkele voorbeelden van gebruikte verwerkingsvormen onder CKV docenten. Onder verwerkingsvorm verstaan we een communiceerbare, bespreekbare verwerking van een culturele ervaring en de reflectie daarop.

Afgeleid uit Damen (2004 C+ E10, blz. 57) Tabel 2: Manieren om verslag te doen v an culturele activiteiten in CKV

door door door door door

het schrijv en van een recen sie/opstel het inv ullen v an een kijkwijzer o.i.d. praktisch werk het gev en v an een presentatie een gesprek tussen docent en leerling(en)

% ja,komt voor

N

97 88 81 79 69

64 53 47 44 33

3

Volgens de in domein D besproken eindtermen moet de leerling met betrekking tot de culturele ervaringen: -

Verslag doen van zijn ervaringen, interpretaties en waarderingen;

-

Deze toelichten onder verwijzing naar vorm , inhoud , functie en historische achtergronden;

-

Deze koppelen aan ervaringen met praktische activiteiten;

-

Aan de hand daarvan reflecteren op zijn keuzen en ervaringen.

Leerlingen doen geen Centraal Schriftelijk Eindexamen in CKV, maar het samenstellen van het kunstdossier en de reflectie op dit kunstdossier vormen samen een schoolexamen. Het schoolexamen moet minimaal voldoende afgesloten worden om te mogen deelnemen aan het CSE. Van een examen mag je verwachten dat de beoordeling betrouwbaar, valide en transparant is.

Bij veel vakken kun je leerresultaten beoordelen en inzichtelijk maken door deze schriftelijk te toetsen.

Bij de kunstvakken (in ons geval kijken we specifiek naar het vak CKV) ligt dat anders. Docenten CKV laten leerlingen ook praktisch werk maken en presenteren (Vlies, van der, 2012) om de reflectie op een culturele ervaring zichtbaar te maken. Uit de resultaten van het onderzoek van Damen is echter niet duidelijk geworden wat nu precies wordt verstaan onder praktisch werk als voorbeeld van gebruikte verwerkingsvormen door docenten. Hier zijn wij juist erg benieuwd naar. Tevens vragen wij ons af hoe en wat een docent CKV nu eigenlijk beoordeelt en welke criteria ze gebruiken bij het beoordelen van verwerkingsvormen. Uit onderzoek (Ganzeboom e.a. 2001; 2002; 2003, volgens Damen, 2004) blijkt dat de helft van de docenten de formulering van de eigen mening van de leerling het belangrijkste vindt. Voor een klein aantal docenten is de vormgeving, de originaliteit, complexiteit van de culturele activiteit het belangrijkste criterium bij het beoordelen. Is dit bijna tien jaar later nog steeds zo? Ook in dit onderzoek wordt de vraag gesteld welke beoordelingscriteria onder CKV docenten het belangrijkste worden geacht. Deze data wordt gebruikt om te achterhalen in hoeverre er een specifieke optimale betrouwbare en valide verwerkingsvorm is te benoemen.

Een beoordeling dient namelijk betrouwbaar, valide en transparant te zijn. Dat is van belang voor de examenbeoordeling van praktijkwerk bij de kunstvakken, maar ook voor de waarborging van de kwaliteit en het inzichtelijk maken van de effectiviteit van onderwijs in de kunstvakken (de Onderwijsraad, Raad van Cultuur 2012 volgens Kamp,van de, Drie van, Rijlaarsdam, Admiraal, 2012). Maar wat houdt een valide en betrouwbare beoordeling nu precies in?

De betrouwbaarheid van een meetinstrument betekent in wetenschappelijke zin dat de uitkomst consistent is en niet afhankelijk is van wisselende tijden of beoordelaars. EĂŠn beoordelaar zou een onveranderlijk oordeel moeten geven voor alle keren dat hetzelfde product wordt beoordeeld. Met validiteit wordt bedoeld dat in een beoordeling ook echt wordt beoordeeld wat de bedoeling is. Of de toets het juiste meet. In het kader van onderwijs zou de beoordelingsprocedure daarnaast ook duidelijk moeten zijn voor leerlingen opdat zij zich adequaat kunnen voorbereiden op de toets en weten hoe en waarop zij getoetst worden (Kamp, van de, Drie van, Rijlaarsdam, Admiraal, 2012). Een ideale toets is zowel transparant, valide en betrouwbaar.

Wanneer we kijken naar het toetsen van verwerkingsvormen bij CKV zijn deze twee begrippen moeilijk samen te brengen. Want hoe toets je nu op betrouwbare wijze de reflectie op een CKV ervaring? Wanneer je de leerlingen opdracht geeft schriftelijk verslag te doen van deze ervaring, op grond van voorafgestelde criteria, zou de betrouwbaarheid hoog kunnen zijn maar de validiteit niet.

Meet je dan wel wat je wilt meten als bv. schrijfvaardigheid te veel meegenomen wordt?

Maar wanneer betrokkenheid, deelnemen aan, en de ervaring zelf de uiteindelijke toets omslaat dan is de validiteit hoog want je meet gedurende het proces zelf precies diè aspecten van de beoordeling waar het om gaat en zou de betrouwbaarheid een stuk minder kunnen zijn. Voor een hogere betrouwbaarheid zou je hier gebruik kunnen maken van meerdere beoordelaars die onafhankelijk van elkaar, tijdens de culturele ervaring zelf, meerdere leerlingen observeren en beoordelen (intrabeoordelaarsbetrouwbaarheid). Hieruit maken wij op dat het beoordelen van CKV ervaringen een complex geheel is. Wij zijn daarom benieuwd welke verwerkingsvormen nu de voorkeur hebben van CKV docenten om een reflectie op een CKV ervaring te beoordelen. Wat zijn deze verwerkingsvormen, hoe worden deze getoetst en in hoeverre toetsen deze verwerkingsvormen datgene dat zij moeten toetsen volgens de eindtermen CKV. We stellen in dit onderzoek de volgende vraag centraal:

Wat vinden vakdocenten geschikte verwerkingsvormen voor CKV ervaringen, hoe beoordelen ze die en welke toetsen volgens hen het meest valide en betrouwbaar de eindtermen?

4

2.0

Opzet en uitvoering

2.1

Onderzoeksontwerp

Ons onderzoek is een kwalitatieve survey. Een beschrijvend onderzoek naar beoordelen door 6 verschillende docenten CKV. We kiezen voor een gerichte steekproef. In onderzoek willen bewerkstelligen dat CKV-docenten een handreiking krijgen met betrekking tot het geven van goede, goed te beoordelen verwerkingsvormen, daarom hebben wij gekozen voor in totaal zes docenten die in hun lespraktijk bewust bezig zijn met het ontwikkelen, verbeteren en op een hoger niveau brengen van henzelf, de leerlingen en hun CKV lespraktijk.

Daarnaast wilden wij een zo divers mogelijke samengestelde groep qua geslacht, leeftijd, ervaring, opleiding en geografische ligging genereren. Onze groep respondenten bestaat uit drie vrouwen en drie mannen in de leeftijd van 25-57 jaar. De geografische ligging van hun scholen varieert van Amersfoort tot Lisse (bijlage 1: lijst van respondenten).

Twee respondenten zijn tweedejaarsstudenten van de Master Kunsteducatie aan de Amsterdamse Hogeschool voor de Kunsten; een beginnende docente beeldende vorming, nieuwe media en CKV van 25 jaar en een docent beeldend en CKV van 57 jaar, zonder een specifieke opleiding voor CKV. Vier andere respondenten zijn geselecteerd uit ons eigen netwerk waarvan 2 uit Amersfoort en 2 uit Mijdrecht. 1 respondent van 31 jaar met slechts 3 jaar ervaring met het vak CKV, 1 docente van 53 jaar met een lange ervaring met CKV in het VMBO, een docente tekenen en CKV, afgestudeerd aan de AHK, Master Kunsteducatie, leeftijd 53 en een docent beeldende vorming en CKV, een man van jaar 33 jaar .

2.2

Dataverzamelingsmethode

In dit onderzoek is gekozen voor het interview als dataverzamelingsmethode. De data werden tussen februari 2013 en mei 2013 verzameld.

De onderzoeksvraag is een samengestelde vraag en bestaat uit drie delen.

Het eerste deel: Wat vinden vakdocenten geschikte verwerkingsvormen voor CKV ervaringen?

Het tweede deel: Hoe beoordelen ze die verwerkingsvormen?

Het derde deel: Welke verwerkingsvormen zijn volgens de docenten het meest valide en betrouwbaar te beoordelen?

Het interview dat is samengesteld om antwoord te krijgen op bovenstaande vragen bestaat uit twee delen. (bijlage 2: deel 1 halfopen interview en bijlage 3: deel 2 open interview) Als eerste een halfopen, half gestructureerd interview gevolgd door een open interview. De vragen zijn vooraf in een logische volgorde vastgesteld. Mocht het in het gesprek beter uit komen dat de volgorde van de vragen worden veranderd staat dat de onderzoeker vrij.

Het halfopen interview vraagt naar de algemene gang van zaken betreffende het gebruik en de beoordeling van CKV verwerkingsvormen. De antwoorden op de vragen van het halfopen interview beantwoorden de deelvragen 1 en 2 en ondersteunen de antwoorden van het open interview op deel 3 van de onderzoeksvraag.

Voorafgaand aan het interview is de respondent per mail gevraagd om drie verschillende verwerkingsvormen mee te brengen naar het interview waarvan zij zeggen dat dit goede verwerkingsvormen zijn voor het beoordelen van een reflectie op een CKV ervaring.

Het open interview vraagt de respondent specifiek in te gaan op de door hem of haar geselecteerde en meegebrachte verwerkingsvormen. Deze vragen gaan in op de eigen voorkeur van de docent en geven deels antwoord op deelvraag 1, 2 en op deelvraag 3.

De afname van de 6 interviews zijn onder de twee onderzoekers verdeeld. Beiden hebben 3 respondenten ge誰nterviewd met wie zij al deels bekend waren. Wat zorgde voor een vertrouwde en open sfeer. De interviews zijn afgenomen in een door de respondenten zelf uitgekozen omgeving.

Vooraf aan een interview is er aan de betreffende respondent gevraagd of het interview mocht worden opgenomen op geluidsband/ voicerecorder.

Dit is bij alle interviews dan ook gebeurd. Tevens zijn er door de onderzoeker aantekeningen gemaakt tijdens het interview. De respondent kreeg een meeleeslijst van de te stellen interview vragen zodat er geen onduidelijkheid kon ontstaan over de te stellen vragen. Na afloop van het interview zijn de

5

meegebrachte verwerkingsvormen gekopieerd en/of gefotografeerd voor in de verwerkingsvormen lijst en voor verdere bespreking in de focusgroep. In vraag 2 en 3 van het halfopen interview werd er verwezen naar de eindtermen CKV (Domein D). De volledig uitgeschreven eindtermen CKV waren voor de respondenten bij het interview beschikbaar.

Als afsluiting bij de individuele interviews zijn de respondenten gevraagd naar hun bereidheid deel te nemen aan de focusgroep. Op een later tijdstip is deze oproep herhaald per mail. Deze dubbele vraag naar deelname heeft geresulteerd in een focusgroep bijeenkomst met 5 van de 6 respondenten.

De focusgroep heeft plaatsgevonden op de AHK, Academie van Bouwkunst op een woensdagavond in april van 19:30 tot 21:00 uur. Middels deze focusgroep wordt er gekeken in hoeverre hetgeen gezegd is in de individuele interviews een breder draagvlak heeft. En of men tot overeenstemming kan komen over deelvraag 3: Welke verwerkingsvormen zijn volgens de docenten het meest valide en betrouwbaar te beoordelen? De respondenten konden direct op elkaar reageren waardoor ketens van associaties, persoonlijke ervaringen, normen en waarden ontstaan. Ter voorbereiding op de focusgroep was er zowel een draaiboek voor de onderzoekers als voor de respondenten opgesteld.

Het draaiboek had als doel structuur te bieden aan zowel onderzoeker als respondent betreffende de focusgroepsbijeenkomst (bijlage 4: opzet en draaiboek focusgroep en bijlage 5: draaiboek deelnemers focusgroep).

Ook is er een lijst gemaakt van alle verwerkingsvormen die in de individuele interviews zijn genoemd (bijlage 6: lijst van gekozen verwerkingsvormen respondenten).

Een laptop dient als beeld en geluiddrager voor verwerkingsvormen zoals een muziekstuk en een animatiefilmpje.

De bijeenkomst is in zijn geheel opgenomen op zowel videocamera als geluidsband op een tweetal computers. De focusgroep bijeenkomst kan zo worden getranscribeerd en goed worden beschreven.

Tevens kan de focusgroep gebruikt worden als triangulatie op de afgenomen interviews.

2.3

Data analyse

De interviews Alle interviews zijn opgenomen met een voicerecorder en vervolgens getranscribeerd. In geval van onduidelijkheden zijn de aantekeningen geraadpleegd die tijdens de interviews zijn gemaakt.

De uitkomsten per interviewvraag worden gecodeerd. De onderzoekers zijn samen tot een codering gekomen - bottom up. (bijlage 7: codeerschema) Middels deze codering worden per interviewvraag de uitkomsten van de interviews beschreven. Met de uitkomsten per interviewvraag worden de drie deelvragen van onze onderzoeksvraag beantwoord en vervolgens de hoofdvraag. Van de meegenomen verwerkingsvormen uit de open interviews zijn foto’s gemaakt. Deze foto’s zijn gebruikt ter verduidelijking in schema 1 waar de verwerkingsvormen worden beschreven. In dit schema staat per verwerkingsvorm een foto, de bij behorende opdracht, de reden waarom deze verwerkingsvorm zo geschikt is volgens de respondenten en als laatste de belangrijkste beoordelingscriteria van de opdracht. In schema 2 is gekeken in hoeverre de gekozen verwerkingsvorm valide is met betrekking tot de eindtermen en in hoeverre de respondent deze verwerkingsvorm betrouwbaar acht. Met behulp van de antwoorden van de respondenten uit schema 1 en vraag 4 uit het open interview: zou een collega die deze verwerkingsvorm moet beoordelen tot een zelfde oordeel komen? is schema 2 ingevuld.

De focusgroep Voor de focusgroep zijn alle zes respondenten uitgenodigd. vijf van de zes respondenten waren aanwezig. De bijeenkomst van de focusgroep is opgenomen op geluidsband. Tevens zijn er videoopnamen gemaakt en aantekeningen. Met behulp van de transcribering geven we een beschrijving van onze bevindingen in de focusgroep. Deze beschrijving gebruiken we ter ondersteuning van de uitkomsten van de deelvragen van de onderzoeksvraag.

6

3.0

Resultaten

3.1

De individuele interviews

Wat vinden vakdocenten geschikte verwerkingsvormen voor CKV ervaringen? Voor het open interview hebben we de respondenten gevraagd drie verwerkingsvormen mee te nemen waarvan zij vinden dat dit goede verwerkingsvormen zijn voor het beoordelen van de reflectie op een CKV ervaring. Deze verwerkingsvormen geven we hieronder schematisch weer. Van elke verwerkingsvorm is zo mogelijk een foto als illustratie bijgevoegd.

In het schema staat in de eerste kolom de culturele ervaring waar de verwerkingsvorm bij hoort, in de tweede kolom een omschrijving van de opdracht, in de derde kolom de belangrijkste beoordelingscriteria volgens de respondent en in de laatste kolom wordt de vraag naar de reden van de geschiktheid door de betreffende respondent beantwoord en geanalyseerd.

De verwerkingsvormen zijn genummerd en ingedeeld naar type. Als eerste noemen we de mondelinge verwerkingsvormen (1, 2 en 3), ten tweede de schriftelijke (4 en 5), vervolgens de beeldende (6-12) en als laatste de verwerkingsvormen die een combinatie zijn van twee of meerdere verschillende typen (13-16).

Indeling schema verwerkingsvormen Mondelinge verwerkingsvormen: 1

Muziekproject en presentatie samen met de kunstenaar(s)

2

Expertmethode, de leerling als rondleider

3

Presentatie voor de klas

Schriftelijke verwerkingsvormen: 4

Kijkwijzer

5

Artikel over Tinkebel en een dierenactiviste

Beeldende verwerkingsvormen: 6

Eigen tekening/schilderij

7

Interieur ontwerpen

8

Poster

9

Eindopdracht dans/film gecombineerd

10

Animatie op muziek

11

Foto-opdracht ‘moordverhaal’

12

Filmpje ideële reclame

Een combinatie van verwerkingsvormen: 13

Onderzoek met het ontwerpen van een outfit

14

Essay, de school als gevangenis

15

Reisgids

16

Eigen muziekstuk componeren

7

3.1.1 Schema 1 verwerkingsvormen

Volgens de respondenten van dit onderzoek goede verwerkingsvormen voor het beoordelen van een reflectie op een CKV ervaring

Bijbehorende opdracht

Waarom is deze geschikt als verwerkingsvorm volgens respondenten?

Belangrijkste beoordelingscriteria van de opdracht

Muziekproject en presentatie samen met de kunstenaar(s)

Olv een muzikanten van ‘Tedzeki’ worden leerlingen in 2 lessen vertrouwd gemaakt met een bepaald gebruik van een muziekinstrument.

Ze leren dat je muziek i.p.v. in noten ook in grafische tekens kunt noteren d.m.v. streepjes, stipjes, kriebeltjes. Als laatste onderdeel van het project geeft het orkest van Tedzeki een concert waarin ze de grafische verwerkingen van leerlingen spelen. Vervolgens spelen de leerlingen ook samen met het orkest een deel van het concert.

De ervaring is het allersterkste leermoment.

Daar waar leerlingen samen met kunstenaars tot een presentatie komen is er een gezamenlijke verwerking, het gezamenlijk hoogtepunt van de hele activiteit. De bereidheid om je daar voor open te stellen en daar aan deel te nemen vind is al een hele grote stap en als je die bereidheid hebt en niet zegt ‘hier doe ik niet aan mee’, dan vind ik mijn doel bijna bereikt.

Het moment van verwerking is niet aan het eind. De verwerking en reflectie is het totale proces en de presentatie die de leerling samen met de kunstenaar doet.

Expertmethode, de leerling als rondleider

Leerlingen verdiepen zich in een bepaalde tentoonstelling of project om zich voor te bereiden op hun rol als rondleider voor medescholieren (peer to peer) of op een rol als rondleider voor volwassenen in een levensechte situatie (in dit geval het CBK in Amsterdam Zuidoost). De betrokken kunstenaar(s) begeleidt en bespreekt in een voorbereidingstraject samen met de leerlingen (de achtergrond van) de kunstwerken en geeft daarmee de nodige bagage voor de rondleidingen.

Bij de projecten die ik aanga is het moment van verwerking is niet aan het eind, het totale proces is wat ik als verwerking beschouw. In de beoordeling meet je datgene dat je wilt beoordelen.

Heb je de informatie opgepakt die noodzakelijk is om rond te leiden?

Kun je op een goede en aangename manier voor de luisteraar reproduceren en daarbij ook enig enthousiasme naar voren brengen?

De wijze van presenteren, de presentatievaardigheden zijn belangrijk. Kennis is eigenlijk het tweede dat van belang is.

Het is de weerslag van het proces.

2 Bezoek tentoonstelling

1 Muziekproject met Tedzeki

Culturele activiteit

Schema verwerkingsvormen

Leerlingen vertellen voor de klas hun ervaring met een culturele activiteit aan hen zelf de keus of hierbij een PowerPoint met beeldmateriaal wordt gebruikt. De docent en leerlingen mogen ook vragen stellen.

Wanneer je voor de klas vertelt waar je naar toe bent geweest heeft de rest van de klas er ook wat aan. Allemaal bij de docent inleveren dat blijft één op één. Het is veel leuker als de leerling zelf vertelt ” ik heb een geweldig concert bezocht. Binnen zo’n peergroup is dat eigenlijk veel leuker en leerzamer.

Kijkwijzer

De leerling vult een kijkwijzer in naar aanleiding van een zelf gekozen culturele ervaring met vragen over vorm, inhoud, functie en meningsvorming.

Overzichtelijk voor leerling en docent.

Je kan heel gericht kijken of de leerling in staat is om zijn of haar ervaring goed te verwoorden en te beargumenteren. Iets te vertellen over vorm, inhoud en functie.

Artikel over Tinkebel en een dierenactiviste

Kunstenares Tinkebel, staat bekend om haar werk met dode en levende dieren. Dit veroorzaakt wel eens weerstand van omstanders.

De leerling schrijft aan de hand van twee artikelen: Een van de kunstenares en een van een dierenactiviste, een dialoog tussen beiden.

Hoe verloopt dit gesprek?

Inleven in een ander en daardoor reflectie op jezelf. Door andere ideeën te zien kan je, je, eigen positie bepalen ten aanzien van dat idee en je dan pas richten op de vorm.

Hoe werkt een kunstenaar zijn idee uit en waarom? Deze manier van werken kan je dan weer gebruiken in je eigen beeldend proces. Eerst een idee dan pas de vorm.

5 Geëngageerde kunst

4 Culturele activiteit naar keuze

3 Culturele activiteit naar keuze

Presentatie voor de klas

9

Wat heeft de leerling voor informatie opgepakt, verzameld. Wat heeft hij onthouden, heeft de meeste indruk gemaakt? Wat was niks en waar werd hij enthousiast van? Het gaat om meningsvorming, de ervaring vertellen en reflectie op de gedane activiteit. De wijze van presenteren is niet zo belangrijk.

De voorafgestelde criteria van de kijkwijzer. Vorm, inhoud, functie en eigen reflectie/ mening. Is er aandacht aan besteed? Heeft de leerling ook vooronderzoek gedaan?

Het is belangrijk dat ze leren argumenteren. Waarom vinden ze iets? Zijn ze in staat zich te verplaatsen in de ander en beargumenteerd mee te gaan in het idee of zich juist zich te verzetten?

Het thema is fantasie en dromen. Bij de de opdracht die ik heb laten zien hebben ze eerst verschillende schilderijen onderzocht van welke zijn geschikt om te kiezen en naar elkaar toe te werken, hoe werkt dat. Ze hebben vooral gekeken naar schilderijen van René Magritte.

Een combinatie van twee willekeurige schilderijen in één beeld waar de leerling een eigen interpretatie aan moet geven.

Het toeval als invalshoek vonden ze erg leuk. Maar ook het naar elkaar toewerken van dingen die niet bij elkaar passen die vinden ze toch heel spannend.

Op zoek gaan naar contrasten bv dingen die niet bij elkaar passen wel combineren en de toevalstreffers daarbij als verrassingselement hebben dat maakt het zo leuk voor leerlingen.

Zijn 2 schilderijen gebruikt als uitgangspunt met de juiste afmetingen. Het resultaat is één geheel geworden. Heb je het stappenplan gevolgd?

Bij het inleveren moeten ook twee kopieën van de twee schilderijen worden gedaan.

Interieur ontwerpen

Na een introductieles en een bezoek aan het ING gebouw over architectuur komen de leerlingen tot een verwerkingsvorm waarbij zij zelf een interieur moeten maken gebaseerd op hun eigen voorkeuren, hun eigen ideeën; over hoe een ruimte er prettig en aangenaam uit zou kunnen zien. Dat mag een kantoorruimte zijn, (aansluitend bij het bezoek aan het ING gebouw) maar dat hoeft niet perse. Dat mag ook een loungeruimte zijn, een slaapkamer zijn.

Om al te focussen op één bepaalde stijl hebben ze eerst een moodboard gemaakt.

Het is een praktische verwerkingsvorm waarbij de leerlingen actief bezig zijn en hun ervaringen en opgebouwde kennis kunnen verwerken. Een opdracht wordt opgebouwd uit een aantal elementen, allen even belangrijk. Het resultaat is niet het belangrijkste maar het onderzoek, het bezig zijn. De leerling maakt kennis met de wereld van de kunsten, er een meningen over te vormen en naar te kijken. Ik hoop daarmee, een zekere vooringenomenheid wegnemen.

Een praktische opdracht waarbij de leerlingen zijn beoordeeld op de mate waarop zij een eenheid hebben kunnen bereiken in datgene dat zij in hun unit hebben gedaan en die eenheid kan op allerlei manieren, een eenheid in kleuren,een combinatie van kleuren en vormen. Ook hun voorbereiding, onderzoek en de wijze waarop ze gepresteerd hebben telt mee.

Poster

Het uitgangspunt is een werkelijk reële kwestie/ Het is een probleem dat specifiek en actueel is voor een leerling op de betreffende school.

De leerling moet met die kwestie een campagne ontwikkelen in de vorm van een poster waarin zijn mening t.a.v. de kwestie duidelijk wordt gemaakt op een humoristische en/ of provocerende manier!

De opdracht kan individueel of in een groep van max. 4 personen worden gedaan.

Het is een praktische opdracht die helemaal op school gedraaid wordt, waarbij iedere individu een eigen poster maakt.

Dan krijg je eindelijk een keer te zien waar hun krachten zitten. De leerlingen mogen best ook nog wat leren, ze zijn nog niet aan het examen doen. Het is een handelingsvak en daarin mag je blijven leren. er zijn duidelijke eindbeoordelingscriteria waardoor de beoordeling redelijk betrouwbaar te is.

Een aantal voorwaarden; Formaat poster minimaal A3, op stevig karton. Aanvullend een schriftelijke onderbouwing/ aanvulling van het gepresenteerde.

Of het verhaal klopt wat er in zichtbaar is en of er goed geschoven is met het beeldmateriaal om het optimale effect en de uitsneden of dat allemaal klopt.

8 Kade tentoonstelling (propaganda)

7 Bezoek ING gebouw

6 Museumbezoek

Eigen tekening/schilderij

10

Centraal in deze opdracht staat Kasteel Keukenhof en de verschillende tijdsperiodes die e e in dit kasteel zijn vertegenwoordigd. De 17 ,18 e en 19 eeuw. De leerlingen moeten 2 kunstdisciplines combineren in een verfilming van eigen choreografie of een praktisch lespakket over beeldende en toegepaste kunst voor groep 8 of een mimevoorstelling op statische camera. Bij het voorbeeld is gekozen voor een eigen choreografie op film.

Bij alle opdrachten is er een te doorlopen onderzoekje naar de tijdsperiode in het gekozen discipline waar een verslagje van moet worden gemaakt.

De keuze vrijheid voor de leerling maakt het erg leuk voor de leerling maar wel lastiger voor de docent om betrouwbaar te beoordelen. De leerlingen kunnen nu echt laten zien wat ze kunnen.

Het voldoende afsluiten van het bijgaande verslag en het houden van een afsluitend gesprek over de opdracht van 15 minuten met eigen evaluatie.

Animatie op muziek

Dromen en toeval, geïnspireerd op het kunstwerk van een surrealist. De leerlingen maken een eigen animatie, met eigen zang, passende geluiden/muziek.

Zij zorgen voor een goede opbouw in de gebeurtenis met een duidelijk hoogtepunt.

Deze opdracht spreekt de leerlingen erg aan. Ze krijgen heel veel energie als iets werkt, als ze zien wat beeld en geluid met elkaar doet. Ze vinden het leuk, interessant, kan op youtube gezet worden, beweegt.

De animatie is een gebeurtenis met een goede opbouw en een duidelijk hoogtepunt. De animatie duurt minimaal 1 minuut.Je maakt een eigen geschilderde/getekende illustraties voor deze animatie of een animatie waarbij je de stappen van inktspetters vastlegt. Gebruik splitpennen om de vormen bij elkaar te houden.

Foto-opdracht ‘moordverhaal’

De leerling maakt in een groepje een foto verhaal bestaande uit 10 foto’s waarin ze een verhaal vertellen over een achtervolgingsmoord waarin het beeld het verhaal verteld. Ze laten zien dat ze weten hoe perspectief en camerastandpunten het verhaal, de spanning kunnen laten versterken.

Dat ze theorie gaan toepassen in praktijk, en dat ze het combineren met tekst en het geven van argumenten. Dus het is een combinatieopdracht. Het is niet alleen maar schrijven maar het is ook ergens naar kijken en dat dan vastleggen en doordat ze het met zijn tweeën mogen doen, wordt het ook een discussie. “Moet je dit wel fotograferen of niet”. Er zitten heel veel aspecten aan die opdracht die het heel gelaagd maken.

Is het duidelijk welk verhaal zich afspeelt? En wat er precies gebeurd? Heeft de leerling gebruik gemaakt van verschillende perspectieven en camera standpunten om het verhaal spannend te maken.

111 Zien van cultfilm

10 Museumbezoek

9 Bezoek kasteel keukenhof

Eindopdracht: dans en film Gecombineerd

11

Na een bezoek aan het Eye filminstituut en een aantal lessen over film standpunten, perspectieven en filmische middelen gaat de leerling in een groepje een filmpje van een ideële reclame van minimaal 1 minuut maken waarin ze laten zien wat ze geleerd hebben.

Omdat ze de geleerde theorie over film praktisch kunnen toepassen is de opdracht heel erg geschikt. De leerlingen vinden het bovendien een leuke opdracht wat enthousiasmerend en motiverend werkt.

Je kunt hem samen met de leerlingen beoordelen, zodat ze moeten reflecteren op eigen werk en dat van elkaar.

Het gebruik en de inzet van filmische middelen zoals Decor (locatie) kostuums, licht, geluid, effecten, grime….

Onderzoek met het ontwerpen van een outfit

Voor deze opdracht treedt de leerling in de voetsporen van modeontwerpers Victor&Rolf en vinden ze inspiratie in de kunst van de Aboriginals.

Een kort onderzoekje naar de Aboriginals, een koppeling aan een thema van Victor&Rolf, de uitvoering op A4 en het schrijven van een verantwoording.

Er zit voor elke leerling wel iets in. De opdracht bevat verschillende elementen zodat er voor een ieder wel op een van de elementen punten te scoren zijn.

Komen de kenmerken van Victor&Rolf en de Aboriginals terug in het ontwerp? En is dit ontwerp goed verantwoord.

“De school als gevangenis”

De leerling leest een essay van een filosoof “de school als gevangenis”. Vervolgens moeten ze hierop reflecteren en vertellen waarom ze het er wel of niet mee eens zijn. Daarna moeten ze foto’s maken om dat standpunt van de schrijver te bekrachtigen. Waarom lijkt de school op een gevangenis, hoe zie je dat? Hoe wordt orde afgedwongen en hoe zit de structuur in elkaar?

De leerlingen worden door deze opdracht heel bewust van hun eigen omgeving.

Ze beginnen bij de eigen school maar uiteindelijk blijkt dat de hele samenleving een structuur is en dat daar gebouwen voor nodig zijn.

Begrijp ik wat ze bedoelen.

Het gaat me om beargumenteren. Kunnen ze uitleggen waarom ze keuzes hebben gemaakt voor bepaalde foto’s? Zijn er duidelijke zinnen gebruikt, is het netjes uitgewerkt, is het te begrijpen, kan ik mee gaan in die gedachtegang?

1 14 Architectuur wandeling

I13 Modeshow Victor en Rolf

112 Eye beozoek     12

Filmpje ideële reclame

12

1 16 Museumbezoek

1 15 Stedenreis leerlingen

Reisgids

Eigen muziekstuk componeren

De reisgids is een opdracht bij architectuur & design ten tijde van het internationaliseringtraject op school. de leerlingen krijgen vooraf de beoordelingscriteria voor de opdracht voor de reisgids. De leerlingen doen voorafgaand aan een stedenreis een onderzoek naar architectuur & design in de betreffende stad. Tijdens de reis verzamelen ze informatie voor de opdracht en maken foto’s en tekeningen. Na afloop van de reis verwerken hun informatie tot een reisgids. De leerling loodst je in de reisgids langs de architectuur of wetenswaardigheden van een stad.

Thema: fantasie en dromen. Maak door middel van een notatie d.m.v. van tekeningen, streepjes, puntjes, vlakken, symbolen, plaatjes, enz. een partituur die door je groep kan worden uitgevoerd.

De opdracht is vooral een combinatie van eigen ervaring en internet.

De opdracht heeft hele duidelijke en transparante beoordelingscriteria. De beoordeling is redelijk betrouwbaar.

De reisgids is een heel gestructureerde opdracht. Met een lijst van eisen,een specifiek gekozen inhoudsopgave en lay-out liggen de beoordelingscriteria vast.

Je wilt creativiteit ook beoordelen. Ik denk dat iedereen creativiteit op een ander vlak heeft en dat deze opdracht daarom erg kan aanspreken voor een bepaalde groep leerlingen die op zo’n manier zelfs een schilderij zouden kunnen ervaren en er iets mee kunnen doen.

1 Denk na over een tijdplan.

2 Wijst er iemand mee als in een tijdsbalk?

3 Wordt elk nieuw vakje aangegeven door een bepaald geluid?

4 Denk na over dynamiek (hard, zacht), tempo (snel, langzaam), instrumenten, toonhoogte (hooglaag), toonduur (lange noten, korte noten): met kleuren dikte van lijnen, punten, enz. Wees creatief! Durf!

13

3.1.2 Deelvraag 1 In bovenstaand schema in kolom twee zijn de antwoorden te vinden op de vraag: Wat vinden vakdocenten CKV geschikte verwerkingsvormen voor CKV ervaringen. De verwerkingsvormen die geschikt zijn bevonden zijn onderverdeeld in 4 categorieën. Als eerste hebben we de mondelinge verwerkingsvormen. Dit zijn vooral presentaties of vormen van presentaties met of zonder kunstenaars. Een respondent, vrouw zegt hierover: “Als een leerling voor de klas staat dan vind ik dat iedereen mee geniet. Dus ook mee deelt in de ervaring en dat vind ik misschien wel echt het aller belangrijkste. Wat er dus ook gebeurt met die verslagen, die worden door elkaar overgenomen. Dat kan nooit als je het voor de klas doet. Het wordt veel persoonlijker”………”Je kunt ook doorvragen. Je kunt vragen: Wat vond je ervan en heb je zelf zoiets meegemaakt….. Je kunt daar veel dieper op in gaan dan dat je een verslag krijgt en je de leerling niet ziet.”

De schriftelijke verwerkingsvorm is de tweede categorie die is aangebracht. Zo beschrijft een respondent, man een van de schriftelijke opdrachten die hij gebruikt: “…een dialoog tussen Tinkebel en een dierenactiviste…..Het is geschikt omdat ze niet zomaar even denken dit vind ik stom of dit kan niet. Ze gaan echt even in het hoofd van Katinka zitten door middel van die tekst. Anders lezen ze het ook niet….dan krijg je…”Ja ik snap het wel”…nu moeten ze de tekst met voor en tegen argumenten verwerken in de dialoog.”

Een volgende categorie is de beeldende verwerkingsvormen. Deze variëren van het maken van foto’s, het filmen van een ideële reclame, het maken van een poster tot een animatie op muziek.

Een van de respondenten, docent beeldend, vrouw zegt : “…..Ik heb wel het idee dat leerlingen trotser zijn op iets wat ze maken, dat ze daar trotser op kunnen zijn dan een verslag wat ze inleveren……omdat ze dat ook sneller aan elkaar laten ziet en niet iedereen gaat elkaars verslag lezen. Terwijl wel iedereen gaat kijken wat iemand heeft gemaakt, heeft ontworpen, welk filmpje. Al dat soort beeldende verwerkingen zijn voor leerlingen zelf vaak ook aansprekender om zich mee te bemoeien of te gaan bekijken bij anderen, dan dat ze een tekst moeten lezen….dat is mijn ervaring.”

Bovenstaande is voor deze respondent een van de redenen om voorkeur te geven aan beeldende verwerkingsvormen.

Verder wordt er ook nog een verwerkingsvorm genoemd wat een combinatie is van verschillende categorieën.

Een enkele respondent, man, geeft aan zo’n combinatie de voorkeur te geven omdat: ” De leerlingen theorie gaan toepassen in de praktijk, in een ander discipline bijvoorbeeld en dat ze het combineren met tekst en het geven van argumenten. Dus het is een combinatieopdracht. Het is niet alleen maar schrijven maar het is ook ergens naar kijken en dat dan vastleggen.”

Er wordt hier gesproken over de combinatieopdracht: ‘de school als gevangenis’ waarbij de leerlingen zowel onderbouwde argumenten moeten opschrijven aan de hand van een tekst als deze moeten onderbouwen met foto’s. Deze opdracht is dus een combinatie van een schriftelijke en beeldende verwerkingsvorm.

Ondanks dat een ieder zijn of haar voorkeur heeft voor een specifieke soort of groep verwerkingsvormen, geven veel van de respondenten aan de afwisseling van verschillende verwerkingsvormen belangrijk te vinden. De keuze van verwerkingsvorm blijkt vaak samen te hangen met de organisatie en outillage van het vak op school.

Tevens speelt het specialisme of onzekerheid van de docent een rol bij hun voorkeur. Een respondent, CKV en beeldend docent, zegt hierover: ”Mijn voorkeur is heel breed maar wel voornamelijk beeldend. Leerlingen mogen ook wel andere dingen maar die vind ik ook wel moeilijk om na te kijken dus ik denk dat je onbewust automatisch toch wel een beetje gaat sturen naar dat wat bij jou past als docent.”

Er zijn enkele respondenten die zich richten op het proces van de ervaring zelf. Deze docenten vinden het proces dat de leerling tijdens de ervaring doormaakt de reflectie, en daarmee de verwerking. Je zou dus kunnen zeggen dat de ervaring zelf tevens de verwerkingsvorm is. Een uitspraak die een respondent, man hierover doet: “Het gaat mij veel meer om de groei die een leerling doormaakt, de wijze waarop hij zich openstelt t.o.v. de dingen die hij nog niet kent en daarin het verbreden van zijn persoonlijkheid, zijn horizon bewerkstelligt. Dat vind ik sowieso in mijn functie als onderwijzer van belang.”

Al met al een brede range aan verschillende soorten verwerkingsvormen, maar hoe worden deze door onze respondenten beoordeeld?

14

3.1.3 Deelvraag 2 Op welke wijze de respondenten de door hun gebruikte verwerkingsvormen beoordelen is deelvraag 2.

Om het antwoord te vinden van deze vraag komen diverse onderwerpen aan de orde die hiermee samengehangen.

Criteria In het schema voorafgaand aan deelvraag 1 in kolom 4 zijn er per specifieke opdracht beoordelingscriteria genoemd waar de respondenten op hebben beoordeeld. Meer dan de helft van de ondervraagde respondenten beoordeelt aan de hand van beoordelingscriteria. Als je gaat kijken naar wat de respondenten, werkelijk belangrijk achten binnen de beoordelingscriteria hechten ze grote waarde aan de ontwikkeling die een leerling doormaakt en de wijze waarop een leerling zijn of haar mening weet te onderbouwen en reflecteert. Een respondent, vrouw beargumenteert: “Je kan heel veel feiten in je hoofd hebben, maar ik denk dat kunst niet over feiten gaat. Dan maak je je vak wel beoordeelbaar maar het hart van met kunst omgaan is of het je een hele speciale ervaring geeft die je niet op een andere manier kan hebben. Dat vind ik.”

Echter zijn alle docenten zich er van bewust dat punten zoals punctualiteit, netheid, inzet, schepje extra en begrijpelijkheid in taal ook mee worden genomen in de beoordeling van een CKV verwerking. Een paar respondenten heeft dit ook in zijn of haar voorafgestelde beoordelingscriteria zitten. Vaak zijn docenten zich er wel bewust van dat zowel inhoud als vorm meespeelt in de beoordeling. Volgens een respondent, vrouw: “Tuurlijk komt er altijd ook…..iets indirect…een stukje om de hoek kijken dat je het ene beter vindt dan het ander….. maar ik heb altijd wel punten waar ik op let. Van die objectieve punten. Maar goed…originaliteit of dingen als uitvoering, dat is toch ook een beetje persoonlijke smaak.” Een andere respondent zegt hierover: “Wat ik heel belangrijk vind is of het goed beargumenteerd wordt. De opmaak moet netjes zijn. Het moet verzorgd zijn…. Eigenlijk heeft dat niks met CKV te maken. Dus ik kan zeggen dat ik daar niet op beoordeel maar ik neem het wel mee. Het loopt eigenlijk allemaal een beetje door mekaar……”Het moet gewoon helder zijn en duidelijk. Als het een rommeltje is dan is de gedachten gang vaak ook niet helder.”

Een enkele docent is gevoelig voor de extra moeite die een leerling in zijn of haar opdracht heeft gestopt. De betreffende respondent zegt hierover: “Ik kijk er altijd naar of de leerling zelf iets heeft toegevoegd, of ik een verrassingseffect krijg bij een verwerking, dat vind ik ook heel erg belangrijk.”

Cesuurgrens Bij het bepalen van de voldoende en onvoldoende grens wordt er door veel van de respondenten gekeken naar inzet, het (zichtbare) proces en de manier waarop de verslaglegging is vormgegeven, het groepsgemiddelde wordt hierbij veelal meegewogen. Een respondent, vrouw zegt hierover: “Ik kijk ook naar een stukje intentie waarmee de leerling eraan gewerkt heeft, of ik denk dat de leerling echt het onderste uit de kan gehaald heeft. Als de leerling mij op het einde voor een onvoldongen feit stelt met een totaal verkeerde uitwerking dan loopt hij het risico op een onvoldoende.”

Veel docenten beoordelen de verwerkingsopdrachten zelf. Weliswaar gebeurt dit ook wel eens in samenspraak met leerlingen. Opvallend is dat de respondenten zichzelf niet altijd even goed in staat achten een product uit een discipline te beoordelen waar zij niet in thuis zijn. Sporadisch wordt hiervoor dan een expert ingeroepen (collega docent). Een respondent, man vertelt hierover: “Ik kan deze opdracht niet goed beoordelen, als je daar wat meer in geschoold bent zou je dat wel kunnen. In het proces kan ik alleen zeggen of iemand er hard mee aan de slag is geweest maar welke stappen hij genomen heeft vind ik ook heel moeilijk te zeggen in een ander vakgebied.”

Transparantie De ‘voorafgestelde’ beoordelingscriteria lijken soms gedurende het proces te verdwijnen en daarmee ook de transparantie naar de leerling niet ten goede te komen. Volgens een vrouwelijke respondent: “Vooral als je het hebt over eigen mening en persoonlijke ervaring zit je op heel glad ijs. Daar ben ik me echt van bewust. Ik vind het niet zo belangrijk of er een bepaald niveau gehaald word. Wat veel belangrijker is dat leerlingen het een keertje doen, Het is misschien heel klein. Maar zo ligt het wel.”

Het wordt minder transparant wanneer de beoordeling helemaal niet belangrijk wordt geacht zoals een van de respondenten zegt: “Omdat ik de beoordeling niet zo heel erg belangrijk vind, vind ik het niet zo moeilijk om een V op te schrijven…………en de leerlingen weten dat ook volgens mij….hahahaha.”

15

3.1.4 Schema 2 validiteit en betrouwbaarheid

Schriftelijk

mondeling

5 Artikel Tinkebel en dierenactiviste

X

+/-

X

X

X

X

+/-

X

X

X

Beeldend

9 Eindopdracht dans/film gecombineerd

+

X

+/-

X

+/-

X

X

+

X

X

10 Animatie op muziek 11 Foto-opdracht ‘moordverhaal’

Combinatie

13 Onderzoek met het ontwerpen outfit 14 Essay, de school als gevangenis 15 Reisgids 16 Eigen muziekstuk componeren

+ X

X

7 Interieur ontwerpen

12 Filmpje ideële reclame

m.b.t. de betrouwbaarheid

X

6 Eigen tekening/schilderij

8 Poster

- Aan de hand daarvan reflecteren op zijn keuzen en ervaringen.

X

2 Expertmethode

4 Kijkwijzer

+/-

X

1 Muziekproject met de kunstenaar

3 Presentatie voor de klas

- Deze koppelen aan ervaringen met praktische activiteiten.

- Deze toelichten onder verwijzing van vorm, inhoud, functie en historische achtergronden.

In de Domein D besproken eindtermen moet de leerling met betrekking tot de culturele ervaringen:

m.b.t. de validiteit van de beoordeling

- Verslag doen van zijn ervaringen, Interpretaties en waarderingen.

Type verwerkingsvormen

Schema

X

X

+/-

X

+/-

X

+

X

+/X

+/-

X

X

X

X

X

X

X

X

X

X

+

X

X

-

+

16

3.1.5 Deelvraag 3 De respondenten geven aan dat de eindtermen van CKV (Domein D) nauwelijks geraadpleegd worden bij de beoordeling van de CKV verwerkingen. Hierover wordt gezegd door een respondent, man: “Alle opdrachten staan vast in wat ze moeten doen….. Eerlijk gezegd ben ik dat dus een beetje uit het oog verloren.” Een andere reactie: “Op het moment dat wij een verandering in opdracht aanbrengen checken wij of het binnen de eindtermen verantwoord is. Maar als we dan eenmaal op de rit zijn met het bedenken van uitwerkingen daarbinnen niet meer.”

Echter vinden ze wel dat de verwerkingsvormen grotendeels voldoen aan de eisen die worden gesteld in de eindtermen. Het verschilt per verwerkingsvorm welke eindtermen worden ‘behandeld’. Er zijn weinig verwerkingsvormen die alle eindtermen in zich hebben. Historische achtergronden worden schaars aangeboden.

Zij worden bijvoorbeeld geïnterpreteerd als kunstgeschiedenis of onderzoek doen.

“Om nou….het is best lastig…dan ga je toch een soort kunstgeschiedenis achtige kant op,” zegt respondent. Of: “... niet….uhhh….ja dat zit dan meer in extra informatie opzoeken bijvoorbeeld…over de architect , over …uhh kunstenaar, choreograaf, ik zeg maar wat,” zegt een respondent, vrouw vol twijfel.

Slechts één van de respondenten is van mening dat CKV niet gaat om eindtermen, feiten en verslaglegging maar om de persoonlijke ervaring en beleving met het kunstwerk: “Of ik het altijd helemaal eens ben met wat daar staat over … De historische achtergrond, wie de schilder was/….. Maar dat het juist gaat over of je een persoonlijke relatie met het kunstwerk kan hebben. En heel vaak staan die feitjes….die kunnen het ook heel erg in de weg staan. En ik vind dus eigenlijk een persoonlijke relatie van de leerling met de kunstvorm, dat kunst je iets kan geven uhhh je iets kan vertellen over het leven. Dat is belangrijk.”

Samenvattend zou er verondersteld kunnen worden dat er weinig belang wordt gehecht aan de gestelde eindtermen (Domein D) waar een verwerkingsvorm aan moet voldoen, om een toets valide te kunnen noemen of niet.

Het antwoord op de vraag welke verwerkingsvormen volgens de respondenten het meest valide en betrouwbaar toetsen is zichtbaar gemaakt in bovenstaand schema en gebaseerd op de antwoorden in de open interviews en de focusgroep. In de meest linker kolom staat de indeling per type verwerkingsvorm vermeld. In de tweede kolom staan de door onze respondenten meegebrachte verwerkingsvormen waarvan zij vinden dat dit goede verwerkingsvormen zijn voor het beoordelen van de reflectie op een CKV ervaring. Hierbij is dezelfde volgorde en indeling naar type aangehouden als in schema 1, verwerkingsvormen. In de volgende vier kolommen is zichtbaar welke eindtermen bij de betreffend verwerkingsvorm aan bod komen. Ten slotte laat de laatste kolom zien of de betreffende verwerkingsvorm enige mate van betrouwbaarheid heeft.

Uit de verwerkingen van de interviews in bovenstaand schema blijkt voor de mondelinge verwerkingsvormen dat de beoordeling hiervan redelijk valide is. Ze meten grotendeels dat wat ze moeten meten tijdens het gehele proces en gaan vooral over persoonlijke beleving en de meningsvorming van de leerling. Dit geldt in de grootste mate voor de presentatie voor de klas. De beoordeling heeft betrekking op alle vier de eindtermen (Domein D).

Ook de beoordeling van de expertmethode is volgens dit schema redelijke valide.

De schriftelijke verwerkingsvormen zijn met hun duidelijke beoordelingscriteria redelijk transparant voor leerlingen. Echter de mate van validiteit van de beoordeling is hier lager. Het gaat hier meer om de vorm dan om de inhoud van een opdracht. Wat een respondent, een man, hierover zegt: “Met name de handelingsdelen die ze inleveren, of ze ergens geweest zijn. Aan de hand van die kijkwijzer kunnen ze vragen beantwoorden. Ik vind dat minimaal. De vragen zijn zo gesteld dat ze met een heel kort antwoord al voldoen aan de vraag die er staat. Vanuit mijn kennis, vind ik het te mager, maar beoordeel ik van of ze de vragen hebben beantwoord, ja, dan is het al heel snel een voldoende of een goed en dan wordt het een hatseflats, klaar inleveren, afgesloten werk!”

Bij de beeldende verwerkingsvormen, zo wordt dit ook door de respondenten in de interviews genoemd, is de betrouwbaarheid laag, voor leerlingen niet altijd helder en sterk afhankelijk van het gevoel, de visie en het specialisme van de beoordelaar. Deze verwerkingsvormen voldoen wat betreft de validiteit van een beoordeling wel allemaal aan het derde genoemde aspect van de eindtermen, te weten, ‘de leerling moet met betrekking tot de culturele ervaring deze koppelen aan ervaringen met praktische activiteiten’. Omdat beeldende verwerkingsvormen ook mede worden beoordeeld op vorm, wat geen onderdeel is van de eindtermen (Domein D), maakt dat deze verwerkingsvorm ook minder valide genoemd zou kunnen worden.

Bij de gecombineerde opdrachten is het schriftelijke gedeelte, het onderzoek met vooraf gestelde criteria redelijk betrouwbaar te beoordelen. Dit kun je niet zo maar zeggen van het beeldende gedeelte. Deze betrouwbaarheid van het beeldende gedeelte is wederom afhankelijk van het gevoel, de visie en het specialisme van de beoordelaar. Alleen wanneer er duidelijk vooraf gestructureerde criteria beschikbaar zijn wordt deze vraag met ja beantwoord. Over een antwoord op de vraag, of een collega die de betreffende verwerkingsvorm beoordeelt tot een zelfde oordeel zou komen zijn de respondenten niet duidelijk. Een respondent, vrouw geeft hier weer wat andere in meer of mindere mate ook zegen:

17

“Dat weet ik niet. Ik hoop het wel, ik hoop het van harte maar weet je, het is, vooral als je het hebt over eigen mening en persoonlijke ervaring, dan zit je op heel glad ijs.”

Een enkele respondent is wel overtuigd van een zelfde beoordeling door een collega. Anderen zeggen dat de beoordeling afhankelijk is van de ontwikkeling, de ervaring en het eigen specialisme van een docent. Ook het eigen gevoel van een docent en het zichtbaar zijn van het proces speelt een rol bij de beoordeling. Een respondent hierover: “Het heeft ook met eigen ontwikkeling te maken natuurlijk hè. We zijn ook alle twee (lees: docenten) een ander mens. Maar ik denk wel dat heel veel op te vangen is door duidelijke criteria vooraf te stellen. En als ik naar de opdracht kijk die we nu op school hebben… staat er wel een duidelijke opdracht maar niet de duidelijke criteria waar letten wij nou op als docent.”

3.2

Beschrijving Focusgroep

De focusgroep wordt beschreven aan de hand van de dik gedrukte gestelde vragen.

Elke vraag zal los van elkaar worden besproken.

Welke beoordelingscriteria wegen het zwaarst bij het beoordelen van een reflectie op een ervaring?

Vooraf aan het beantwoorden van deze vraag hadden de respondenten een lijst met antwoorden op de vraag uit de individuele interviews voor zich. We vroegen hen een top 5 te maken van deze criteria. Wat opmerkelijk was is dat er vrijwel iedereen meteen instemmend reageerde op onderstaande respondent: “Ja, deze punten hier staan eigenlijk meestal op mijn lijstje, wat wil ik straks terugvinden in hun werk, waar ga ik ze op beoordelen en dat is naar gelang je de opdracht hebt gesteld zijn dat andere punten.”

Er zijn geen algemeen geldende beoordelingscriteria en er is geen vaste 1 t/m 5 schaal te geven aan beoordelingscriteria. Welke criteria het zwaarst tellen hangt af van de verwerkingsvorm. Daarnaast kunnen ook criteria in zwaarte verschuiven in het maakproces door bijvoorbeeld tijdsdruk. Er wordt aangegeven dat het beoordelen van een vrije opdracht waarbij de eindresultaten allemaal verschillen, je met verschillende maten meet. Dit komt de betrouwbaarheid niet ten goede. De voorkeur ligt dan ook bij een zelfde opdracht voor de hele klas met dezelfde criteria. Criteria die per verwerkingsvorm worden samengesteld. Bij de vervolgvraag of er dan misschien algemene criteria zijn die binnen elke verwerkingsvorm geldend naar voren komen, werd de boodschap, betrokkenheid, het hebben van de ervaring en de vorm van het eindproduct genoemd. Opmerkelijk hierbij is dat “vorm” niet in de eindtermen naar vormen komt maar dus wel als beoordelingscriteria worden genoemd.

Is het mogelijk deze criteria voor alle verwerkingsvormen te laten gelden?

De gestelde vraag overlapt de antwoorden van de eerst gestelde vraag. De beoordelingscriteria die hiervoor genoemd zijn kun je laten gelden. Echter, de ene keer speelt het een heel belangrijke rol wat de ervaring zelf is en hoe dat verwoord of verbeeld wordt terwijl op andere momenten is een hele grote betrokkenheid bij een opdracht van belang. De beoordelingscriteria zullen allen wel voorkomen maar de accenten die worden gelegd verschillen. De boodschap zal misschien niet altijd duidelijk te beoordelen zijn. Het proces is altijd van belang, de X-factor is altijd van belang, als de leerling lekker gaat komt er ook iets goeds. Ook wordt afwerking en netheid genoemd; deze staan niet in de eindtermen (Domein D).

Is het mogelijk de verschillende verwerkingsvormen met elkaar te vergelijken? Één van de deelnemende respondenten is van mening dat je als docent CKV in alle disciplines moeten kunnen lesgeven, van alle disciplines iets moet afweten om te kunnen beoordelen wat een leerling maakt. De verschillende verwerkingsvormen met elkaar vergelijken moet dan ook kunnen mits je met duidelijke beoordelingscriteria werkt (toegepast op de verschillende disciplines). Deze respondent spreekt dan over de gecombineerde eindopdracht (zie schema 1 verwerkingsvormen). Leerlingen hebben als te beoordelen resultaat allen een ander soort eindproduct. Door de andere deelnemende respondenten wordt hier een kanttekening bij geplaatst. Het is van belang dat je vooraf weet welke basiskennis een leerling heeft voordat je ze aan zo’n soort opdracht laat beginnen zodat je hier ook de beoordelingseisen op kan inzetten. Dit is niet bij alle opdrachten even goed in te schatten. De voorkeur gaat dan ook uit naar opdrachten waarbij de discipline en vorm van het eindresultaat voor elke leerling gelijk is.

Het merendeel van de deelnemers is van mening dat je verschillende verwerkingsvormen (van verschillende disciplines) binnen één groep leerlingen niet goed (valide en betrouwbaar) kan beoordelen. Sommige opdrachten zijn meer valide, andere meer betrouwbaar. Dit heeft ook te maken met dat docenten vanuit hun eigen discipline beoordelen. Zoals een respondent, vrouw het zegt: “Je hebt een bepaalde professionaliteit maar ook een affiniteit.”

Ook wordt er uitgesproken dat de kennis van elk discipline niet altijd in huis is om tot een valide en betrouwbaar oordeel te kunnen komen over gemaakt werk. Een animatie beoordelen zonder kennis of kunde van animatie wordt dan al gauw lastig. Eveneens een muzikale compositie zonder verstand van muziek. Deelnemende respondenten geven aan overdonderd te worden door het “wow effect”; het ziet er goed uit maar hier is nog niets mee gezegd over de inhoud van het werk. Is het ook echt goed? Dit is dan ook de reden dat bijna alle

18

deelnemende respondenten graag gebruik maken van de kennis van een expert. Is het niet in en bij het lesgeven dan wel als hulp bij het beoordelen van werk waarbij een andere discipline wordt aangesneden dan die van henzelf. Werken met experts in en na de lessen draagt volgens hen bij aan de ontwikkeling en kennis van de CKV docent. Zoals ook in het schema van deelvraag 3 te zien is hebben we binnen CKV te maken met verschillende categorieën verwerkingsvormen. Daar binnen kunnen de verwerkingsvormen onderling ook erg verschillen. Een beeldende verwerkingsvorm vraagt om andere criteria dan schriftelijke verwerkingsvormen en deze zijn daarom ook niet zomaar met elkaar te vergelijken. Verwerkingsvormen zijn wel met elkaar te vergelijken wanneer zij gelijke eindtermen behandelen en in dezelfde verwerkingsvorm categorie vallen. Dit komt doordat naast inhoudelijke beoordelingscriteria volgens de respondenten ook nog andere aspecten meewegen met het beoordelen van een verwerkingsvorm zoals de affiniteit van de docent en de inzet van de leerling.

Bij welke van jullie meegenomen producten beoordeel je het meest valide en betrouwbaar datgene wat je wilt beoordelen en waarom?

Op deze vraag meent het grootste deel van de deelnemende respondenten dat vooral de duidelijke beoordelingscriteria en de omschrijving van een opdracht essentieel zijn voor een valide en betrouwbare beoordeling. Dat het transparant is wat er moet gebeuren en wat er van de leerlingen wordt verwacht. Ook een collega zal dan in staat moeten zijn de opdracht op eenzelfde wijze te beoordelen. Het type verwerkingsvorm vindt men in deze van ondergeschikt belang. Zij kunnen dan ook geen rangorde aangeven in de verwerkingsvormen. Een respondent, een man zegt hierover: “In principe is de opdracht duidelijk omschreven. Waar deze aan moet voldoen dat kan ik ook communiceren met een collega. Die zou het ook kunnen zien. Dan zou het niet enorm moeten verschillen.”

Daarnaast menen respondenten dat het in de beleving van de culturele ervaring ook gaat om een stuk verwondering. Volgens een respondent, een man: “Ik vind een stukje creatief denken ook wel heel erg belangrijk. Als ze dan verwondering hebben gehad en ook op een andere manier naar iets kunnen kijken, dan ga je echt dat creatief denken inzetten. Dan ga je die vaardigheid ook wel toepassen in jouw toekomst om verder te komen.” Deze respondent zegt hiermee dat je ervaringen meeneemt in de manier waarop je in het leven staat. Je kunt op vele manieren de boodschap/het verhaal vertellen. Hij beoordeelt dus niet alleen de aspecten van de eindtermen maar neemt in zijn beoordeling de aspecten mee die hij zelf belangrijk vindt.

Bij welke van de meegenomen producten is de kans het grootst dat collega’s onafhankelijk van elkaar tot een zelfde oordeel komen?

Deze vraag heeft betrekking op de betrouwbaarheid van een beoordeling. Op de school van enkele respondenten geeft iedere docent of enkele docenten van de sectie CKV zonder overleg met de sectie eigen opdrachten. Het type opdracht is hierbij afhankelijk van eigen voorkeur, interesse of netwerk van een docent. Men vertrouwt hierin meestal wel op elkaars expertise. Een uitspraak hierover van een respondent, een man; “We leunen ook heel erg op datgene wat onze eigen voorkeur heeft, ons eigen interesse heeft of wat je zelf kunt regelen binnen contacten die je hebt. De ene docent doet dit de andere doet dat.”

Andere respondenten verbazen zich hierover; leerlingen van eenzelfde niveau zouden hierdoor op andere criteria beoordeeld worden. Een bewering die ter tafel komt is dat dit niet uniek is voor CKV maar bij elk vak zo is.

Bij een beoordeling door een andere collega vindt men dat in ieder geval het proces dat een leerling heeft doorgemaakt zichtbaar moet zijn. Als je geen inzicht hebt in het proces dan kan iedereen de opdracht wel gedaan hebben. In deze discussie worden ook, naast de docent en de leerling, door respondenten de ouders genoemd als argument waarom de beoordelingscriteria duidelijk en helder moeten zijn om discussie te vermijden.

Net als bij de vorige vraag vindt men het uiteindelijk niet uit maken welke verwerkingsvorm het meest geschikt is om tot een eensluidend oordeel te komen. De beoordelingscriteria moeten helder en duidelijk zijn. Dit maakt het volgens een respondent ook makkelijker leerlingen zelf hun werk te laten beoordelen. Deze beoordeling zou vervolgens weinig moeten verschillen met een beoordeling door een andere docent.

19

Is het mogelijk tot een concluderend beeld te komen betreft de beoordeling en keuze van verwerkingsvormen CKV? Eerst is er even wat verwarring over de vraag zelf. Het gaat er hier echter om of wij met elkaar consensus kunnen bereiken over de ideale verwerkingsvormen die gewoon altijd goed zijn,dan kies je voor valide en betrouwbare verwerkingsvormen voor het vak CKV en dan meet je wat je wilt meten, onafhankelijk van wie het werk beoordeelt. Als je naar de gegeven antwoorden kijkt kun je hier de conclusie trekken dat er geen consensus is onder de aanwezige respondenten. Het gaat het er om dat elke verwerkingsvorm op verschillende beoordelingscriteria wordt beoordeeld maar zij kunnen deze geen rangorde geven. Het is elke keer anders. Het is bij elke opdracht een ander aspect dat aan de orde komt en /of een accent krijgt. Het is juist die afwisseling die uiteindelijk een compleet en volledig beeld van de leerling oplevert aan de hand van alle criteria die ze aan de orde willen laten komen. Een respondent, een vrouw, hierover: “Maar ik vind het ook helemaal niet erg als er een onderdeel in zit waar je meer kijkt; hoe heeft de leerling zich open gesteld, dat is misschien wat minder precies, dat zit er bij ons ook in.�

Meerdere respondenten zien er dus geen bezwaar in als onderdelen van een beoordeling zoals aspecten van inzet misschien niet helemaal precies zijn. Bij deze vraag blijkt ook weer dat respondenten andere beoordelingsaspecten meetellen dan de eindtermen (Domein D). In de verslaglegging van de beoordeling zit bij de meesten wel wat ruimte. Het lijkt er op dat het de respondenten meer gaat over de juiste beoordelingscriteria om te beoordelen dan dat zij zich bewust zijn van de validiteit en betrouwbaarheid van een beoordeling. Een respondent beweert iets anders en heeft op school wel eens de proef op de som genomen met betrekking tot een betrouwbare beoordeling. Werkstukken van leerlingen zijn in de vakgroep door een aantal docenten beoordeeld zonder dat hen de criteria of betrokken leerlingen bekend waren. Deze holistische beoordeling bleek niet te verschillen met de analytische van de vakdocent. De conclusie van deze respondent is dat je blijkbaar vanuit je vakkundigheid goed beoordeelt. Anderen beamen dit ook.

20

4.0

Conclusie, discussie en aanbevelingen

4.1

Conclusie

Met bovenstaande methode, de verzamelde en geanalyseerde data is het onderzoek naar de verschillende verwerkingsvormen en de beoordeling ervan zorgvuldig onderzocht.

De bevindingen op de onderzoeksvraag: “Wat vinden vakdocenten geschikte verwerkingsvormen voor CKV ervaringen, hoe beoordelen ze die en welke toetsen volgens hen het meest valide en betrouwbaar de eindtermen?” staat hieronder vermeld.

De verwerkingsvormen die de geselecteerde respondenten geschikt vinden voor CKV ervaringen variëren opmerkelijk. Ze zijn onder te verdelen in vier categorieën namelijk: mondelinge, schriftelijke, beeldende verwerkingsvormen en een combinatie van twee categorieën verwerkingsvormen.

Respondenten geven aan de afwisseling van verschillende verwerkingsvormen belangrijk te vinden.

Daarnaast hangt de keuze van de te gebruiken verwerkingsvorm samen met de organisatie en outillage van het vak op school en het specialisme of de onzekerheid van de docent. In theorie is de variatie aan verwerkingsvormen heel prettig, docenten kunnen blijkbaar uit veel vormen kiezen en er is veel afwisseling voor de leerling. Echter in de praktijk betekent dit dat de inhoud en toetsing van het vak per school en zelfs ook per docent kan verschillen.

Hoe deze verwerkingsvormen worden beoordeeld, wordt beantwoord aan de hand van criteria, eindtermen en transparantie. Uit de antwoorden blijkt dat de eindtermen van CKV (Domein D) nauwelijks geraadpleegd worden bij de beoordeling van de CKV verwerkingen. Dit komt naar voren uit de beoordelingscriteria die vooraf worden gesteld en worden gemeten. De respondenten hechten bijvoorbeeld grote waarde aan de ontwikkeling die een leerling doormaakt en de onderbouwde persoonlijke mening en ervaring. Maar daarnaast meten de docenten ook andere aspecten zoals vorm, taal en ontwikkeling die niets te maken hebben met CKV en de daarbij horende eindtermen. De docent is zich niet bewust van het feit dat ze niet de eindtermen in hun verwerkingsvormen toetsen. Zij hebben een ander uitgangspunt. Het uitgangspunt is dat de verwerkingsvorm aansluit bij de culturele ervaring van de leerling. Dit maakt dan ook dat bij elke verwerkingsvorm de beoordelingscriteria weer anders zijn en er geen algemeen geldende criteria door de respondenten benoemd kunnen worden. Er is geen vaste rangorde te geven aan beoordelingscriteria. In de praktijk werkt dit systeem prima. De docenten meten wat ze willen meten echter komt dit niet overeen met de eisen van de overheid.

Welke verwerkingsvorm toetst ten slotte dan het meest valide en betrouwbaar de eindtermen?

Een lastige kwestie gezien we erachter zijn gekomen dat het uitgangspunt vaak niet de eindtermen is.

Omdat de docent andere uitgangspunten heeft bij de beoordeling en niet bewust uitgaat van de eindtermen hebben we alle beoordelingscriteria van de verwerkingsvormen naast de eindtermen gelegd en gekeken naar de validiteit en betrouwbaarheid. Hieruit blijkt dat de combinatie opdrachten het meest valide en betrouwbaar te beoordelen zijn.

Er is geen consensus onder de respondenten betreft de beoordeling en keuze van valide en betrouwbare verwerkingsvormen CKV. Dit komt omdat elke verwerkingsvorm op verschillende beoordelingscriteria wordt beoordeeld en de respondenten hier geen rangorde aan kunnen geven. Het is juist die afwisseling die uiteindelijk een compleet en volledig beeld van de leerling oplevert aan de hand van alle criteria die ze aan de orde willen laten komen. Het gaat de respondenten meer over de juiste beoordelingscriteria om te beoordelen dan dat zij zich bewust zijn van de validiteit en betrouwbaarheid van een beoordeling. De respondenten zijn allen van mening dat ook zonder criteria je in de praktijk vanuit je vakkundigheid goed beoordeelt. Uit dit onderzoek blijkt dus dat de validiteit en betrouwbaarheid van de beoordeling van verwerkingsvormen CKV zal verhogen wanneer de verwerkingsvormen worden gevormd aan de hand van de eindtermen. Zouden we nu moeten kiezen voor een meest valide en betrouwbare verwerkingsvorm uit de gekozen verwerkingsvormen van onze respondenten dan kom je (volgens schema 2 validiteit en betrouwbaarheid) uit op de combinatie van twee verschillende type verwerkingsvormen.

Dat beoordelen en kunstvakken een lastige relatie met elkaar hebben is bekend. Dit onderzoek heeft dat nogmaals bevestigd. Wat dit betreft hebben de onderzoeksresultaten ons ook niet echt verrast. Omdat we beiden ook CKV docenten zijn klinken de uitkomsten bekend in de oren. Echter verbaast het ons wel dat er zo weinig rekening gehouden wordt bij het bedenken en uitvoeren van verwerkingsvormen met de eindtermen (Domein D) van CKV. Een verklaring hiervoor zou kunnen zijn dat het eindexamen CKV veel ruimte geeft voor eigen interpretatie, opvattingen en weging in beoordeling van toetsen. Docenten maken hier dan ook gebruik van.

21

4.2

Discussie

Het onderzoek van Damen (2004) kijkt naar de manieren waarop leerlingen verslag doen van culturele activiteiten en naar criteria en normen die worden gehanteerd voor de beoordeling van CKV. Wij sluiten met dit onderzoek hierbij aan. Wij kijken welke verwerkingsvormen docenten geschikt vinden voor CKV ervaringen en hoe ze die beoordelen maar ook welke verwerkingsvormen nu het meest valide en betrouwbaar de eindtermen toetsen.

Respondenten hebben geen voorkeur voor één specifieke verwerkingsvorm maar kiezen voor afwisseling (schema 1). Als je kijkt naar schema 2 validiteit en betrouwbaarheid, blijkt de validiteit van de verwerkingsvormen en de betrouwbaarheid wisselend uit te pakken. De respondenten achten hun collega’s in staat vanuit ervaring op de juiste beoordeling te komen. Echter kunnen de meesten dit niet met volledige zekerheid zeggen waarmee de betrouwbaarheidstabel in schema 2 ruimte over laat voor twijfel.

Zijn we zelf kritisch genoeg geweest bij het analyseren van de resultaten wat betreft het waarheidsgehalte van de uitspraken die gedaan zijn? Gezien we beiden ook CKV docent zijn maakt dat soms weinig woorden al voldoen om te begrijpen waar de CKV docenten het over hebben. Echter is het ook een gevaar. Doordat de data zo dichtbij de eigen ervaring van de onderzoeker ligt is er oplettendheid vereist betreffende eigen interpretaties en ervaringen. Daarnaast merkten we dat bij het afnemen van de interviews de respondenten allemaal erg voorzichtig waren in het voorleggen van verwerkingsvormen die zij wilden aandragen als voorbeeld. Wij vroegen ons af waardoor wij dit gevoel kregen en hebben onze respondenten daarom deze vraag aan het einde van de focusgroepbijeenkomst voorgelegd. Hieronder enkele reacties van de aanwezige respondenten: “Het vak zelf is al heel divers. Je bent een echte allrounder op bepaalde gebieden. Iedere discipline die je behandelt is al een vak op zich. En dan krijg je nog de verwerkingsvormen die ook nog eens heel divers zijn, alleen al omdat ze weer aanhaken op een andere discipline waar je weer op andere dingen let. Dus er is zo’n enorme diversiteit waar je eigenlijk alles van af moet weten dat je je niet perse op ieder terrein de expert voelt.”

“Je wilt een diversiteit laten zien die er is. Ik vind ook op verschillende gronden wel eens iets heel goed, dat wil ik ook laten zien. Je keus daarbinnen van wat goed is kan ook wel eens heel gevarieerd zijn. Je hoeft niet de top eruit te plukken, dat vind ik ook niet reëel.”

“Ik ben iemand die graag dingen maakt. Mijn eigen werk kan ik verantwoorden en presenteren. Maar het werk van leerlingen voelt ook als eigen werk maar heb je totaal geen zeggenschap over gehad. Het is van die leerlingen maar het is ook van mij. Ja dat vind ik lastig. Ik denk dat het voor mij zoiets is.”

Wat je hierop kunt zeggen is dat dus de door ons geselecteerde respondenten onzekerheden kennen over de invulling van het vak CKV. Er is binnen de eindtermen CKV zoveel ruimte voor docenten voor eigen invulling dat het, zo blijkt, ook onduidelijkheid oproept. Zij doen erg hun best en werken hard binnen hun eigen lespraktijk. Zij zitten vol ideeën, zijn geïnspireerd maar zij weten meestal niet hoe het op andere scholen toegaat. Dit maakt ze onzeker over de vraag of ze het wel ‘goed’ doen of wat er nu precies wordt verwacht.

Dit onderzoek heeft een overzicht opgeleverd (zie schema 1 en 2) dat direct bruikbaar is voor docenten en wellicht al wat onzekerheden kan weg nemen. Dit is een praktische bruikbare opbrengst van het onderzoek.

Hoe meet je de eindtermen nu op een valide en betrouwbare manier? Dit blijken de respondenten erg lastig te vinden gezien de keuze van de verwerkingsvormen verschilt en de beoordelingscriteria zo uiteen lopen. De validiteit en betrouwbaarheid zijn niet bij elke verwerkingsvorm even sterk vertegenwoordigd. Wanneer er geen algemeen geldende beoordelingscriteria zijn is er sprake van schuine beoordeling. Er wordt dus elke keer iets anders beoordeeld en getoetst. Docenten hechten ook veel waarde aan andere, niet in de eindtermen (domein D) benoemde criteria zoals inzet, ontwikkeling, vorm en taalgebruik. Is het überhaupt mogelijk om ervaring en beleving op een valide en betrouwbare manier te meten?

Veel van de respondenten kiezen voor beeldende verwerkingsvormen. Deze keuze van verwerkingsvormen kan te maken hebben met het feit dat we bij de selectie van onze respondenten met veel aspecten rekening hebben gehouden maar niet met het eigen specialisme van de respondent. Al onze respondenten hebben een beeldende achtergrond. Dit heeft wellicht invloed op de resultaten van het onderzoek. Echter uit de praktijk blijkt dat het grootste deel van alle CKV docenten een kunstvak of taal doceren (Ganzeboom, Haanstra, Damen & Nagel 2003). Vooral kunstvakdocenten zijn voorstander van meer aandacht voor praktische kunstzinnige activiteiten (Domein C). De invulling van praktische activiteiten wordt door onze respondenten vooral gebruikt voor de een beeldende reflectie op de culturele ervaring (Domein D).

We hebben gebruik gemaakt van respondenten die verschillen in achtergrond, werkplek, leeftijd, opleiding ervaring en sekse en hebben hiermee een zo algemeen mogelijk beeld kunnen schetsen. Wat de validiteit beperkt is dat deze selecte steekproef slechts een beeld van 6 respondenten geeft en dus niet toonaangevend is voor alle docenten CKV. Het onderzoek is betrouwbaar te noemen gezien de data analyse van het onderzoek zeer zorgvuldig is uitgevoerd. Zowel afzonderlijk als gezamenlijk hebben de onderzoekers eerst literatuur gelezen betreffende het onderzoeksonderwerp. Uit de individuele aanmerkingen en bevindingen is er gezamenlijk een selectie gemaakt van relevante literatuur. De interviews zijn gezamenlijk samengesteld en geformuleerd. De afname van de interviews is één keer gezamenlijk geoefend zodat beiden onderzoekers tot overeenstemming konden komen wat betreft een duidelijke en overeenkomstige manier van interview afname. De interviews zijn verdeeld en elke

22

onderzoeker heeft drie interviews afgenomen. Hierna volgde een terugkoppeling naar de partner onderzoeker.

Vervolgens is er altijd eerst samen, vervolgens individueel en uiteindelijk weer samen gewerkt aan data analyse en rapportage. Door de zorgvuldige manier van interviewen, transcriberen en coderen hebben wij een betrouwbare analyse gemaakt van de antwoorden op de interview vragen en de bijeenkomst van de focusgroep.

Een andere onderzoeker zou daarmee tot dezelfde conclusies komen.

In welke mate de focusgroep een waardevolle toevoeging was aan ons onderzoek is de vraag.

De interviews zelf hebben heel veel informatie opgeleverd. De focusgroep heeft niet veel nieuwe inzichten gebracht maar vooral veel bevestigd waaronder de onzekerheid betreffende het vak CKV onder de respondenten.

Hiermee is er dan ook sprake van de beoogde triangulatie wat de betrouwbaarheid van het onderzoek verhoogt.

De respondenten konden hun ideeën en gedachten over het vak ventileren en daarmee ook van elkaar leren. De respondenten hebben behoefte aan overleg over de invulling van de inhoud van het vak CKV. Echter gebeurt dit weinig binnen de deelnemende scholen. Een vervolg op deze focusgroep of uitbreiding van regionale focusgroepsbijeenkomsten was dan ook een van de uitgesproken wensen. De focusgroep is een initiatief wat we zeker willen herhalen.

4.3

Aanbevelingen:

Beleidsaanbevelingen Uit het onderzoek blijkt dat het aspect waarbij de toelichting naar historische achtergrond, een onderdeel van van de eindtermen CKV (Domein D), nauwelijks aan de orde komt. Sowieso blijken onze respondenten niet of nauwelijks aandacht te besteden aan de eindtermen van CKV. Nieuwe publicatie in de vakbladen met betrekking tot de interpretatie en toepassing van de eindtermen, geïllustreerd door voorbeelden uit de lespraktijk kan hierover onduidelijkheden wegnemen. Het initiëren van regionale focusgroepen zou hierbij een mooie toevoeging zijn om hun ervaringen te delen en zo tot een duidelijker en gemeenschappelijk beeld te komen over wat CKV kan en moet bieden. Wij adviseren tevens deze eindtermen weer eens opnieuw tegen het licht te houden met de ervaringen in de huidige CKV praktijk. In hoeverre zijn de eindtermen nog geschikt, wellicht moeten ze worden aangepast?

De eindtermen geven zoveel ruimte voor eigen interpretatie en eigen invulling dat iedereen zijn eigen pad kiest.

Dit kan een uitdaging zijn maar ook onduidelijkheid scheppen zowel voor docent als leerling. De inhoud van het vak is afhankelijk van de eigen invulling van een docent, de financiële middelen en mogelijkheden binnen de organisatie en outillage van een school.

Aanbevelingen voor de lespraktijk Veel respondenten voelen zich niet kundig of in ieder geval onzeker als het gaat om het beoordelen van een andere discipline dan de discipline(s) van hun eigen specialisme.

Dit pleit er voor om in de CKV sectie op een school te laten bestaan uit docenten met een verschillende kunstzinnige achtergrond. Zij kunnen elkaar ondersteunen in een betrouwbare en valide beoordeling van CKV werk. Verder is het, gezien het verschil in validiteit en betrouwbaarheid tussen de verschillende verwerkingsvormen, raadzaam om gebruik te maken van differentiatie in verwerkingsvormen zodat een evenwichtig betrouwbaar en valide totaalbeeld ontstaat. Het is hierbij de bedoeling dat de mix van verwerkingsvormen er vooral voor zorgt dat alle eindtermen aan bod komen. De ene verwerkingsvorm is geschikter en toetst andere aspecten van de eindtermen dan de andere en in de afwisseling kun je uiteindelijk alle aspecten van de eindtermen aan de orde laten komen. Wanneer het mogelijk is binnen een sectie CKV verschillende docenten te laten rouleren in verschillende klassen waarbij een docent zijn eigen specialisme specifiek en krachtig kan inzetten raden wij dit aan. Als laatste zou je docenten kunnen ondersteunen en begeleiden met de aanpak en uitvoering van het beoordelingsproces.

Aanbevelingen voor vervolgonderzoek Uit ons onderzoek blijkt dat bij de beoordeling van alle verwerkingsvormen blijkt dat het in ieder geval belangrijk is de criteria duidelijk en transparant te definiëren.

Het zou interessant zijn om verder onderzoek te doen naar het betrouwbaar en valide beoordelen van een reflectie op een CKV ervaring. Hierbij denken wij aan interviews met leerlingen en lesobservaties.

Observaties in de klas kunnen meer inzicht geven in de lespraktijk van een docent; toetst hij in zijn lespraktijk ook werkelijk datgene dat hij in de interviews en de focusgroep stelt. Interviews met de leerlingen kunnen veel inzicht geven in de mate van transparantie van de beoordelingscriteria en de bedoeling van de criteria.

In ander onderzoek kan gekeken worden naar de verschillende typen van beoordelingen toegepast op één specifieke reflectie op een CKV ervaring. Hierbij zou men de vraag kunnen stellen in welke mate welk type van beoordeling nu het meest evenwichtige valide en betrouwbare resultaat geeft.

23

Literatuurlijst -

Damen, M.L. (2004), Het Kunstdossier CKV1: docenten en beoordelingsverschillen, Cultuur + Educatie, 4(10), 50-69. Utrecht: Cultuurnetwerk Nederland.

-

Dinsbach, G. (2007), Handreiking school examen culturele kunstzinnige vorming havo/ vwo, SLO.

-

Ganzeboom H., Haanstra, F., Damen, M-L. & Nagel, I. (2003). Momentopnames CKV1, Eindrapportage CKV1 volgtraject. Cultuur + Educatie, 3(8), 67. Utrecht: Cultuurnetwerk Nederland.

-

Kamp, M.T. van de, Drie J. van, Rijlaarsdam G. (ILO-UVA), Admiraal, W. (ICLON) (2012). Beoordelen praktijkwerk kunstvakken, voorwaarden voor een betrouwbare en valide beoordeling, Kunstzone (12), 6-8. Stichting Kunstzone.

-

Vlies, Anne Marie (2012), Door middel van RTTI, mogelijkheden voor het beoordelen van praktijkwerk, Kunstzone (12), 14-15. Stichting Kunstzone.

24

Bijlagen

Bijlage 1 : Lijst van respondenten

26

Bijlage 2 : Deel 1 half - open interview

27

Bijlage 3 : Deel 2 open interview

28

Bijlage 4 : Opzet en draaiboek focusgroep

29

Bijlage 5 : Draaiboek deelnemers focusgroep

31

Bijlage 6 : Lijst van gekozen verwerkingsvormen respondenten (voor gebruik in de focusgroep)

32

Bijlage 7 : Codeerschema

33

25

Bijlage 1:

Lijst van respondenten

Deelnemende scholen en docenten: Openbare Scholengemeenschap de Amersfoortse Berg, Amersfoort 2 docenten CKV Rix Wisse Geslacht/ leeftijd Vrouw, 53 jaar Functie Docent beeldend, CKV en cultuur coรถrdinator Opleiding CKV Nascholingen bij Jan Mulder/VU e Ervaring CKV min. 10 jaar VMBO, 1 jaar Havo 4 Stefan Brans Geslacht/ leeftijd Functie Opleiding Ervaring CKV Opleiding CKV

Man, 30 jaar Docent beeldend, CKV Docenten opleiding beeldende kunst (Zwolle) e 3 jaar beeldend docent, 1 jaar CKV Geen, via een speciaal project tijdens de opleiding aan de orde gekomen.

OSB, Amsterdam 1 docent CKV Peter van den Heuvel Geslacht/ leeftijd Functie Opleiding Ervaring CKV Opleiding CKV

Man, 57 jaar Docent beeldend, CKV Docenten opleiding beeldend 4 jaar Havo, daarvoor VMBO Geen speciale opleiding of scholing

Veenlanden college, Mijdrecht 2 docenten CKV Karin Borgman Geslacht/ leeftijd Vrouw, 48 jaar Functie Docent beeldend, CKV Opleiding Docenten opleiding tekenen Ervaring ckv 8 jaar Opleiding ckv Geen speciale opleiding of scholing Jeroen Franssen Geslacht/ leeftijd

Man, 33 jaar

Functie Opleiding Ervaring CKV Opleiding CKV

Docent beeldende vakken, CKV Docenten opleiding beeldend 6 jaar Ja aan de Academie voor Beeldende Vorming Tilburg

Fioretti College, Lisse 1 docent CKV Tesse Kok Geslacht/ leeftijd Functie Opleiding Ervaring CKV Opleiding CKV

Vrouw, 25 jaar Docent CKV, beeldende vorming, Docent Nieuwe Media Docentenopleiding aan de Academie voor Beeldende Vorming Amsterdam 4 jaar ja

26

Bijlage 2:

Deel 1 Halfopen interview

Vragen: 1.

Van welke verwerkingsvormen maak je gebruik of welke opdrachten geef je voor het verwerken van culturele ervaringen en reflectie hierop?

2.

Wordt er in de door u geselecteerde verwerkingsvorm volgens de eindterm van CKV beoordeeld?

3.

Bent u na het horen van de eindtermen van mening dat de verwerkingsvorm die u heeft meegebracht nog steeds van goede kwaliteit is?

4.

Wat beoordeel je bij CKV precies? de ervaring zelf, de reflectie hierop, de verslaglegging van de ervaring en/of reflectie? de waardering?

5.

Wat zijn de beoordelingscriteria die u voor uzelf vooraf stelt?

6.

Wat bepaalt de voldoende/onvoldoende grens? (groei individu/ relatief t.a.v. de groep of vaste maat).

7.

Welke aspecten worden meegenomen in het beoordelen van een verwerking van een CKV ervaring?

Zoals: - de individuele situatie leerling, - de artistieke/ technische vaardigheden van de leerling, - de individuele mogelijkheden/beperkingen leerling, - de financiële mogelijkheden mbt het bezoeken van een culturele activiteit, - het niveau van de culturele activiteit?

- het geslacht?

-…….

8.

Welke factoren wegen het zwaarst in de beoordeling mee?

9.

Wie beoordeeld de resultaten? Hebben leerlingen ook nog invloed of inspraak? ( is het alleen de docent, de peers, de individuele leerling, het type opdracht, de tijd…. )

10.

Welke verwerkingsvorm heeft uw voorkeur en waarom?

27

Bijlage 3:

Deel 2 Open interview

Interview vragen te beantwoorden voor alle 3 de meegenomen producten: 1.

Kun je per verwerkingsvorm aangeven en beargumenteren waarom deze vorm van verslaggeving volgens jou geschikt is voor het beoordelen van de reflectie op de CKV ervaring?

Waarom is hier (in dit product) de reflectie op de CKV ervaring goed te beoordelen? (ofwel: waarom is deze vorm geschikt om te beoordelen wat je wil beoordelen).

2.

Wat was de gestelde opdracht vooraf aan deze uitwerking?

(Is het een vrije opdracht geweest? Was het aan de leerlingen om een geschikte vorm te kiezen? Was de verwerkingsvorm specifiek voor deze reflectie gekozen door jou als docent? )

3.

4.

Is er bij deze verwerkingsvorm altijd het product goed te beoordelen?

Zou een collega die deze verwerkingsvorm moet beoordelen tot een zelfde oordeel komen?

28

Bijlage 4:

Opzet en draaiboek focusgroep

Wie: De docenten die meewerken aan het onderzoek Focusgroep kan doorgang vinden wanneer minimaal drie docenten uit het onderzoek hieraan kunnen/willen meewerken. We zullen bij uitnodiging van de participanten hen voorleggen wat de voordelen voor hen zijn ( inspiratie, peer to peer, nieuwe verwerkingsvormen, zelfreflectie) Wat: Gesprek tussen respondenten die op elkaar reageren betreft de verschillende vragen met betrekking tot bruikbare verwerkingsvormen voor CKV reflecties. Hierin geven zij aan wat zij belangrijk vinden en wat hun gevoelens en beweegredenen hierbij zijn.

Waar: AHK Waterlooplein 11-13 Wanneer: Avond in April Duur: max. 1.5 uur incl. toelichting, voorbereiding Werkwijze: Voorafgaand: Uitnodiging focusgroep – datumplanner Afname van individuele interviews Ruimte bespreken AHK/ koffie & thee Verslaglegging met audio, dubbele opname apparatuur aanwezig voor eventuele uitval.

Huisjes reserveren (via Maria) Bedankjes halen Uitprinten van vragen.

Datum van focusgroep bijeenkomst: Voorbereiding: check dubbele audio koffie thee halen.

Ontvangst (10 min) Voorstellen respondenten (5min) Inleiding met korte toelichting van onderzoek en voortgang. (5 min) Bedoeling focusgroep (5min) Bekijken van aanwezige verwerkingsopdrachten (20 min) Vraagstelling : (per vraag max. 10 min) Hoofdvraag van de focusgroep: Welke verwerkingsvormen van CKV activiteiten zijn volgens de focusgroep het meest valide en betrouwbaar te beoordelen? en waarom?

Met betrekking tot de hoofdvraag worden onderstaande vragen besproken in de focusgroep: -

Welke beoordelingscriteria wegen het zwaarst bij het beoordelen van een reflectie op een ervaring?

Deze vraag gaat in op de beoordelingscriteria die eerder worden bevraagd in de individuele interviews.

Daarom is het gepast hier een werkvorm te gebruiken die ingaat op de antwoorden die reeds gegeven zijn. Dit doen we doormiddel van het weergeven van de individuele antwoorden gegeven in eerder afgenomen interview geprint op aparte kaartjes. We leggen hier de respondenten de individuele antwoorden voor van de algehele groep en willen daaruit (met consensus) een top 5 samenstellen.

-

Is het mogelijk deze criteria op alle verwerkingsvormen te laten gelden?

-

Is het mogelijk de verschillende verwerkingsvormen met elkaar te vergelijken?

-

Bij welke van jullie meegenomen producten kun je het beste beoordelen wat je wilt beoordelen en waarom?

-

Bij welke van de meegenomen producten is de kans het grootst dat collega’s onafhankelijk van elkaar tot een zelfde oordeel komen?

-

Is het mogelijk tot een concluderend beeld te komen betreft de beoordeling en keuze van verwerkingsvormen CKV?

29

Handleiding voor vraagstelling, leiders: -

Vragen op laptop laten verschijnen en voorlezen (Tilly)

-

Vragen uitdelen op papier (Jeanine)

-

Koffie en thee op tafel, vrij om te pakken (dit vooraf melden) Er is geen pauze in verband met concentratie, aandacht en onderling overleg.

-

Leiden van gesprek n.a.v. vraagstelling (Jeanine) ( hulpvragen: wat kunnen we hieruit concluderen? Wat kunnen we hieruit opmaken? Wat bedoel je hiermee te zeggen? Als ik het even mag samenvatten‌‌. Mag ik het als volgt samenvatten?

-

Tijdbewaking max. 10 min per vraag (Tilly)

-

Wanneer geen consensus, vaststellen en doorgaan.

-

Zorgen dat een ieder aan het woord komt en dat bij elke vraag een ander het gesprek start.

(Jeanine)

Afsluitend woord, bedankjes.

30

Bijlage 5:

Draaiboek deelnemers focusgroep

Focusgroep woensdag 17 april 2013 Rix, Stefan, Jeroen, Tesse, Peter Tijdspad

Voorbereiding: check dubbele audio/ koffie thee 10 min Ontvangst / Voorstellen respondenten 5 min Inleiding met korte toelichting van onderzoek en voortgang 5 min Bedoeling focusgroep 15 min Bekijken van aanwezige verwerkingsopdrachten 60 min Vraagstelling : (per vraag max. 10 min)

Welke verwerkingsvormen van CKV activiteiten zijn volgens de focusgroep het meest valide en betrouwbaar te beoordelen? en waarom?

Met betrekking tot de hoofdvraag worden onderstaande vragen (10 min. per vraag) besproken in de focusgroep: -

Welke beoordelingscriteria wegen het zwaarst bij het beoordelen van een reflectie op een ervaring?

Deze vraag gaat in op de beoordelingscriteria die eerder worden bevraagd in de individuele interviews.

Daarom is het gepast hier een werkvorm te gebruiken die ingaat op de antwoorden die reeds gegeven zijn. Dit doen we doormiddel van het weergeven van de individuele antwoorden gegeven in eerder afgenomen interview We leggen hier de respondenten de individuele antwoorden voor van de algehele groep en willen daaruit (met consensus) een top 5 samenstellen.

In de interviews noemden jullie al: - de ervaring zelf, - de mate van betrokkenheid - of de leerling zelf iets heeft toegevoegd: of ik een verrassingseffect krijg bij een verwerking, - of de boodschap is overgekomen die ze wilden brengen, - het (zichtbare) proces, - de flow/xfactor tijdens het proces - ik let ook heel erg op de afwerking ( bij een praktische opdracht) - het eindproduct zelf - ……..

-

Is het mogelijk deze criteria op alle verwerkingsvormen te laten gelden?

-

Is het mogelijk de verschillende verwerkingsvormen met elkaar te vergelijken?

-

Bij welke van jullie meegenomen producten kun je het beste beoordelen wat je wilt beoordelen en waarom?

-

Bij welke van de meegenomen producten is de kans het grootst dat collega’s onafhankelijk van elkaar tot een zelfde oordeel komen?

-

Is het mogelijk tot een concluderend beeld te komen betreft de beoordeling en keuze van verwerkingsvormen CKV?

31

Bijlage 6:

Lijst van gekozen verwerkingsvormen door respondenten (voor gebruik in de Focusgroep)

Door jullie genoemde ‘goede’ verwerkingsvormen: *

Expertgroep (onderzoek kunst/project museum, vervolgens peer to peer: leerling wordt expert en wordt rondleider waarin hij eigen expertise laat zien)

*

Muziekproject en presentatie samen met de kunstenaar(s) (nav een onderzoek is het proces, samen met de kunstenaar is de verwerking/reflectie)

*

Interieur ontwerpen (praktische opdracht na onderzoek architectuur)

*

Animatie met muziek

*

Eigen muziekstuk componeren

*

Poster

*

Reisgids (bij architectuur & design /internationalisering)

*

Eigen tekening/schilderij (praktische opdracht n.a.v onderzoek surrealisme)

*

Verslag

*

Onderzoek met het ontwerpen van een eigen outfit (n.a.v. onderzoek Victor&Rolf/Aboriginals)

*

Combineer 2 disciplines in eigen praktische opdracht (= eindopdracht)

*

Foto-opdracht ‘moordverhaal’

*

Verslag n.a.v. artikel/onderzoek de school als gevangenis (artikel architectuur toepassen op de architectuur van de school: welke keuzes zijn gemaakt?)

*

Schrijfopdracht (artikel over Tinkebel & dierenactiviste: kijken vanuit een ander perspectief)

32

Bijlage 7:

Coderingsschema’s

Coderingsschema’s Vraagstelling onderzoek: Wat vinden vakdocenten geschikte verwerkingsvormen voor CKV ervaringen, hoe beoordelen ze die en welke zijn volgens hen het meest valide en betrouwbaar te beoordelen?

Deze hoofdvraag splitsen we voor het coderen uit in drie onderzoeksvragen met daaronder de interview vragen die hierbij horen: 1. Wat vinden vakdocenten geschikte verwerkingsvormen voor CKV ervaringen.

2. Hoe beoordelen ze deze verwerkingsvormen 3. En welke zijn volgens de docenten het meest valide en betrouwbaar te beoordelen.

Deelvraag 1 Deze vraag wordt onderzocht aan de hand van de onderstaande interviewvragen: Halfopen interview Vraag 1 Van welke verwerkingsvormen maak je gebruik of welke opdrachten geef je voor het verwerken van culturele ervaringen en de reflectie daarop?

Antwoorden interviews

Kernlabel

Beeldende verwerking in kleur lijn en vorm Collage Flyer Poster Filmpje Tekenachtige verwerkingen Fotografie Mobiles Stripverhaal Voornamelijk beeldend Multimedia Voorstelling Muziekstuk Foto opdracht

Beeldend

Interview

Mondeling

Groepsgesprek Kwis of spel Presenteren in klas Presentatie met de kunstenaar Kijkwijzer Verslagen

Schriftelijk

Associatieopdracht Foto opdracht gekoppeld aan theorie Essay met foto’s Combinatie opdracht van twee disciplines Outfit ontwerpen

Combinatie Theoretisch/ praktisch

Geen echte voorkeur

Geen voorkeur

Actief zelf bezig zijn

Geen verwerkingsvorm

Geen verslagen

Geen verwerkingsvorm

33

Open interview Vraag 8 Welke verwerkingsvorm heeft jouw voorkeur en waarom?

Deze vraag splitsen we in twee vragen: 1. Welke heeft de voorkeur?

2. En waarom heeft deze uw voorkeur?

1. Welke heeft de voorkeur?

Antwoorden interviews

Label

Kernlabel

De afwisseling

Geen voorkeur

Geen voorkeur

Geen duidelijke voorkeur

Geen voorkeur

Alle beeldende verwerkingen

Praktisch schriftelijk

Presenteren voor de klas

Praktisch mondeling

School als gevangenis

Praktisch schriftelijk en theoretisch schriftelijk Geen

Geen verwerking

Praktisch Combinatie Theoretisch/Praktisch Geen Verwerking

2. Waarom heeft deze de voorkeur?

Antwoorden interviews

Kernlabel

Toepassing in praktijk

Didactisch

De afwisseling Leren aan peers

Organisatie

De beperkte tijd Outillage lokalen Eigen beeldende achtergrond

Specialisme docent

Specialisme docent Ervaring is voldoende

Geen verwerkingsvorm

Gezamenlijke ervaring

34

Deelvraag 2 1. Wat vinden vakdocenten geschikte verwerkingsvormen voor CKV ervaringen.

2. Hoe beoordelen ze deze verwerkingsvormen?

3. En welke zijn volgens de docenten het meest valide en betrouwbaar te beoordelen.

Deze vraag wordt onderzocht aan de hand van de onderstaande vragen: Halfopen interview Vraag 2 Wordt er in de door jou geselecteerde verwerkingsvormen volgens de eindtermen van CKV beoordeeld? Houden jullie daar rekening mee?

Vraag 3 Als je de eindtermen ziet, denk je dan dat de verwerkingsvormen die je hebt meegebracht van goede kwaliteit zijn? bij die eindtermen passen?

Vraag 4 Wat beoordeel je bij CKV precies? Als je de verwerkingsvormen van CKV beoordeelt?

Vraag 5 Wat zijn de beoordelingscriteria die je voor jezelf vooraf stelt?

Vraag 6 Wat bepaalt dan vervolgens de voldoende of onvoldoende grens?

Vraag 7 Welke aspecten worden meegenomen in het beoordelen van een verwerking van een CKV ervaring?

Vraag 8 Welke factoren wegen voor jou het zwaarst in de beoordeling mee?

Vraag 9 Wie beoordeelt de resultaten, hebben leerlingen ook nog invloed of inspraak

Vraag 2 Wordt er in de door jou geselecteerde verwerkingsvormen volgens de eindtermen van CKV beoordeeld?

Houden jullie daar rekening mee?

En tevens Vraag 3 De reflectie wordt beoordeeld aan de hand van verwerkingsvormen. Deze moeten volgens de eindterm van Domein D worden beoordeeld. Als je de eindtermen ziet, denk je dan dat de verwerkingsvormen die je hebt meegebracht van goede kwaliteit zijn? bij die eindtermen passen?

Antwoorden interviews Wel stukjes maar niet altijd voldoen aan eindtermen Toelichting van vorm en inhoud Verantwoording of uitleg geven is reflecteren Historische achtergronden is informatie zoeken Het gaat niet om feiten het gaat om de persoonlijke relatie Verslaglegging = verslagen maken Ervaring is je eigen mening vertellen Eindtermen worden niet vaak geraadpleegd Eindtermen worden gecheckt bij verandering van opdracht of nieuwe opdracht Diepgang mbt de eindtermen soms twijfelachtig Het totaalpakket voldoet wel aan de eindtermen

35

De respondenten geven aan dat de eindtermen van CKV ( Domein D ) nauwelijks gebruikt worden bij de beoordeling van de CKV verwerkingen. Echter vinden ze wel dat de verwerkingsvormen grotendeels voldoen aan de eisen die worden gesteld in de eindtermen. Het verschilt per verwerkingsvorm. Maar er is geen verwerkingsvorm die alle eindterm eisen in zich heeft. Historische achtergronden worden schaars aangeboden. Slechts één van de respondenten was van mening dat CKV niet gaat om eindtermen, feiten en verslaglegging maar om de persoonlijke ervaring met het kunstwerk. Een andere docent heeft twijfels over de diepgang van resultaten m.b.t. de eindtermen.

De meeste docenten beoordelen aan de hand van beoordelingscriteria. Deze worden vooraf aan de leerlingen ter beschikking gesteld. Deze criteria gaan vooral over reflectie op de ervaring, de ontwikkeling van de leerling, te weten de mening van de leerling en de persoonlijke ervaring.

Daarnaast worden er een groot aantal punten zoals punctualiteit, netheid en begrijpelijkheid in taal genoemd die vallen onder de beoordeling van de vorm van de verslaglegging in plaats van de inhoud.

Bij het bepalen van de voldoende en onvoldoende grens wordt er door veel van de geïnterviewde docenten gekeken naar inzet en de manier waarop de verslaglegging is vormgegeven. Het groepsgemiddelde wordt hierbij veelal meegewogen.

Als je gaat kijken naar wat docenten werkelijk belangrijk achten binnen de beoordelingscriteria hechten ze grote waarde aan de ontwikkeling die een leerling doormaakt en de wijze waarop deze zijn of haar mening weet te onderbouwen. Een enkele docent is gevoelig voor de extra moeite die een leerling in zijn of haar opdracht heeft gestopt.

Veel docenten beoordelen de verwerkingsopdrachten grotendeels zelf. Weliswaar gebeurd dit ook wel eens in samenspraak met leerlingen. Opvallend is dat docenten zichzelf niet altijd even goed in staat achten een discipline te beoordelen waar zijn niet in thuis zijn. Sporadisch wordt hiervoor dan een expert ingeroepen.

Vraag 4 Wat beoordeel je bij CKV precies? Als je de verwerkingsvormen van CKV beoordeelt?

Antwoorden interviews

Label

De waaromvraag De verslaglegging van de ervaring en reflectie De reflectie op de ervaring De reflectie binnen de verslaglegging Het vanuit verschillend perspectief zien De groei van de leerling Het zich openstellen Verbreden van de horizon Gedifferentieerd ervaren Variatie in toepassing verwerkingsvormen Het (zichtbare) proces Mening van de leerling

Reflectie Reflectie

Kernlabel

Reflectie Reflectie Reflectie Ontwikkeling Ontwikkeling Ontwikkeling Ontwikkeling Ontwikkeling Ontwikkeling Meningsvorming

36

Vraag 5 Wat zijn de beoordelingscriteria die je voor jezelf vooraf stelt?

Antwoorden interviews

Label

Kernlabel

Inzet Doorzettingsvermogen Groei Presentatievaardigheden Begrijpelijk Concrete inhoudelijke voorbeelden Verzamelde voorkennis Argumentatie Onderbouwde mening De waaromvraag Toelichting Persoonlijke ervaring Eigen mening Heldere boodschap Nette uitwerking Nette uitwerking Goed verwoorden Punctualiteit

Inzet Inzet Ontwikkeling Ontwikkeling Ontwikkeling Reflectie

Duidelijke structuur Inhoud compleet

Verslaglegging vorm Verslaggeving vorm

Reflectie Reflectie Reflectie Reflectie Reflectie Meningsvorming Meningsvorming Meningsvorming Verslaglegging vorm Verslaglegging vorm Verslaglegging vorm Verslaglegging vorm

Vraag 6 Wat bepaalt dan vervolgens de voldoende of onvoldoende grens?

Antwoorden interviews

Label

Groepsnorm Gemiddelde niveau Ervaring Aandacht is besteed Tijd aan is besteed Doorzetten en proberen Betrokkenheid inzet Enthousiasme Onderste uit de kan halen Buiten eigen kader hebben gekeken Kwaliteiten inzetten Groei (in proces) Proces zichtbaar Aandacht is besteed Vastgestelde criteria Inhoud compleet Voldoen aan lijst criteria Ik weet het vaak

Groepsnorm Groepsnorm Groepsnorm inzet inzet Inzet Inzet Inzet Inzet Inzet Ontwikkeling

Kernlabel

Ontwikkeling Ontwikkeling Ontwikkeling Verslaglegging vorm Verslaglegging vorm Verslaglegging vorm Verslaggeving vorm Eigen gevoel docent

37

Vraag 7 Welke aspecten worden meegenomen in het beoordelen van een verwerking van een CKV ervaring?

Antwoorden interviews

Label

Buiten grenzen kijken Cultureel niveau Proces Groei Inzet Betrokkenheid Verzorgd Visueel mooi Verricht voorwerk Volgens richtlijnen Helder en duidelijk Technische vaardigheden Artistieke vaardigheden

Ontwikkeling Ontwikkeling Ontwikkeling Ontwikkeling Inzet Inzet Verslaglegging vorm Verslaglegging vorm Verslaglegging vorm Verslaglegging vorm Verslaglegging vorm Verslaglegging vorm Ontwikkeling

Autisme of dyslexie

Kernlabel

Rugzakje

Vraag 8 Welke factoren wegen voor jou het zwaarst in de beoordeling mee?

Antwoorden interviews

Label

Kernlabel

De waarom vraag

Reflectie

Inhoud

Argumentatie De reflectie (het doen) Verwerking van ervaring Aangaan van nieuwe ervaring Het proces Mate van betrokkenheid Mening van de leerling Ervaring De boodschap

Reflectie Reflectie Reflectie Ontwikkeling Ontwikkeling Inzet Meningsvorming Meningsvorming Meningsvorming

Iets extra’s toegevoegd

Schepje extra

Een verrassingseffect De Xfactor/flow leerling?

Afwerking van de opdracht

Schepje extra Schepje extra Verslaglegging vorm

Vorm

38

Vraag 9 Wie beoordeelt de resultaten, hebben leerlingen ook nog invloed of inspraak?

Antwoorden interviews Peers beoordelen elkaar

Kernlabel Peers

Verslagen door de docent

Docent

De docent van de betrokken discipline De docent

Docent

Leerlingen zichzelf

Leerling

In samenspraak met docent

Samen

Met inspraak leerlingen

Samen

Met behulp van second opinion docent

Docent en ‘expert’

Docent

Deelvraag 3 1. Wat vinden vakdocenten geschikte verwerkingsvormen voor CKV ervaringen.

2. Hoe beoordelen ze deze verwerkingsvormen 3. En welke zijn volgens de docenten het meest valide en betrouwbaar te beoordelen.

Deze deelvraag is onderzocht aan de hand van de vragen in het open interview waarbij de respondenten werd gevraagd zelf 3 verwerkingsvormen mee te nemen die volgens hen geschikt zijn voor de beoordeling van een CKV ervaring. Na aanleiding van deze verwerkingsvormen werden onderstaande vragen gesteld: Open interview Vraag 1 Kun je per verwerkingsvorm aangeven en beargumenteren waarom deze vorm van verslaggeving volgens jou geschikt is voor het beoordelen van de reflectie op de CKV ervaring?

Vraag 2 Wat was de gestelde opdracht vooraf aan deze uitwerking?

Vraag 3 Voor elke verwerkingsvorm de vraag… was het product altijd goed te beoordelen?

Vraag 4 Zou een collega die deze verwerkingsvorm moet beoordelen tot eenzelfde oordeel komen?

De uitwerkingen van vraag 1 en 2 hebben we verwerkt in schema 1, verwerkingsvormen, blz 8, waarin valt af te lezen: - Een afbeelding van de verwerkingsvorm.

- De voorafgestelde opdracht.

- De belangrijkste beoordelingscriteria volgens de betreffende docent - Waarom deze opdracht geschikt is bevonden door de docent om CKV te meten.

39

Dan blijven er nog twee vragen over : Vraag 3 en 4 Vraag 3 Voor elke verwerkingsvorm de vraag… was het product altijd goed te beoordelen?

Verwerkingsvorm Outfit Kijkwijzer/ verslag Gecombineerde eindopdracht Essay – stelling name Moordverhaal Artikel school als gevangenis en foto’s

Antwoorden interview Bij alle opdrachten is het objectief maar ook een stukje subjectief, vooral als het gaat om smaak en vormgeving

Filmpje Kijkwijzer verslag Presentatie

Beoordeling is niet relevant.

Ik vind het niet belangrijk welk niveau het heeft.

De ervaring is belangrijk, persoonlijke ervaring.

nvt

Muziekproject en presentatie samen met de kunstenaar

Duidelijke criteria,De ervaring, openstellen, deelnemen is belangrijker dan kennis. Wel is verstoppen mogelijk.

Gaat om presentatievaardigheden, kennis is als tweede van belang.

Deels, op verschillende momenten meetbaar, het gaat om de boodschap. proces is belangrijk.

Duidelijke opbouw/structuur/criteria veel vrijere opdracht, ook een stukje subjectief, criteria wel bekend

deels

Poster

Duidelijke beoordelingscriteria

Ja

Animatie met muziek

Criteria niet altijd duidelijk bekend, niet altijd proces goed zichtbaar Beoordeling deels afhankelijk van specialisme docent

Deels

De expertgroep

Praktische opdracht interieur

Reisgids Tekening/schilderij

Muziekcompositie

Door de vooraf gestelde criteria voor een voldoende is het product altijd goed te beoordelen.

Kernlabel Nee Ja Deels Ja

deels

deels

Ja Deels

Nee

40

Vraag 4 Zou een collega die deze verwerkingsvorm moet beoordelen tot eenzelfde oordeel komen?

Verwerkingsvorm Outfit Kijkwijzer/ verslag Gecombineerde eindopdracht Essay – stelling name Moordverhaal Artikel school als gevangenis en foto’s Filmpje Kijkwijzer verslag Presentatie Muziekproject en presentatie samen met de kunstenaar De expertgroep

Tekening/schilderij

Praktische opdracht interieur Reisgids Animatie met muziek

Poster Muziekcompositie

Antwoorden interview

Kernlabel

Ja, het verschilt soms 0,3 tiende punt.

Ja

Ja, ik heb duidelijke doelstellingen.

Ja

Weet ik niet, met persoonlijke ervaringen zit je op glad ijs.

Ja, wel duidelijke criteria Geen duidelijke criteria, verwacht wel overeenkomstige beoordeling.

Is afhankelijk van docent.

Deels, afhankelijk van ervaring en specialisme docent Ja, op grond van en afhankelijk van ervaring docent Ja, op basis van goed vastgelegde criteria Ja, wanneer proces goed zichtbaar is (dat is niet altijd zo) Ja, als je als docent de criteria goed volgt Ondanks criteria afhankelijk van specialisme, eigen ontwikkeling en gevoel.

Nee Ja

Deels

Deels

Deels

Ja Deels

Ja Nee

41