Beoordelen in community art projecten van de geer prak

Beoordelen in community art projecten: authentiek beoordelen door docenten en externe opdrachtgevers

Praktijkonderzoek Anne van de Geer Master Kunsteducatie Amsterdamse Hogeschool voor de Kunsten Jaar: 2013/2014 Begeleider: Talita Groenendijk

Inhoudsopgave Samenvatting Leeswijzer 1. Inleiding en vraagstelling 1.1 Inleiding 1.1 Doel en onderzoeksvragen 2. Onderzoeksmethode 2.1 Selectie projecten 2.2 Respondenten 2.3 Dataverzameling 2.4 Data-analyse 3. Resultaten project Wij zijn de Wijk 3.1 Hoe beoordelen docenten en externe opdrachtgevers in community art projecten waarin leerlingen/studenten participeren?

3.1.1 Toets-taak: wat wordt er precies beoordeeld?

3.1.2 Context van beoordelen (fysiek en sociaal) 3.1.3 Beoordelingsinstrumenten 3.1.4 Beoordelingscriteria 3.1.5 Norm 3.1.6 Overeenstemming tussen docent en externe opdrachtgever 3.2 Hoe ervaren de leerlingen/studenten de beoordelingen door docenten en externe opdrachtgevers?

3.2.1 Toets-taak: wat wordt er precies beoordeeld?

3.2.2 Context van beoordelen (fysiek en sociaal) 3.2.3 Beoordelingsinstrumenten 3.2.4 Beoordelingscriteria 3.2.5 Norm 3.2.6 Overeenstemming tussen docent en externe opdrachtgever 3.3 Wat is de mate van authenticiteit van de toets?

3.4 Conclusie 4. Resultaten project Buurtschatten 4.1 Hoe beoordelen docenten en externe opdrachtgevers in community art projecten waarin leerlingen/studenten participeren?

4.1.1 Toets-taak: wat wordt er precies beoordeeld?

4.1.2 Context van beoordelen (fysiek en sociaal) 4.1.3 Beoordelingsinstrumenten 4.1.4 Beoordelingscriteria 4.1.5 Norm 4.1.6 Overeenstemming tussen docent en externe opdrachtgever 4.2 Hoe ervaren de leerlingen/studenten de beoordelingen door docenten en externe opdrachtgevers?

4.2.1 Toets-taak: wat wordt er precies beoordeeld?

4.2.2 Context van beoordelen (fysiek en sociaal) 4.2.3 Beoordelingsinstrumenten

1 2 3-8 3-7 8 9-12 9 9 10-11 12 13-19

13 13 14 14-15 15 15

16 16 16 17 17 17 17-18 19 20-27

20 20-21 21 21-22 22 22-23

23 23 24

4.2.4 Beoordelingscriteria 4.2.5 Norm 4.2.6 Overeenstemming tussen docent en externe opdrachtgever 4.3 Wat is de mate van authenticiteit van de toets?

4.4 Conclusie 5. Resultaten project Pop-up Gallery 5.1 Hoe beoordelen docenten en externe opdrachtgevers in community art projecten waarin leerlingen/studenten participeren?

5.1.1 Toets-taak: wat wordt er precies beoordeeld?

5.1.2 Context van beoordelen (fysiek en sociaal) 5.1.3 Beoordelingsinstrumenten 5.1.4 Beoordelingscriteria 5.1.5 Norm 5.1.6 Overeenstemming tussen docent en externe opdrachtgever 5.2 Hoe ervaren de leerlingen/studenten de beoordelingen door docenten en externe opdrachtgevers?

5.2.1 Toets-taak: wat wordt er precies beoordeeld?

5.2.2 Context van beoordelen (fysiek en sociaal) 5.2.3 Beoordelingsinstrumenten 5.2.4 Beoordelingscriteria 5.2.5 Norm 5.2.6 Overeenstemming tussen docent en externe opdrachtgever 5.3 Wat is de mate van authenticiteit van de toets?

5.4 Conclusie 6. Conclusie, discussie en aanbevelingen 6.1 Conclusie 6.2 Discussie 6.3 Aanbevelingen

24 24 24 25-26 26-27 28-33

Referenties

38

Bijlagen Bijlage 1 - Villa Bredero Bijlage 2 - Interviews Bijlage 3 - Codeerschema’s Bijlage 4 - Rubric Wij zijn Wijk Bijlage 5 - Logboek Villa Bredero Bijlage 6 - Beoordelingsformulier presentatie Villa Bredero Bijlage 7 - Beoordeling competenties Villa Bredero Bijlage 8 - Toelichting reflectieverslag Villa Bredero

39-55 39 40-42 43-45 46-48 49 50 51 52-55

28 28-29 29 29 29 30

30 30 31 31 31 31 31-32 22-33 34-37 34-36 36-37 37

Samenvatting In dit kleinschalig beschrijvend kwalitatief onderzoek wordt in kaart gebracht hoe docenten samen met externe opdrachtgevers beoordelen in authentieke kunsteducatieve community art projecten en hoe studenten/leerlingen dit ervaren, waarna de mate van authenticiteit van het beoordelen wordt omschreven door de uitkomsten van het onderzoek te vergelijken met theorie over authentiek beoordelen volgens het vijfdimensionaal model (5DM) van Judith Gulikers (2011), een model om de mate van authenticiteit van een toets te bepalen. Hierbij is vooral de overeenstemming tussen de toets en de criteriumsituatie (werkelijke beroepspraktijk) van belang.

Er worden in dit onderzoek drie community art projecten omschreven, waarvan er één plaatsvond op het Grafisch Lyceum in Utrecht (Wij zijn de Wijk) voor eerste- en tweedejaarsstudenten en twee projecten op het Bredero Lyceum in Amsterdam (Buurtschatten en Pop-Up Gallery) voor 4-havo leerlingen.

In dit onderzoek wordt op basis van interviews beschreven ‘hoe’ docenten samen met externe opdrachtgevers beoordelen en ‘hoe’ studenten/leerlingen dit ervaren (toets-taak, fysieke en sociale context, beoordelingsinstrumenten, beoordelingscriteria, norm en overeenstemming tussen docenten en externe opdrachtgevers). Tevens werd er gebruik gemaakt van document-analyse voor verdere analyse van de beoordelingsinstrumenten en criteria, waarna de resultaten werden vergeleken met de onderdelen van het vijfdimensionaal model van Gulikers (taak, omgeving, sociale context, vorm, resultaat/criteria).

Uit de onderzoeksresultaten blijkt dat de samenwerking tussen opdrachtgevers en docenten voor verbetering vatbaar is. Wanneer de beoordeling van de leerlingen/studenten zoveel mogelijk aansluiting zou kunnen vinden bij de criteria van de opdrachtgever en er van tevoren een heldere criteriumsituatie kan worden geschetst zou de toetsing beter aansluiten bij de praktijk, waarbij verder onderzoek gedaan zou moeten worden naar de criteria ten aanzien van community art.

1

Leeswijzer Deze onderzoeksrapportage is opgedeeld in vier delen. Hoofdstuk 1 bestaat uit de inleiding en de relevantie van het onderzoek, waarna de vraagstelling wordt beschreven. In hoofdstuk 2 wordt ingegaan op de onderzoeksmethode. De onderzoeksresultaten zullen per onderzocht project beantwoord worden in het resultatenstuk de hoofdstukken 3, 4 en 5. Het laatste deel van deze rapportage (hoofdstuk 6) staat in het teken van de voornaamste conclusies van het onderzoek, waarbij er ruimte is voor discussie en tot slot zullen er aanbevelingen gedaan worden voor vervolgonderzoek.

2

1. Inleiding en vraagstelling 1.1 Inleiding De aanleiding van dit onderzoek was het thema beoordelen binnen verschillende onderzoeken van het Lectoraat Kunst- en Cultuureducatie van de Amsterdamse Hogeschool voor de Kunsten (lopend tot en met december 2015). Van daaruit ontstond de vraag naar hoe ik het beste kan beoordelen in mijn eigen beroepspraktijk, waarin ik werkzaam ben als kunsteducator en als vertegenwoordiger Kunst en Theater binnen het Leger des Heils in Amsterdam. Vanuit mijn achtergrond als docente beeldende kunst trachtte ik kunst en welzijnswerk samen te brengen in het kunsteducatieve project Buurtschatten, een community art project waarin cliënten van het Leger des Heils (dak- en thuislozen) samenwerkten met buurtbewoners door het vervaardigen van kunstobjecten die gemaakt werden van bestaande voorwerpen met een persoonlijk verhaal.

Het project vond plaats op twee locaties in de stad: de Plantagebuurt in Amsterdam Centrum en de Bloemenbuurt in Amsterdam Noord. Een vijftal 4 Havo-leerlingen van het Bredero Lyceum (Havo/VWO) in Amsterdam Noord participeerden in het project in het kader van het vak Villa Bredero (bijlage 1). Door middel van buurtonderzoek en organisatorische, vormgevende en kunstzinnige taken in de Bloemenbuurt werkten de leerlingen in ‘ levensechte leersituaties’. Als opdrachtgever gaf ik de leerlingen gedurende het project tussentijdse opdrachten met betrekking tot theorie over het Leger des Heils en opdrachten ten aanzien van het interviewen van de buurtbewoners. De leerlingen werkten tevens in de praktijk aan de kunstobjecten samen met de cliënten en buurtbewoners, onder begeleiding van een kunstenaar en brachten de verhalen van de deelnemers in beeld door middel van woord en beeld aan de hand van de interviews.

Dit project viel voor de leerlingen van het Bredero Lyceum te scharen onder de authentieke kunsteducatie. “Authentiek leren past onder de brede paraplu van het nieuwe leren, met aandacht voor zelfregulatie en metacognitie, ruimte voor zelfverantwoordelijk leren, leren in levensechte leeromgevingen en leren als gesitueerde en sociale activiteit” (Haanstra,2011, p.9). De vier belangrijke criteria van authentiek leren zijn: ‘inhoudelijke oriëntatie op de leefwereld van de leerlingen’, ‘relevantie van het leren buiten de school’,’leren door complexe en complete taaksituaties’ en ‘onderlinge communicatie en samenwerking tussen leerlingen’.

Al deze vier pijlers kwamen in het project Buurtschatten in meer of mindere mate aan bod. In het ideaal van authentieke kunsteducatie zijn alle vier criteria nauw met elkaar verbonden. Het eerste criterium ‘oriëntatie op de leefwereld van de leerlingen’,” is inhoudelijk georiënteerd op de leefwereld van de leerlingen en hun voorkennis, het moet ruimte laten voor persoonlijke stellingname en aandacht schenken aan eigen interesses en behoeften” (Haanstra 2011, p. 11).

Het criterium bleek als startpunt voor het project lastig, omdat de leerlingen nog geen ervaring hadden met het ontmoeten van dak- en thuislozen. Later in het project konden ze de ervaringen wel betrekken op hun eigen leefwereld en een persoonlijke stellingname innemen. Dit leverde vooral maatschappelijk besef op. Bij het tweede criterium, ‘relevantie van het leren buiten de school’, haalt men bijvoorbeeld de professionele wereld in de school (zoals door een kunstenaar in de klas) of er worden activiteiten buiten de school georganiseerd. De leeractiviteiten zijn hierbij vaak afgeleid van de activiteiten van professionals ( Haanstra, 2011, p. 17). Bij het derde criterium, ‘leren door complexe en complete taaksituaties’, gaat het niet over het overdragen van door de leraar voorgestructureerde leerinhouden. De leeromgeving wordt gekenmerkt door een complexe en complete taaksituatie: complex, omdat de taaksituatie gaat over meerdere kennis- en 3

vaardigheidsaspecten en compleet, omdat het een betekenisvolle eenheid is die niet bij voorbaat door de docent is opgedeeld in deeltaken (Haanstra, 2011, p. 22). Bij het vierde criterium ‘onderlinge communicatie en samenwerking tussen de leerlingen’ betekent het onder meer dat de leerlingen groepstaken uitvoeren, onderling overleggen en discussiëren, standpunten bepalen en presenteren en eventueel ook onderlinge beoordeling (Haanstra, 2011, p. 26).

Authentieke educatie vraagt echter ook om authentieke beoordeling. Er zou dus op een authentieke manier beoordeeld moeten worden. Als externe opdrachtgever wist ik niet goed hoe ik de leerlingen zo goed mogelijk kon gaan beoordelen en in hoeverre dit in samenspraak zou zijn met de coaches van Villa Bredero. Onderwijskundige Judith Gulikers deed onderzoek naar authentiek beoordelen binnen de kunsteducatie en geeft tevens aan dat wanneer er gewerkt wordt met een externe opdrachtgever, de taaksituatie hiermee al authentieker is dan wanneer er niet met een externe opdrachtgever gewerkt wordt. “Een zeer concrete leerervaring is dat het werken met een echte opdrachtgever (of in ieder geval een in de ogen van de leerlingen echte opdrachtgever) en het opleveren van een echt resultaat voor deze opdrachtgever of klant kan leiden tot een authentieke ervaring voor leerlingen” (Gulikers, 2011, p. 58). Maar hoe gaat die beoordeling dan in zijn werk in samenwerking met externe opdrachtgevers?

Om inzicht te verkrijgen hoe er in de praktijk authentiek beoordeeld wordt in dergelijke projecten, werden er in dit onderzoek nog twee andere kunsteducatieve community art projecten in samenwerking met externe opdrachtgevers bekeken. De andere projecten die langs de meetlat van de authentieke kunsteducatie werden gelegd waren het project Wij zijn de Wijk van het Grafisch Lyceum in Utrecht en het project Pop-Up Gallery, tevens een project van Villa Bredero.

De mbo-vakschool organiseerde het project Wij zijn de Wijk met de doelstelling om buurtbewoners, ondernemers en andere betrokkenen in de wijk met elkaar te verbinden. Bewoners en ondernemers konden creatieve opdrachten plaatsen bij studenten Grafische Vormgeving. Die varieerden van het maken van visitekaartjes en websites voor de ondernemers in de buurt tot het maken van een vijftien meter hoge muurschildering voor woningcoöperatie Bo-Ex. Groepjes studenten werden aan een opdrachtgever verbonden. Er waren veel verschillende opdrachtgevers, maar in dit onderzoek is gekeken naar de samenwerking van een groepje studenten met één opdrachtgever, de samenwerking met een schrijfster uit de wijk, waarbij de studenten zich bezig hielden met de vormgeving van haar eerste boek.

De Pop-Up Gallery was een samenwerking van leerlingen van Villa Bredero en kunstenaars van Noordwaarts +, een groep kunstenaars die zich hebben gevestigd in verschillende ateliers op een bedrijventerrein in Amsterdam Noord. Ze organiseren tevens workshops, open ateliers en exposities op het terrein en in de wijk. De leerlingen van Villa Bredero selecteerden samen met de kunstenaars kunstwerken en organiseerden een Pop-Up Gallery in de school tijdens de jaarlijkse ouderavond. De kunstenaars en leerlingen dachten samen na over een verbinding met de wijk. De kunstenaars hoopten op onderlinge ontmoeting en het aantrekken van een breder publiek. De leerlingen deden ook binnen dit project vaardigheden op binnen de competenties van Villa Bredero.

Net als het project Buurtschatten gold voor beide projecten dat het eerste criterium van de authentieke kunsteducatie, ‘oriëntatie op de leefwereld van de leerlingen’, moeilijk is wanneer het voor de leerlingen gaat om een eerste kennismaking met het werkveld of de werkwijze van de opdrachtgever. De overige drie criteria waren wel (in meer of mindere mate) van toepassing.

Beide projecten hadden –net als het project Buurtschatten- een sterke verbinding met de gemeenschap en kunnen beiden gezien worden als vormen van community art. Als kanttekening moet opgemerkt worden dat er heden ten dage nog steeds veel discussie bestaat over wat 4

community art precies is. De term wekt vaak verwarring in de hand doordat het accent of op het artistieke of op het maatschappelijke (welzijn) wordt gelegd (Trienekens, van Hoorn & Damen, 2006).

Kunst en kunsteducatie wordt nu meer dan ooit in het beleid gezien als een middel om sociale cohesie te versterken. Steeds meer kunstenaars lijken samen te werken met 'kunstenaars' uit de gemeenschap. De verbinding met de gemeenschap staat dan ook in alle drie de projecten centraal. Ook hierover bestaat discussie. Soms is de gemeenschap helder omlijnd, andere keren is de relatie tussen de betrokkenen minder duidelijk: “ bij geëngageerde kunstprojecten in stadswijken waarin de gemeenschap centraal staat kan de gemeenschap heel actief betrokken zijn of slechts op indirecte wijze tot inspiratie zijn” (Trienekens, van Hoorn & Damen, 2006, p. 23).

Het feit dat alle drie de projecten een sterke verbinding hebben met de gemeenschap en hiermee sociale cohesie in de buurt willen genereren betekent dat de authentieke kunsteducatie hierin een grote rol speelt. De leerlingen werken vanuit complexe en complete taaksituaties in groepen en vooral het belang van leren buiten de school speelt een grote rol in community art projecten. Er is ten allen tijde tevens sprake van reflectie op de leefwereld van de leerlingen.

Judith Gulikers gaat in haar artikel ‘Authentiek beoordelen: kansen voor het kunstonderwijs’ in op de relatie tussen de doelen van onderwijs en de manier van toetsing (Gulikers, 2011). “De manier van beoordeling bepaalt in belangrijke mate het leergedrag van leerlingen in het onderwijs.

Indien men meer zelfverantwoordelijk en samenwerkend leren door middel van levensechte taken wil bewerkstelligen moet de beoordeling daarmee in overeenstemming zijn. Dat vereist een andere aanpak dan toetsing van feiten en inzichten met betrekking tot een kennisgebied dat door de leerkracht is vastgesteld en gepresenteerd. In de onderzoeksprojecten naar authentieke kunsteducatie is aan het belangrijke aspect van beoordeling nog weinig aandacht gegeven” (Haanstra, 2011, p.27).

Gulikers omschrijft dat onderzoek laat zien dat wanneer leerlingen ervaren dat het onderwijs en de toetsing verschillende boodschappen afgeven over wat er geleerd moet worden, die niet met elkaar overeen komen, dit een negatief effect zal hebben op hun leerprestaties (Gulikers, 2011). Een dergelijke ‘mismatch’ is kenmerkend voor onderwijsvernieuwingen. Wanneer de toetsing authentiek is zullen de toetstaken ook authentiek moeten zijn. Afgezien van de vier criteria van authentieke kunsteducatie omschreven door Haanstra is het belangrijk om het begrip ‘authenticiteit’ nader toe te lichten, omdat het onderwijs doorgaans niet is afgestemd op de werkelijkheid van alledag. Gulikers verwijst naar onderzoek van Messick (1994). Hij stelt een vraag die cruciaal is voor een goede beschrijving van het begrip authenticiteit, namelijk: authentiek ten opzichte van wat? Hiermee zegt hij dat de authenticiteit van iets alleen beschreven kan worden in relatie tot iets anders. Zo kan een toets authentiek zijn ten opzichte van het onderwijs maar niet authentiek ten opzichte van de werkelijkheid.

Authentieke toetsen nemen de beroepspraktijk als uitgangspunt; leerlingen moeten geconfronteerd worden met situaties uit de beroepspraktijk (Gulikers, 2011, p. 43). Voorafgaand aan een project zouden die situaties altijd eerst moeten worden omschreven; welke gedragingen en denkprocessen gebruikt de beroepsbeoefenaar en op welke manier? Je benoemt de uitkomsten waarvoor je de leerlingen opleidt en deze geven vervolgens ook richting aan de beoordelingscriteria.

Van een eerstejaars-leerling kan bijvoorbeeld niet verwacht worden dat hij/zij taken van een afgestudeerde of professional kan uitvoeren. Daarom zal een toets gebaseerd moeten zijn op situaties uit de beroepspraktijk, maar dan op het niveau van de leerling. Een dergelijke situatie, die als uitgangspunt dient voor het ontwikkelen van de authentieke toets, heet de criteriumsituatie (Gulikers, 2011, p. 44).

5

In het artikel van Gulikers (2011) wordt het vijfdimensionaal model (5DM) beschreven (Gulikers, Bastiaens & Kirschner, 2004). Het model bestaat uit vijf verschillende toetskenmerken. Hoe meer kenmerken op de beroepspraktijk lijken (criteriumsituatie), des te authentieker is de beoordeling/toets. Het 5DM biedt binnen dit onderzoek interessant reflectiemateriaal ten aanzien van de vraag in hoeverre er door de school en opdrachtgever authentiek beoordeeld wordt en hoe de leerlingen dit ervaren.

De vijf toetskenmerken die de toets meer of minder authentiek kunnen maken (Gulikers, 2011, p.

45): 1.Taak: de toetsopdracht(en) die de leerling moet uitvoeren tijdens de toets.

2. Omgeving: de fysieke omgeving waarin de leerling de toetsopdracht moet uitvoeren.

3. Sociale context: de interactie(on)mogelijkheden in de toetssituatie.

4. Vorm: de manier van toetsen; de toetsmethode, onafhankelijk van de inhoud.

5. Resultaat/Criteria: de output die uiteindelijk wordt beoordeeld (product/proces) en de punten waarop deze prestatie beoordeeld wordt.

De toets wordt niet alleen naast de vijf criteria gelegd, maar of een toets authentiek is wordt bepaald door de mate van overeenkomst met de criteriumsituatie. Bijvoorbeeld: een toets in samenwerking uitvoeren is alleen authentiek als deze taak in de praktijk ook in een team wordt uitgevoerd (Gulikers, p. 47). Deze criteriumsituatie moet voor de docent, de opdrachtgever en de leerlingen van tevoren helder zijn.

6

7

1.2 Doel en onderzoeksvragen Ik beoog dat dit kleinschalige onderzoek leidt tot mogelijkheden tot het doen van aanbevelingen ten aanzien van beoordelen in authentieke kunsteducatieve community art projecten waarin leerlingen werken vanuit de vraag van externe opdrachtgevers. De nadruk ligt in dit onderzoek op de samenwerking tussen de docent en de externe opdrachtgevers. Hoe werken zij samen en wat zijn hierbij de aanbevelingen voor de praktijk? Ook de ervaringen van de leerlingen en studenten worden opgenomen in het onderzoek en als laatste worden de uitkomsten vergeleken met het 5DM om uitspraken te kunnen doen over de mate van authenticiteit in beoordelen binnen de projecten.

Binnen dit onderzoek is ervoor gekozen om het onderwerp te exploreren, omdat er nog weinig onderzoek naar gedaan is, waarbij het onderzoek van Gulikers naar authentiek beoordelen als vergelijkingsmateriaal wordt ingezet.

De hoofdvraag die ik in dit onderzoek zal gaan beantwoorden luidt: “Hoe* beoordelen docenten en externe opdrachtgevers leerlingen/studenten in authentieke kunsteducatieve community art projecten die ontstaan zijn vanuit de vraag van een externe opdrachtgever, hoe ervaren leerlingen/studenten deze beoordelingen en in hoeverre is die toetsing authentiek? *Het ‘hoe’ beoordelen wordt door middel van zes deelvragen onderzocht, nl.: 1: Wat is de toets-taak: wat wordt er precies beoordeeld?

2: Wat is de fysieke1 en sociale context2 waar de leerling wordt beoordeeld?

3: Wat zijn de beoordelingsinstrumenten?

4: Wat zijn de beoordelingscriteria?

5: Wat is de norm3 van de beoordeling?

6: Hoe is de overeenstemming tussen docent en de externe opdrachtgever?

Voor de leerlingen/studenten geldt dezelfde onderverdeling in de zes deelvragen als voor de docenten en opdrachtgevers. Daarbij ligt de nadruk op de ervaringen van de leerlingen/studenten.

Het laatste deel van de onderzoeksvraag betreft vergelijking met de onderdelen van het 5DM (taak, omgeving, sociale context, vorm, resultaat/criteria) en wordt er gekeken naar de overeenkomst van de toetsing met de criteriumsituatie.

1

Fysieke context: beoordelingsomgeving

2

Sociale context: de context overeenkomstig de werkelijke beroepspraktijk (criteriumsituatie) en individuele beoordeling en/of groepsbeoordeling 3

Norm: absolute maat/relatief of persoonlijke ontwikkeling; criterion based/reference based/ipsatief

8

2. Onderzoeksmethode Het onderzoek is een ‘ multiple case study’ van een drietal projecten waarbij leerlingen/studenten werkten in een kunsteducatief community art project vanuit de vraag van een externe opdrachtgever. Op deze manier wordt er kleinschalig in kaart gebracht hoe er momenteel beoordeeld wordt door docenten en externe opdrachtgevers binnen authentieke kunsteducatieve community art projecten in opdracht van en in samenwerking met externe opdrachtgevers.

Tevens werden de ervaringen van de leerlingen/studenten onderzocht, zodat nagegaan kan worden hoe de leerlingen/studenten de samenwerking met de externe opdrachtgevers hebben ervaren en of de leerlingen/studenten de beoordeling als authentiek hebben ervaren. In het onderzoek wordt vooral gekeken naar wat er tussen de verschillende partijen gebeurde gedurende het proces en aan de hand van de uitkomsten wordt nagegaan in hoeverre de toetsing authentiek is. Dit betreft vergelijking van de uitkomsten met het model van Gulikers.

2.1 Selectie projecten De projecten werden geselecteerd op de volgende criteria: -Het project is in opdracht van een externe opdrachtgever -Het project is kunsteducatief -Het project valt te scharen onder de authentieke kunsteducatie -Het project is een community art project 2.2 Respondenten Er werden per project één docent, één externe opdrachtgever en een groepje leerlingen/studenten geïnterviewd. Van elk project werden er 4 leerlingen/studenten geselecteerd voor de groepsinterviews. De groepjes hadden gedurende de projecten tevens een samenwerkingsverband en werden voor de interviews willekeurig geselecteerd nadat de leerlingen/studenten aangegeven hadden deel te willen nemen aan de interviews. In het geval van het project Wij zijn de Wijk betrof eerste- en tweedejaarsstudenten van het Grafisch Lyceum in Utrecht (16/17 jarigen) en bij de projecten Buurtschatten en de Pop-Up Gallery ging het om 4Havo-leerlingen van het Bredero Lyceum in Amsterdam Noord (15/16 jarigen).

De docenten waren allen begeleiders van het betreffende project. Bij Wij zijn de Wijk ging het om een docent grafisch vormgeven en bij de andere twee projecten waren het docenten van andere disciplines. De opdrachtgevers zijn externen uit de beroepspraktijk. Als onderzoeker was ik zelf de respondent als externe opdrachtgever van het project Buurtschatten binnen dit onderzoek, omdat de onderzoeksvraag ontstond vanuit mijn eigen beroepspraktijk. Ik heb mij door een neutrale buitenstaander laten interviewen. De resultaten van mezelf als onderzoeker werden hierbij echter wel in een ‘complete situatie’ (case) - samen met de docenten en leerlingen - omschreven.

9

2.3 Dataverzameling Voor de dataverzameling werd de multimethode aanpak ingezet: er werd per project (case-study) gebruik gemaakt van drie verschillende methoden: semi-gestructureerde interviews, groepsinterviews en documentanalyse in de vorm van analyse van beoordelingsinstrumenten en beoordelingscriteria. Er werden semi-gestructueerde interviews afgenomen onder de docenten en externe opdrachtgevers. Deze vorm van interviewen werd ingezet om de overeenstemming tussen de docent en opdrachtgevers te achterhalen/in kaart te brengen. Voor de leerlingen/studenten gold dat er groepsinterviews werden afgenomen. Omdat de jongeren die participeerden in de projecten in groepen samenwerkten werd deze manier van interviewen binnen dit onderzoek toegepast, om de gezamenlijke ervaringen in kaart te brengen. Door onderlinge interactie kwam daar wenselijk meer informatie over boven tafel, dan wanneer de leerlingen individueel geïnterviewd zouden worden.

Daarnaast werden de verschillende beoordelingsinstrumenten van de verschillende projecten met elkaar vergeleken en geanalyseerd op de beoordelingscriteria (documentanalyse). De interviews zijn op de scholen afgenomen onder de docenten en de leerlingen/studenten. De interviews met de opdrachtgevers zijn bij de opdrachtgevers zelf op locatie afgenomen (in de ateliers/op kantoor). Alle interviews duurden circa dertig minuten.

De onderzoeksvraag werd aan de hand van interviews (bijlage 2) en documentanalyses beantwoord en de uitkomsten worden vergeleken met het 5DM. De zes deelvragen ten aanzien van de manier van beoordelen (zie onderzoeksvraag) dienden als kernthema’s voor de interviewleidraad voor alle ondervraagden (docenten, externe opdrachtgevers, leerlingen/studenten), waarbij de vragen voor de leerlingen/studenten gingen over hun ervaringen ten aanzien van de beoordeling.

Deze kernthema’s zijn vervolgens opgedeeld in thema’s, welke te zien zijn in het coderingsschema (bijlage 3). De documentanalyse richt zich op de beoordelingsinstrumenten en de beoordelingscriteria van de verschillende projecten. Bij twee projecten (‘Buurtschatten’ en ‘Pop-Up Gallery’) werd hetzelfde beoordelingsinstrument en werden dezelfde beoordelingscriteria gebruikt.

10

In onderstaand schema is per onderdeel van de onderzoeksvraag te zien op welke manier de dataverzameling (per project) heeft plaatsgevonden: Onderdeel hoofdvraag Hoe* beoordelen docent en externe opdrachtgever leerlingen/studenten in authentieke kunsteducatieve community art projecten die ontstaan zijn vanuit de vraag van een externe opdrachtgever?

Kernthema Toets-taak

Dataverzameling Interview met docent en opdrachtgever

Fysieke en sociale context

Interview met docent en opdrachtgever Interview met docent en opdrachtgever+ documentanalyse

Beoordelingsinstrumenten

Hoe ervaren leerlingen/studenten deze beoordelingen?

In hoeverre is die toetsing authentiek?

Beoordelingscriteria

Interview met docent en opdrachtgever+ documentanalyse

Norm

Interview met docent en opdrachtgever Interview met docent en opdrachtgever Interview met leerlingen/studenten

Overeenstemming docent/externe opdrachtgever Dezelfde kernthema’s als de docenten/externe opdrachtgevers Vijf toetskenmerken 5DM

11

Vergelijking met 5DM Gulikers

2.4 Data-analyse Voor het analyseren van de data werden alle interviews geheel getranscribeerd. Voor de eerste twee onderdelen van de hoofdvraag (docenten/opdrachtgevers en leerlingen/studenten) werden er per onderdeel relevante tekstfragmenten toebedeeld aan het betreffende onderdeel. In het eerste onderdeel (docenten/opdrachtgevers) vond tevens datatriangulatie plaats. De resultaten van de analyses van de interviewvragen ten aanzien van de beoordelingsinstrumenten en beoordelingscriteria werden gecombineerd met een documentanalyse van de beoordelingsinstrumenten en beoordelingscriteria van de projecten om een zo volledig mogelijk beeld hiervan te genereren. Voor het derde deel van de onderzoeksvraag (mate van authenticiteit) werden de resultaten ‘bottum up’ vergeleken met het 5DM aan de hand van de vijf toetskenmerken die de toets meer of minder authentiek kunnen maken en de overeenkomst van de toets met de criteriumsituatie, waarbij af en toe enige onderbouwing plaats vond aan de hand van theorie vanuit het onderzoek van Gulikers (2011).

1: Hoe beoordelen docenten en externe opdrachtgevers samen?

2: De ervaring van de leerlingen/studenten 3: De mate van authenticiteit van de toets

Elk tekstfragment werd voorzien van één of meer labels (code) waarmee de inhoud van het fragment zo goed mogelijk werd weergegeven. De tekstfragmenten zijn gecodeerd via coding up en via coding down. Er is gebruik gemaakt van een open codering vanuit de data (coding up) en tevens werd er vanuit de interviewleidraad een coderingsschema gemaakt, wat resulteerde in thema’s en kernthema’s (coding down). De combinatie van coding up en coding down heeft geleid tot een definitief coderingsschema (bijlage 3). De uiteindelijke resultaten werden per project beantwoord (case study). Alle resultaten werden aan de hand van de coderingen beschreven en onderbouwd met citaten.

12

3. Resultaten project Wij zijn de Wijk Grafisch Lyceum Utrecht, MBO Grafische Vormgeving, eerste- en tweedejaars studenten in samenwerking met schrijfster Michelle van Mackelenbergh

3.1 Hoe beoordelen docenten en externe opdrachtgevers in community art projecten waarin leerlingen/studenten participeren?

3.1.1 Toets-taak: wat wordt er precies beoordeeld?

In het geval van dit project ontwierpen de studenten de boekomslag en vormgeving van het boek ‘Gelukkig Geëmancipeerd’, van een schrijfster uit de wijk; Michelle van Mackelenbergh (de opdrachtgever). Ten aanzien van de toets-taak gaf de docent aan dat het ontwerpproces (inclusief contact met de opdrachtgever) en eindproduct van de studenten beoordeeld werden, te lezen in hun logboek en te zien in hun portfolio, waarna er eindpresentaties in een kerk in de wijk volgden. Alle activiteiten ontstonden volgens de docent vanuit de kerntaken, zoals beschreven in het Kwalificatiedossier Mediavormgeven (MBO) van de opleiding. De opdrachtgever gaf tussentijdse feedback op de tussenproducten (de studenten werkten vanuit de wensen van de opdrachtgever) en keek naar actieve deelname van de studenten.

3.1.2 Context van beoordelen (fysiek en sociaal) De docent benoemde dat de studenten binnenschools beoordeeld zijn (fysieke context), waarbij de opdrachtgever tussentijdse feedback heeft gegeven ten aanzien van het proces van de studenten.

“De opdrachtgever gaf de leerlingen tussentijds feedback. Ze heeft gedurende het project veel contact met de leerlingen gehad en dat was goed, dat kon niet alleen op school, maar ook via de mail of bij de opdrachtgever op locatie zijn.”

De opdrachtgever beantwoordde de vraag of de beoordeling overeenkomstig was aan de sociale processen in de werkelijke beroepspraktijk (sociale context). Dit was deels het geval, maar niet geheel overeenkomstig.

“Ik kon niet veel zeggen over de inhoudelijke technische kant, maar wel over hoe het contact met mij was verlopen en dat kon ik ze ook wel allemaal teruggeven.”

De studenten werden individueel en tevens als groep beoordeeld volgens de docent. Het beoordelingsformulier (rubric) leidde tot een individuele beoordeling, waarbij er wel veel naar samenwerking werd gekeken. Samenwerking was dus noodzakelijk.

De opdrachtgever gaf aan veel op samenwerking van de studenten onderling en met haar als opdrachtgever te hebben gelet.

“Ik denk wel dat samenwerken een belangrijk element was en groepjes waar dat niet zo goed ging daar zag je dat ook meteen.”

13

3.1.3 Beoordelingsinstrumenten Er was sprake van een beoordelingsformulier in de vorm van een rubric waarmee de studenten elkaar (in de samenwerkingsgroepjes) hebben beoordeeld. Alle onderdelen van de toets-taak kwamen hierin aan bod. De opdrachtgever speelde geen rol bij de totstandkoming van het beoordelingsinstrument. Er was geen gelegenheid om de feedback ten aanzien van de studenten terug te koppelen naar de school door de opdrachtgever. Een gevolg van onvoldoende afstemming was volgens de docent onduidelijkheid over verantwoordelijkheden.

“De school heeft het beoordelingsmodel gemaakt. Ik controleerde tussentijds het portfolio. Ik heb dat proces echter niet hoeven terugkoppelen naar de school.”

“Op een moment dat niemand echt eigenaar is van het project, kom je nooit tot een goede afronding, dan kun je die losse eindjes houden.”

Documentanalyse De rubric zoals gebruikt door de leerlingen is onderverdeeld in drie categorieën: 1. Management 2. Concept, creatie & productie 3. Eindproduct Elke categorie is tevens onderverdeelt in subcategorieën: 1. Werkhouding en –gedrag, planning en organisatie en samenwerken en overleggen 2. Concept en creatie & productie 3. Grafische kwaliteit, originaliteit, aantrekkelijkheid en boodschap Voor elke subcategorie is een score te behalen in de marge van slecht, redelijk, goed of uitstekend, met onder elke ‘score’ een nadere uitleg. Ook de manier waarop het eindcijfer berekend wordt is op de rubric te zien (bijlage 4).

3.1.4 Beoordelingscriteria Er is geen afstemming en overleg geweest tussen de docent en de externe opdrachtgever over de beoordelingscriteria. Bij de opdrachtgever was er voorafgaand en tijdens het project niets bekend over de beoordelingscriteria. Aan het eind van het project heeft de school de beoordelingscriteria opgesteld. Hierbij was het voor de docenten moeilijk om op het eind te controleren of de studenten elkaar op ‘een juiste manier’ beoordeeld hadden.

“Als docent kun je soms wel zien of ze het eerlijk ingevuld hebben, maar ook niet bij iedereen, want we hadden met meer dan 400 studenten te maken in het project. Je hebt dan niet overal zicht op.”

De opdrachtgever nam gedurende het project het heft in eigen hand en gaf aan heel duidelijk haar eisen aan de opdracht op Facebook te hebben gezet. Tevens vond ze het van belang dat de studenten in afstemming bleven met haar als opdrachtgever. Daarbij vond ze het belangrijk dat studenten ook problemen aan konden geven. Het project ging volgens de opdrachtgever tevens over

14

verbinding met de buurt - school en ondernemers uit de buurt bundelden hun krachten - maar ze vraagt zich af of de leerlingen dit zo ervaren hebben, gezien daar geen criteria aan verbonden waren.

Documentanalyse De beoordelingscriteria zijn te lezen op het beoordelingsformulier waar de leerlingen elkaar mee beoordeeld hebben (bijlage 4). Er lag veel nadruk op samenwerking. De leerlingen moesten van elkaar in verschillende fases beoordelen of de samenwerking met elkaar en de met de opdrachtgever goed was verlopen. Er wordt niet uitgebreid op het portfolio ingegaan op het formulier. Er zijn geen criteria ten aanzien van de hoeveelheid tussenproducenten bijvoorbeeld. De docent noemde dat het logboek en de eindpresentatie ook onderdeel waren van de toets-taak, maar deze kwamen niet voor in de rubric.

3.1.5 Norm De docent gaf aan dat er wel met absolute criteria (criterion referenced) werd gemeten aan de hand van de rubric. De opdrachtgever had geen absolute norm, maar keek of het proces van de studenten leidde tot een gewenst eindproduct. Dit was wel moeilijk vanwege de verschillende leerjaren van de studenten. Daar was de opdrachtgever niet meteen van op de hoogte.

“Daarom was het moeilijk te zeggen welk niveau er gewenst werd te halen. Dat had ik achteraf gezien veel beter willen weten.”

3.1.6 Overeenstemming tussen docent en externe opdrachtgever De docent beschreef zijn positieve houding tegenover een sturende rol in het begeleidingsproces door de externe opdrachtgever. Grenzen stellen aan de studenten door de opdrachtgever was volgens de docent het belangrijkst, anders hadden de studenten niet geweten wat ze hadden moeten doen. Hij kon zich daardoor naar eigen zeggen terugtrekken uit de begeleiding, waarbij hij de studenten wel goed in de gaten bleef houden. Echter was er volgens de docent wel sprake van nauw contact gedurende het project met de opdrachtgever.

De opdrachtgever gaf aan dat er van tevoren geen afspraken zijn gemaakt met de docent over de verdeling van de begeleiding en beoordeling van de studenten. Ze was negatief over de begeleiding vanuit de school en begreep later pas dat de studenten elkaar moesten gaan beoordelen.

“Ik was natuurlijk de opdrachtgever , maar in principe wist ik dat mijn project ook vanuit school begeleid werd. Alleen heb ik die begeleiding nog nooit gezien. De studenten moesten zichzelf beoordelen. Dat begreep ik trouwens later pas.”

Vervolgens heeft ze haar eigen invulling gegeven aan de begeleiding van de studenten, waarbij er gebruik gemaakt werd van een Facebookpagina waarop leerlingen hun tussenproducten konden presenteren en de opdrachtgever en de mede-studenten elkaar feedback konden geven. Ze ondervond problemen in didactische vaardigheden en tevens was er bij de opdrachtgever onduidelijkheid over het gewenste proces van de studenten vanuit de school.

“Als de school mij nou van tevoren een lijstje had gegeven, van ‘let hier en hier op’, dan had ik echt heel veel feedback kunnen geven. “

15

3.2 Hoe ervaren de leerlingen/studenten de beoordelingen door docenten en externe opdrachtgevers?

3.2.1 Toets-taak: wat wordt er precies beoordeeld?

De studenten van project Wij zijn de Wijk wisten gedurende het project niet waar ze uiteindelijk op beoordeeld zouden worden. Dit wisten ze pas op het moment dat ze elkaar moesten gaan beoordelen met een beoordelingsformulier. De studenten beoordeelden elkaar in de samenwerkingsgroepjes. Op die manier wisten ze van elkaar hoe ze gefunctioneerd hadden binnen het project.

“Het was niet meteen duidelijk wie ons zou gaan beoordelen. Eerst zou het de opdrachtgever zijn, toen de docent en” uiteindelijk bleek dat wij elkaar moesten gaan beoordelen in onze samenwerkingsgroepjes. Daar stonden wel verschillende beoordelingscriteria op.”

3.2.2 Context van beoordelen (fysiek en sociaal) De daadwerkelijke (zelf)beoordeling vond op school plaats.

Ten aanzien van de sociale context gaven de studenten aan dat de communicatieve vaardigheden (met de opdrachtgever) die ze opdeden tijdens het project toepasbaar zijn voor de latere beroepspraktijk en het feit dat ze veel ownership kregen over het project zorgde voor het gevoel van een complexe en complete taak.

“Je moest je eigen dingetjes gewoon op orde hebben. Je werd echt losgelaten, van zoek het uit.“ De studenten gaven aan dat er sprake was van individuele beoordeling, ook al werd er wel op samenwerking gelet.

3.2.3 Beoordelingsinstrumenten De studenten hadden voorafgaand en tijdens het project geen weet van het beoordelingsinstrument (de rubric waarmee ze elkaar moesten beoordelen). De manier waarop alle onderdelen van de rubric mee zouden wegen in het eindcijfer was niet bekend bij de studenten.

“We moesten het daarna inleveren en wat er daarna mee gebeurd is weten we niet. We moesten elkaar punten geven, maar we wisten niet hoe het cijfer dan berekend werd daarna.”

De studenten gaven ten aanzien van het beoordelingsinstrument aan dat er enigszins sprake was van vriendjespolitiek.

“Omdat je elkaar gaat beoordelen krijg je een beetje vriendjespolitiek. En het gaat per groepje, dus je kijkt niet heel erg goed, omdat je toch al weet wat die ander gemaakt heeft.”

16

3.2.4 Beoordelingscriteria De studenten wisten niet op welke criteria ze beoordeeld zouden worden. Er werd door de studenten tijdens het project afgegaan op de feedback van de opdrachtgever. Pas op het eind van het project werden de criteria bekend bij het zien van de rubric. Dat hadden de studenten graag eerder willen weten.

“We wisten niets van beoordelingscriteria. We moesten tussendoor niets inleveren op school, maar we moesten wel tussenproducten laten zien aan de opdrachtgever, zodat die wist hoever we al waren en wat we hadden en dan vertelde ze of ze het al goed vond en wat er nog verbeterd kon worden. Dat was een portfolio.”

“Als we van tevoren hadden geweten waar we op beoordeeld zouden worden hadden we daar beter op kunnen letten en dit kunnen overleggen met de opdrachtgever.”

3.2.5 Norm Er was volgens de studenten sprake van een absolute norm (gelijkwaardige beoordeling aan de hand van de rubric). De studenten gaven aan dat het per samenwerkingsgroepje verschilde of de beoordeling ‘eerlijk’ was. Zoals al eerder omschreven gaven de studenten aan dat er sprake kon zijn van vriendjespolitiek in het beoordelen van elkaar.

3.2.6 Overeenstemming tussen docent en externe opdrachtgever Er was er sprake van onbekendheid vooraf over wie de studenten zou gaan beoordelen.

De studenten waren wel erg tevreden over het contact met de opdrachtgever.

“We wisten niet wie ons zou gaan beoordelen en dat was erg verwarrend.”

“De opdrachtgever gaf ons goede tips om dingen te verbeteren en gaf duidelijk aan wat ze wilde.”

3.3 Wat is de mate van authenticiteit van de toets?

1. Taak De toets-taak is grotendeels authentiek te noemen. De taak was een integratie van kennis, vaardigheden en houdingen. De studenten moesten zich van informatie voorzien in het kader van de wensen van de opdrachtgever. Communicatie met de opdrachtgever was hierbij van groot belang.

Daarnaast dienden de studenten verschillende technische vaardigheden in te zetten om tot een product te komen. De studenten kregen veel ownership over de toets-taak, omdat ze in samenwerking met de opdrachtgever tot een eindproduct moesten komen.

De toets-taak is te zien als een complexe en complete taaksituatie, van management tot concept en creatie tot eindproduct. De toets-taak werd eigenlijk gedurende het proces vormgegeven in samenwerking met de opdrachtgever. Er was wel sprake van een duidelijke structuur, geboden door de opdrachtgever. Zonder deze structuur was het niet gelukt volgens de docent.

Ten aanzien van de criteriumsituatie komt de toets-taak bijna geheel overeen met de werkelijke beroepspraktijk. De studenten worden op het grafisch lyceum opgeleid tot grafisch vormgevers. Alle fases die een professioneel grafisch vormgever zou doorlopen komen terug in de 17

toets-taak. Wanneer het gaat over verbinding zoeken met de wijk, komt de toets-taak niet overeen.

Opvallend is dat daar geen specifieke toets-taken aan verbonden waren, maar dat de verbinding met de wijk een indirect gevolg lijkt van het project.

2. Fysieke omgeving De beoordeling vond binnenschools plaats middels het beoordelingsformulier waarmee de studenten elkaar beoordeelden. Maar er werd ook gekeken naar het contact van de studenten met de opdrachtgever en dat kon ook via de mail of bij de opdrachtgever op locatie zijn. Deze buitenschoolse situaties werden op die manier indirect getoetst via het beoordelingsformulier. De fysieke omgeving kwam daarom ook voor het grootste gedeelte overeen met de beroepspraktijk. De presentatie in de kerk kwam overeen met de criteriumsituatie vanuit community art. In de presentatie kwam de verbinding met de wijk naar voren. Echter werd dit niet getoetst in de rubric.

3. Sociale context De studenten gaven aan dat de communicatieve vaardigheden (met de opdrachtgever) die ze opdeden tijdens het project toepasbaar zijn voor de latere beroepspraktijk, waarbij de opdrachtgever minder kennis had over de technische kant van het ontwerpen en daar niet veel feedback op kon geven.

4.Vorm Het werken met een portfolio is tevens authentiek volgens Gulikers (2011), omdat het portfolio duidelijke kaders biedt aan de studenten, maar hen wel de vrijheid laat dit in te vullen met hun eigen interesse en belevingswereld (geparafraseerd uit Zimmerman, 1997). De studenten beoordeelden elkaar. Dit is een belangrijk onderdeel van authentiek beoordelen. Het gaat er volgens Gulikers over dat leerlingen de relevantie zien van wat ze leren er waarop ze beoordeeld worden (Gulikers, 2011. p. 48). De manier van toetsen was niet geheel overeenkomstig de criteriumsituatie. Het werken met een portfolio is wel gelijk aan de beroepspraktijk, echter werden er ook andere vaardigheden getoetst middels het beoordelingsformulier (rubric).

5. Resultaat/Criteria De beoordelingscriteria waren vrijwel geheel overeenkomstig de criteriumsituatie. De studenten doorliepen de verschillende fases van het proces, zoals het ook in de praktijk plaats zou vinden; management, concept, creatie & productie en eindproduct. Er waren echter geen criteria verbonden aan het feit dat het project verbinding zocht met de wijk. Dit leek een indirect gevolg van het project en een projectdoel van het Grafisch Lyceum Utrecht, maar kwam niet terug in de beoordelingscriteria.

18

3.4 Conclusie In het project Wij zijn de Wijk werkten de studenten vanuit de vraag van de opdrachtgever. De studenten werkten gedurende het project aan een portfolio vanuit feedback van de opdrachtgever en hielden een logboek bij. Er vond tevens een eindpresentatie van de producten plaats in een kerk in de wijk. De uiteindelijke beoordeling was in de vorm van een beoordelingsformulier (rubric), waarmee de leerlingen elkaar (binnen de samenwerkingsgroepjes) hebben beoordeeld. De leerlingen werden binnenschools beoordeeld, waarbij er wel op samenwerking met elkaar en met de opdrachtgever werd gelet. De toetsing kwam volgens de opdrachtgever overeen met de beroepspraktijk, behalve het element ‘verbinding met de wijk’. Dat kwam niet terug in de beoordeling. De onderdelen van de rubric; management, concept, creatie & productie en eindproduct, ontstonden vanuit de kerntaken uit het Kwalificatiedossier Mediavormgeven (MBO).

Aan het portfolio en aan de eindpresentatie waren geen aparte beoordelingscriteria verbonden, waarbij het portfolio algemeen omschreven werd in de rubric , maar de eindpresentatie niet. Er was sprake van een absolute norm, omdat er gebruik werd gemaakt van een rubric (criterion referenced).

In de samenwerking tussen de opdrachtgever en de docent, nam vooral de opdrachtgever het voortouw in de begeleiding. De opdrachtgever had van tevoren geen weet van de beoordelingscriteria en het beoordelingsinstrument en heeft de feedback naar eigen inzicht gegeven ten aanzien van de wensen betreffende het eindproduct. Dit gebeurde zowel mondeling, als per mail en via een Facebookpagina. Er was geen gelegenheid deze feedback terug te koppelen naar de school. Een gevolg was onduidelijkheid over verantwoordelijkheden ten aanzien van de begeleiding en beoordeling. De opdrachtgever zou meer duidelijkheid vooraf willen vanuit de school ten aanzien van de beoordelingscriteria, zodat de begeleiding van de leerlingen daar ook beter op afgestemd had kunnen worden en de opdrachtgever gaf aan soms tekort te schieten op het gebied van didactische vaardigheden.

Het was opvallend dat er bij de studenten gedurende het gehele project onduidelijkheid bestond over de manier waarop ze beoordeeld zouden gaan worden. De criteria werden pas op het eind bekend bij het zien van het beoordelingsformulier, waarbij het element ‘elkaar beoordelen’ volgens de studenten kon leiden tot vriendjespolitiek in de beoordeling. De studenten gaven aan dat vooral de communicatieve vaardigheden die opgedaan werden in het project door communicatie met de opdrachtgever inzetbaar zijn voor de latere beroepspraktijk.

Na vergelijking van de uitkomsten met de onderdelen van het 5DM is te concluderen dat de beoordeling op alle onderdelen ´vrijwel authentiek´ te noemen valt. Het portfolio, het werken naar aanleiding van de feedback van de opdrachtgever en de betrokkenheid van de studenten in de beoordeling spelen daarin de grootste rol en het feit dat de leerlingen werkten vanuit een complexe en complete taaksituatie. Als kanttekening moet worden gemaakt dat de betrokkenheid van de studenten in de beoordeling tevens kan leiden tot vriendjespolitiek volgens de studenten.

Wat de beoordeling minder authentiek maakt is het feit de criteriumsituatie niet echt helder was voorafgaand aan het project. Dit zou zo helder mogelijk moeten zijn van tevoren voor alle partijen, zodat de criteria nauwer afgestemd kunnen worden. Het project beoogde een community art project te zijn door verbinding te zoeken met de wijk en de onderlinge contacten in de wijk te bevorderen, maar dit waren indirecte gevolgen van het project, wat vooral uitgestraald werd in de presentatie in de kerk. Hier waren geen aparte criteria aan verbonden en wanneer dit project dat als doel had, waren de criteria op die manier niet overeenkomstig de criteriumsituatie (van het project).

19

4. Resultaten project Buurtschatten Bredero Lyceum Amsterdam, 4-Havo leerlingen in samenwerking met Anne van de Geer, vertegenwoordiger Kunst en Theater, Leger des Heils Amsterdam

4.1 Hoe beoordelen docenten en externe opdrachtgevers in community art projecten waarin leerlingen participeren?

4.1.1 Toets-taak: wat wordt er precies beoordeeld?

In het project Buurtschatten werkten de leerlingen aan kunstobjecten met een persoonlijk verhaal samen met cliënten van het Leger des Heils en buurtbewoners onder begeleiding van de opdrachtgever en een kunstenaar en brachten tevens de verhalen van de deelnemers in beeld door middel van woord en beeld aan de hand van interviews. De ontmoeting tussen de doelgroepen stond centraal. De docent gaf aan dat de leerlingen na het project een reflectieverslag moesten schrijven door middel van het onderbouwen van de competenties voor Villa Bredero (bijlage 1); plannen en organiseren, samenwerken, onderzoek doen, probleemoplossend vermogen, verslag leggen, presenteren, feedback geven/ontvangen en reflecteren. Daarna hadden ze nog een beoordelingsgesprek met de docent en vervolgens moesten ze een presentatie geven.

De opdrachtgever gaf aan dat ze de leerlingen tussentijds feedback heeft gegeven op de tussentijdse opdrachten (ten aanzien van theorie over het Leger des Heils en interviewvaardigheden) en het (artistieke) proces en er werd gekeken naar actieve deelname. De opdrachtgever gaf aan dat de artistieke producten van de leerlingen (onder begeleiding van de kunstenaar) geen aparte toetstaak waren volgens de school, maar zou dat wel graag willen.

“Ik zou het wel echt een verbeterpunt vinden als het artistieke product toch ook beoordeeld wordt of onderdeel zou zijn van de toets-taak. Binnen Villa Bredero kunnen het allerlei soorten projecten zijn, als je die competenties maar haalt. Ik denk dat er meer te behalen valt op kunstzinnig gebied.”

4.1.2 Context van beoordelen (fysiek en sociaal) De leerlingen zijn binnenschools beoordeeld door de docent, waarbij de opdrachtgever steeds tussentijdse feedback heeft gegeven ten aanzien van het proces van de leerlingen en de tussentijdse opdrachten. Dit proces vond plaats in de praktijksituaties en op school. Ten aanzien van de sociale context vond de opdrachtgever dat de beoordeling deels aansloot. De leerlingen moesten dit wel zelf inzien en onderbouwen in het reflectieverslag.

“Als je het dan hebt over de beroepspraktijk van de community art kunstenaar dan kwam het wel overeen denk ik. Dat de focus ligt op proces in plaats van eindproduct, dat je samenwerkt met de gemeenschap, dat het gaat over ontmoeting en interactie en dat je bepaalde vaardigheden inzet om aan je informatie te komen, dus interviewen en je reflectie schrijven achteraf.”

Tevens is er volgens de opdrachtgever discussie over wat community art precies is en dat het daarom moeilijk te zeggen is of het proces en de beoordeling van het project overeenkomstig is aan de beroepspraktijk. De leerlingen werden zowel als groep als individu beoordeeld. Alle toetsende 20

onderdelen (onderbouwen van competenties en presentatie) waren individueel, waarbij er wel gelet werd op samenwerking gedurende het project.

De opdrachtgever keek vooral veel naar samenwerking.

“Je kijkt wel hoe het contact onderling is, tussen de leerlingen, de cliënten en de buurtbewoners en of dat allemaal goed samen gaat. Op het moment dat je ziet dat er een groepje leerlingen in een hoekje aan een tafel zitten en helemaal geen contact maken, dan probeer je daarin wel te sturen als opdrachtgever.”

4.1.3 Beoordelingsinstrumenten De opdrachtgever speelde geen rol bij de totstandkoming van het beoordelingsinstrument, dat werd door de school samengesteld. De opdrachtgever zou er wel een rol in willen hebben.

“Die tussentijdse opdrachten die zijn gemaakt door mij als externe opdrachtgever, maar die zouden ook een weging moeten krijgen in de beoordeling. Anders had ik net zo goed de tussentijdse opdrachten niet hoeven ontwerpen.”

Documentanalyse Aan het logboek (bijlage 5) en de (half)producten voor de opdrachtgever waren geen aparte beoordelingsinstrumenten verbonden. Deze dienden wel volledig te zijn en ingeleverd te worden.

Aan het beoordelingsgesprek en het reflectieverslag waren geen beoordelingsformulieren verbonden. De docenten beoordeelden naar aanleiding van hun eigen observaties of de competenties juist onderbouwd waren door de leerlingen. Er werd gebruik gemaakt van een beoordelingsformulier voor de presentatie (bijlage 6), bestaande uit verschillende beoordelingsaspecten. De leerlingen vulden zelf ook een beoordelingslijst in ten aanzien van de competenties, waarbij ze middels een kruisje aan moesten geven hoe ze het niveau van de competenties bij zichzelf inschatten (bijlage 7).

4.1.4 Beoordelingscriteria De docent gaf aan dat er geen afstemming is geweest met de externe opdrachtgever over de beoordelingscriteria. De docent benoemde dat de opdrachtgevers normaliter de criteria van de tussenproducten bepalen, maar dat de eindbeoordeling door de docenten wordt gedaan. De weging van de tussenproducenten is echter niet duidelijk in de eindbeoordeling.

Bij de opdrachtgever waren de competenties bekend waaraan de leerlingen moesten voldoen, maar geen informatie over de beoordelingscriteria. Een stem daarin zou gewenst zijn bij de opdrachtgever, zodat de beoordeling beter aan zou sluiten bij de vraag/opdracht vanuit de opdrachtgever. Daarbij was het echter moeilijk om kunstzinnige criteria te koppelen aan het project Buurtschatten.

“De competenties gingen vooral over samenwerken, organiseren, presenteren. Het ging natuurlijk ook over kunstzinnige vaardigheden, maar in dit geval was de ontmoeting het kunstwerk. En dat is heel moeilijk, want hoe beoordeel je dat. Daar kun je eigenlijk geen kunstzinnige criteria aan hangen. Het gaat niet over vorm of compositie of iets dergelijks”.

21

Documentanalyse Aan het logboek waren geen beoordelingscriteria verbonden, maar het diende wel volledig ingevuld te zijn. Aan het beoordelingsgesprek waren tevens geen criteria verbonden. T.a.v. het reflectieverslag dienden de leerlingen te reflecteren op het project aan de hand van de vijf fasen uit de cyclus van Korthagen (bijlage 8). De cyclus start na een opgedane ervaring. De cyclus bestaat uit: 1. handelen/ervaren, 2. terugblikken, 3. bewustwording van essentiële aspecten, 4. alternatieven ontwikkelen en daaruit kiezen en 5. uitproberen. Fase 5 heeft betrekking op het onderbouwen van de competenties. In het reflectieverslag moest door de leerlingen per competentie onderbouwd worden in hoeverre ze de competentie gehaald hadden, waarbij ze hun niveau per competentie ook moesten aankruisen op een beoordelingslijst (bijlage 7). De docent heeft het proces van de leerlingen gevolgd en bekeek of dit klopte met zijn eigen observaties en bekeek in het verslag of de competenties goed onderbouwd waren. De verslaglegging werd op het gebied van inhoud en op het gebied van vorm op verschillende criteria beoordeeld (bijlage 8), waarna en er nog een beoordelingsgesprek volgde waar geen aparte criteria aan verbonden waren. Ten aanzien van de presentatie waren er criteria verbonden aan de presentatie op het gebied van: opbouw van de presentatie, optreden presentator, gebruik media en begeleidende materialen (bijlage 6).

4.1.5 Norm Er werd niet gewerkt met absolute criteria. De leerling moest zelf omschrijven wat zijn of haar ontwikkeling was geweest aan de hand van de competenties (ipsatief). De leerlingen moesten wel de samenwerking met de groepsgenoten, de opdrachtgever en de cliënten van het Leger des Heils en de buurtbewoners onderbouwen in de competenties ‘samenwerken’. De coach kon dan vervolgens kijken of de leerling zichzelf t.a.v. de competenties goed kon inschatten. De opdrachtgever vond het tevens moeilijk om absolute criteria te hanteren. Dit had te maken met het werken met verschillende doelgroepen: leerlingen, buurtbewoners en cliënten van het Leger des Heils.

“Je kan dan niet heel duidelijk stellen waar alles uiteindelijk aan moet voldoen kunstzinnig gezien. Ook omdat er mensen zijn van verschillende leeftijden en verschillende niveaus en andere afkomst. Je weet niet van tevoren wat je beginniveau is en kan ook geen einddoelen stellen”.

4.1.6 Overeenstemming tussen docent en externe opdrachtgever De opdrachtgever gaf aan dat de afspraken over de begeleiding en beoordeling van tevoren niet helemaal duidelijk waren, waarbij er wel van tevoren samen met de docent een lesplan voor de leerlingen gemaakt werd. Tevens gaf de opdrachtgever aan tussentijds feedback gegeven te hebben, maar dat daar verder geen aparte beoordeling aan verbonden was. Volgens de opdrachtgever zou er van tevoren meer moeten worden bepaald welke rol de externe opdrachtgever in de beoordeling speelt en hoe groot de stem van de externe is in de beoordeling (hoe zwaar de beoordeling meetelt).

Ook zouden er nuances in de beoordeling kunnen missen zonder de stem van de opdrachtgever, volgens de opdrachtgever.

Idealiter zouden beiden partijen, volgens de docent, moeten kijken hoe het verslag in elkaar zit en na de presentatie overleggen over het cijfer. Hoe dat precies in zijn werk zou gaan was tevens niet duidelijk en is wegens tijdsgebrek niet gebeurd. De docent gaf aan het handig te vinden als de externe opdrachtgever feedback geeft. Daarmee kan het cijfer onderbouwt worden.

22

De opdrachtgever was vooral positief over de coachende rol van de docent. De docent was gedurende het gehele project aanwezig. Op die manier kan de docent het proces van de leerlingen ook beter beoordelen, volgens de opdrachtgever. Ook op het moment dat de externe opdrachtgever tegen problemen met die leerlingen aanliep kon ze naar eigen zeggen de coach weer aanspreken.

4.2 Hoe ervaren de leerlingen de beoordelingen door docenten en externe opdrachtgevers?

4.2.1 Toets-taak: wat wordt er precies beoordeeld?

Er was onduidelijkheid bij de leerlingen over de toets-taak. Ze wisten van de competenties, maar wisten niet wie ze zou beoordelen en of ze wel of niet op tussenproducten beoordeeld zouden worden.

4.2.2 Context van beoordelen (fysiek en sociaal) De leerlingen ervoeren de fysieke context van de beoordeling als ‘op school’.

Ten aanzien van de sociale context gaven de leerlingen aan dat ze niet het gevoel hebben op een specifiek beroep te zijn voorbereid, maar wel communicatieve vaardigheden hebben opgedaan die bruikbaar zijn voor de latere beroepspraktijk, maatschappelijk inzicht hebben gekregen en een meer open houding hebben gekregen ten aanzien van andere (onbekende) doelgroepen in de maatschappij. Ook gaven ze aan dat ze vaardigheden hebben opgedaan die ze kunnen toepassen op het vervolgonderwijs, waarbij vooral de nadruk ligt op samenwerkend vermogen volgens de leerlingen, wanneer ze op het HBO in werkgroepen samen zouden moeten gaan werken. Andere relevante vaardigheden die genoemd werden door de leerlingen zijn: zelfredzaamheid en probleemoplossend vermogen.

“We hebben niet het gevoel dat we op een bepaald beroep zijn voorbereid door dit project, maar we hebben wel vaardigheden opgedaan. Wat we vooral hebben geleerd is dat je niet meteen een oordeel over mensen moet hebben en we hebben nieuwe dingen geleerd over communicatie met mensen. Soms geven mensen een andere reactie dan dat je van tevoren verwacht. Op het HBO moet je veel samenwerken, daar kun je binnen dit project ook veel van leren.”

De leerlingen ervoeren de beoordeling deels als groep, maar voornamelijk als individueel. De cijfers waren niet gelijk, dat hing volgens de leerlingen af van het verslag, het gesprek en de presentatie.

“Je werkte wel samen, alleen de cijfers waren niet gelijk. Dat hing wel af van je presentatie en je verslag. Het was dus wel een individuele beoordeling.”

23

4.2.3 Beoordelingsinstrumenten De leerlingen wisten dat ze aan de hand van het onderbouwen van de competenties voor Villa Bredero hun reflectieverslag moesten schrijven, waarna er een beoordelingsgesprek met de docent zou plaatsvinden en als laatste een presentatie. De leerlingen gaven aan dat zij tussentijds producten moesten laten zien aan de opdrachtgever. Er waren geen beoordelingsinstrumenten aan de tussenproducten verbonden volgens de leerlingen. De leerlingen vonden het een goede manier om op het hele proces te reflecteren.

“We moesten opdrachten maken en dit laten zien aan de opdrachtgever. Hier hoorde geen beoordelingsinstrument bij. Verder moesten we een presentatie geven, een verslag schrijven en een eindgesprek. We moesten ook reflecteren op onszelf en op de samenwerking door de competenties te omschrijven. Het was een goede manier om veel van het project te omschrijven en hoe het allemaal gegaan was.”

4.2.4 Beoordelingscriteria De leerlingen wisten niet of ze op aparte criteria door de opdrachtgever beoordeeld zouden worden, dit zorgde voor verwarring. De leerlingen wisten wel vooraf welke competenties ze na afloop van het project zouden moeten onderbouwen.

“We wisten niet wat er met de opdrachten voor de opdrachtgever zou gebeuren. Het was wel wat verwarrend dat de opdrachten van de opdrachtgever niet echt beoordeeld werden.”

4.2.5 Norm De leerlingen gaven aan dat er geen sprake was van een absolute norm, maar ervoeren dit wel als eerlijk.

“Je beoordeling hing wel van je verslag af, maar we vonden de cijfers bij iedereen wel kloppen dus het was wel eerlijk.”

4.2.6 Overeenstemming tussen docent en externe opdrachtgever De leerlingen gaven aan dat het niet bekend was of de docent of de opdrachtgever ze zou gaan beoordelen of dat dat een combinatie zou zijn.

“We wisten van tevoren niet wie ons zou gaan beoordelen”.

24

4.3 Wat is de mate van authenticiteit van de toets?

1.Taak De toets-taak is grotendeels authentiek te noemen, gezien het feit dat de leerlingen verschillende competenties moesten onderbouwen in hun reflectieverslag en presentatie. De competenties zijn competenties ten aanzien van kennis, vaardigheden en houdingen die de leerlingen gedurende het project opdeden. Dit betekent dat het voor de leerlingen ging om een complexe en complete taaksituatie, waar leren buiten de school werd gestimuleerd. Een combinatie van deze onderdelen maakt de toets zeer authentiek.

De opdrachtgever gaf aan dat de artistieke producten en de onderzoeksproducten van de leerlingen geen aparte toets-taak waren, hier waren geen criteria aan verbonden. De opdrachtgever zou hier een grotere stem in willen hebben en dit zou de aansluiting van de toets met de criteriumsituatie groter maken. De competenties zijn te algemeen om de volledige criteriumsituatie te dekken.

2. Fysieke omgeving De fysieke omgeving van de toetsopdracht was binnenschools; het inleveren van het reflectieverslag, het beoordelingsgesprek en de presentatie waren allemaal op school. Wel hebben de leerlingen buitenschools taken moeten uitvoeren gedurende het proces, waarop gereflecteerd moest worden door de leerlingen. Dit is zeker authentiek te noemen, met het oog op leren buiten de school in verschillende situaties gedurende het project.

3.Sociale context De criteriumsituatie is niet geheel te bepalen, aangezien het de eerste keer was dat het project plaats vond. Het contact met de buurtbewoners en de cliënten en de interviews sluiten allen nauw aan bij community art, echter werden deze vaardigheden niet apart, maar indirect getoetst aan de hand van de competenties. De toetssituatie was daarom deels authentiek te noemen. De leerlingen werden zowel als groep, als individu beoordeeld. Dit is authentiek te noemen, omdat de ontmoeting gezien werd als het kunstwerk en vanuit de school de competentie samenwerken onderbouwd diende te worden.

4.Vorm De vorm van toetsen bestond voornamelijk uit reflecteren op en het onderbouwen van de competenties ten aanzien van Villa Bredero. De leerlingen reflecteerden op het gehele proces en dat is authentiek te noemen. “ Echter, reflectie moet niet het doel op zich worden behalve als in de criteriumsituatie het reflectieve denkproces centraal staat” (Gulikers, 2011, p. 57). Reflectie is belangrijk voor de opdrachtgever, om in te schatten wat er verbeterd zou moeten worden en de vorm van toetsen is in die zin authentiek, maar de competenties zijn niet afgestemd op de eisen van de opdrachtgever.

Ook moesten de leerlingen een beoordelingslijst invullen, waarmee ze middels een kruisje aan moesten geven hoe ze zelf hun eigen niveau van de competenties inschatten en zelfbeoordeling is belangrijk in authentiek beoordelen; het vergroot het gevoel van ‘ownership’ van de leerlingen (Gulikers, 2011, p. 48). De vorm van toetsen is grotendeels authentiek te noemen.

25

5. Resultaat/Criteria Door het onderbouwen van de competenties bespraken de leerlingen de competenties die ze hadden verkregen in de praktijk. Middels het project waren alle competenties te behalen en te onderbouwen door de leerlingen. Dit is zeer authentiek te noemen. De competenties waren enigszins criterium gerelateerd, maar wel erg algemeen en daarom minder authentiek dan wanneer de competenties gerelateerd waren geweest aan de opdrachten van de opdrachtgever.

4.4 Conclusie De toets-taak bestond uit het maken van een reflectieverslag, een beoordelingsgesprek en een eindpresentatie. Ook moesten de leerlingen tussenproducten inleveren bij de opdrachtgever. Voor het vak Villa Bredero participeerden de leerlingen in het project en dienden daarvoor verschillende competenties te behalen en te onderbouwen middels het project. De leerlingen werkten in opdracht van een externe opdrachtgever. De opdrachtgever gaf hierbij gedurende het project tussentijdse opdrachten met betrekking tot theorie over het Leger des Heils en opdrachten ten dienste van het interviewen van de cliënten en buurtbewoners. De leerlingen werkten tevens in de praktijk aan de kunstobjecten samen met de cliënten en buurtbewoners en brachten de verhalen van de deelnemers in beeld (in woord en beeld) aan de hand van de uitkomsten van de afgenomen interviews. De opdrachtgever en kunstenaar die de workshops gaf voorzagen de leerlingen van tussentijdse feedback. De opdrachten op kunstzinnig en onderzoeksgebied waren geen aparte toets-taak, maar moesten wel in het reflectieverslag van de leerlingen genoemd worden in hun onderbouwing van de competenties. Hierdoor werden deze taken indirect getoetst en niet aan de hand van aparte beoordelingscriteria.

De leerlingen werden uiteindelijk binnenschools beoordeeld, maar hadden de competenties die ze moeten onderbouwen wel buitenschools in de praktijk gebracht. Of de toetsing aansloot bij de beroepspraktijk vond de opdrachtgever moeilijk te zeggen. Het sloot aan bij community art volgens de opdrachtgever, omdat de taken gingen over ontmoeting, interactie, onderzoek doen en kunstzinnige vaardigheden. Omdat er discussie bestaat over wat community art precies behelst was het volgens de opdrachtgever moeilijk te zeggen of de toets-taak overeenkomstig was aan de criteriumsituatie. De opdrachtgever is niet betrokken geweest bij de totstandkoming van de beoordelingsinstrumenten de beoordelingscriteria, vooral wegens tijdsgebrek.

Er werd niet gewerkt met absolute criteria. De leerlingen moesten zelf omschrijven wat hun eigen ontwikkeling was geweest aan de hand van het omschrijven van het proces en het onderbouwen van de competenties, volgens de cyclus van Korthagen (ipsatief). Het was tevens moeilijk voor de opdrachtgever om te werken met absolute criteria, aangezien er gewerkt werd met verschillende doelgroepen met verschillende niveaus en er was geen eindproduct of eindniveau te bepalen van tevoren.

Volgens de opdrachtgever zouden de ´tussenproducten´ in opdracht van de opdrachtgever ook criteria en een weging moeten krijgen in de beoordeling, zodat de beoordeling beter aan zou sluiten bij de vraag vanuit de opdrachtgever. De coachende rol van de docent werd positief ervaren door de opdrachtgever. De docent kon daardoor volgends de opdrachtgever het proces van de leerlingen beter beoordelen, als een soort controle op hun eigen onderbouwing van de competenties en trad op als mediator in het proces.

De leerlingen hadden niet het gevoel op een specifiek beroep te zijn voorbereid, maar gaven 26

aan dat ze vooral communicatieve vaardigheden hebben opgedaan en hebben leren samenwerken, wat ze zagen als relevant voor het vervolgonderwijs. Ook zelfredzaamheid en probleemoplossend vermogen en maatschappelijk besef werden genoemd. De leerlingen ervoeren de beoordelingen als individueel, waarbij er wel gelet werd op samenwerking gedurende het project. De leerlingen vonden het verwarrend dat de opdrachten van de opdrachtgever niet ‘echt’ beoordeeld werden.

Het project is na vergelijking met het 5DM grotendeels authentiek te noemen, waarbij competenties ten aanzien van kennis, vaardigheden en houdingen werden opgedaan. Dit betekent dat er sprake was van een complexe en complete taaksituatie, waarbij leren buiten de school werd gestimuleerd. Er waren geen aparte criteria aan de artistieke producten en onderzoeksproducten verbonden. Deze werden indirect beoordeeld middels de competenties, maar de opdrachtgever zou een grotere stem willen hebben bij het opstellen van de criteria, om de aansluiting met de criteriumsituatie groter te maken. Opvallend is dat de omgeving van de beoordeling als binnenschools werd gezien door alle participanten, maar de buitenschoolse beoordeling (in de criteriumsituatie) werd wel meegenomen in de reflectie van de leerlingen. Het feit dat de leerlingen een grote verantwoordelijkheid kregen in de beoordeling (ze onderbouwden naar eigen inzicht de competenties) zou kunnen zorgen voor het gevoel van ´ownership´ van de leerlingen. Dat is een belangrijk onderdeel van authentiek beoordelen.

27

5. Resultaten project Pop-Up Gallery Bredero Lyceum Amsterdam, 4-Havo leerlingen in samenwerking met kunstenares Brenda Jonker van Noordwaarts+ Kunstenaarscollectief, Amsterdam Noord *Enkele onderdelen van de resultaten van het project Pop-Up Gallery komen overeen met het project Buurtschatten, omdat beide projecten onderdeel waren van het vak Villa Bredero. Er is wel degelijk sprake van een ander project, een andere docent, een andere opdrachtgever en andere leerlingen.

5.1 Hoe beoordelen docenten en externe opdrachtgevers in community art projecten waarin leerlingen participeren?

5.1.1 Toets-taak: wat wordt er precies beoordeeld?

De leerlingen van Villa Bredero selecteerden samen met de kunstenaars van Noordwaarts+ kunstwerken en organiseerden een Pop-Up Gallery in de school tijdens de jaarlijkse ouderavond voor ouders en buurtbewoners. De kunstenaars en leerlingen dachten samen na over een verbinding met de wijk. De docent gaf aan dat de leerlingen na het project een reflectieverslag moesten schrijven aan de hand van de te behalen competenties voor het vak Villa Bredero (zie ook project Buurtschatten), waarbij de leerlingen de competenties moesten onderbouwen. Volgens de docent moesten de leerlingen persoonlijk een strategie ontwikkelen om hun competenties te verbeteren.

Daarna hadden ze ( tevens overeenkomstig aan het project Buurtschatten) nog een beoordelingsgesprek met de docent en vervolgens moesten ze een presentatie geven.

Ook de opdrachtgever van dit project heeft tussentijds feedback gegeven op tussenproducten (in het kader van planning, organisatie, communicatie, vormgeving, publiciteit ) en gaf de leerlingen aanwijzingen bij het organiseren van de Pop-Up Gallery en het aantrekken van nieuw publiek uit de buurt. De opdrachtgever gaf aan niet goed op de hoogte te zijn van de toetstaak. Volgens de opdrachtgever is de toets-taak het organiseren van de Pop-Up Gallery, maar wat er daadwerkelijk getoetst werd door de school (aan de hand van de competenties) was bij de opdrachtgever niet bekend.

5.1.2 Context van beoordelen (fysiek en sociaal) De leerlingen werden op school beoordeeld, waarbij ze tussentijds feedback van de opdrachtgever kregen op het proces, zowel mondeling als per mail, als op locatie (de Pop-Up Gallery op school).

De opdrachtgever geeft aan dat de beoordeling niet geheel, maar deels overeenkwam aan de beroepspraktijk. Hierbij sprak de opdrachtgever vooral over het proces, omdat de uiteindelijke beoordeling door de docenten gedaan is. De opdrachtgever gaf aan dat het proces overeenkomstig was aan de beroepspraktijk, maar dat ze als opdrachtgever wel steeds sturing gaf aan de leerlingen, rekening houdend met het niveau van de leerlingen. “Je snapt vanzelf dat kinderen van deze leeftijd nog niet alles heel goed zoals wij kunnen doen. Die snappen nog niet zo goed hoe alles in elkaar zit en dat je dus van tevoren dingen moet uitdenken en voorstellen moet doen. Natuurlijk ben je daar als opdrachtgever op voorbereid.�

28

De leerlingen werden individueel (door het onderbouwen van competenties en de eindpresentatie) en ook als groep beoordeeld volgens docent en opdrachtgever. Samenwerken moest onderbouwd worden door de leerlingen in het reflectieverslag en de presentatie.

5.1.3 Beoordelingsinstrumenten De opdrachtgever speelde geen rol bij de totstandkoming van het beoordelingsinstrument en gaf aan geen kennis te hebben gehad. van het beoordelingsinstrument. *De documentanalyse is hetzelfde als voor het project Buurtschatten; er waren geen beoordelingsinstrumenten verbonden aan het logboek en het reflectieverslag. Er was sprake van dezelfde beoordelingsinstrumenten als bij het project Buurtschatten(bijlage 6/bijlage 7).

5.1.4 Beoordelingscriteria Er was geen overleg en afstemming tussen de docent en de opdrachtgever over de beoordelingscriteria. Tevens waren de competenties niet bekend bij de opdrachtgever en konden ze daar tijdens het project niet op inspelen. De docent gaf aan dat de opdrachtgever er meer is voor de ‘algemene view’ en niet ging over de beoordelingscriteria van de leerlingen.

“De opdrachtgever is meer voor de algemene ‘view’. Hebben ze er genoeg aan gedaan?, zijn de resultaten in orde? Tijdens de presentaties, kan de opdrachtgever (als die erbij is) daar ook wat over vertellen, hoewel ze vaak milder zijn dan wij. Het is wel een samenspraak.” *De documentanalyse is hetzelfde als voor het project Buurtschatten (bijlage 6 t/m 8).

5.1.5 Norm Voor dit project gold dezelfde norm als bij het project Buurtschatten. De leerlingen moesten hun persoonlijke vaardigheden ontwikkelen (ipsatief), waarbij de leerlingen wel de competentie ‘samenwerken’ moeten onderbouwen. De docent gaf duidelijk aan dat de leerlingen zelf een strategie moesten ontwikkelen om hun competenties te verbeteren. Hierbij werd dus naar de ontwikkeling van de leerlingen gekeken. ”Als jij dingen niet kan, maar je doet ongelooflijk je best en het is lang niet zo goed als een ander, maar je hebt zo hard gewerkt, dan krijg je een dikke vette voldoende. Maar als je alleen zit te slampampen en denkt, ik kan het allemaal wel, dan krijg je toch een 5, want je moet je ontwikkelen.”

De docent gaf hierbij aan dat de individuele ontwikkeling van de leerlingen soms niet helemaal goed te meten is door meeliften van leerlingen wanneer ze werken in groepsverband. Ook de opdrachtgever gaf aan dat er soms sprake was van meeliften. Dit gold niet voor elk groepje. Soms konden ze erg goed samenwerken.

29

5.1.6 Overeenstemming tussen docent en externe opdrachtgever De docent gaf aan dat de manier van afstemming met de opdrachtgever in de begeleiding van de leerlingen te maken had met andere doelstellingen vanuit de school dan vanuit de opdrachtgever.

Vanuit school was het van belang dat de leerlingen hun competenties zouden behalen na de uitvoering van het project, maar voor de opdrachtgever was het belangrijk dat de opdracht goed werd uitgevoerd, volgens de docent. Daar zou naar gekeken moeten worden door de opdrachtgever en naar de inzet van de leerlingen in het uitvoeren van de opdrachten, volgens de docent. De opdrachtgever gaf aan dat ervan tevoren geen afspraken zijn gemaakt over de begeleiding en beoordeling van de leerlingen. De docent gaf daarbij aan dat de verantwoordelijkheid vooral bij de docent ligt. “De docenten zijn in staat om het proces op het eind recht te breien, wanneer de leerlingen in moeilijkheden komen.“ De opdrachtgever gaf aan de leerlingen nieuwe dingen te kunnen leren vanuit de eigen expertise en te kunnen sturen in het proces, waar de docent juist op die punten tekort schoot. In die zin was de samenwerking een goede aanvulling op elkaars capaciteiten, volgens de opdrachtgever. De opdrachtgever ondervond wel problemen ten aanzien van het eigen didactisch vermogen. Daarin bood de docent een welkome ondersteuning tijdens de lessen.

5.2 Hoe ervaren de leerlingen de beoordelingen door docenten en externe opdrachtgevers?

5.2.1 Toets-taak: wat wordt er precies beoordeeld?

Ook bij dit project gold voor de leerlingen dat er onduidelijkheid was over waar ze uiteindelijk op beoordeeld zouden worden. De leerlingen wisten van tevoren wel dat ze beoordeeld zouden worden op de competenties die ze moesten aantonen en onderbouwen in hun reflectieverslag, gesprek en presentatie.

5.2.2 Context van beoordelen (fysiek en sociaal) De leerlingen werden op school beoordeeld. Alle leerlingen gaven aan tussentijds feedback van de opdrachtgever te hebben gehad, zowel mondeling als per mail.

Ten aanzien van de sociale context gaven de leerlingen aan dat ze hebben leren organiseren, plannen en communiceren en dat de vaardigheden om een presentatie te kunnen geven zijn verbeterd. Dit kunnen ze naar eigen zeggen toepassen in de latere beroepspraktijk. Ook hier geldt dat de opgedane vaardigheden in de ogen van de leerlingen niet geldig waren voor een specifiek beroep, maar toepasbaar zijn voor meerdere beroepspraktijken.

De leerlingen ervoeren de beoordeling als individueel, waarbij er wel op samenwerking werd gelet.

30

5.2.3 Beoordelingsinstrumenten Leerlingen waren op de hoogte van de beoordelingsinstrumenten (het reflectieverslag, het beoordelingsgesprek en de eindpresentatie). Er waren geen beoordelingsinstrumenten aan de tussenproducten verbonden volgens de leerlingen. De leerlingen vonden het reflectieverslag een goede manier om op het proces te reflecteren.

“Je kon door het reflectieverslag veel vertellen wat je in de praktijk gedaan had en hoe je jezelf ontwikkeld had.

5.2.4 Beoordelingscriteria De leerlingen wisten voorafgaand en tijdens het project niet of ze op aparte criteria door de opdrachtgever beoordeeld zouden worden. De leerlingen wisten wel vooraf welke competenties ze na afloop van het project zouden moeten onderbouwen.

5.2.5 Norm De leerlingen gaven aan dat er geen sprake was van een absolute norm, maar ervoeren de beoordeling niet als ´gelijk´. De leerlingen gaven aan dat er sprake was van voortrekken.

“We vonden wel dat iemand werd voorgetrokken. Wat ze deed was meteen goed, terwijl wij het gevoel hadden dat we harder moesten werken.”

5.2.6 Overeenstemming tussen docent en externe opdrachtgever Het was voor de leerlingen meteen duidelijk dat de docent de eindbeoordeling zou gaan doen (het reflectieverslag, de presentatie en het beoordelingsgesprek). Ze wisten niet of de opdrachtgever daar ook nog een rol in zou gaan spelen. Er was sprake van verwarring over de tussenproducten die gecontroleerd moesten worden door de opdrachtgever. De leerlingen wisten niet hoe deze beoordeeld zouden worden en op welke criteria.

“We wisten niet hoe onze brieven, planningen en plannen voor de expositie beoordeeld zouden worden door de opdrachtgever. “ 5.3 Wat is de mate van authenticiteit van de toets?

1.Taak De toets-taak is grotendeels authentiek te noemen, gezien het feit dat de leerlingen verschillende competenties ten aanzien van kennis, vaardigheden en houdingen moesten onderbouwen in hun reflectieverslag en presentatie. Dit kwam overeen met het project Buurtschatten en was eveneens een complexe en complete taaksituatie. De toets-taken kwamen niet geheel overeen met de criteriumsituatie, aangezien de competenties wel algemeen dekkend zijn voor het project, maar minder ingaan op de specifieke criteria van de opdrachtgever ten aanzien van de expositie en de verbinding met de buurt.

2. Fysieke omgeving *Idem aan het project Buurtschatten; de fysieke omgeving van de toetsopdracht was binnenschools, waarbij de taken tevens buitenschool waren, waar de leerlingen op reflecteerden.

31

3. Sociale context Ook bij dit project sloot de sociale context van de toetsing niet geheel aan bij de criteriumsituatie (community art). Deze vaardigheden werden niet apart, maar indirect getoetst aan de hand van de competenties. De toetssituatie was daarom deels authentiek te noemen. De leerlingen werden zowel als groep, als individu beoordeeld. Dit is authentiek te noemen, gezien de organisatie en ontmoeting met de buurt gezien werd als het kunstwerk en vanuit de school de competentie samenwerken onderbouwd diende te worden.

4.Vorm *De vorm is gelijk aan het project Buurtschatten en is grotendeels authentiek te noemen. De nadruk lag in dit project vooral op organisatorische vaardigheden en dit is één van de competenties van Villa Bredero.

5. Resultaat/Criteria *Idem aan het project Buurtschatten; het onderbouwen van de competenties is erg authentiek, maar de competenties waren niet geheel criterium-gerelateerd (kwamen niet geheel overeen met de opdracht van de opdrachtgever.

5.4 Conclusie De opdrachtgever van de Pop-Up Gallery was niet op de hoogte van de toets-taak. De opdrachtgever gaf de leerlingen aanwijzingen en feedback gedurende het proces, maar wist niet waar de leerlingen op beoordeeld zouden worden. De opdrachtgever keek dus naar de eigen doelen gedurende het proces, maar de toets-taak vanuit de school kwam daarmee niet overeen. De competenties gingen meer over algemene doelen. Het was aan de leerlingen zelf hoe gedetailleerd ze de taken in opdracht van de opdrachtgever in hun reflectie omschreven om hun competenties te onderbouwen. Net als bij het project Buurtschatten werden de leerlingen op school beoordeeld, middels het verslag, het gesprek en de presentatie, maar reflecteerden de leerlingen daarbij wel op het proces in de praktijk.

De opdrachtgever hield naar eigen zeggen wel rekening met het niveau van de leerlingen.

De toetsing kwam niet geheel overeen met de criteriumsituatie, omdat het project voornamelijk over organiseren ging en minder over kunstzinnige vaardigheden. Een doel van het project was sociale cohesie in de wijk en het genereren van ontmoeting. Ook daarbij was de vraag welke criteria er aan community art gekoppeld zouden moeten worden. Ook in dit project speelde de opdrachtgever geen rol bij de totstandkoming van het beoordelingsinstrument en de beoordelingscriteria. De docent gaf aan dat de opdrachtgever vooral ten dienste stond van de ‘algemene view’, waarbij de opdrachtgever opmerkingen kon maken over het proces tijdens het proces en de presentaties. De opdrachtgever zou andere doelstellingen hebben dan de school volgens de docent. Het ontbreken van de kennis over beoordelingscriteria had volgens de opdrachtgever het gevolg dat daar tijdens het proces niet op ingespeeld kon worden door de opdrachtgever. Er was sprake van dezelfde instrumenten en criteria als bij het project Buurtschatten. De docent gaf aan dat er geen sprake was van een absolute norm ten aanzien van de beoordeling. De leerlingen dienden zelf een strategie te ontwikkelen om hun competenties te verbeteren (ipsatief). De ontwikkeling van de leerlingen is volgens de docent en opdrachtgever niet altijd goed te meten door meeliften van de leerlingen in de samenwerkingsgroepjes.

32

In de samenwerking tussen de docent en de externe opdrachtgever werden er van tevoren geen afspraken gemaakt over de begeleiding en beoordeling van de leerlingen. De docent gaf aan dat de docent er vooral was om dingen die fout gingen op het eind recht te breien samen met de leerlingen, omdat ze nog weinig ervaring hadden. Tijdens het proces kon de opdrachtgever aanwijzingen geven vanuit de eigen expertise waar de docent tekort schoot. De samenwerking was een aanvulling op elkaars capaciteiten, volgens de opdrachtgever, ook omdat de opdrachtgever niet alle didactische vaardigheden in huis had.

Er was onduidelijkheid bij de leerlingen door wie ze beoordeeld zouden worden. De leerlingen hadden in dit project niet het gevoel op een specifiek beroep te zijn voorbereid, maar gaven aan dat ze vooral vaardigheden hebben opgedaan op het gebied van organiseren, plannen, communiceren en presenteren. Dit is in de toekomst volgens hen relevant voor meerdere mogelijke beroepspraktijken. Er was sprake van verwarring over de tussenproducten die gecontroleerd moesten worden door de opdrachtgever (brieven, planningen, plannen voor de expositie, pr). De leerlingen wisten niet hoe deze beoordeeld zouden worden en op welke criteria. Ook deze leerlingen ervoeren de beoordelingen als individueel, waarbij er wel gelet werd op samenwerking gedurende het project.

Het project is na vergelijking met het 5DM tevens grotendeels authentiek, waarbij er net als in het project Buurtschatten competenties ten aanzien van kennis, vaardigheden en houdingen werden opgedaan. Ook binnen dit project was er sprake van een complexe en complete taaksituatie, waarbij leren buiten de school werd gestimuleerd. De beoordeling was niet in alle opzichten authentiek. Net als bij het project Buurtschatten waren er geen criteria en beoordelingsinstrumenten verbonden aan de tussentijdse opdrachten van de opdrachtgever. De competenties die de leerlingen moesten omschrijven waren algemeen dekkend, maar niet specifiek voor de criteria van de opdrachtgever, wanneer het ging over de expositie en de verbinding met de buurt. Alle vaardigheden t.a.v. community art werden niet apart, maar indirect getoetst aan de hand van de competenties.

Het feit dat de beoordeling minder aansloot op de criteria van de opdrachtgever maakt dat de authenticiteit van de beoordeling hierdoor afneemt. De samenwerking met een ‘echte opdrachtgever’, zou de ervaring van de leerlingen authentieker maken (Gulikers, 2011) , maar de wensen van de opdrachtgever sloten niet geheel aan op de uiteindelijke beoordeling.

33

6. Conclusie, discussie en aanbevelingen 6.1 Conclusie Dit onderzoek is opgezet om in kaart te brengen hoe docenten samen met externe opdrachtgevers beoordelen in authentieke kunsteducatieve community art projecten en hoe leerlingen dit ervaren.

Hierna werden de uitkomsten vergeleken met theorie over authentiek beoordelen volgens het vijfdimensionaal model (5DM) van Judith Gulikers (2011). De onderzoeksvraag luidde: “Hoe beoordelen docenten en externe opdrachtgevers leerlingen/studenten in authentieke kunsteducatieve community art projecten die ontstaan zijn vanuit de vraag van een externe opdrachtgever, hoe ervaren leerlingen/studenten deze beoordelingen en in hoeverre is die toetsing authentiek?”

In dit hoofdstuk zal ik van alle drie de onderzochte projecten (Wij zijn de Wijk, Buurtschatten en PopUp Gallery) samenvattend antwoord geven op de belangrijkste uitkomsten van de onderzoeksvragen.

In het geval van de respondenten worden de zes deelvragen aangehouden (toets-taak, fysieke en sociale context, beoordelingsinstrumenten, beoordelingscriteria, norm en overeenstemming tussen docenten en externe opdrachtgevers) en ten aanzien van de vergelijking met het 5DM de volgorde van de categorieën van het 5DM (taak, omgeving, sociale context, vorm, resultaat/criteria). De drie projecten worden daarbij met elkaar vergeleken. Daarna wordt er gereflecteerd op de resultaten, worden er aanbevelingen gedaan voor het beoordelen in dergelijke projecten in samenwerking met externe opdrachtgevers en er worden aanbevelingen gedaan voor vervolgonderzoek.

1. Docenten en externe opdrachtgevers De toets-taken varieerden in de drie projecten. In Wij zijn de Wijk werkten de studenten aan een portfolio met behulp van feedback van de externe opdrachtgever en maakten een eindpresentatie in een kerk in de wijk. In Buurtschatten en de Pop-Up Gallery maakten de leerlingen een reflectieverslag, hadden een beoordelingsgesprek met de docent en gaven een eindpresentatie over de gehele projecten, daarbij moesten ze competenties onderbouwen die stonden voor het vak Villa Bredero. De leerlingen reflecteerden hierbij op taken in de praktijk in opdracht van de externe opdrachtgevers. Bij alle drie de projecten kwamen niet alle onderdelen van de toets-taak terug in de beoordeling. In het project Pop-Up Gallery was de opdrachtgever niet op de hoogte van de toets-taak en keek gedurende het project vooral naar de eigen projectdoelen.

De uiteindelijke toetsing vond bij alle drie de projecten op school plaats, maar bij alle drie de projecten werd het gehele proces beoordeeld. Gedurende het proces moesten de leerlingen dingen in de praktijk laten zien. Alle drie de projecten beoogden community art projecten te zijn, maar de criteria waren daar niet specifiek op afgestemd. Bij het project Wij zijn de Wijk was het doel om verbinding met de wijk de creëren, maar dat kwam niet terug in de beoordeling. Bij de andere twee projecten lag dat aan de leerlingen zelf in hoeverre de verbinding met de wijk onderbouwd werd middels de competenties in het reflectieverslag en werd dit dus indirect getoetst.

In het project Wij zijn de Wijk werd gebruik gemaakt van een rubric en beoordeelden de studenten elkaar. Hier was sprake van een absolute norm (criterion referenced). Bij de andere twee projecten bestond de beoordeling uit de beoordeling van het reflectieverslag, een presentatie en een beoordelingsgesprek. De leerlingen schatten zelf hun niveau van de competenties in middels een formulier om hun eigen niveau van de competenties aan te kruisen en de docenten beoordelen aan de hand van hun observaties of de reflectie op het project (volgens de cyclus van Korthagen) en 34

onderbouwing van de competenties in het verslag kloppen. Enkel aan de presentatie was een beoordelingsformulier verbonden. Verder maakte de docent zelf een inschatting van het cijfer. Het ging om de individuele ontwikkeling van de leerlingen (ipsatief).

Het bleek dat alle externen vooral voorzagen in feedback tijdens het proces en geen stem hadden in de uiteindelijke beoordeling en ook geen invloed hadden op de beoordelingscriteria. Bij geen van de projecten werden met absolute criteria gewerkt en bij alle beoordelingen werd de samenwerking met de medestudenten/leerlingen meegenomen in de (uiteindelijk) individuele beoordeling.

In de overeenstemming tussen de docenten en externe opdrachtgevers valt op dat er in alle drie de gevallen sprake was van weinig afspraken over beoordeling. Alle opdrachtgevers gaven feedback vanuit hun eigen inschatting. De opdrachtgevers zouden meer duidelijkheid over de beoordeling willen, zodat de feedback ook beter af te stemmen zou zijn op de beoordelingscriteria.

Volgens de opdrachtgever van het project Buurtschatten zouden de tussenproducten ook aparte criteria en een weging moeten krijgen in de beoordeling, zodat de beoordeling beter aan zou sluiten bij de opdracht van de opdrachtgever en beter aan zou sluiten bij het artistieke gedeelte, in plaats van enkel de algemene competenties. Soms werd het gebrek aan didactische vaardigheden genoemd door de opdrachtgevers. De opdrachtgever van het project Buurtschatten ervoer de coachende rol van de docent als positief. Door de aanwezigheid tijdens het proces kan de docent de leerlingen ook beter beoordelen volgens de opdrachtgever. In Wij zijn de Wijk werd de afwezigheid van de docent dan ook als een gemis gezien. Feedback kon niet teruggekoppeld worden naar de school.

2. Studenten/leerlingen In het geval van alle drie de projecten was er onduidelijkheid bij de studenten/leerlingen over de toets-taak en de rol van de externe opdrachtgevers daarin.

De beoordelingen werden door alle studenten/leerlingen ervaren als binnenschools. Echter waren er veel taken die de studenten/studenten buitenschools uitvoeren gedurende het proces.

Alle respondenten gaven aan niet het gevoel te hebben op een specifiek beroep voorbereid te zijn, maar hebben meer algemene vaardigheden opgedaan ten aanzien van de beroepspraktijk of vervolgstudie. Voorbeelden hiervan zijn communicatieve vaardigheden en organisatorische vaardigheden. Alle studenten/leerlingen kregen een grote verantwoordelijkheid in hun eigen beoordeling.

3.Mate van authenticiteit Door de toetskenmerken op de criteriumsituatie te laten lijken wordt de toets authentieker (Gulikers, 2011). Dit zou in theoretische zin gezien verbeterd moeten worden door samenwerking met een externe opdrachtgever. Uit dit kleinschalig onderzoek blijkt in de praktijk dat de geĂŻnterviewde externe opdrachtgevers geen tot weinig stem hadden in de beoordeling van de leerlingen/studenten. Dit zou verbeterd moeten worden om het toetsen authentieker te maken.

Echter is er binnen community art projecten de vraag wat de criteriumsituatie zou moeten zijn, dat verschilt namelijk per project. Er kan niet gemeten worden aan een vaststaande beroepspraktijk. De projecten impliceren verbinding te zoeken met de wijk en de sociale cohesie te verbeteren. Echter komt dat niet terug in de toets-taken en in de criteria. Dit lijkt meer een gevolg te zijn van de projecten.

De zaken die er voornamelijk aan bijgedragen hebben om de beoordeling authentiek te maken waren: het werken met een portfolio, het werken met behulp van feedback van de 35

opdrachtgever en de betrokkenheid van de studenten/leerlingen in de beoordeling en het feit dat de kennis, vaardigheden en houdingen vanuit de complete en complexe taaksituaties werden getoetst, waar de nadruk vooral lag op vaardigheden en houdingen.

Uit dit onderzoek is gebleken dat de samenwerking tussen opdrachtgever en de school voor verbetering vatbaar is. Wanneer de beoordeling van de studenten/leerlingen zoveel mogelijk aansluiting zou kunnen vinden bij de criteria van de opdrachtgever en er alvorens de projecten een heldere criteriumsituatie zou kunnen worden geschetst zou de toetsing beter aansluiten bij de praktijk. Daar zou op gelet moeten worden om de toetsing en de ervaring van de leerlingen zo authentiek mogelijk te maken.

6.2 Discussie Na de verwerking van alle data blijft er discussie bestaan over de uitkomsten. Het 5DM van Gulikers is een zeer uitvoerig en gecompliceerd model. De vergelijking van de uitkomsten van de respondenten met dit model was dan ook niet volledig dekkend voor alle subcategorieën van het model, omdat het model te omvangrijk was om alles te kunnen behandelen binnen dit onderzoek. De resultaten zijn daarom achteraf ‘bottum up’ vergeleken met het model. Tevens zou er de misvatting kunnen bestaan dat het model enkel van toepassing zou kunnen zijn op het beroepsonderwijs, waar leerlingen duidelijk worden opgeleid voor een bepaald beroep, omdat het model gaat over de overeenkomst van de toetsing met de werkelijke beroepspraktijk (criteriumsituatie). Maar waar het volgens Gulikers om gaat, is “dat leerlingen taken uitvoeren, resultaten opleveren en beoordeeld worden op criteria die representatief zijn voor wat de kunst-en-cultuurwereld en professionele praktijk inhoudt “(Gulikers, 2011, p. 52).

Er waren aan de hand van het 5DM relatief veel uitspraken te doen over de mate van de authenticiteit van de toetsing. Er moet hierbij rekening gehouden worden met het feit dat het model geen definitieve richtlijnen bevat voor authentiek toetsen. “Het zegt niet dat een authentieke toets altijd complex is of dat je in een authentieke toets altijd moet samenwerken. Of een toets authentiek is, wordt namelijk bepaald door de mate van overeenkomst met de criteriumsituatie” (Gulikers, 2011, p. 46).

De criteriumsituatie was bij alle projecten moeilijk te omschrijven, omdat er nog veel discussie bestaat over wat community art precies is en tevens was de toetsing bij alle drie de projecten niet afgestemd op criteria ten aanzien van community art. Dit kwam gedurende het onderzoek naar voren. Hierbij bestaat er ook discussie over ‘wel of geen kunstzinnige criteria’. In community art projecten gaat het niet altijd over wat er ‘doorgaans’ verstaan wordt onder kunstzinnige criteria (bijvoorbeeld; compositie), maar wanneer het kunstwerk gaat over interactie en ontmoetingen zullen er andere vaardigheden worden verwacht van de deelnemers, bijvoorbeeld op sociaal-maatschappelijk gebied. De ontmoeting wordt soms zelfs als kunstvorm ervaren. Het is dan geen thema, maar de juiste vorm van het werk (Trienekens, van Hoorn & Damen, 2006, p. 17). Het kan er daardoor op lijken dat projecten zich op een grensgebied begeven van ‘wel of geen kunsteducatie’. Dit zou voorafgaand aan het project eerst helder moeten zijn.

Ten slotte is gebleken dat er uiteindelijk weinig verschil bleek te zijn in uitkomsten binnen de projecten Buurtschatten en de Pop-Up Gallery, omdat ze op dezelfde school plaatsvonden. Wegens beperkte tijd was het niet mogelijk om meer projecten te onderzoeken. In het geval van meer respondenten zou de betrouwbaarheid van de uitkomsten van het onderzoek verhoogd worden. In het geval van het project Buurtschatten was ik als onderzoeker zelf respondent als externe 36

opdrachtgever. Dit kan ervoor zorgen dat het onderzoek ‘de kleuring’ van de onderzoeker zelf meekrijgt. De resultaten van de onderzoeker werden echter wel in een ‘complete situatie’ -samen met de docenten en leerlingen - omschreven.

6.3 Aanbevelingen Aan het einde van dit rapport is er ten slotte ruimte voor aanbevelingen ten aanzien van beoordelen door docenten en externe opdrachtgevers in authentieke kunsteducatieve community art projecten en aanbevelingen met betrekking tot vervolgonderzoek. Gezien het feit dat overeenstemming van de toetsing met de criteriumsituatie vooral de mate van authenticiteit van de toetsing bepaalt is het aan te bevelen om dit alvorens een project goed af te stemmen. De criteriumsituatie zo eigenlijk zo helder mogelijk moeten zijn voor een project van start gaat. De beoordelingscriteria zouden dus meer afgestemd moeten worden de criteria van de opdrachtgever en op community art en niet alleen op algemene overkoepelende vaardigheden of competenties. In het geval van competentiegericht leren zou aangegeven kunnen worden welke criteria van de opdrachtgever onderbouwt dienen te worden door de leerlingen bij het onderbouwen van de competenties.

De beoordelingen werden door alle studenten/leerlingen ervaren als binnenschools, terwijl er veel taken waren die de studenten/studenten buitenschools uitvoerden gedurende het proces.

Niet aan al die taken werden criteria verbonden. Dat zou vooral de taak van de externe beoordelaar kunnen zijn. De leerlingen/studenten kregen zelf veel verantwoordelijkheid over hun beoordeling.

Dat zou eigenlijk aan het begin duidelijk moeten zijn om verwarring te voorkomen over wie ze uiteindelijk zal gaan beoordelen. Ten slotte is gebleken dat de criteriumsituatie lastig te bepalen is in community art projecten. Wat zouden de elementen moeten zijn waaraan de criteriumsituatie moet voldoen in het geval van een community art project? Daar zou verder onderzoek naar gedaan moeten worden.

37

Referenties Gulikers, J. (2011). Authentiek beoordelen: kansen voor het kunstonderwijs. Cultuur + Educatie, 31(11), 38-61.

Gulikers, J.T.M., Bastiaens, T.J. & Kirschner, P.A. (2004). A five-dimensional framework for authentic assessment. Etr&D-Educational Technology Research and Development, 52(3), 67-86.

Haanstra, F. (2011). Authentieke Kunsteducatie: een stand van zaken. Cultuur + Educatie, 31(11), 837.

Messick, s. (1994). The interplay of evidence and consequences in the validation of performance assessments. Educational Researcher, 23(2), 13-23.

Trienekens, S., van Hoorn, M. & Damen, M.L. (2006) Kunst en sociaal engagement: een analyse van de relatie tussen kunst, de wijk en de gemeenschap. Cultuur + Educatie, 17, 4-70.

Zimmerman, E. (1997). Authentic assessment research in art education. In S.D. LaPierre & E. Zimmerman (Eds.), Research methods and methodologies for art education (pp. 149-169). Reston, VA: National Art Education Association.

38

Bijlage 1 – Villa Bredero

Villa Bredero

Bij Villa Brederdo leert de leerling op een andere manier dan bij de reguliere vakken. In plaats van het consumeren van kennis uit schoolboeken, kiest de leerling zelf de onderwerpen waarin hij of zij zich wil verdiepen. Het doel is dat de leerlingen hun neus buiten de schoolmuren steken en kennis nemen van de ‘echte’ wereld. Dat doen ze door samenwerking met externe opdrachtgevers. In de opdrachten of projecten van externen komen allerlei vaardigheden aan bod die binnen het reguliere onderwijs minder aandacht krijgen, zoals samenwerken, plannen en reflecteren. Maar ook onderzoeksvaardigheden, het verzamelen van informatie en presentatie spelen een belangrijke rol.

Villa Bredero biedt voorbereiding op dat wat in de vervolgopleiding (universiteit of hbo) wordt verwacht. Het Bredero Lyceum roept op haar website externe opdrachtgevers op zich te koppelen aan leerlingen van Villa Bredero.

Villa Bredero is een breed vak, waarbij elk jaar nieuwe projecten worden ingezet om de leerlingen competenties te laten vervaardigen uit de beroepspraktijk. Voorbeelden van projecten zijn het organiseren van een schrijversavond, een verhalenfestival i.s.m. de OBA, het maken van campagnefilmpjes voor de Anne Frank Stichting of het maken van een architectuurwandeling i.s.m.

ARCAM. De projecten Buurtschatten en de Pop-Up Gallery waren een kunsteducatieve projecten, maar dit geldt niet voor alle projecten binnen Villa Bredero.

39

Bijlage 2 - Interviews Interview docenten 1)Toets-taak -Wat werd er precies beoordeeld?/Wat was de toets-taak?

2) Fysieke en sociale context -Waar werden de leerlingen beoordeeld?

-Werden de leerlingen als groep of als individu beoordeeld?

3)Beoordelingsinstrumenten -Welke beoordelingsinstrumenten gebruikte u?

-Wat zijn uw ervaringen met de beoordelingsinstrumenten binnen dit project in samenwerking met de externe opdrachtgever?

-Wie bepaalde wat?

4)Beoordelingscriteria -Welke criteria hanteerde u? Welke criteria vond u belangrijk?

-Wat zijn uw ervaringen met de beoordelingscriteria binnen dit project in samenwerking met de externe opdrachtgever?

-Wie bepaalde wat?

5) Norm van de beoordeling (absolute maat/ relatief of persoonlijke ontwikkeling ;criterion based/reference based/ ipsatief) -Was er wel of geen sprake van absolute criteria t.a.v. de beoordeling van de studenten/leerlingen?

-Hoe was daarin de samenwerking tussen de docent en de externe opdrachtgever?

6)Overeenstemming tussen docent en de externe opdrachtgever -Hoe was binnen het project de verdeling van de begeleiding en beoordeling van de leerlingen afgestemd? (tussen docent(en) en opdrachtgever) -Kunt u succeservaringen met de externe opdrachtgever omschrijven binnen dit project in het kader van beoordelen van studenten/leerlingen?

-Kunt u problemen in samenwerking met de externe opdrachtgevers omschrijven binnen dit project in het kader van beoordelen van studenten/leerlingen?

40

Interview externe opdrachtgevers 1)Toets-taak -Wat werd er precies beoordeeld?/Wat was de toets-taak?

2) Fysieke en sociale context -Waar werden de leerlingen beoordeeld?

-Kwam de toetsing overeen met de werkelijke situatie in de beroepspraktijk?

-In hoeverre kwam de toetsing overeen met het denken/handelen in de beroepspraktijk?

-Werden de leerlingen als groep of als individu beoordeeld?

3)Beoordelingsinstrumenten -Welke beoordelingsinstrumenten gebruikte u?

-Wat zijn uw ervaringen met de beoordelingsinstrumenten binnen dit project in samenwerking met de docent?

-Wie bepaalde wat?

4)Beoordelingscriteria -Welke criteria hanteerde u? Welke criteria vond u belangrijk?

-Wat zijn uw ervaringen met de beoordelingscriteria binnen dit project in samenwerking met de docent?

-Wie bepaalde wat?

5) Norm van de beoordeling (absolute maat/ relatief of persoonlijke ontwikkeling ;criterion based/reference based/ ipsatief) -Was er wel of geen sprake van absolute criteria t.a.v. de beoordeling van de studenten/leerlingen?

-Hoe was daarin de samenwerking tussen de docent en u als de externe opdrachtgever?

6)Overeenstemming tussen docent en de externe opdrachtgever -Hoe was binnen het project de verdeling van de begeleiding en beoordeling van de leerlingen afgestemd? (tussen docent(en) en opdrachtgever) -Kunt u succeservaringen met de docenten omschrijven binnen dit project in het kader van beoordelen van studenten/leerlingen?

-Kunt u problemen in samenwerking met de docenten omschrijven binnen dit project in het kader van beoordelen van studenten/leerlingen?

41

Groepsinterview leerlingen

1)Toets-taak -Wisten jullie van tevoren waar je op beoordeeld werd?

2)Fysieke en sociale context -In welke omgeving werden jullie beoordeeld? Bijvoorbeeld op school of op een andere locatie tijdens het project?

-Hebben jullie vaardigheden geleerd die je ook in een later beroep zou kunnen uitoefenen?

-Hoe zijn jullie aan deze nieuwe kennis/vaardigheden gekomen?

-Werden jullie beoordeeld als groep of als individu?

3)Beoordelingsinstrumenten -Werd er een speciaal beoordelingsmodel gebruikt en zo ja, wat waren jullie ervaringen daarmee?

-Wisten jullie van tevoren welk beoordelingsmodel er gebruikt zou worden?

4)Beoordelingscriteria -Wat waren de beoordelingscriteria en wat waren jullie ervaringen daarmee?

-Wisten jullie van tevoren op welke criteria je beoordeeld zou worden?

5) Norm van de beoordeling (absolute maat/ relatief of persoonlijke ontwikkeling ;criterion based/reference based/ ipsatief) -Werd iedereen op een gelijkwaardige manier beoordeeld?

-Vonden jullie dat de beoordeling eerlijk was? Waarom wel, niet?

6)Overeenstemming tussen docent en de externe opdrachtgever -Door wie werden jullie binnen dit project beoordeeld en wat waren jullie ervaringen daarmee?

-Was het meteen duidelijk wie je binnen het project zou gaan beoordelen?

42

Bijlage 3 – Codeerschema’s Docenten Kernlabels 1)Toets-taak

2)Fysieke en sociale context

Thema Toets-taak algemeen

Beoordelingsomgeving Beoordeling als groep of individu

3)Beoordelingsinstrumenten

Algemeen

In samenwerking met opdrachtgever 4)Beoordelingscriteria

Algemeen

In samenwerking met opdrachtgever

5)Norm

6)Overeenstemming docent en externe opdrachtgever

Wel of geen absolute criteria

Samenspraak docent en opdrachtgever Verdeling begeleiding en beoordeling

Succeservaringen samenwerking

Problemen samenwerking

43

Label Proces Logboek Portfolio Eindpresentatie Kwalificatiedossier Kerntaken Reflectieverslag Beoordelingsgesprek Eindpresentatie Binnenschoolse beoordeling (3) Feedback opdrachtgever (3) Beiden (3) Individuele beoordelingsgesprekken Rubric Competenties onderbouwen Beoordelingsformulier presentatie Porfolio a.d.h.v. feedback opdrachtgever Rol opdrachtgever - (3) Onduidelijkhieid verantwoordelijkheden Management Concept/creatie/productie Eindproduct Onderbouwen competenties Geen afstemming (3) Opdrachtgevers bepalen criteria van tussenproducten Opdrachtgever voor algemene view Verschil in leerjaren Leerlingen moeten beginniveau verbeteren Leerlingen liften mee Reflectie a.d.h.v. competenties Strategie om competenties te verbeteren Ontwikkeling leerling Tijdsgebrek Samenspraak docent-opdrachtgever + (2) verschillend per project leidende rol opdrachtgever + terughoudende rol docent + contact docent-opdrachtgever (3) contact docent-leerlingen + opdrachtgever kijkt naar enthousiasme+inzet leidende rol opdrachtgever + grenzen stellen door opdrachtgever + nauw contact opdrachtgever-leerlingen + opdrachtgever geeft feedback Onmisbare rol begeleider inzet docenten Rechtbreien door docenten op het eind Overleg docent-opdrachtgever Begeleiding docenten Geen conflicten (2)

Externe opdrachtgevers Kernlabels 1)Toets-taak

2)Fysieke en sociale context

Thema Toets-taak algemeen

Beoordelingsomgeving Werkelijke situatie beroepspraktijk

Beoordeling als groep of individu 3)Beoordelingsinstrumenten

Algemeen In samenwerking met de school

4)Beoordelingscriteria

Algemeen

In samenwerking met school

5)Norm

Wel of geen absolute criteria

Samenspraak docent en opdrachtgever 6)Overeenstemming docenten en externe opdrachtgever

Verdeling begeleiding en beoordeling

44

Label Tussentijdse feedback opdrachtgever (3) Actieve deelname (3) Artistiek product geen toets-taak Proces i.p.v. product Ontmoeting Organiseren Pop-Up Gallery Binnenschoolse beoordeling (3) Feedback opdrachtgever (3) Beoordelings deels als in beroepspraktijk (3) Gebrek aan technische begeleiding Maatschappelijk inzicht + Discussie over community art Rekening houden met niveau leerlingen Organiseren i.p.v. creatieve vaardigheden Beiden (3) Groepsgewijze beoordeling Geen beoordelingsinstrumenten (3) Kennis van beoordelingsinstrumenten Instrument door school opgesteld (2) Controle portfolio door opdrachtgever Geen terugkoppeling opdrachtgever-school Geen beoordeling tussentijdse opdrachten Eisen opdrachtgever via Facebook Afstemming leerlingen met opdrachtgever + Problemen aangeven door student Samenwerking Contact met andere deelnemers Beoordelingscriteria niet bekend (2) Geen weet van competenties Bekendheid met competenties Criteria vanuit opdrachtgever Aansluiting beoordeling bij opdrachtgever Geen tijd voor overleg Verschil in leerjaren Niet met gelijke maat meten Verschillende doelgroepen Verschillende niveaus deelnemers Einddoelen stellen onmogelijk Afhankelijk van succes samenwerking Kennis opdrachtgever niveau studenten Samenspraak tussen school-opdrachtgever + Samenspraak tussen school-opdrachtgever Geen afspraken over beoordeling (2) Verdeling onduidelijk Samen studiewijzer opgesteld Feedback opdrachtgever Begeleiding vanuit school Duidelijkheid over beoordeling Afspraken met studenten + Facebookpagina Zichtbaarheid proces studenten + Onduidelijkheid proces studenten

Succeservaringen samenwerking

Problemen samenwerking

Leerlingen/studenten Kernlabels 1)Toets-taak

2)Fysieke en sociale context

Thema Toets-taak algemeen

Beoordelingsomgeving Werkelijke situatie beroepspraktijk

Beoordeling als groep of individu

3)Beoordelingsinstrumenten

Algemeen Ervaringen

4)Beoordelingscriteria

Bekendheid met beoordelingscriteria Ervaringen Gelijkheid

5)Norm

Eerlijkheid 6)Overeenstemming docent en externe opdrachtgever

Ervaringen

45

School stimuleerde feedback Communicatiemiddelen t.a.v. school + Rol van de coach (docent) + Proces monitoren door coach Contact docent-opdrachtgever + Bijsturen proces door docent + Docent als mediator Konden leerlingen nieuwe dingen leren Sturen tijdens het proces Didactisch vermogen opdrachtgever - (2) Geen weet van beoordeling (2) Onvermogen terugkoppeling naar school Beoordeling onduidelijk Geen beoordeling tussentijdse opdrachten Geen beoordeling door opdrachtgever Verhouding docent/opdrachtgever Nuances in beoordeling Opdrachtgever niet bij eindpresentaties Tijdsgebrek school

Label Onduidelijkheid toets-taak (3) Deels op de hoogte (2) Op de hoogte van competenties Binnenschoolse beoordeling (3) Feedback opdrachtgever (3) Communicatieve vaardigheden + (3) Zelfredzaamheid + Open houding + Voorbereidend op vervolgonderwijs Samenwerkend vermogen + Presentatievaardigheden + Plannen + Probleemoplossend vermogen + Organiseren + Individuele beoordeling Beiden (2) Geen gelijke cijfers Tussenproducten opdrachtgever (3) Geen weet van beoordelingsmodel vooraf (3) Geen vereisten aan tussenproducten Vriendjespolitiek Reflectieverslag + (2) Criteria vooraf niet bekend Competenties vooraf bekend (2) Afstemming met opdrachtgever- (3) Verschilt per groepje Onduidelijkheid berekening cijfer Vriendjespolitiek Sprake van voortrekken Onduidelijkheid beoordeling door wie (2) Duidelijkheidheid beoordeling door wie

Bijlage 4 – Rubric Wij zijn Wijk

46

47

48

Bijlage 5 – Logboek Villa Bredero

49

Bijlage 6 – Beoordelingsformulier presentatie Villa Bredero

50

Bijlage 7 – Beoordeling competenties Villa Bredero

51

Bijlage 8 – Toelichting reflectieverslag Villa Bredero

52

53

54

55