IOB_SB2-LR_def

vakblad over ontwikkelingssamenwerking

jaargang 46 | zomer 2012

VICE VERSA LEERT Over evalueren

de nieuwste methoden Betrokkenheid is het sleutelwoord Politici Welke rapporten lezen zij echt?

Rondetafelgesprek Wordt OS te weinig geëvalueerd?

35 jaar IOB

‘Evalueren is het voelen van de werkelijkheid’

vakblad over ontwikkelingssamenwerking

redactioneel 03

jaargang 46 2012

© Ronald de Hommel

inhoud

Evalueren is een vak

Uitgever Stefan Verwer Hoofdredactie Marc Broere Eindredactie Sanne de Boer Redactie Selma Zijlstra Aan deze special werkten mee Marusja Aangeenbrug, Leonard Fäustle, Sarah Haaij, Janneke Juffermans, Christ Klep, Jisse Kranen, Mark van Luyk, Tony van der Meulen, Jan Pronk, Frans van der Wel Redactiecommissie Rafaëla Feddes, Jisse Kranen, Frans van der Wel

04

12

16

19

5 bijzondere rapporten

Politici

Column

Welke evaluaties lezen ze echt?

Frans van der Wel en Jisse Kranen

26

30

35

De nieuwste methoden

WRR en Algemene Rekenkamer

Rondetafelgesprek

Column

Mislukken mag

Jan Pronk

Van ‘artist impressions’ tot realtime betrokkenheid

‘Onafhankelijkheid bestaat niet’

35 jaar IOB De delicate invloed van ‘Boschlust’ op ‘De Overkant’

Art direction, design en opmaak SAZZA: Saskia Stolz en Daphne Meijer

en hun verhaal

Foto omslag Leonard Fäustle Druk Deltahage, Den Haag Advertenties en communicatie tel. 026-3703177 advertenties@viceversaonline.nl Redactieadres Velperbuitensingel 8, 6828 CT Arnhem tel. 026-3703177 redactie@viceversaonline.nl Website www.viceversaonline.nl Vice Versa verschijnt zes keer per jaar. Een jaarabonnement kost € 37,50 en een studentenabonnement € 19,95 Informatie over abonnementen en aanvraag losse nummers tel. 026-3703177 abonnementen@viceversaonline.nl Vice Versa is een uitgave van lokaalmondiaal.

Deze bijlage is mogelijk gemaakt door IOB.

20

Al 35 jaar lang inspecteert IOB (Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie) het Nederlandse buitenlandbeleid. Het jubileum bracht Vice Versa op het idee van deze special over evalueren.

Evaluaties worden steeds belangrijker en zijn daarom ook steeds vaker onderwerp van discussie. Recentelijk nog riep de Franse wetenschapper Esther Duflo, die furore maakte met haar boek Arm & Kansrijk, overheden op om hun steeds schaarser wordende ontwikkelingsbudgetten vooral te steken in onderzoek naar wat wel en wat niet werkt − in evaluaties dus.

Aan de andere kant is er groeiende kritiek op de meetcultuur die volgens criticasters ten koste gaat van de echte samenwerking binnen ontwikkelingsrelaties. Zij wijzen erop dat resultaten van ontwikkelingsinterventies niet altijd meetbaar zijn. Alle reden dus om een interessante journalistieke bijlage over evalueren te maken.

Zo liep Tony van der Meulen enkele dagen mee op de burelen van IOB. Hij onderzocht hoe de inspecteurs te werk gaan en wat in de dagelijkse realiteit het effect is van hun werk. Uiteraard komt ook de positie van IOB zelf ter sprake. Plaatsvervangend directeur Henri Jorritsma stelt vast dat iedere bewindspersoon zich in zijn of haar houding ten opzichte van IOB altijd weer op dezelfde wijze ontwikkelt. ‘De eerste anderhalf jaar zijn ze altijd erg blij met ons, want al onze evaluaties gaan nog over de voorganger. Daarna komen ze zelf aan de beurt, en neemt het enthousiasme af.’

In het slotinterview houdt Ruerd Ruben, directeur van IOB, nog een krachtig pleidooi voor professionalisering. ‘Er zijn zalen vol mensen die over evalueren spreken, maar er zijn maar weinig mensen die het vak van evaluator beheersen.’ Wat de sector volgens hem nodig heeft zijn mensen die weten hoe je evaluaties goed uitvoert en mensen die weten hoe ze evaluaties in het beleid het beste kunnen benutten.

‘Met die mensen kunnen we gefocuste, kwalitatief hoogstaande evaluaties realiseren die bijdragen aan nieuw beleid dat zich baseert op feiten.’ Wij hopen met deze special ook onze duit in het zakje te hebben gedaan.

Marc Broere marc@lokaalmondiaal.net

04 35 jaar iob

35 jaar IOB 05

tekst Tony van der Meulen beeld Leonard Fäustle

Vanuit ‘Boschlust’ inspecteert IOB delen van het beleid van de Apenrots aan de overkant van de Haagse Bezuidenhoutseweg. Tony van der Meulen inspecteerde op zijn beurt IOB. Hoe evalueren de inspecteurs buitenlandbeleid en ontwikkelingssamenwerking? En wat is daarvan het effect? ‘Evalueren is het voelen van de werkelijkheid.’ En: ‘Evalueren betekent altijd gezeur.’

‘Geloofwaardigheid wordt steeds belangrijker’ Aan het anonieme, weinig markante gebouw zie je niet af dat er binnen intellectuele en creatieve prestaties van belang worden verricht. Er wordt geïnspecteerd, geanalyseerd en ontrafeld. Er worden behoorlijk dikke rapporten geschreven, waarvan de makers zichzelf ook wel eens afvragen: Kán dat nog wel in een nerveuze tijd, waarin voor steeds meer mensen een mededeling, gedachte of zelfs visie niet meer dan 140 leestekens, inclusief spaties, kan bevatten?

De kantoorflat, die bijna wordt platgedrukt door de aanpalende Malietoren van de lobbymacht van de werkgevers VNO-NCW, schijnt ‘Boschlust’ te heten, maar dat staat nergens. Gezien vanaf de Bezuidenhoutseweg in Den Haag lijkt daar ook niet de geringste aanleiding toe. Aan de achterzijde liggen echter een park en het Haagse Bos, waarin ook het woonpaleis van de koningin, Huis ten Bosch, staat.

De lommerrijke naam ‘Boschlust’ zie je alleen op de pasjes van de bewakingsdienst. Als ik vraag of hier IOB zit en de afkorting ook nog een keer spel, zegt de vriendelijke dame van de bewakingsketen: ‘Dat moet ik even voor u nakijken, ik heb net een dienstje van een collegaatje overgenomen.’

Ze speurt haar scherm af en na een tijdje blijkt het onomstotelijk waar: de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie bestáát. En de ligging typeert wellicht de positie van IOB: aan de achterkant een bosrijk en daarom tijdloos uitzicht met veel ruimte voor beschouwing en gedachtevorming die niet worden opgejaagd door hypes en wanen van de dag, maar aan de voorzijde de Haagse werkelijkheid.

Pal tegenover Boschlust, aan de andere kant van de Bezuidenhoutseweg, rijst de Apenrots op, het ministerie van Buitenlandse Zaken waarvan allerlei beleid vanuit Boschlust wordt geïnspecteerd. ‘De Overkant’ zeggen ze bij IOB. Ik heb het in de dagen dat ik er was ettelijke keren gehoord.

In het kantoorleven van alledag bedoelen mensen die ‘De Overkant’ zeggen dit niet louter als plaatsbepaling, het is

een gevoelswoord met tal van beleidsmatige en persoonlijke inkleuringen. ‘De Overkant’ duidt erop dat wij aan deze kant toch wat anders zijn, zelfstandiger, kritischer wellicht, maar in ieder geval geen kopie van de overkant.

Omdat door de bezuinigingen er op de Apenrots nogal wat ruimte vrijkomt, gaat IOB vermoedelijk in de loop van dit jubileumjaar zelf metterwoon naar de overkant.

Dan zal er een andere term moeten worden bedacht om de geestesscheiding en de intellectuele autonomie te accentueren: ‘daar boven’, of ‘hier beneden’ – zoiets zal het wel moeten worden.

het groene boekje Op al haar drukwerk staat de opdracht en bestaansreden van IOB kernachtig afgedrukt, in slechts één kloeke zin. Er zijn allerlei overheidsdiensten die er meer woorden voor nodig hebben om het eigen bestaansrecht aannemelijk te maken. ‘De Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie van het ministerie van Buitenlandse Zaken verricht onafhankelijk onderzoek naar de doelmatigheid, doeltreffendheid, relevantie en coherentie van het Nederlandse buitenlandbeleid.’ Niet meer, maar vooral ook niet minder.

De dienst hield zich vanaf de oprichting in 1977 uitsluitend bezig met het inspecteren en evalueren van ontwikkelingssamenwerking en heette daarom ook IOV: Inspectie Ontwikkelingssamenwerking te Velde. Dat ‘te Velde’ duidde erop dat de inspecteurs vooral de dagelijkse praktijk opzochten, maar het illustreert ook een zekere dynamiek: niet te veel achter het bureau, erop af! In 1996 ontstond IOB, omdat het veld werd uitgebreid met inspectie van het volledige buitenlandbeleid.

In de jaren erna ontspon zich een meer dan levendig ambtelijk en politiek debat over hoe onafhankelijk een eigen

inspectie in feite kan zijn. En hoe maximaal de vrijheid was om het eigen onderzoek naar buiten te brengen, zonder dat die eerst door de zeef moest van de (politieke) leiding van het departement. In het ‘groene boekje’ van IOB staat deze cruciale alinea: ‘Dit heeft er toe geleid dat de minister voor Ontwikkelingssamenwerking in 2008 de onafhankelijkheid van de Inspectie en de openbaarheid van haar rapporten tegenover de Kamer heeft herbevestigd.

Wel werd de programmeringsbevoegdheid van IOB beperkt tot ontwikkelingssamenwerking. Op de andere terreinen van buitenlandbeleid ligt de primaire verantwoordelijkheid voortaan bij de betreffende directeuren-generaal en kan IOB verzocht worden onderzoek te doen.’

Deze keurige zinsnede is pikanter dan zij op het eerste gezicht lijkt en beslechtte een boeiende discussie op de Apenrots. Behalve als het om ontwikkelingssamenwerking gaat, beslist de top van het ministerie van Buitenlandse Zaken nu zelf welk beleid door het IOB wordt geïnspecteerd.

De slager keurt niet het eigen vlees maar bepaalt wel welke lapjes gekeurd mogen worden.

De reuring rond de kritische IOB-evaluatie over het Nederlandse voorzitterschap van de Europese Unie in 2004 heeft wellicht aan de basis gelegen van deze beperking van de keuzevrijheid van de inspecteurs in Boschlust.

Emotionerend gedoe Laat ik, om wat meer voeling te krijgen met het evaluerende en inspecterende werk van IOB, eens zo’n rapport lezen: ‘Evaluatie van de Twinningsfaciliteit Suriname-Nederland’, op 27 februari van dit jaar door minister Uri Rosenthal en staatssecretaris Ben Knapen doorgezonden naar de Voorzitter van de Tweede Kamer der Staten-Generaal.

Vergeleken met grote en veelomvattende onderzoeken, waarbij beduidend meer belastingsgeld omgaat, is dit een

vrij kleine maar daardoor ook mooi overzichtelijke evaluatie.

En zeker ook pikant omdat de Nederlandse verhouding tot de voormalige kolonie nog steeds omringd wordt met gevoeligheden, oud zeer, misverstanden en tijdelijke opwindingen van allerlei aard.

Om uit de buurt te blijven van al dit tijdrovende en emotionerende gedoe koos Buitenlandse Zaken op initiatief van het parlement voor een zogeheten twinning: een faciliteit op basis van gelijkwaardigheid. Om oude controverses te vermijden moest de faciliteit zich afspelen op de maatschappelijke middenvelden zowel in Nederland als in Suriname. En om niet weer het odium van neokoloniale bemoeizucht op zich te laden, koos Den Haag ervoor zich zo weinig mogelijk met de praktische invulling te bemoeien. Dat moesten ze op de beide middenvelden zelf doen.

Bewust waren er daarom geen strakke beleidsdoeleinden vastgelegd. En omdat de belangstelling vanuit met name het Surinaamse middenveld veel groter was dan men aanvankelijk had ingeschat werd gekozen voor snelle procedures en lichte toetsingscriteria. Huiselijk samengevat: laten wij vanuit Nederland vooral niet te moeilijk doen, het verleden is al complex en belastend genoeg.

Deze combinatie van Nederlandse voorzichtigheid en dus soepelheid, en de vaak weinig stevige structuren in het Surinaamse middenveld, schreeuwen om een zekere rommeligheid, maar ‘spontaniteit’ is wellicht een iets galanter woord. Tegen die achtergrond begin ik het rapport te lezen. De eerste conclusies klinken gunstig. Meer dan tweederde van de projecten heeft alle voorziene activiteiten uitgevoerd. Een derde van de betrokken organisaties heeft ook alle beoogde resultaten bereikt. Maar daar vallen wel wat kanttekeningen bij te plaatsen, zoals: ‘Omdat het ministerie het subsidiekader bewust algemeen had gehouden, ontbraken duidelijke criteria en van te voren vastgestelde doelen voor het monitoren van de financiering.’ En: ‘Omdat weinig werd

Foto: IOB’ers maken een wandeling tijdens de lunchpauze

06 35 jaar iob

35 jaar iob 07

welke politieke gevoeligheden er omheen zitten, en daar moet je bij je voorbereiding ook rekening mee houden. Dat maakt zo’n evaluatie extra lastig. Politieke motieven hebben een zwaar stempel gedrukt op dat hele programma. Het zou wel heel naïef zijn als je als evaluator daar niet naar kijkt wanneer je je met de effecten van zo’n programma bezighoudt. Als je die complexe politieke context niet betrekt bij je evaluatie, dan mis je een belangrijk deel van het verhaal en is veel niet te verklaren.’

geen opiniërend stuk

gelet op de samenhang van de projecten binnen een sector of organisatie, is de kans op duurzaamheid van de projecten beperkt.’ Of: ‘Het is onduidelijk of de relaties tussen partnerorganisaties in beide landen is verbeterd. Het zijn vaak enige enthousiaste individuen die de relatie dragen.’

Het is zo’n rapport waarbij je je al lezend steeds vaker gaat afvragen wat er tussen de regels door nog allemaal gaande is. Hier en daar lijkt het op kousenvoeten geschreven, met fascinerende zinnen als: ‘Ruim 60 procent van de projecten heeft bijgedragen aan versterking van maatschappelijke organisaties. Maar of daarmee ook het maatschappelijk middenveld in Suriname is versterkt hangt af van de betekenis die men dat begrip geeft.’

De gelijkwaardige inbreng van zowel Suriname als Nederland, het uitgangspunt van de Twinningfaciliteit, is niet geheel gelukt. Het zette in Suriname nogal kwaad bloed dat de Nederlandse deelnemers aan het project een aanzienlijk hogere dagvergoeding genoten dan hun Surinaamse collega’s, terwijl de Nederlanders ook bij alle projecten de financiële verantwoordelijkheid hadden via het zogenaamde penvoerderschap. Om juridische redenen had de Nederlandse partner altijd de eindverantwoordelijkheid en kon daardoor op het beheer worden aangesproken volgens de Nederlandse wet. Van de beschikbare 11,72 miljoen euro blijkt tweederde besteed aan personeel en reiskosten. Want omdat het gehele project zich in Suriname afspeelde is er geducht heen en weer gevlogen tussen Schiphol en Johan Adolf Pengel International Airport bij Paramaribo. CDA-Tweede Kamerlid Kathleen Ferrier, die zelf stamt uit een aanzienlijk Surinaams bestuurdersgeslacht, stelde er vragen over aan de minister. De Surinaamse president Ronald Venetiaan had al in een eerder stadium enige bozige zinnen over de twinning geformuleerd, omdat hij het verleden weer in het heden weerspiegeld zag.

Nico van Niekerk (1951) leidde als IOB-inspecteur deze evaluatie. Als ik hem vraag wat ik allemaal tussen de regels door heb moeten lezen, glimlacht hij: ‘Dat kan ik niet zo zeggen. Maar in zo’n rapport moet je natuurlijk wel aangeven

Maar is de evaluatie geschreven met steeds de hand aan de handrem? Nico van Niekerk: ‘Ik kan wel allerlei meningen gaan verkondigen maar een evaluatie is geen opiniërend stuk. Als inspecteur moet ik alles wat ik opschrijf goed kunnen beargumenteren. Het viel daarbij niet mee wat je feitelijk kon achterhalen en wat niet. Maar ik ben niet in meningen geïnteresseerd maar in bewijsvoering en beredeneerde conclusies. Welke situatie treft je aan? Welke dingen zijn goed gegaan, wat is misschien te snel gegaan, et cetera. Het zijn vaak lastige afwegingen. Wij troffen in Suriname veel positieve dingen aan, maar we moeten ook toegeven dat er nogal wat negatieve verhalen op tafel kwamen. Maar daarbij moet je wel met de context rekening houden: Suriname is een klein land, er zit nogal wat oud zeer naar Nederland toe, de samenwerking tussen allerlei groepen en organisaties verloopt moeilijk. En let wel: Suriname heeft zo ongeveer de omvang van de gemeente Den Haag, dáár hebben we het over. Moet je daar nou al die zware normen over efficiëntie op loslaten?’

‘Voor ons doen is het ook maar een klein rapport, qua geld stelt het allemaal niet zoveel voor, het is allemaal veel minder belangrijk dan een grote studie naar Europese ontwikkelingen. Bij een evaluatie van de Nederlandse begrotingssteun aan Nicaragua heb ik met veel minder mensen gesproken, terwijl het over veel meer geld gaat. De reden waarom deze twinning toch belangrijk is, is dat het om Suriname gaat en dat dit in Nederland gevolgd wordt. Van onze begrotingssteun aan Oeganda ligt hier niemand wakker.

Dat speelt allemaal mee.’

Op het moment dat wij elkaar spreken heeft deze evaluatie, die toch zeker geen slaapverwekkende lectuur heeft opgeleverd, in de publiciteit alleen de aandacht getrokken van De Wereldomroep. In Nederland en in Suriname besteedden de kranten er geen letter aan. Wel is het rapport al in de Tweede Kamer aan de orde geweest, is er een bijeenkomst georganiseerd met allerlei organisaties die zich met twinning bezighouden en gebruikt het ministerie de resultaten voor een vervolgtraject. Nico van Niekerk: ‘Ik denk echter dat ons werk nog het meeste effect heeft tijdens het onderzoek, als je er met allerlei mensen gedegen over praat. En we dus met z’n allen gedwongen worden eens diep na te denken over de vraag: hoe is het nu in feite allemaal gegaan. Ik denk dat wij daarmee in de praktijk meer invloed hebben dan via het uiteindelijke boekwerk.’

mooie dingen Willem Cornelissen (1952), als senior onderzoeker van de Erasmus Universiteit bij IOB gedetacheerd, en IOBonderzoeksmedewerker Kirsten Mastwijk (1983) deden voor deze evaluatie veel onderzoek in Suriname: ‘De gegevens

over de projecten die onder de twinning vielen zaten voor het grootste deel allemaal netjes in databases opgeslagen, dus dat was het probleem niet. We hebben een beredeneerde keuze gemaakt voor 38 projecten. Wij zijn toen eerst langs de Nederlandse partners gegaan. Dat is allemaal nogal eenvoudig. Hiernaast in die VNO-NCW-toren zit bijvoorbeeld iemand die de contacten onderhoudt met de werkgeversclub in Suriname. Bij al die mensen ga je langs, je hoort de verhalen eromheen, de roddeltjes, de crisissen en ook alle mooie dingen. Allemaal gesprekken van tussen de twee en vier uur. Daar kun je dan een heleboel veronderstellingen uit halen, maar het blijft allemaal kijken via de Nederlandse bril.’

‘Daarna zijn we met z’n vieren bijna drie weken in Suriname geweest. En daar hebben we een groot aantal mensen rond die 38 projecten gesproken, ook oudmedewerkers en politici.’

De IOB’ers liepen tegen boeiende culturele verschillen aan: ‘Wij in Nederland hebben een schrijfcultuur, Suriname meer een praatcultuur. Nederlanders mailen naar Suriname, maar krijgen dan geen antwoord. In Suriname zeggen ze: wij horen nooit iets van die Nederlanders, waarom bellen ze niet eens op?’

‘Een ander groot verschil is dat in Suriname alles persoonlijk is. In Nederland heb je een organisatie, bijvoorbeeld de Bedrijfsgezondheidszorg. Daar hoor je: Oh, je bedoelt de club van ene meneer Zeefuik? Dat betekent heel veel. Als wij kritiek hebben op een organisatie, kun je met de mensen die er werken goede vrienden zijn. In Suriname is kritiek op een organisatie kritiek op een persoon, en andersom.’

Boeiend was tijdens het veldwerk in Suriname ook de exercitie om te achterhalen of in de beleving een project nu wel of niet geslaagd was. ‘Bij onze allereerste vergadering vroegen wij: kunt u eens een voorbeeld geven van een geslaagd project? Wij kregen toen een folder met voorop een foto van een werkplaats ergens in het binnenland als toonbeeld van zo’n geslaagd project. Wij zijn erheen gegaan. Die prachtige werkplaats staat er inderdaad, hij is alleen niet in gebruik. Er staan machines voor houtbewerking, maar in de hele omgeving groeit geen hout dat geschikt is om te bewerken. Het project heette echter geslaagd omdat die werkplaats binnen de tijd en binnen het budget was gebouwd. Dat is iets heel anders dan de vraag: heb je er iets aan?’

In een resultatenschema in het evaluatierapport staat het in al zijn eenvoud: ‘Werkplaats niet in gebruik.’

‘Laten wij wel wezen: als een minister zegt “over mijn lijk, het gebeurt niet”, dan gebeurt het niet’

minister Rosenthal waarin hij de ambassadeur in Pretoria op zijn nummer zet wegens een vrijmoedigheid jegens de PVV. ‘Vrijheid van meningsuiting!’ is er met een lila viltstift bozig opgeschreven. Een stil protest in een relativerende omgeving.

Op de IOB-etages hangt een studieuze rust. Mannen en vrouwen van zekere leeftijd werken in hun kamers aan de evaluaties, het zijn de inspecteurs. Daarnaast zijn er de onderzoeksmedewerkers: doorgaans jonge vrouwen die recentelijk zijn afgestudeerd en nog aan het begin van hun loopbaan staan. Zij zitten in groepjes bij elkaar en assisteren de inspecteurs. Deze verlaten op gezette tijden hun onderzoeksterrein om koffie te halen en trekken zich daarna weer terug in hun eigen zelfstandigheid.

Tussen de middag maken wisselende groepjes een verfrissende wandeling in het aangrenzende park.

Ook stelt zich tegen één uur een eetgroep op in het centrale trappenhuis. Vanuit Boschlust steken zij de Bezuidenhoutseweg over om op de Apenrots te gaan lunchen.

In het gras van de middenberm is in de loop der jaren een pad uitgesleten, het IOB-pad, een symbool van regelmaat.

De IOB’ers treffen elkaar periodiek in meeleesgroepjes. stil protest Als daar een evaluatie zijn eindvorm heeft bereikt, gaat Kantoorgebouw ‘Boschlust’ is slechts éénmaal het middelpunt de tekst naar een referentiegroep van veelal externe deskundigen. Nadat ook die opmerkingen en kanttekeningen geweest van nationale opwinding, maar toen hoorde het weer naar ieders tevredenheid zijn verwerkt, stelt de nog bij Economische Zaken. Het was hier dat actievoerder directeur van IOB, prof. dr. Ruerd Ruben, formeel de Wijnand Duyvendak in 1985 zijn beroemde inbraak pleegde, eindtekst vast. Deze gaat naar De Overkant, waar de minister die hem twee decennia later als Tweede Kamerlid van geacht wordt het rapport, samen met zijn politieke reactie, GroenLinks toch nog zijn politieke kop zou kosten. Het door te geleiden naar de Tweede Kamer. heeft geen bronzen gedenkplaatje opgeleverd, alles aan dit In verreweg de meeste gevallen is dit een vrij gebouw is onopvallend. De entree is zonder meer sober, de geruisloos proces. IOB hecht in hoge mate aan de eigen vloerbedekking symboliseert de hand op de knip. onafhankelijkheid, maar het is een vorm van eigenbelang De ongeveer dertig medewerkers van IOB zitten op de om de relaties met De Overkant goed te houden. Temeer daar eerste en tweede verdieping, maar de eerste verdieping is het centrale ontmoetingspunt. Daar staat de koffieautomaat, zelfstandigheid binnen de rijksoverheid toch altijd weer een relatief begrip kan zijn. Plaatsvervangend directeur Henri daar is het prikbord. De enkele keer dat IOB de krant Jorritsma (1948) doet daar niet moeilijk over. Aan zijn lange haalt, wordt het hier gearceerd opgehangen. Verder zie ik staat van dienst heeft hij niet alleen een vrolijke relativering een geboortekaartje en de inmiddels beroemde brief van

Foto boven: Plaatsvervangend directeur Henri Jorritsma

Foto links: Bas Limonard en Ted Kliest

08 35 jaar iob

35 jaar iob 09

overgehouden maar ook een scherp zicht op de dagelijkse werkelijkheid. ‘Wij zijn onafhankelijk, natuurlijk. Wat betreft buitenlandbeleid niet in onderwerpkeuze, wel in hoe wij het doen. Maar laten wij wel wezen: als een minister zegt “over mijn lijk, het gebeurt niet”, dan gebeurt het niet.’

Met een twinkeling achter zijn modieuze montuur stelt hij vast dat iedere bewindspersoon, geen één uitgezonderd, zich in zijn of haar houding ten opzichte van IOB altijd weer op dezelfde wijze ontwikkelt. ‘De eerste anderhalf jaar zijn ze altijd erg blij met ons, want al onze evaluaties gaan nog over de voorganger. Daarna komen ze zelf aan de beurt, en neemt het enthousiasme af.’

Wrevel Een enkele keer in het 35-jarige bestaan van IOB is er een principiële en wezenlijke strubbeling ontstaan met De Overkant, met, natuurlijk, als inzet: de eigen onafhankelijkheid. NRC Handelsblad van 27 mei 2008 kopte ‘Ministerie blokkeert EU-evaluatie’, met daarboven ‘BuZa wil invloed op inhoud.’ Op 17 september was de toonzetting nog weer aanzienlijk feller: ‘Verhagen hoont rapport eigen ministerie weg.’ Hoe was er tussen Boschlust en De Overkant zo veel onrust en wrevel ontstaan?

In de tweede helft van het jaar 2004 bekleedde Nederland onder aanvoering van premier Jan Peter Balkende het voorzitterschap van de Europese Unie. Een periode die vooral gekenmerkt werd door een heikel en licht ontvlambaar onderwerp: de toetreding van Turkije.

Al vrij snel na afloop van dat half jaar kwam het gerenommeerde instituut Clingendael met een hard oordeel: het Nederlandse voorzitterschap werd vooral gekenmerkt door een gebrek aan ambitie en bezieling. IOB stelde aan Buitenlandse Zaken voor om het voorzitterschap te gaan evalueren: wat was goed gegaan, wat wellicht niet en wat zouden we ervan kunnen leren met het oog op een volgend voorzitterschap in 2016? Het voorstel werd aan De Overkant met weinig vreugde begroet. Bas Limonard (1975), destijds als onderzoeksmedewerker nauw bij het project betrokken: ‘Ze hadden daar het idee: diplomatie is een vak en dat kun je

niet evalueren in termen van output.’

Na veel heen en weer gepraat bleek Buitenlandse Zaken bereid zich neer te leggen bij het onvermijdelijke, onder voorwaarde dat de discussie over de toetreding van Turkije geen onderdeel zou zijn van de evaluatie. Dit nu was voor IOB onaanvaardbaar: je evalueert zo’n voorzitterschap of je doet het niet, je kunt vooraf niet een grote hete aardappel van het bord vegen.

Het was ten slotte minister Ben Bot die de knoop doorhakte: IOB kon gaan evalueren en concentreerde zich op drie hoofdvragen: in hoeverre heeft Nederland effectief opgetreden in het Europese onderhandelingsproces, in hoeverre is daarbij de nationale beleidscoördinatie effectief verlopen en in hoeverre heeft Nederland de logistiek en organisatie van het EU-voorzitterschap effectief uitgevoerd?

Eind 2006 was een eerste versie klaar. Er kwam veel kritiek van De Overkant, maar de meeste punten werden in goede samenwerking opgelost. In het voorjaar van 2007 was de definitieve versie gereed en die werd volgens de regels van het spel door de IOB-directeur (dat was toen Bram van Ojik) naar de minister van Buitenlandse Zaken gezonden. In Van Ojiks voorwoord resoneerde in zorgvuldige bewoordingen het delicate getouwtrek: ‘De effecten van onze diplomatieke inspanningen op bijvoorbeeld het respect voor mensenrechten of de positie van Nederland in de EU laat zich nou eenmaal moeilijker in kaart brengen dan het effect van de bouw van een school of de aanleg van een waterpomp op het onderwijs of de drinkwatervoorziening. Niet alle uitkomsten van buitenlands beleid zijn in gelijke mate meetbaar. Dat is des te meer het geval naarmate diplomatieke inspanningen zich achter de schermen afspelen en het nationaal belang vereist dat de regels van vertrouwelijkheid in acht worden genomen. Toch mag dat er in mijn visie niet toe leiden dat delen van het buitenlands beleid voor onafhankelijke evaluatie tot no-go-area worden verklaard.’

Maar zover waren ze aan De Overkant nog niet: na ontvangst van de evaluatie trad een maandenlange periode van diepe stilte in. Gezien de open samenwerking sijpelde wel de kritiek door naar Boschlust: het rapport zou niet representatief zijn. Op een gegeven moment viel

zelfs de weinig diplomatieke kwalificatie ‘broddelwerk.’

De ergernis was vooral gewekt door de IOB-vaststelling dat de Nederlandse beleidscoördinatie tijdens het EUvoorzitterschap niet effectief was geweest. Daarnaast lag de openlijke beschrijving van de machtsstrijd tussen Buitenlandse Zaken en Justitie ook niet echt lekker.

Onder andere door Kamervragen van Mariko Peters van GroenLinks (‘waar blijft dat rapport, wat is er aan de hand?’) nam de druk toe. Onwillig stuurde minister Maxime Verhagen in september 2008 de evaluatie alsnog naar de Tweede Kamer, samen met een nogal kortaangebonden briefje: ‘Wij achten de conclusies en aanbevelingen wat betreft het beleidsdeel niet bruikbaar voor een volgend Nederlands EUvoorzitterschap.’

Vrij snel daarna werd het ook in de politiek weer heel stil rond deze evaluatie, maar dat is geen uitzondering. Bas Limonard: ‘Heeft al dat werk dan zin? Ach, je gaat letten op kleine effecten. Laatst kwam ik op een receptie een collega van Binnenlandse Zaken tegen en die had ons rapport in haar tas. Zij had het die middag meegenomen omdat een boekenkast werd leeggeruimd. Zij dacht: interessant, want straks komt er weer zo’n voorzitterschap aan. Daarmee is voor mij de cirkel rond: het voorziet toch ergens in een behoefte.’

‘Kunnen wij het niet simpeler, korter, flitsender maken, opdat beleidsmakers het eindelijk begrijpen?’

Om wat vaker van zich te laten horen en ook om toegankelijker te worden, publiceert IOB nu nieuwsbrieven over de evaluaties, vorig jaar waren dat er zestien. Heldere teksten, fris van kleur. De nieuwsbrief over ‘Verbeteren van voedselzekerheid’ ben ik gaan lezen vanuit de optiek van de oppassende, belasting betalende burger: wat snap ik hiervan?

Nagenoeg alles, ik kwam slechts twee woorden tegen die ik niet goed kan definiëren: ‘resultaatketen’ en ‘waardeketen’.

IOB bevindt zich in de nieuwsbrieven kennelijk aan de grens van haar popularisering, gelet ook op de voorzichtige mededeling dat een aantal gegevens in de begeleidende grafiek ‘versimpeld’ zijn weergegeven.

Plaatsvervangend directeur Henri Jorritsma: ‘In ons vak komt ook altijd weer de vraag op: moeten wij niet beter ons best doen om ons werk over het voetlicht te brengen?

Met filmpjes, met allerlei nieuwe media, zelfs met Twitter.

Ik geloof daar helemaal niet in, het zal, vrees ik, vooral tot verkleutering leiden. Maar achter die vraag zit vermoedelijk geen Verkleutering ook een zekere wanhoop: wij worden niet gehoord. Kunnen wij het niet simpeler, korter, flitsender maken, opdat Van iedere IOB-evaluatie worden ongeveer driehonderd exemplaren gedrukt. De helft gaat naar een adressenbestand. beleidsmakers het eindelijk begrijpen en van onze adviezen gebruik maken?’

De Tweede Kamer, voor wie al het werk in feite is bedoeld ‘Waar zit ons probleem?’ vraagt hij zich openhartig opdat zij de regering kan controleren, wenst tegenwoordig af. ‘Dat zit niet zozeer bij de beleidsmedewerkers die slechts één gedrukt exemplaar, voor het archief. Alle dankbaar gebruik maken van evaluaties, maar op het senior Kamerleden kunnen echter beschikken over een pdf-versie. management niveau op de departementen. Een senior Burgers kunnen gratis een exemplaar aanvragen, maar van manager zit klem tussen de werkvloer en de politiek. Bij een deze service wordt zelden of nooit gebruik gemaakt. Wel rapport is zijn eerste natuurlijke gedachte: hoe kunnen wij worden de rapporten in toenemende mate gedownload. de schade beperken? Is het verhaal gunstig voor ons beleid Het aantal boekwerkjes varieert nogal per jaar, in 2010 waren het er vier, waarvan drie over Nicaragua, 2011 was een en hoe kunnen we de schade eruit halen? Daar komt nog de oogstjaar met twintig uitgaven. Die schommelingen ontstaan ambtelijke neiging bij de eigen bewindsman uit de wind te willen houden. En laten we eerlijk zijn: evalueren levert altijd omdat allerlei evaluaties een doorlooptijd hebben van meer gezeur op.’ dan één jaar.

Foto links: Piet de Lange Foto midden: Bas Limonard in het archief Foto rechts: Willem Cornelissen, Kirsten Mastwijk en Nico van Niekerk

10

35 jaar iob

35 jaar iob 03 11

‘Een politiek rationeel proces is heel iets anders dan een inhoudelijk rationele benadering’ een Goed humeur In bijna alle gesprekken die ik bij IOB voer, komt het op een zeker moment aan de orde: wat is het effect van al dat studieuze speuren en wroeten op de politieke besluitvorming? Want de zin van evalueren ligt vooral in het trekken van lessen voor de toekomst.

Ted Kliest (1950) begon in januari 1991 bij IOB en is de langstzittende inspecteur. Ook bij hem leidt al die ervaring tot een goed humeur en een ontspannen levenshouding.

Hij heeft al vele veranderingen en beleidswijzigingen aan zich voorbij zien trekken. Van belang vindt hij vooral dat evalueren steeds meer gezamenlijk gepland en uitgevoerd moet worden met andere donoren en met hulpontvangende landen. Teamwork, daar geniet hij van. ‘Tja, wat is het effect van wat wij doen? Idealiter zou evaluatie de input moeten zijn in de beleidscyclus, ervan uitgaande dat de beleidsmaker een rationeel persoon is. Maar een politiek rationeel proces is heel iets anders dan een inhoudelijk rationele benadering.

Vaak speelt de vraag hoe een negatieve evaluatie toch positief gebruikt kan worden, of andersom. Wij hebben een rapport gemaakt over de steun aan basisonderwijs in ontwikkelingslanden. Ons rapport geeft aan dat Nederland met die steun op de goede weg is. Toch wordt die steun nu afgebouwd, want daar zit een politieke redenering achter.

Onze Nicaragua-evaluatie was kritisch, maar gaf zeker geen aanleiding het programma af te bouwen. Toch is dat gebeurd.

Dus: hebben wij invloed? Dat kan, maar het kan ook helemaal niet.’

‘Toen ik hier begon dacht ik: ik kan met mijn onderzoek het verschil maken. Dat heb ik afgeleerd. Als een evaluatie waaraan je lang en zorgvuldig hebt gewerkt niet wordt

gebruikt maar in de kast verdwijnt, is dat natuurlijk wel vervelend. Maar ook een dokter heeft niet de macht een patiënt te laten stoppen met roken. Als je daar niet tegen kunt, moet je dit werk niet doen. Ik denk trouwens dat wij nog de meeste invloed hebben tijdens het proces zelf, door de gesprekken die wij voeren, waardoor de ogen geopend worden.’

Ted Kliest kijkt een tijdje naar buiten, naar de Haagse werkelijkheid, en constateert dan: ‘Op den duur gaat altijd het roer weer om. Invloed is niet iets van vandaag of morgen.

Op zekere dag kan een onderzoek toch voldoende invloed hebben om degenen die aan het dwalen zijn weer op het goede pad te krijgen. En verder is het natuurlijk verdomd leuk werk.’

Ook bij inspecteur Piet de Lange (1951) heeft een veeljarige ervaring vooral geresulteerd in een opgewekt realisme. Hij leidt nu een grote evaluatie van de SNV, maar hiervóór heeft hij zijn beste krachten gegeven aan de ‘Capaciteitsevaluatie’. Wat dat is kan hij uitleggen met een bondigheid die heel ambtelijk Den Haag tot voorbeeld moge strekken: ‘Mensen zelf leren vissen in plaats van hen vissen geven, daar draait het allemaal om.’ Anders gezegd: organisaties helpen om zichzelf te ontwikkelen zodat zij een bijdrage kunnen leveren aan de maatschappelijke ontwikkeling.

Zijn Capaciteitsevaluatie heeft geen enkele krant gehaald. ‘Een journalist heeft gezegd: het is niet controversieel genoeg. Maar in de evaluatie is een schat aan intellectuele rijkdom opgeslagen, controverses over ontwikkelingssamenwerking staan er heel open in. Ook de Tweede Kamer heeft het niet opgepakt. Maar ik merk dat collega’s er individueel mee bezig zijn. Al die honderden mensen die bij de evaluatie betrokken waren, hier en in ontwikkelingslanden, lezen het ook. We hebben het stuk bewust in het Engels geschreven. Ik merk dat ik meer inspiratie haal uit de procesgang, uit de evaluatie zelf, dan uit de publicatie van het boek.’

leergierige mensen Dat inspecteurs die al vele jaren meelopen inmiddels gelouterd zijn door de werkelijkheid, kan ik inmiddels wel volgen. Maar wat trekt de onderzoeksmedewerkers, de andere grote groep op die twee etages in Boschlust, aan in het IOB-werk? Het zijn voor het merendeel jonge vrouwen voor wie dit, na een academische opleiding, hun eerste baan is. Rafaëla Feddes (1981): ‘Ik heb me onder ander beziggehouden met de internationale taken van de Commissie Milieu Effect Rapportage. Dan denk je: de Commissie MER, wat moet dat? Maar het is echt heel interessant. Want het gaat er bij MER’s om dat informatie over effecten op het milieu of op de situatie van de allerarmsten een rol speelt bij degelijke besluitvorming over bijvoorbeeld grote infrastructurele werken. Zo is in Georgië gekeken waar de gas- en oliepijplijn het best kon worden aangelegd, zodat er rekening werd gehouden met de bescherming van waterbronnen en de leefomgeving van mensen. Negatieve consequenties van projecten kunnen worden voorkomen als je er vooraf goed naar kijkt. Die Commissie MER probeert dan een milieuministerie te versterken, want dat is vaak zwakker dan ministeries van Economische Zaken of Infrastructuur of de grote maatschappijen. Als je je graag bezighoudt met ontwikkelingssamenwerking of buitenlandbeleid, is

het heel interessant om je als onderzoeker in dergelijke vraagstukken te verdiepen.’

Jolijn Engelbertink (1985) werkt aan een groot onderzoek naar het gebruik van ‘hernieuwbare energie’, zoals zonnepanelen en waterkracht, in ontwikkelingslanden. Als voorbereiding hierop bekeek ze onder andere in dorpen in Rwanda wat het voor ambachtlieden als een lasser of een kleermaker betekent dat de hydro-energie van een naburige plantage nu ook voor hen beschikbaar is. ‘Wij zitten hier veel achter de computer. Maar in zo’n dorp gaat het echt leven waar je steeds mee bezig bent. Je hebt er een zeker idealisme voor nodig. Ik geloof dat allerlei projecten, ondanks alle kritiek, werkelijk iets voor mensen kunnen betekenen. Wat betekent bijvoorbeeld biogas uit koemest voor vrouwen als ze niet meer iedere dag met dat zware hout hoeven te sjouwen? Krijgen ze daardoor meer tijd voor andere dingen en hoe verandert daardoor hun leven? Daar lees ik van alles over en dan ga je het in de praktijk zelf bekijken. Dat is heel mooi werk!’

Ze lacht opgetogen. Ook dat typeert IOB. Er hangt onmiskenbaar de arbeidsvreugd van gepassioneerde, leergierige mensen.

altijd achteraf Ruerd Ruben (1954), vier dagen per week directeur IOB, één dag hoogleraar Effectiviteit van Ontwikkelingssamenwerking in Nijmegen, zit in zijn werkkamer het concept van een evaluatie te lezen. Hij pakt een velletje en declameert: ‘Door Nederland hebben miljoenen mensen toegang gekregen tot goed drinkwater.’ Dan: ‘Miljoenen? In zo’n zin wil ik liever een concreet getal. Retoriek is heel gevaarlijk, wij kunnen ons dat niet veroorloven. Nu in de samenleving het draagvlak voor ontwikkelingssamenwerking afbrokkelt, moeten wij nog zorgvuldiger zijn. Objectiviteit en geloofwaardigheid zijn nog belangrijker geworden. Voor een publiek dat niet per definitie positief is, doet ieder woord er veel toe.’

‘Rapporten die leiden tot beleidsveranderingen zijn er niet zoveel’, zegt hij met een mengeling van bescheidenheid en realiteitszin. ‘Evalueren is altijd achteraf. Wij beseffen dat de politieke discussie vaak een heel andere dynamiek heeft dan de feiten. Maar ons mandaat is die feiten boven tafel halen en toegankelijk maken. En die feiten spelen hoe dan ook altijd weer een rol. Ons brede Afrika-onderzoek wordt bijvoorbeeld veel gedownload en geciteerd voor het onderbouwen van nieuw beleid. En onze boekwerken vertegenwoordigen het geheugen van dit ministerie wat betreft buitenlandbeleid.’

‘Onze onafhankelijkheid is gebaseerd op de kwaliteit van onze rapporten. Die mogen nooit aanvechtbaar zijn.

Wij kunnen ons niet permitteren dat, zoals minister Koenders een keer deed, onze aanpak wordt betwist. Dat gebeurt natuurlijk vooral als iemand problemen heeft met onze feiten. Maar dan ben je aan het spelen met onze onafhankelijkheid. Ik dien hier van ieder rapport vast te stellen dat er geen twijfel over mogelijk is. Als ik die wel heb, hou ik het rapport vast, vraag ik om nader onderzoek of zet ik er een andere inspecteur op.’

Maar is het niet pijnlijk en frustrerend bovendien dat het kabinet bijvoorbeeld de steun aan basisonderwijs bij ontwikkelingssamenwerking afbouwt, terwijl IOB heeft vastgesteld dat Nederland daarmee op de goede weg is?

De directeur kijkt me manmoedig aan: ‘Maar daarover heb ik tegen de bewindslieden dan ook gezegd wat ik moest zeggen. En de afbouw van het beleid gaan wij weer heel nauwkeurig evalueren.’

Ruerd Ruben heeft zelf vele jaren in Latijns-Amerika gewoond en ook veel in Afrika gewerkt. Voor zijn werk is dat essentieel: ‘Onze inspecteurs moeten ook zelf langdurig in het veld geweest zijn. Zij moeten een zeker begrip hebben voor wat mis kan gaan, je kunt in ons werk niet alles langs de meetlat leggen, het gaat niet alleen om cijfers maar ook om het voelen van de werkelijkheid.’

Als ik vraag of dat iets anders is dan goedpraten, veert hij op: ‘Ja natuurlijk! Wij hebben de hulp via giro 555 aan Haïti na de aardbeving geëvalueerd. Je kunt dan vaststellen dat het een volstrekte chaos is. Maar het gaat erom: wat is er gepresteerd binnen de grenzen van het mogelijke. Dat is het verschil tussen ons en droge accountants.’

Foto links: Ted Kliest Foto rechts: Jolijn Engelbertink en Rafaëla Feddes

Cadeautjes Onderzoeksmedewerker Cheshta Panday is jarig, ze wordt 26. IOB’ers drommen samen in haar kamer rond een schaal gevarieerde koekjes. De felicitaties klinken vrolijk, er zijn cadeautjes. Drie inspecteurs slaan vanaf de gang het blije tafereel gade. Evalueren is betrokkenheid op afstand.

Tony van der Meulen (1946) is journalist, columnist en auteur, maar ook voorzitter van het bestuur van lokaalmondiaal en Coolpolitics. Hij was onder meer hoofdredacteur van het opinieweekblad De Tijd en van het Brabants Dagblad.

12

5 rapporten

5 rapporten

tekst Janneke Juffermans

Vijf bijzondere rapporten In 35 jaar heeft IOB ongeveer 400 rapporten gepubliceerd, allemaal met hun eigen, min of meer turbulente, verhaal. Vice Versa haalde er vijf uit de kast.

werkelijkheid heeft gekeken in plaats van de werkelijkheid als uitgangspunt te nemen. Er is bijvoorbeeld vastgesteld of doelen van beleid bereikt zijn en niet wat er aan ontwikkeling heeft plaatsgevonden door onverwachte bij-effecten van het beleid, zoals vaak het geval is.

Ook leek de definitie van het beleid door IOB gebaseerd op een samenraapsel van verschillende beleidsnotities met een bepaald thema, zoals hiv/aids en of gender. Er ontbrak dus een coherent en op zichzelf staand Afrikabeleid waarop IOB zich in de evaluatie kon baseren, maar IOB liet dit in haar evaluatie onbesproken. ‘De politieke keuzes onder het beleid werden bovendien niet helder en het beleid zelf werd in de IOB-evaluatie niet ter discussie gesteld’, vertelt De Gaay Fortman. ‘Die veranderden voortdurend, niet omdat Titel: Het Nederlandse Afrikabeleid 1998-2006: de situatie in Afrika daarom vroeg maar omdat elke nieuwe Evaluatie van de bilaterale samenwerking minister begon met verandering van het landenbeleid.

Verschijningdatum: februari 2008 Een treurige illustratie daarvan was de bejegening van de Waarom in deze lijst? Bijzonder omdat de evaluatie Kaapverdische eilanden. Door de Nederlandse ambassade zelf is geëvalueerd in Dakar werd hen eerst duidelijk gemaakt dat zij tot de “concentratielanden” behoorden, toen werden zij Dit IOB-rapport deed begin 2008 veel stof opwaaien. Het achtereenvolgens “mensenrechtenland” en “milieuland” evalueerde de bilaterale samenwerking tussen Nederland en 17 Afrikaanse landen, waarvan 12 partnerlanden. Een van de en ten slotte moest hen duidelijk worden gemaakt dat zij helemaal buiten de boot waren gevallen.’ conclusies van IOB was dat er op sommige thema’s te veel Ook vinden De Gaay Fortman en De Ruijter dat de beleid ontwikkeld werd, maar op andere thema’s juist erg weinig. Zo was er veel aandacht voor veiligheid en stabiliteit, evaluatie alleen als verantwoordingsmiddel is gehanteerd en te weinig als leermiddel. Zo bestaat er controverse bij de maar weinig voor begrotingssteun. Dit maakte het volgens onderzoekers van IOB en medewerkers van het ministerie IOB lastig om prioriteiten te stellen. van Buitenlandse Zaken over bepaalde conclusies, zoals het In zijn beleidsreactie op het rapport plaatste de nut van begrotingssteun. In plaats van deze controverses toenmalige minister voor Ontwikkelingssamenwerking Bert te benoemen en te expliciteren welke ideologieën eraan ten Koenders kanttekeningen bij de aard en de opzet van de grondslag liggen, koos IOB óf impliciet voor een bepaalde evaluatie. Hij zei in het rapport wezenlijke onderdelen van interpretatie, of liet de verschillende standpunten buiten het beleid, zoals Nederlandse de diplomatieke activiteiten beschouwing. Dit leidde tot irritatie en onvrede bij het in Afrika, te missen, en te twijfelen of de geraadpleegde ministerie. bronnen representatief waren voor het Nederlandse ‘Tussen IOB en Buitenlandse Zaken bestaat onvoldoende Afrikabeleid. Ook de Tweede Kamer liet van zich horen.

Er werden Kamervragen gesteld over de manier van evalueren vertrouwen, en dat belemmert het leereffect’, legt Arie de Ruijter uit. ‘Dat komt door de methodiek en werkwijze, maar en over de rol en functie van IOB in het algemeen. ook door de verantwoordingscultuur bij evaluaties zoals deze, Hoogleraren Bas de Gaay Fortman en Arie de Ruijter waarbij je achteraf louter kijkt of het beleid zijn doel wel werden gevraagd om het rapport en de gehanteerde werkwijze van IOB te evalueren. Het rapport dat ze vervolgens gehaald heeft.’ uitbrachten, noemden ze: ‘Van overkant tot overkant.’ Bas de Het IOB-rapport spreekt over ‘te veel’ beleid, het Gaay Fortman legt uit waar de titel op doelt: ‘Het kantoor van rapport van De Ruijter en De Gaay Fortman spreekt van te IOB zit tegenover het ministerie, maar in die twee gebouwen weinig consistent en coherent beleid. Opvallend is dat beide rapporten geen rol meer lijken te spelen in het húidige is er sprake van een verschillende identiteit, werkmethodiek beleid. De Gaay Fortman en De Ruijter kregen tijdens hun en visie, waar weinig uitwisseling tussen plaatsvindt. We evaluatie van verschillende ambtenaren al te horen dat er hebben het rapport bovendien zo genoemd omdat er op het ‘niks meer met het IOB- rapport gedaan wordt’. En over ‘Van Haagse beleid weinig invloed is van het Afrikaanse veld, aan overkant tot overkant’ zegt De Ruijter: ‘Misschien klink ik wat de overkant van de zee. Op post in Afrika is het perspectief cynisch, maar ik vrees dat aan het rapport lippendienst is Afrikaans, in Den Haag weer Haags.’ bewezen door het in de Kamer te bespreken. Verder geloof ik De belangrijkste conclusie van De Gaay Fortman en dat er niet meer naar is omgekeken.’

De Ruijter is dat IOB te veel vanuit het beleid naar de

Titel: The Evaluation of the Paris Declaration Verschijningsdatum: mei 2011 Waarom in deze lijst? Bijzonder omdat de evaluatie een belangrijk referentiekader vormde voor het High Level Forum on Aid Effectiveness in Busan eind 2011 De groen met witte kaft en rode letters van het rapport vallen op tussen de andere IOB-rapporten. Het is uitgebracht door een internationale groep van evaluatoren onder toezicht van een Evaluatie Management Groep met leden uit drie partnerlanden (Colombia, Malawi en Vietnam) en drie donorlanden (Nederland, de Verenigde Staten en Zweden).

Ted Kliest, vanuit het IOB betrokken bij de evaluatie als covoorzitter van de Evaluatie Management Groep, vindt het een goed voorbeeld van een evaluatie die alleen gezamenlijk kan worden uitgevoerd. ‘De Verklaring van Parijs is een beleidsmatig-politieke verklaring van donoren, internationale organisaties en partnerlanden. Zij zijn gezamenlijk verantwoordelijk voor de uitvoering van de verklaring en voor de evaluatie, die al in de verklaring zelf was voorzien.’

Er zijn gedurende vier jaar meer dan vijftig studies uitgevoerd, in 22 partnerlanden en 18 donorlanden.

De Verklaring van Parijs werd in 2005 opgesteld en ondertekend door ruim honderdzeventig landen en werd in 2008 uitgebreid tijdens het High Level Forum in Accra.

De principes uit beide verklaringen vormden eind vorig jaar het referentiekader voor het vierde High Level Forum on Aid Effectiveness in het Zuid-Koreaanse Busan. Kern van de Parijs/Accra-agenda is dat ontwikkelingslanden meer zeggenschap krijgen over de hulp en dat donoren en ontvangers samenwerken op basis van vertrouwen.

De afspraken rusten op vijf principes: eigenaarschap, afstemming, harmonisatie, resultaatgericht management en wederzijdse verantwoordelijkheid.

De evaluatie concludeert dat dankzij de Verklaring van Parijs vooruitgang is geboekt op het gebied van hulpeffectiviteit, maar ook dat die vooruitgang langzaam gaat.

Van de vijf principes is op het gebied van eigenaarschap het meeste resultaat geboekt. Op het gebied van resultaatgericht management en wederzijdse verantwoordelijkheid is er het minst bereikt. Partnerlanden hebben zich volgens het rapport actiever gecommitteerd aan de verklaring dan donoren.

Bijna alle van de 22 geëvalueerde landen hebben nationale strategische plannen voor ontwikkeling.

Donorlanden hebben zich echter niet genoeg aangesloten bij deze plannen en bij de bijbehorende systemen en procedures. De helft van de respondenten meent dat dat komt door een gebrek aan vertrouwen van donoren in hun systemen en door zorgen over corruptie. Ook is de hulp nog steeds erg gefragmenteerd: er is geen grote vooruitgang geboekt op het gebied van harmonisatie. In Zambia schrijft men bijvoorbeeld: ‘De voortdurende fragmentatie van

hulpmodaliteiten in de gezondheidszorgsector betekent een enorme last en geeft blijk van gebrek aan vertrouwen in ons nationale systeem.’

Gewapend met de conclusies uit de evaluatie lieten de partnerlanden op de conferentie in Busan duidelijk van zich horen. Ze drongen er bij de traditionele donoren op aan om de principes van Parijs en Accra beter na te leven.

Nieuwe donoren committeerden zich echter niet. ‘China, India en Brazilië mogen de algemene principes van Parijs op facultatieve basis hanteren’, aldus Ted Kliest. ‘De tijd zal leren wat het succes is van de opnieuw bevestigde aandacht voor landen in de driver’s seat, de voortdurende nadruk op de relevantie van de Verklaring van Parijs en het scheppen van voldoende ruimte voor een op maat gesneden aanpak van ontvanger en donor. De Verklaring kan nog invloedrijker worden wanneer meer organisaties uit het maatschappelijk middenveld, het bedrijfsleven en de bankwereld, en ook nieuwe donoren haar doelen en principes onderschrijven en in de praktijk brengen. Van groot belang is in elk geval dat de Verklaring op het allerhoogste politieke niveau steun blijft krijgen.’

13

14

5 rapporten

Titel: Consulaire dienstverlening doorgelicht 2007-2010 Verschijningsdatum: april 2011 Waarom in deze lijst? Bijzonder omdat het de eerste keer was dat de consulaire dienstverlening van Nederland zo uitgebreid werd geëvalueerd Deze evaluatie gaat in op diverse taken van de Nederlandse ambassades en consulaten in het buitenland, zoals het verstrekken van visa, het uitgeven van reisadviezen, het afnemen van inburgeringsexamens en het legaliseren van documenten, maar ook bijvoorbeeld het regelmatig bezoeken van Nederlandse gedetineerden en het bemiddelen bij het oplossen van kindontvoeringen. Een belangrijke conclusie uit het IOB-rapport is dat zowel de beeldvorming over consulaire dienstverlening als het beleid van de consulaten wordt gedreven door incidenten. Zo droeg de vliegtuigramp in Libië in 2010 bij aan een positief beeld van de consulaire dienstverlening aldaar, omdat die een snel bezoek van secretaris-generaal Ed Kronenburg aan Libië mogelijk maakte. Tegelijkertijd blijven door de focus op incidenten andere taken onderbelicht.

‘Het is de waan van de dag’, zegt Frans van der Wel van IOB. ‘Denk bijvoorbeeld aan de aandacht voor Nederlandse truckers in Frankrijk bij wie hash achter de wielen werd aangetroffen. Mensen die écht hulp nodig hebben, zoals gedetineerden met psychische problematiek, dreigen zo door de ambassade over het hoofd te worden gezien.’

Steeds meer consulaten en ambassades worden momenteel gesloten, en de consulaire dienstverlening waarbij geen sprake is van extreme nood, wordt versoberd.

De aanbevelingen uit het rapport, zoals het advies om meer op Europees niveau samen te werken, liggen hiermee op een lijn. Van der Wel: ‘In Egypte zijn bijvoorbeeld veel verschillende Europese consulaten, die wellicht hun diensten gezamenlijk kunnen leveren.’ In zijn beleidsreactie en ook in een latere kamerbrief van 30 juni 2011 geeft Minister Rosenthal aan zich extra in te zetten voor de versterking van de Europese Dienst voor Extern Optreden, via welke landen op consulair niveau kunnen samenwerken. Van der Wel: ‘Deze samenwerking vraagt echter wel om veel onderling vertrouwen tussen Europeanen. Voorkeursbehandelingen tussen consulair medewerkers en burgers met dezelfde nationaliteit zijn bijvoorbeeld uit den boze. Ik ben benieuwd hoe dit in de praktijk zijn beslag krijgt.’

5 rapporten

Titel: Be our Guests: Beleidsdoorlichting Nederland als gastland van internationale organisaties Verschijningsdatum: november 2008 Waarom in deze lijst? Bijzonder omdat klachten van internationale organisaties aanleiding gaven tot beleidsveranderingen Tijdens deze evaluatie waren in Nederland 31 internationale organisaties gevestigd, zoals het Internationaal Gerechtshof, het Europees Octrooibureau, het Bijzonder Gerecht voor Sierra Leone en het Bijzonder Tribunaal voor Libanon. De evaluatie beoordeelt de resultaten van het overheidsbeleid dat werd aangepast nadat medewerkers van de internationale organisaties hadden geklaagd over Nederlandse regelingen en voorzieningen. Zo hadden ze geen recht meer op een belastingvrije auto, werd de drempel voor btw-teruggave verhoogd en pakte de wet inkomstenbelasting 2001 voor hen nadelig uit. Ook vonden de medewerkers het aanbod van internationaal onderwijs te gering en de kinderopvang en huisvesting te duur, en zorgde het Nederlandse gezondheidszorgstelsel bij hen voor veel onvrede.

In 2005 liet de regering blijken de klachten serieus te nemen. Had tot dan toe het accent nog vooral op werving van nieuwe internationale organisaties gelegen, nu verschoof het beleid naar het verbeteren van het vestigingsklimaat. Medewerkers van internationale organisaties kregen bijvoorbeeld een diplomatieke status, vergelijkbaar met die van ambassademedewerkers.

Bovendien werd een interdepartementale Stuurgroep Nederland Gastland opgericht om beleidsvoorstellen te formuleren, de uitvoering ervan te stroomlijnen en hierover verantwoording af te leggen.

De evaluatie geeft aan dat de voorgenomen beleidsmaatregelen bijna allemaal zijn uitgevoerd. De meeste medewerkers blijken tevreden, hoewel ze nog steeds punten ter verbetering zien, bijvoorbeeld als het gaat om verschillende statussen en de samenhangende privileges.

Verder concludeert IOB dat de capaciteit van de stuurgroep te weinig benut wordt. De minister zegt in zijn beleidsbrief de functie van de stuurgroep te willen intensiveren. Zo moet deze ook een goed huisvestingsbeleid voor de internationale organisaties gaan ontwikkelen. Eén ding blijkt duidelijk: Nederland wil graag een goed gastland blijven voor internationale organisaties.

Titel: Mutual Interests-Mutual Benefits: Evaluation of the 2005 debt relief agreement between the Paris Club and Nigeria Verschijningsdatum: maart 2011 Waarom in deze lijst? Bijzonder vanwege de controversiële conclusie van de evaluatie dat schuldenverlichting voor beide partijen gunstig was Het tijdstip van deze publicatie kwam het ministerie van Financiën ongelukkig uit, vertelt IOB’er Fred van der Kraaij. ‘Er waren besprekingen in het kader van de Griekenlandcrisis. Een evaluatierapport dat aantoonde dat een forse kwijtschelding voor alle betrokkenen gunstig kon zijn, beschouwde men als een storende factor in de onderhandelingen. De minister van Financiën drong er daarom op aan dat de publicatie enige tijd zou worden uitgesteld. Achteraf bleek de vertragingsactie overbodig, want Griekenland heeft alsnog een enorme schuldkwijtschelding gekregen.’

Nigeria had in 2005 enorme schulden. Het grootste deel (30,4 miljard dollar) was het land verschuldigd aan de donorleden van de Club van Parijs, het college van negentien landen dat bemiddelt tussen kredietverstrekkende landen en landen die moeite hebben bij het aflossen van hun schulden.

Nigeria’s schuld ontstond toen het land in de jaren zeventig veel leende voor projecten met lage opbrengsten. Toen de rentetarieven stegen en de olieprijzen daalden, werd de schuld voor Nigeria te hoog om af te lossen. Desondanks ging het land door met lenen, mede om af te lossen, en stak zichzelf hierdoor nog dieper in de schulden.

Hoewel er, bijvoorbeeld door deals met private investeerders, pogingen werden gedaan om de schulden te verlichten, en dat deels ook lukte, had Nigeria geen centraal overzicht en coördinatie over de schulden. Ze bleven hoog, hoewel betwist werd of ze nu wel of niet af te lossen waren. In 2005 overwoog de Club van Parijs de schulden deels kwijt te schelden. Zowel Nigeria als de Club van Parijs hadden hier belang bij. Nigeria had in de voorgaande jaren enkele politieke veranderingen ingevoerd, waarmee het geld had gespaard. Bovendien steeg in 2005 de olieprijs en kon Nigeria zo de overeenkomst aangaan om het niet kwijt te schelden deel (40 procent) van haar schulden af te lossen. De Club van Parijs had strategische en financiële belangen om met dit grote, invloedrijke en olierijke land in de West-Afrikaanse regio de overeenkomst aan te gaan. De

schuldeisende landen kregen op deze manier bovendien 40 procent van de schuld terug, waar deze anders wellicht lang en misschien vergeefs op hadden moeten wachten.

Zowel Nederland als België waren het in eerste instantie niet eens met de regeling. Nederland zette zich ervoor in dat in de overeenkomst in elk geval werd opgenomen dat de 1 miljard aflossing die Nigeria hiermee jaarlijks bespaarde ten gunste zou komen van armoedebestrijding.

De overeenkomst leverde Nigeria volgens het IOBrapport op drie manieren resultaat op: het totale bedrag aan uitstaande schulden verminderde fors en het land werd daarom aantrekkelijker voor buitenlandse investeerders.

Bovendien bespaarde Nigeria een miljard dollar per jaar en kwam dit bedrag beschikbaar voor armoedebestrijding. Ten slotte leidden de voorwaarden die aan de overeenkomst vastzaten tot gunstige beleidshervormingen. Zo werd er opgetreden tegen corruptie, werden overheidsdiensten hervormd en werden privatiseringen doorgevoerd.

In zijn beleidsreactie op het evaluatierapport reageerde staatssecretaris Knapen verheugd. Hij schrijft de positieve effecten mede toe aan de veranderingen die de Nigeriaanse overheid al voor de regeling inzette en aan de actieve beleidshervormingen van Nigeria tijdens de regeling.

Bovendien benadrukt hij de effecten op armoedebestrijding, die samenhangen met het vrijkomen van de aflossing voor armoedebestrijding waarop Nederland destijds aandrong.

Paul Hoebink, bijzonder hoogleraar ontwikkelingsstudies en directeur van het CIDIN, is in zijn column in de eerste Vice Versa van dit jaar zeer kritisch over het rapport. Hij vindt bijvoorbeeld dat de evaluatie de kritiek van Nederland op de regeling destijds te versimpeld weergeeft. Ook betwijfelt Hoebink of de positieve resultaten in Nigeria niet ook zouden zijn bereikt zonder kwijtschelding. Bovendien stelt hij dat de kwijtschelding ten koste is gegaan van andere WestAfrikaanse landen zoals Mali en Burkina Faso. Nederland betaalde namelijk het grootste deel van de kwijtschelding uit het hulpbudget, met als gevolg dat er minder geld beschikbaar was voor andere hulp. Het laatste woord over schuldkwijtschelding is met de positieve uitkomsten van de evaluatie duidelijk nog niet gezegd.

15

16

In de politieke praktijk

In de politieke praktijk 49 17

tekst Marusja Aangeenbrug beeld Mark van Luyk

Op de verzendlijst van menig evaluatierapport staat een rijtje politici. Wat doen zij eigenlijk met zo’n rapport? Drie (oud-)politici vertellen over de rol van evaluaties in de politieke praktijk.

GELEZEN? Paspoort Naam: Eric Smaling Geboortedatum: 18 augustus 1957 Geboorteplaats: Amsterdam Functie: Eerste-Kamerlid namens de SP, hoogleraar duurzame landbouw Universiteit Twente Opleiding: Bodemkunde en bemestingsleer, Landbouwhogeschool Wageningen Werkervaring: Promotie landbouwwetenschappen, diverse functies in ontwikkelingslanden, hoogleraar bodeminventarisatie en landevaluatie Wageningen Universiteit

Eric Smaling (SP):

‘Een krantenartikel heeft soms meer impact’ Bij de portefeuilles van Eric Smaling, Eerste-Kamerlid voor de SP, horen onder andere Buitenlandse Zaken, Defensie en Ontwikkelingssamenwerking. Smaling krijgt regelmatig rapporten toegestuurd: van planbureaus, advieslichamen, van IOB en andere organisaties.

Ook vraagt hij zelf rapporten op als hij informatie nodig heeft. Hoe druk zijn werk ook is – het EersteKamerlidmaatschap betekent een functie naast een reguliere baan en een grotere portefeuille dan in de Tweede Kamer – Smaling wil zich graag goed informeren.

‘In de Kamer wil ik kunnen werken op basis van wat is aangetoond. Grondig onderzoek doen zit verweven in de aard van het werk. Dat vind ik er ook zo leuk aan. Ik probeer zo veel mogelijk zelf te lezen, dus ook relevante evaluaties. Sectorale evaluaties en landenstudies lees ik minder grondig dan bijvoorbeeld brede studies, zoals de IOB-evaluatie van het Nederlandse Afrikabeleid in 2008.

Als er een nieuwe wet in de maak is, graaf ik me in. Ik heb de behoefte om diep door te vragen.

scepticus ‘Ik vind het belangrijk om evaluatierapporten te lezen.

Ze dragen bij aan de grondigheid van het politieke debat.

Ik roep pas iets in de Kamer als ik weet of het echt waar is. Anders kunnen andere partijen je ook niet serieus nemen. Ik constateer wel dat een krantenartikel soms meer impact heeft op het politieke debat dan een gedegen evaluatierapport. Maar ja, dat is hoe het gaat: Kamerleden bevragen de minister nu eenmaal op actuele onderwerpen.

Ik ben van nature een scepticus. Voordat ik iets aanneem, moet het aangetoond zijn. Voor een scepticus geldt echter ook dat je niet altijd kunt wachten op harde bewijzen. Op

een gegeven moment moet je een standpunt innemen.

Er zijn rapporten die invloed hebben gehad op mijn standpunten. Zo is mijn visie op de rol van het bedrijfsleven bijvoorbeeld veranderd. Dit is mede te danken aan het WRR-rapport [‘Minder pretentie, meer ambitie’, red.] van begin 2010. Weliswaar geen evaluatierapport, maar wel een heel invloedrijke studie. Mijn focus op lokale landbouwkennis is daardoor een beetje verschoven. Die is nog steeds belangrijk, vind ik, maar ik realiseer me dat aandacht voor bedrijvigheid óók noodzakelijk is.

Duivelse dilemma’s De evaluatiebehoefte op het gebied van ontwikkelingssamenwerking slaat nogal door, vind ik. Het publiek en de politiek willen keihard bewijs zien. Maar dat kún je simpelweg niet altijd geven. Toch voelt het ministerie die druk vaak wel. Je kunt meten hoeveel leerlingen dankzij onze ontwikkelingshulp naar school gaan, maar daarmee weet je nog niet wat er later van hen terechtkomt. Vinden ze een baan? Of niet, en raken ze daardoor gefrustreerd?

Duivelse dilemma’s, want je moet ook vermijden dat je lastige onderwerpen – zoals de voedselsituatie in de wereld – dan maar níet evalueert.

Een belangrijk onderwerp waar ik wel eens een evaluatierapport over zou willen lezen, is wat het coherentiebeleid oplevert. Ik wil graag weten wat al dat gepraat in Parijs in 2005 en in Accra in 2008 heeft opgeleverd. In Mozambique is Nederland trendsetter als het gaat om multidonorsamenwerking op het gebied van gezondheidszorg. Hoeveel efficiënter en effectiever is dat dan wanneer ieder voor zich actief is? Zo’n evaluatie zou ook kunnen bijdragen aan een nieuw gezicht en aan draagvlak voor de hulp.’

Eric Smaling digheid van bij aan de gron en ag dr ies at ‘ Evalu bat’ het politieke de

Angelien Eijsink (PvdA):

‘Het Defensie-rapport over Uruzgan had beter gekund’ ‘Ik wil weten hoe kritisch men is geweest’, zegt PvdA-Kamerlid Angelien Eijsink over evaluaties. Als defensiewoordvoerder krijgt zij allerlei onderzoeken en evaluaties toegestuurd: van het ministerie van Defensie, bijvoorbeeld over vredesmissies of het personeelsbeleid, van IOB en van organisaties als IKV Pax Christi en Cordaid.

Relevante rapporten leest ze van A tot Z. ‘Rapporten van het ministerie van Defensie lees ik altijd, IOB-rapporten alleen als het gaat om landen waar Nederland een missie naartoe heeft gestuurd. Uit rapporten die ngo’s me toesturen, selecteer ik vooral wat ik nodig heb voor mijn woordvoerderschap. Een voorbeeld van een evaluatie die ik uitgebreid heb bestudeerd, is de evaluatie van de missie naar Uruzgan. Ik lees zo’n rapport en praat er ook over: met vakbonden, militairen, denktanks zoals Clingendael, en ngo’s en Afghanen. Ook binnen de partij heb ik er met deskundigen en leden over gepraat. Die gesprekken helpen mij om de inhoud te duiden en om een standpunt te bepalen.

Als je zo’n evaluatie leest, ga je weer even terug in de tijd.

De hoorzitting in januari 2006 vormde het vertrekpunt voor de evaluatie: waarom gingen we ook alweer naar Uruzgan, welke opdracht gaf de Kamer toen aan de militairen? Uit het rapport bleek onder andere dat Nederland de beginsituatie onvoldoende had vastgelegd. Daardoor was het moeilijk om goed te evalueren wat we hebben bereikt. Bij de politiemissie in Kunduz heeft men dat vanaf het begin beter vastgelegd.

Ik vond dat het Uruzgan-rapport [geen IOB-rapport, red.] beter had gekund. Het verbaasde mij bijvoorbeeld dat er geen bronneninformatie in stond. Ik wil kunnen nazoeken waar bepaalde conclusies vandaan komen om in te kunnen schatten hoe betrouwbaar die informatie is. Ook bleek een

Angelien Eijsink ‘Ik put nog steeds uit rapporten die ik lang geleden heb geleze n’ bepaalde categorie mensen helemaal niet aan het woord gekomen te zijn. Waarom niet? vraag ik me dan af. Ik wil weten hoe kritisch men is geweest.

Boeiend Alle evaluaties die te maken hebben met mijn portefeuille lees ik zelf. Ik wil weten wat er in staat, bovendien vind ik het leuk om te doen. Soms vraag ik een hoorzitting aan naar aanleiding van een evaluatie. En soms stop ik veel tijd en energie in een rapport en komt het helemaal niet, of pas veel later, ter sprake in een debat.

Ik lees evaluaties dan ook niet alleen met het oog op een komend Kamerdebat. Ik hecht eraan evaluaties in een groter geheel te plaatsen. Een evaluatierapport op zichzelf is niets. Het gaat erom de rode lijn te zien. Als je rapporten goed leest, kun je altijd de verbinding leggen met eerdere rapporten. Als ik bijvoorbeeld achter elkaar de rapporten bekijk van de commissies Staal, De Veer Blauw en Lemstra [over de integriteit bij Defensie, MA], zie ik de groei van een organisatie. Dat maakt evaluaties zo boeiend: het zijn geen momentopnames, je leest er altijd de ontwikkelingen van een paar jaar tijd in. Ik put nog steeds uit rapporten die ik ooit heb gelezen.

Een relevant en interessant onderwerp voor een evaluatie zou ik de 3D-aanpak vinden. In hoeverre sluit wat wij met de krijgsmacht doen aan bij ontwikkelingssamenwerking?

In feite houdt 3D niets anders in dan dat we de krijgsmacht inzetten voor ontwikkelingsdoeleinden. Er valt nog een wereld te winnen als het gaat om samenwerking. In Afghanistan is daar een begin mee gemaakt, maar hoe kunnen we dat vasthouden?’

Paspoort Naam: Angelien Eijsink Geboortedatum: 1 april 1960 Geboorteplaats: Sint Isidorushoeve Functie: Tweede-Kamerlid (PvdA) Opleiding: Opleidingen kleuteronderwijs en basisonderwijs; culturele antropologie, Rijksuniversiteit Leiden Werkervaring: Kleuterleidster, onderwijzeres, ambtenaar Buitenlandse Zaken

18

Column 25 19

In de politieke praktijk

Koffiedik kijken

Eimert van Middelkoop“ wikkelingsbeleid “ We stellen veel hogere eisen aan het onteid ” dan aan de rest van het Nederlandse bel

Paspoort Naam: Eimert van Middelkoop Geboortedatum: 14 februari 1949 Geboorteplaats: Berkel en Rodenrijs Functie: Oud-politicus Opleiding: Sociologie, Nederlandse Economische Hogeschool Werkervaring: Docent, fractiemedewerker en lid Tweede Kamer (GPV, ChristenUnie), lid Eerste Kamer (ChristenUnie), minister van Defensie (2007 tot 2010) en Wonen, Wijken en Integratie (tot oktober 2010)

Eimert van Middelkoop (ChristenUnie):

best Chique

De Kamer bespreekt evaluaties van Defensie eigenlijk altijd.

Dat is uniek en best chique, realiseer ik me. Op het gebied van ontwikkelingssamenwerking gebeurt dat niet, afgezien van een enkele evaluatie, zoals die van het Afrikabeleid in 2008. Dat heeft ermee te maken dat het uitzenden van militairen politiek altijd een gevoelig onderwerp is. Er gaat een bijzondere verantwoordelijkheid mee gepaard, Vanaf het begin van zijn loopbaan in Den Haag in 1989 – want het kan tenslotte gaan om zaken van leven en dood. eerst in de Tweede Kamer, vervolgens in de Eerste Kamer Ontwikkelingssamenwerking is abstracter en voelt verder van en ten slotte als minister – heeft Eimert van Middelkoop huis.

De vraag is of het erg is dat evaluaties over ontwikkelingste maken gehad met de portefeuilles buitenlandse zaken, ontwikkelingssamenwerking of defensie. Tijd om samenwerking niet zo’n prominente rol spelen in de Kamer.

Dat doet namelijk niets af aan het belang ervan. Evaluaties zich grondig in deze onderwerpen te verdiepen had hij zijn in de eerste plaats belangrijk voor de zelfreflectie. aanvankelijk niet altijd.

Daarnaast is het een vorm om het institutioneel geheugen vast te leggen. Het doel van evaluaties is daarom vaak ‘Het grootste deel van de tijd in de Kamer zat ik begrijpelijkerwijs het informeren van Kamerleden. IOBin een tweemansfractie, eerst van het GPV, later evaluaties zijn overigens júist onderdeel van de politieke van de ChristenUnie. Zo’n kleine fractie betekent verantwoording naar de Kamer toe, maar ik vrees dat een heel grote portefeuille. In onze dossiers over ook die evaluaties een zeer bescheiden rol spelen bij veel ontwikkelingssamenwerking zaten altijd evaluaties, Kamerleden. maar ik vraag me af of ik die als Kamerlid vaak geraadpleegd heb. Ik had er simpelweg geen tijd voor.

In mijn beleving doen andere Kamerleden ook weinig Lastig met evaluaties, afgezien van een paar specialisten. Het rendeert nauwelijks voor parlementariërs om de diepte Ontwikkelingssamenwerking is het meest lastige terrein om in te gaan. Adviezen van de Adviesraad Internationale te evalueren. Het is een moeilijk te controleren terrein, dat Vraagstukken heb ik wel altijd gelezen, daarin zit ook een maakt het gevoelig voor wilde verhalen. Het is de laatste evaluatief deel. jaren zowel bij links als bij rechts een onderwerp geworden Op het terrein van defensie werkt dat weer anders, heb ik waar men makkelijk op af kan geven. We stellen veel hogere gemerkt toen ik minister van Defensie was. Van elke missie eisen aan het ontwikkelingsbeleid dan aan de rest van het laat de minister een evaluatie uitvoeren. Dat is een eis in Nederlandse beleid en we steken enorm veel energie in het het toetsingskader dat de regering vooraf opstelt: een evalueren. Het heeft geen zin om nóg meer evaluaties af soort protocol waarin staat waar de missie aan moet te dwingen. De sector kampt met een uit de hand gelopen voldoen. verantwoordingsdrang: evaluaties worden vooral gebruikt als De missie-Uruzgan heeft een heel uitvoerige evaluatie vorm van zelfrechtvaardiging. Ze zouden veel meer gebruikt opgeleverd. Verhagen [toen minister voor Buitenlandse moeten worden als leermiddel.’

Zaken, MA] en ik hebben toen ook een aantal experts gevraagd om te monitoren of de evaluatie methodisch verantwoord werd uitgevoerd.

‘Het rendeert voor parlementariërs nauwelijks om de diepte in te gaan’

En dan nog: het hangt er ook maar van af hoe je het koffiedik gebruikt. Naast het voorspellen van de toekomst door bestudering van het lijnenpatroon in het kopje, zijn de mogelijkheden eindeloos. Wist u dat de bruine prut, wanneer het door de gootsteen wordt gespoeld, het aanwezige vet in de leidingen vermindert? Dat het goedje kan dienen als meststof én om slakken en katten uit de tuin te houden?

En is koffiedik niet hét ideale natuurlijke scrubmiddel tegen oude huidcellen en sinaasappelhuid?

Goed, terug naar het beleid, interventielogica en bereikte resultaten. In het algemeen zal iedereen beamen dat het gekozen pad tussentijds moest worden herzien en bijgesteld: er waren immers hindernissen die vooraf niet konden worden voorzien. Welke waarde heeft een IOB-evaluatie dan eigenlijk? Valt er nog iets van te leren of is het slechts een bevestiging van wat de beleidsmaker al lang en breed wist? Het komt zelden voor dat wordt gezegd: ‘IOB slaat de plank volledig mis.’ In de meeste gevallen wordt juist teruggegeven dat de in de evaluatie geformuleerde lessen al lang en breed worden toegepast en dat deze inmiddels onderdeel zijn van het huidige beleid. Waarom zijn beleidsmakers en evaluatoren het vrij vaak, althans als we de beleidsreacties mogen geloven, met elkaar eens?

Welnu, hiervoor is een aantal verklaringen denkbaar. Wellicht dat de ene meer valabel klinkt dan de andere, maar helemaal mank gaan ze geen van allen.

Contrair gaan aan de conclusies van een evaluatie betekent dat de Kamer (in sommige ogen nodeloos?) wordt geattendeerd op beleidsmatige zaken waar geen overeenstemming over bestaat. Dit levert extra werk op! Dan maar liever instemmen met de conclusies.

© Leonard Fäustle

Beleid maken en uitvoeren is geen exacte wetenschap, ook al willen we toekomstige resultaten graag beredeneren aan de hand van interventielogica’s. Eigenlijk is de term ‘interventielogica’ misschien ook wat ongelukkig. Is het beredeneren en beargumenteren van de weg naar succes niet gewoon een vorm van koffiedik kijken?

De blame and question the researcher-truc kan als een boemerang terugslaan. Mee uitkijken dus

De in de Britse comedy Yes Minister gepropageerde truc ‘blame and question the researcher’ om de aandacht van het rapport af te houden, is gevaarlijk. Een dergelijke houding zou als een boemerang terug kunnen slaan op de blamer. Mee uitkijken dus.

Maar wellicht moeten we de verklaring niet zo zoeken in een ‘wij/zij’-stellingname.

De ervaring leert dat collega’s altijd met plezier over hun werk en het beleid praten.

Dit is leerzaam voor de evaluatoren van IOB, die er met een frisse blik naar kunnen kijken, maar ook vragen stellen die de collega’s zichzelf al eens gesteld hebben. Zou het ook anders kunnen? Waarom is het zo en zo gegaan?

In deze wisselwerking – de contacten tussen de evaluatoren en de ‘geëvalueerden’ – ligt de echte kracht van de evaluatie. Tussentijdse conclusies kunnen reeds in het beleid worden verwerkt. Dit zal niet altijd significante wijzigingen tot gevolg hebben, maar van een stroomlijning kan wel gesproken worden. En soms wordt het wiel op verschillende plaatsen tegelijk uitgevonden. Conclusies en aanbevelingen zijn ook al ‘naar boven gekomen’ bij de beleidsmakers en er wordt vervolgens naar gehandeld.

Daar ligt de winst van de evaluatie. Niet in het bekritiseren van beleid, maar in het versterken van het kritisch vermogen van de beleidsomgeving. In feite dus niets anders dan goed blijven kijken naar je eigen – en elkaars – koffiedik.

Frans van der Wel en Jisse Kranen

Frans van der Wel werkt sinds 2008 bij IOB als inspecteur/evaluator. Hij studeerde Politicologie en Bestuurskunde en volgde het International Programme for Development Evaluation Training aan de Carleton University in Ottawa.

Jisse Kranen werkt sinds 2011 bij IOB als onderzoeksmederwerker. Hij studeerde Culturele antropologie en International Development Studies en volgde de Advanced Master International Development aan het CIDIN in Nijmegen.

24 20 wetenschap evaluatiemethoden

Evaluatiemethoden wetenschap 25 21

tekst Marusja Aangeenbrug

de nieuwste methoden

Kies maaR uit

Er is al lang geen sprake meer van een kwalitatief en een kwantitatief kamp. Mengvormen, maatwerk en realtime betrokkenheid vormen de trend. Vice Versa bezocht een expertmeeting, sprak uitgebreid met evaluatiegoeroe Michael Quin Patton en zet de belangrijkste methoden op een rij.

‘Mensen bellen me soms op omdat ze een evaluatie nodig hebben.’ De Amerikaanse evaluatie-expert Michael Quinn Patton vertelt tijdens een expertseminar van het Centre for Development Innovation (CDI) van de Wageningen Universiteit dat hij 150 verschillende evaluatiemethoden op een rijtje heeft gezet. ‘Dan vraag ik: Wat voor soort evaluatie wilt u?

Regelmatig reageren mensen heel verbaasd: “Hoezo, wat voor sóórt?”’

Zijn toehoorders, onder wie veel evaluatie-experts, lachen smakelijk. Ook zij maken regelmatig mee dat buitenstaanders denken dat evalueren een voorgekookte methode is om te meten wat er is bereikt. ‘Wanneer de evaluatie moet plaatsvinden, vraag ik vervolgens’, gaat Patton verder. ‘“Over twee weken moet er een eindevaluatie komen, want dan is het financieringscontract afgelopen.” Nee, sorry, is mijn antwoord dan, dat soort evaluaties doe ik niet.’

© Kirsten Mastwijk

geen gouden standaard Evalueren is maatwerk, is de boodschap van Patton. Dat kan ook niet anders, want er bestaat een veelheid aan evaluatiemethoden (zie het kader op de volgende bladzijden).

Grofweg kun je die verdelen in kwalitatieve en kwantitatieve methoden. Daartussen zweven nog allerlei mengvormen. Kwantitatief onderzoek draait, simpel gezegd, vooral om de cijfers. Men ondervraagt een grote groep mensen met een standaard vragenlijst om resultaten op tafel te krijgen die met elkaar vergeleken kunnen worden. Bij kwalitatief onderzoek gaat het meer om het verhaal erachter. Kwalitatieve methoden zijn bovendien vaak participatief: de mensen voor wie het ontwikkelingsproject bedoeld was, werken zelf aan mee aan de evaluatie. Ze krijgen de vrijheid hun verhaal te vertellen en uit te leggen waarom ze iets vinden.

Steeds vaker gebruiken evaluatoren mengvormen. Ze zetten bijvoorbeeld een kwalitatieve methode in én voeren een survey uit om kwantitatieve gegevens te verzamelen. De uitkomsten van beide onderzoeken vergelijken ze vervolgens met elkaar.

In sommige gevallen zetten ze kwalitatieve informatie ook om in kwantitatieve uitkomsten, zoals wanneer ze mensen van een lokale gemeenschap vragen naar hun ervaringen met een werkgelegenheidsprogramma en deze resultaten omzetten in cijfers of een ranglijst.

Er bestaat geen gouden standaard: één methode waarmee je een antwoord krijgt op alle vragen en die toepasbaar is op alle projecten en programma’s. Voor welke aanpak een evaluator kiest, kan van veel dingen afhangen. Bepalend is in elk geval zijn visie op de wereld, stelt evaluatie-expert Wouter Rijneveld van het bureau Resultante, tevens werkzaam bij ontwikkelingsorganisatie Woord en Daad. Die visie bepaalt namelijk in hoeverre hij gelooft dat het mogelijk is om dé waarheid boven tafel te krijgen.

‘Er bestaat een neopositivistische en een postmoderne stroming’, schetst hij. ‘Wie neopositivistisch denkt, gaat ervan uit dat de waarheid te kennen is: je kunt alles meten en uitrekenen. Als je maar nauwkeurig onderzoek doet, ontdek je de waarheid.

Voorbeelden hiervan zijn methoden waarbij gewerkt wordt met controlegroepen, zoals random control trials, of logical frameworks. In deze methoden draait alles om betrouwbare en verifieerbare gegevens.’

Postmodern denken gaat ervan uit dat er geen objectieve waarheden bestaan in het leven. ‘De samenleving is complex, ieder heeft zijn eigen waarheid’, legt Rijneveld uit.

‘Je kunt al die subjectieve waarheden naast elkaar zetten, zodat je zo dicht mogelijk bij een objectieve conclusie komt. Maar je moet er altijd rekening mee houden dat iedereen beïnvloed wordt en belangen heeft.’ Participatieve methoden, zoals outcome mapping en

Foto links: Inspecteur Phil Compernolle (links) op onderzoek in Bolivia voor de vorig jaar gepubliceerde IOB-studie over basisonderwijs

22 evaluatiemethoden

Evaluatiemethoden

Most Significant Change Method

Foto: Een evaluatiesessie van ingenieurs van het ministerie van infrastructuur in Madagaskar

© Sjoerd Zanen

Participatieve, kwalitatieve methode waarbij mensen uit de doelgroep hun ervaringen vertellen. Zij geven aan in hoeverre hun leven is veranderd in een bepaalde periode.

Deze verhalen cluster je in verschillende categorieën, zoals werkgelegenheid en huisvesting. Vervolgens redeneer je met hen terug: welke veranderingen waren het belangrijkst en in hoeverre heeft het betreffende ontwikkelingsprogramma bijgedragen aan deze veranderingen?

Timeline Analysis Kwalitatieve, participatieve methode waarin betrokkenen de geschiedenis reconstrueren door aan te geven op welke momenten er verandering optrad op bepaalde terreinen.

Bijvoorbeeld: op welke momenten stond de huisvesting er slecht voor en wanneer verbeterde die situatie? Aan de hand van een grafische weergave van deze ontwikkeling analyseer je vervolgens samen met deze mensen wat in hun ogen de aanleiding was voor deze veranderingen.

Social Return on Investment (SROI) Kwalitatieve, participatieve methode uit het bedrijfsleven met als uitgangspunt dat ondernemen meer is dan winst maken. Zogenaamde value for moneybenadering: meet de ‘winst’ op sociaaleconomisch en milieugebied door bijvoorbeeld mensen uit de doelgroep, partnerorganisaties en overheden te vragen een waarde toe te kennen aan de activiteiten van een organisatie.

Deze respondenten vertellen bovendien over hun ervaring met die activiteiten. Deze verhalen en waarderingen worden uiteindelijk omgezet in een cijfer en leveren dus een kwantitatieve uitkomst op. SROI is binnen de ontwikkelingssector in Nederland nog geen veel gebruikte methode, maar de belangstelling groeit.

Participatory Assessment of Development (PADev) Een nog experimentele, kwalitatieve methode die de ervaringen van de lokale bevolking als uitgangspunt neemt. Onderzoekers vragen de lokale bevolking in hoeverre hun leven is veranderd gedurende een lange periode (bijvoorbeeld dertig jaar) en welke externe factoren (zoals projecten en subsidies, maar ook oorlogen) daarop van invloed zijn geweest. De respondenten leggen zelf causale verbanden en geven vervolgens een waardering aan de ontwikkelingen. De Universiteit van Amsterdam ontwikkelde ‘Padev’ voor complexe situaties. Bij de uitvoering zijn diverse partners betrokken, zie www.padev.nl.

de most significant change method, zijn hier goede voorbeelden van. Bij deze methoden gaat het vooral om de interpretatie van wat mensen vinden. Transparantie is daarbij cruciaal, zodat je weet welke belangen de mensen hebben met wie je aan tafel zit.’

Een evaluator zou boven deze stromingen moeten kunnen uitstijgen, stelt Rijneveld: ‘Het komt erop aan dat je deze domeinen van elkaar kunt onderscheiden, zodat je niet once and for all vastzit aan één filosofie, maar beide met elkaar kunt verbinden.’

‘Welke methode je kiest, is ook afhankelijk van de intenties die je hebt’, zegt Mike Zuijderduijn, directeur van MDF Training & Consultancy. ‘Wil je weten hoe efficiënt een organisatie te werk gaat, dan doe je bijvoorbeeld benchmark-onderzoek. Wil je weten welk effect een programma heeft gehad op een dorpsgemeenschap, kun je outcome mapping gebruiken.’

Ook het doel van de evaluatie is bepalend voor de keuze: wordt ze uitgevoerd om verantwoording af te leggen, bijvoorbeeld omdat er subsidiegeld mee gemoeid is? Of is het in de eerste plaats de bedoeling dat betrokkenen ervan leren? ‘In veel rapporten ligt de nadruk op verantwoording,’ constateert Zuijderduijn, ‘zeker als het gaat om subsidiegeld.

Je krijgt dan een goed beeld van de resultaten, maar het blijft dan wel bij cijfers. Want zodra je mensen vraagt om te vertellen over hun bevindingen, zullen ze hun beste beentje voorzetten. Ze weten namelijk dat er een zak geld mee gemoeid is. Een kwantitatieve evaluatie kun je om die reden minder goed gebruiken om er ook nog van te leren.’

Omgekeerd kan dat wel, stelt Zuijderduijn. Als het bijvoorbeeld je streven is dat de lokale bevolking leert van de resultaten, voer je een participatieve evaluatie uit. ‘Dat mes snijdt aan twee kanten, want een participatieve methode kun je uiteindelijk ook gebruiken om je mee te verantwoorden.’ Het uitgangspunt van MDF is dat leren bij een evaluatie voorop moet staan. ‘Je moet de mensen over wie het rapport gaat niet louter als informatiebron zien. Je moet ze betrekken bij het hele evaluatieproces: vanaf het formuleren van het doel tot het formuleren van de aanbevelingen in het rapport. Op die manier komt er een discussie op gang over successen én mislukkingen en zijn ze eerder geneigd met de conclusies aan de slag te gaan dan wanneer ze hierover in een rapport lezen.’

zelf conclusies trekken Het gevaar van evaluaties die niet participatief zijn, is dat ‘de consultant er het meeste van leert’, stelt Zuijderduijn. ‘Maar dat kan natuurlijk nooit je intentie zijn. Je wilt toch liever dat de lokale bevolking, de partnerorganisatie of de donor ervan leert? Daarom is het zo belangrijk dat de betrokkenen zelf conclusies trekken.’

De resultaten uit zo’n evaluatie kunnen volgens hem prima dienen als verantwoording.

Helaas – en dat betreurt hij – wil men er in Nederland steeds minder aan om participatieve evaluaties tevens te gebruiken als methode ter verantwoording. ‘Men vindt de uitkomsten van een participatief onderzoek niet objectief genoeg en dus niet geschikt om je te verantwoorden.’

Welke keuze je maakt, hangt ook af van de situatie. Rijneveld: ‘Is er veel of weinig informatie beschikbaar? Zijn de betrokkenen het met elkaar eens of verschillen ze van

mening over het nut en de werking van een project? Als er bijvoorbeeld veel gegevens beschikbaar zijn en de betrokkenen zitten grotendeels op een lijn, dan gebruik je vooral statistische methoden of logframes. Is de situatie complexer, dan is rechttoe-rechtaan onderzoek niet voldoende en werk je eerder met participatieve methoden.’

In de praktijk vraagt een evaluatie meestal om een mix van methoden, geven zowel Rijneveld als Zuijderduijn aan. ‘Vroeger bestond er een strikte scheiding tussen aanhangers van kwalitatieve en kwantitatieve methoden, momenteel is de trend om boven die twee kampen uit te stijgen’, constateert Rijneveld.

van studies naar streams Terug naar de expertmeeting in Wageningen. Daar pleit Michael Patton voor ‘Developmental Evaluation’ bij sociale innovaties in complexe situaties. Dit is geen nieuwe methodiek die hij voorstelt naast de al bestaande evaluatiemethoden. Het is eerder een manier van werken.

Bij Developmental Evaluation gaat het erom dat evalueren meer inhoudt dan een oordeel na afloop van een programma. Het is een denk- en werkwijze waarmee je – al tijdens het programma – voortdurend test, leert, bijstuurt, experimenteert en innoveert. Je gebruikt hiervoor bestaande evaluatietechnieken en werkt nauw samen met het team van het betreffende programma.

Deze manier van werken is uitermate geschikt voor complexe omstandigheden, legt Patton uit tijdens de expertmeeting. Als voorbeeld noemt hij situaties waarin onvoorspelbaarheid of innovatie een grote rol spelen. Door steeds evaluatieve vragen te stellen, data te verzamelen en feedback te geven, ben je realtime betrokken en oefen je voortdurend invloed uit. Developmental Evaluation is geen losstaande activiteit, maar onderdeel van het programma.

Evalueren is dus allang geen statische bezigheid meer. Dat onderstreept Patton nog eens door in te gaan op trends die invloed hebben op het evalueren. Bovenaan zijn top 10 staat complexiteit: draaide het bij evalueren lange tijd vooral om afgebakende projecten, inmiddels gaat het om het krijgen van inzicht in en het veranderen van complexe situaties. Dit is ook de ervaring van Zuijderduijn: ‘Evaluaties worden steeds complexer. Ze gaan vaker over uitgebreide programma’s en vaak is er meer dan één organisatie bij betrokken.’

Een andere trend is volgens Patton dat evaluatiegegevens wereldkundig worden gemaakt op uiteenlopende manieren. Het papieren rapport lijkt bijna ouderwets, want ‘het delen van de uitkomsten gebeurt steeds vaker op visuele manieren, zoals foto’s, video’s, artist impressions en zelfs drama.’ De aandacht verschuift bovendien van studies naar streams: ‘Van de dikke evaluatierapporten stappen we steeds vaker over op online dataverzameling.

We gebruiken internet en sociale media om continu informatie te delen. Mensen willen geen dikke rapporten meer lezen.’

Op de derde plaats in Pattons top 10 staat de roep om strikte en verifieerbare uitkomsten: evaluaties mogen geen ruimte laten voor inconsistenties. Deze trend is mede ingegeven door de roep om verantwoording: publiek en politiek willen bewijzen zien.

In Groot-Brittannië en de VS zijn om die reden value for money-benaderingen, zoals SROI, populair. Hiermee proberen organisaties te achterhalen wat hun investeringen opleveren.

23

Logical framework Een logical framework of kortweg logframe is een instrument om de meest belangrijke kenmerken van een project of programma in een matrix te omschrijven. De logframe-methode gaat ervan uit dat verandering lineair tot stand komt en dus voorspelbaar is. Ze wordt gebruikt voor de planning, het bijsturen én het evalueren van projecten. In de matrix komt te staan waarom een project is begonnen, wat het moet bereiken, hoe het die resultaten gaat bereiken, welke factoren het succes bepalen, via welke bronnen het succes van het project gemeten kan worden, welke middelen nodig zijn, wat het zal kosten en welke randvoorwaarden vervuld moeten worden. De methode wordt vooral gebruikt door overheden en multilaterale instellingen.

Result Chain Analysis Een variant van de logframemethode die uitgaat van vier stadia: input (bijvoorbeeld: een organisatie geeft een cursus om een groep mensen te helpen hun managementvaardigheden te verbeteren), output (X mensen hebben de cursus gevolgd), outcome (het effect van de cursus: wat hebben ze geleerd, wat doen ze met die kennis?), impact (wat is het sociale en economische effect hiervan?). Door stapsgewijs terug te redeneren, kun je vaststellen in welke mate deze stadia zijn bereikt.

Outcome mapping Participatieve methode om stapsgewijs te werk te gaan en terug te redeneren, maar dan op een minder strakke manier dan in een logframe. De nadruk ligt op het meten van gedragsverandering. Het verschilt per situatie hoeveel fases je hierbij in kaart brengt. De mensen uit de doelgroep geven zelf aan in welk stadium ze op dat moment denken te zitten. Zie ook www.outcomemapping.ca.

Theory-based evaluation Manier van evalueren om te achterhalen in hoeverre de theory of change van een programma klopt: de aannames hoe het programma zou moeten werken en onder welke voorwaarden en omstandigheden de verwachte effecten zouden moeten optreden. Evalueren volgens deze benadering betekent dat je, net als in een logical framework, probeert te achterhalen of het programma heeft gewerkt zoals het had moeten werken. Het verschil met de logical framework-aanpak is dat de theory-based approach niet uitgaat van een lineair verband tussen oorzaak en gevolg, maar rekening houdt met een diversiteit aan invloeden.

24 evaluatiemethoden

Evaluatiemethoden 25 57

Interview met Michael Quinn Patton

Benchmarking

‘Voor wie doe je het eigenlijk?’

‘Utilization-Focused Evaluation’ noemt de internationaal gerenommeerde Michael Quinn Patton zijn aanpak. Geen nieuwe methodiek, maar een inzicht voor meer effectieve evaluaties. Simpel gezegd komt zijn aanpak hierop neer: je moet goed weten waarom en voor wie je een evaluatie uitvoert voordat je eraan begint. Dat klinkt als een open deur, maar dat is het niet, weet hij dankzij jarenlange ervaring.

Patton houdt zich al met evaluaties bezig sinds begin jaren zeventig, toen dit voor de non-profitsector nog een relatief nieuw terrein was.

Wat bedoelt u met Utilization-Focused Evaluation?

‘Er zijn allerlei methoden en standaarden voor goede evaluaties. Maar welke methode je ook kiest, evalueren heeft geen zin als het rapport niet wordt gebruikt. Het belangrijkste is dat je goed weet voor wie en met welk

doel je de evaluatie uitvoert. Dat heeft namelijk allerlei consequenties. Niet alleen qua taalgebruik, maar ook qua deadline. Als je bijvoorbeeld wilt dat het management de resultaten meeweegt bij het nemen van besluiten, moet je wel op tijd zijn. Maar de meeste evaluaties worden pas uitgevoerd aan het einde van een programma. Besturen besluiten vaak al veel eerder om wel of niet door te gaan.

Dan ben je dus te laat.’

Hoe kies je de juiste evaluatiemethode?

‘Helaas hebben nog veel mensen het simplistische idee dat je een evaluatie kunt uitvoeren die voor iedereen interessant is. Evaluatoren beginnen vaak maar gewoon aan een onderzoek. Ze bepalen zelf de onderzoeksvragen en vergeten hierover in gesprek te gaan met de toekomstige lezers van hun rapport. Dan wordt je evaluatie natuurlijk niet gelezen. En als een evaluatie bestemd is voor beleidsmakers, kies je voor een heel andere aanpak dan wanneer ze bedoeld is voor het grote publiek. Beide groepen zijn in heel andere dingen geïnteresseerd. Je moet dus eerst en vooral duidelijk krijgen voor wie de evaluatie bedoeld is.’

Maar je moet toch ook naar het programma kijken om de juiste methodiek te bepalen?

‘De eerste stap is toch echt dat je moet weten tegen wie je praat en wat het doel is van de evaluatie. Is ze bijvoorbeeld bedoeld om je te verantwoorden, om ervan te leren of om een beleidsbeslissing te kunnen nemen? Voor elk van deze drie doelen moet je een ander moment en een andere aanpak kiezen. Gek genoeg worden evaluatoren niet getraind in dit soort simpele dingen.’

Wat zouden ze dan moeten leren?

‘Evaluatoren leren hoe ze onderzoek moeten doen en hoe ze interviews moeten houden. Belangrijk, heus, maar ze leren bijvoorbeeld niet hoe ze een evaluatie moeten plannen, wat ze aan sociale media kunnen hebben of hoe ze een samenvatting kunnen schrijven.’

Paspoort Naam: Michael Quinn Patton Geboortedatum: 5 September 1945 Geboorteplaats: Peewee Valley, Kentucky, VS Functie: Consultant op het gebied van evaluaties en organisatieontwikkeling Opleiding: Sociologie Werkervaring: Voorzitter van de American Evaluation Association, medewerker faculteit Sociale Wetenschappen en directeur van het Minnesota Center for Social Research aan de University of Minnesota, auteur van vijf boeken over evalueren, waaronder Utilization-Focused Evaluation (2008) en Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use (2010)

Kwantitatieve methode die met name geschikt is om de efficiency van organisaties en processen in kaart te brengen. Organisaties vergelijken hun eigen prestaties met die van andere organisaties. Vaak worden de organisaties die hierbij als beste uit de bus komen, als voorbeeld genomen voor de overige organisaties, met als doel om hiervan te leren.

Wat is het probleem van de meeste samenvattingen dan?

‘De meeste besturen van organisaties lezen alleen de samenvatting – als je geluk hebt. Dan moet je dus niet uitgebreid gaan uitweiden over de methodologie en maar heel kort ingaan op je bevindingen. Bovendien is het niet zinvol als je je conclusies in de vorm van aanbevelingen schrijft: doe het voortaan zus of doe het zo. Je kunt je bevindingen beter formuleren als scenario’s. Waar moet je op letten als situatie A zich voordoet en wat is belangrijk als situatie B optreedt? Aanbevelingen vormen een lineaire en beperkte benadering, waarbij je ook nog eens veel tegenstand kunt krijgen van bijvoorbeeld het bestuur van de organisatie. Het is beter om je bevindingen weer te geven en vervolgens scenario’s en de implicaties daarvan te schetsen.’

Randomized Controlled Trial (RCT)

Het debat over verantwoording gaat mede over de vraag of sommige methoden daar beter geschikt voor zijn dan andere. ‘Objectiviteit moet verzekerd zijn’, merkt ook Zuijderduijn.

Maar kwantitatieve methoden geven volgens hem vaak ten onrechte de indruk van objectiviteit. ‘Niet alles is in cijfers uit te drukken, we leven tenslotte in een complexe wereld. En bovendien, ook als je harde cijfers op tafel krijgt, kan de uitkomst gestuurd zijn.’

De kritiek op participatieve methoden is vaak dat ze niet objectief genoeg zouden zijn, is de ervaring van Rijneveld. ‘Welke participatieve methode je ook gebruikt, er zal altijd iemand zijn die zegt dat het subjectieve bevindingen zijn. Maar wat is daar mis mee?

Het gáát er toch ook om hoe mensen hun eigen situatie ervaren? Mits je er maar op een robuuste manier mee omgaat en de informatie test op geldigheid door ze met andere bronnen te vergelijken. De Veiligheidsmonitor vraagt mensen ook naar hun eigen gevoel van veiligheid. Dat vindt niemand een probleem.’

Frustratie In Wageningen raken de gemoederen verhit tijdens een groepsdiscussie over politiek en evalueren. ‘Ik word er zo moe van’, klaagt een Britse deelnemer over de druk van overheden om steeds meer cijfers op tafel te leggen. ‘Om bij onze overheid in aanmerking te komen voor subsidie zijn we verplicht een value for money-methode in te zetten. Wij zijn daar vervolgens ontzettend druk mee. Maar uiteindelijk komt er vaak een cijfer uit dat niets concreets betekent.’

‘De vraag is ook: wanneer zijn we tevreden?’ stelt een andere deelnemer. ‘De ontwikkelingssector legt steeds meer cijfers voor, maar wanneer is het genoeg? Wanneer geloven mensen dat we voldoende ons best gedaan hebben? Zolang we er niet in slagen om duidelijk te communiceren over ontwikkelingssamenwerking, weten buitenstaanders niet hoe we te werk gaan. En zolang ze daar niet van op de hoogte zijn, zullen ze alleen maar om meer bewijs vragen.’

Patton: ‘Ik hoor de frustratie van velen van jullie. Jullie hebben het gevoel dat je niet gehoord wordt.’ Hij adviseert: ‘Zorg alsjeblieft dat je niet alleen staat.’

Wouter Rijneveld gooit hier nog tijdens de expertmeeting een balletje over op. ‘We hebben in Nederland een vereniging van evaluatie-experts, Vide, maar de meeste aanwezigen zijn daar volgens mij niet bij aangesloten.’ Momenteel zijn vooral toezichthoudende organen op diverse beleidsterreinen aangesloten bij Vide. Op het gebied van ontwikkelingssamenwerking is alleen IOB lid. Rijneveld stelt voor om met een aantal Nederlandse evaluatie-experts lid te worden, zodat zij samen kunnen werken aan professionele standaarden voor evalueren. Goed idee, vindt Patton. ‘Je zult altijd te maken hebben met politiek en beleid, dus als je ergens tegenaan loopt, zorg dan dat je daar samen over in gesprek gaat.’

Statistische, experimentele methode die vooral gebruikt wordt om de impact van grootschalige interventies te meten. Twee groepen worden zowel voor als na de interventie met elkaar vergeleken: de testgroep (bijvoorbeeld een aantal dorpen waar een armoedebestrijdingsprogramma wordt uitgevoerd) en een controlegroep (dorpen zonder armoedebestrijdingsprogramma). Het gemeten verschil is de impact. De groepen moeten bij aanvang van het programma vergelijkbare kenmerken hebben en door het lot (gerandomiseerd) zijn gekozen. De methode wordt vaak gebruikt om experimenten uit te voeren. Aanhangers van RCT’s worden ook wel ‘randomista’s’ genoemd. In Nederland is deze methode nog niet zo populair als bijvoorbeeld in de VS.

Quasi-experimentele methoden Statistische aanpak waarin, net als bij RCT’s, wordt gewerkt met een testgroep en een controlegroep.

Het verschil is dat de mensen in een de controlegroep in een RCT at random, dus lukraak, worden gekozen en in een quasi-experimentele methode niet: de onderzoeker probeert op slimme manieren een controlegroep te vinden die zo goed mogelijk lijkt op de testgroep.

Deze opsomming van methoden en aanpakken voor evaluaties pretendeert allerminst een volledig overzicht te zijn. Van elke methode bestaan bovendien varianten en verwante vormen.

Websites met informatie over evaluatiemethoden: • www.betterevaluation.org (internationaal platform) • www.mande.co.uk (website Britse evaluatie-expert Rick Davies) • portals.wi.wur.nl/ppme (webportal Wageningen University over participatieve methoden) • www.eval.org (website van de American Evaluation Association) • http://evaluationtoolbox.net.au/ (Australische website met resources)

26 WRR en Algemene Rekenkamer

WRR en Algemene Rekenkamer 53 27

tekst Janneke Juffermans beeld Leonard Fäustle

‘Onafhankelijkheid bestaat niet’ Marjolein van Asselt (WRR):

‘Wij geven mensen taal’ ‘In de jaren zeventig, tachtig werd geconstateerd dat de Nederlandse overheid heel weinig aan evaluaties deed.

Dat is al lang niet meer het geval. Er zijn honderden evaluaties per jaar. Ook verschillende evaluaties over precies hetzelfde, of op zeer kleine deelterreinen. Daarbij valt ons op dat er weinig gebruik wordt gemaakt van al bestaande evaluaties om te leren. Als er bijvoorbeeld een voorlichtingscampagne wordt geëvalueerd, wordt niet altijd gekeken of er al eerder andere voorlichtingscampagnes zijn geëvalueerd en welke lessen daaruit naar voren komen. Dat patroon zien we ook in crisisevaluaties: de neiging is groot elke crisis als uniek te behandelen en niet terug te kijken wat er geleerd kan worden van eerdere evaluaties van crises op hetzelfde terrein of met vergelijkbare kenmerken.

Door de toename aan evaluaties is de professionalisering en institutionalisering op dit gebied toegenomen.

Als een evaluatie is uitgevoerd door een instantie die als gezaghebbend wordt beschouwd, dan wordt het rapport zeker serieus genomen. Maar die ontwikkeling is ook gepaard gegaan met toenemende verplichtingen om te evalueren. Zelfs als evaluatie niet verplicht is, wordt het toch vanzelfsprekend gevonden. Er dreigt zo een wildgroei aan evaluaties, waar niet altijd inhoudelijke motivatie en politiek-bestuurlijk animo voor is. Op termijn zou evaluatie daarom kunnen verworden tot een betekenisloos ritueel.

Spanningsvelden Als je dat constateert kun je je afvragen of het institutioneel en organisatorisch goed geregeld is. Moeten we blijven verplichten dat beleid en handelen van de overheid achteraf geëvalueerd worden? Stel nu dat je het zou afschaffen. Zou er dan niet meer geëvalueerd worden? De kans acht ik klein.

Het is opvallend dat de overheid de methodologische discussie naar zich toe trekt. Veel van de evaluatieverplichtingen behelzen methodologische voorschriften. Wat zou er gebeuren als we de methodologische voorschriften zouden veranderen? Bijvoorbeeld het voorschrift dat er altijd een extern iemand betrokken moet worden? Misschien zijn er ook wel andere manieren om onafhankelijkheid te organiseren. En is het noodzakelijk om in een evaluatie een advies of aanbevelingen voor te schrijven of kun je die inzichten ook op een andere manier communiceren? Kunnen mensen

Hoe komen overheidsevaluaties zelf uit de test? De Wetenschappelijke Raad voor het Regeringsbeleid (WRR) werkt momenteel aan ‘Lessen van Evaluaties’ en de Algemene Rekenkamer rondde onlangs een onderzoek naar subsidie-evaluaties af. Welke lessen hebben zij getrokken uit al die reflectie, en hoe zorgen ze ervoor dat hun eigen rapporten geen eendagsvliegen zijn? We vroegen het aan WRRlid Marjolein van Asselt en aan Gerrit de Jong van de Algemene Rekenkamer. bijvoorbeeld beter zelf hun conclusies trekken? Ons onderzoek gaat in op dit soort spanningsvelden rond evalueren en hoe je daar het beste mee om kunt gaan, zodat evaluatie ook op de lange termijn bijdraagt aan de kwaliteit van het openbaar bestuur. Want we houden elkaar nu erg bezig, maar worden de evaluaties echt benut om een slimme overheid te worden? Juist een kleine overheid moet slim zijn.

Of een evaluatie als gezaghebbend wordt beschouwd, hangt samen met meerdere zaken. Allereerst met de professionaliteit van de evaluator, maar ook met onafhankelijkheid. Dat laatste bestaat eigenlijk niet, want alle evaluaties die gaan over beleid, het handelen van de overheid of een systeem waar de overheid medeverantwoordelijk voor is, zijn linksom of rechtsom uiteindelijk altijd gefinancierd door de overheid. Een evaluatie is dus meer of minder onafhankelijk.

Onafhankelijkheid is geen doel, maar een middel om ervoor te zorgen dat een evaluatie niet bij voorbaat al betwist wordt. Wat je niet wilt, is dat de onafhankelijkheid van een evaluatie zodanig betwist raakt in het politiek-bestuurlijk krachtenveld, dat ze waardeloos wordt geacht. Dan kan niemand zich meer op de evaluatie beroepen.

Dus hoe organiseer je mensen, processen, betrokkenen op zo’n manier, dat een evaluatie inderdaad als onafhankelijk en gezaghebbend wordt beschouwd zodat deze kan doorwerken? Daarbij is de bestuurlijk-politieke context waarin een evaluatie terechtkomt belangrijk. Stel dat een kabinet valt voordat een evaluatie uitkomt. Voor de zittende minister was die evaluatie met kritiek op het eigen beleid wellicht slecht uitgekomen, terwijl die bij de daaropvolgende minister als geroepen komt. Maar bij die context speelt ook het doel van de evaluatie een rol.

Wordt de evaluatie ingezet om iets te verantwoorden, om ervan te leren of allebei? Of speelt erkenning en verzoening een rol, zoals bij de waarheidscommissies? Of wil men zichtbaar maken wat de grenzen zijn van de invloed van de overheid?

Internationale intelligentie Wat we nu al kunnen zeggen is dat er geen recept is voor “doorwerking” is. Toch kunnen we al wat voorzichtige conclusies trekken. Zo zien we dat een duidelijke “rolopvatting” heel belangrijk is, zowel van de beleidsmakers en de politici als van de evaluatoren.

Als de beleidsmaker probeert onderzoeker te zijn, of de onderzoeker de minister wil gaan vertellen wat hij moet doen, gaat het mis. De methodologie-discussie is bijvoorbeeld heel erg de overheid ingetrokken. In feite

wordt daarmee de professionaliteit van het vak van evaluator in twijfel getrokken en wordt de ruimte voor de professional ingeperkt. Maar de overheid is natuurlijk niet in de positie om die methode te wegen. Ook evaluatie is inmiddels een professie, met internationale societies en kwaliteitsnormen. Door methodologische voorschriften loopt de overheid het risico onvoldoende gebruik te kunnen maken van de professionele wijsheid en internationale intelligentie.

Hoewel een duidelijke rolopvatting heel belangrijk is, blijkt tegelijkertijd dat de evaluaties die totaal op afstand zijn gedaan, heel moeilijk bruikbaar zijn in beleid.

Interactie is dus ook van belang, maar veel interactie betekent tegelijkertijd dat een evaluatie gemakkelijker betwist kan raken. Juist in interactie is het zaak dat iedereen scherp is en door anderen scherp gehouden wordt op zijn of haar rol.

het belang van wetenschappers Nu ligt vanuit een beperkte opvatting van onafhankelijkheid vaak de nadruk op externe betrokkenheid, zodat er ten minste één evaluator van buiten komt. Maar misschien zou je het beter zijn ernaar te streven om in elke evaluatie een professionele evaluator te hebben: iemand die al vaker evaluaties heeft gedaan, die zichzelf ook als evaluator beschouwt en bijvoorbeeld lid is van de internationale evaluatiegemeenschap. Het gebeurt nogal eens dat een evaluatieteam alleen bevolkt wordt door mensen die de praktijk goed kennen. Of door wetenschappers die het gevoel hebben: dit is mijn kans om dit geluid te laten horen. Want ook evaluatoren hebben er belang bij om een bepaalde evaluatie te doen, en ook daar moet je je bewust van zijn.

Wat ons bovendien opvalt in veel discussies over onafhankelijkheid en over evaluaties die betwist worden, is dat de Kamer de vinger vaak op de zere plek legt, maar pas als het kwaad al is geschied. Het zou mooi zijn als ons rapport politici voorafgaand aan een evaluatie zou helpen om te zeggen: we willen dit en dit geborgd hebben, want het is voor deze kwestie belangrijk om ervoor te zorgen dat de evaluatie te zijner tijd als voldoende onafhankelijk wordt beschouwd. Bijvoorbeeld: wij willen dat de evaluator zelf het budget bepaalt, zelf bepaalt hoe de evaluatie wordt gedaan en direct aan ons rapporteert. Dan kun je voorkomen dat een evaluatie betwist raakt, omdat de afhankelijkheden niet voldoende zijn doorgeknipt. Nu is het kwaad meestal al geschied als de kamer gaat mopperen. Dan begint een evaluatie al waardeloos te worden.

Marjolein van Asselt onderscheidt grofweg drie soorten evaluaties: ‘Allereerst zijn er de doelgerichte evaluaties. Dit zijn evaluaties waarbij er verantwoording wordt afgelegd over doelbereiking. Deze stijl van evalueren is geworteld in het New Public Management denken en daarbij moeten de doelen volgens het SMARTprincipe geformuleerd zijn, ofwel: specifiek, meetbaar, acceptabel, realistisch en tijdgebonden. Vaak zie je in evaluaties naar doelbereiking dat de aanbeveling is om de doelen SMART te formuleren.

Eigenlijk is dit een conclusie waar geen evaluatie voor nodig is. Als doelen wel SMART geformuleerd kunnen worden en dat ook zijn, en er is in de politiek-bestuurlijke realiteit of in de maatschappij behoefte aan dit type verantwoording, dan kan doelgerichte evaluatie wel zinvol zijn.

Ten tweede heb je het “evidence-based” denken.

Daarbij gaat evaluatie veel meer over effecten. Hiervoor is een nulmeting van belang, anders kun je niets zeggen over verandering en de effecten van beleid. Het idee hierachter is dat beleid effectief moet zijn, het gaat niet om specifieke door de politiek gestelde doelen, maar om de vraag of het iets doet in de samenleving en gewaardeerd wordt.

Vervolgens is de vraag: door wie wordt het gewaardeerd, door de overheid of door de samenleving?

Ten slotte is er een evaluatiestijl die veel meer gaat over inzichten. Werkt het systeem eigenlijk, en als het werkt, waarom werkt het dan? Of een evaluatie probeert zicht krijgen op mechanismen, knelpunten en hoe zaken worden ervaren in de praktijk.’

28 WRR en Algemene Rekenkamer

‘De Algemene Rekenkamer is een van de weinige adviesorganen waarvan de rapporten niet bij voorbaat al worden afgeschoten’

WRR en Algemene Rekenkamer 29 53

Paspoort

Gerrit de Jong (Algemene

‘We hebben een sterke positie’ Rekenkamer):

Vorm is inhoud Bij het onderzoek “Lessen van Evaluaties” speelt iets grappigs. Vorm is in dit geval inhoud. Alles wat wij over evaluatie schrijven slaat ook op dit rapport terug.

Wij opereren ook in een politiek krachtenveld en letten erop dat we de inzichten zelf al benutten. Wij weten nu dat contact belangrijk is, en investeren daarom in gesprekken met bijvoorbeeld ambtenaren. We denken dus na over hoe we van ons project een proces kunnen maken. Het feit dat we nu met een onderzoek bezig zijn, zingt bovendien al rond. En ook dat helpt, want dan worden we voor dit soort interviews uitgenodigd, wat ook een manier is om al gaandeweg in gesprek te komen over onze inzichten en de relevantie ervan voor de politiekbestuurlijke werkelijkheid.

Het blijkt dat de WRR vooral gewaardeerd wordt om zijn conceptuele bijdrage. Met dit rapport hopen we de mensen de benodigde taal te geven om kritisch over evaluaties na te denken en er een goed gesprek over aan te gaan. Zodat ze andere vragen kunnen stellen en zaken op een andere manier kunnen benoemen. Idealiter schrijven we rapporten die tien jaar meegaan. Hopelijk lukt dat deze keer ook.’

‘De Algemene Rekenkamer werd bijna 200 jaar geleden opgericht, in 1815, om de rechtmatigheid van de inkomsten en uitgaven van de overheid vast te stellen en het Nederlandse parlement te ondersteunen in zijn controlerende taak. Maar als de overheid zich moet verantwoorden over de manier waarop zij belastinggeld besteedt, moet zij eigenlijk ook iets kunnen zeggen over de doelen die zij heeft bereikt. Begin jaren negentig besloot de Tweede Kamer daarom dat ook doelmatigheidsen doeltreffendheidsonderzoek een taak was van de Algemene Rekenkamer. Dat is een veel lastiger tak van sport, want wie zal bijvoorbeeld zeggen of al die miljarden voor ontwikkelingssamenwerking ook echt iets hebben uitgehaald? Het valt niet mee om dat vast te stellen.

Er wordt heel veel geëvalueerd, maar al die evaluaties zijn lang niet altijd van voldoende kwaliteit. Bovendien evalueren sommige departementen veel subsidies, terwijl andere departementen hun subsidieregelingen helemaal niet evalueren. Daardoor ontstaan er een aantal blinde vlekken: voor de Tweede Kamer is niet helder of de beoogde effecten van sommige subsidies worden behaald.

Een oplossing hiervoor zou zijn dat alle beleidsvelden systematisch tegen het licht worden gehouden, zodat de kamer systematisch van alle beleidsartikelen, iedere vijf jaar, een evaluatie ontvangt. Goed evalueren begint bij het formuleren van een SMART doelstelling wanneer je begint met het beleid: alleen dan kun je achteraf bepalen of die doelen ook bereikt zijn.

Afgebakende rol Ik ben het met mevrouw Van Asselt van de WRR eens dat een duidelijke rolopvatting belangrijk is. Ook voor de Algemene Rekenkamer is het van cruciaal belang om de eigen rol af te bakenen en consequent in te vullen. Wij zijn een onafhankelijk orgaan en we bemoeien ons ook niet met de keuze voor het ene of het andere beleid.

We onderzoeken of beleid efficiënt en effectief wordt uitgevoerd. Zo is ons werkterrein strikt afgebakend. We hebben daarmee een sterke positie. Dat weet ik nog wel van toen ik Kamerlid was. Als de minister niet naar je wilde luisteren, zei je: ik denk dat we de rekenkamer maar eens een onderzoek moeten laten instellen. Dat was voldoende om hem in de benen te krijgen.

De Algemene Rekenkamer heeft enorme bevoegdheden.

Er mag ons niets aan informatie worden onthouden.

Desalniettemin is er discussie over de positie van organen als het onze. Brenninkmeijer, de nationale ombudsman, waarschuwt ervoor dat adviesorganen als de onze steeds

meer in het politieke proces worden gezogen. Wij zijn echter nog steeds een van de weinige instellingen in het land waarvan rapporten niet bij voorbaat al worden afgeschoten. Dat gebeurt bij andere instellingen wel: als de boodschap niet bevalt, vermoorden ze de boodschapper.

Geur opsnuiven Onze invloed begint wanneer we een onderzoek aankondigen binnen een departement. Gaandeweg het onderzoek worden er regelmatig zaken in het beleid aangepast naar aanleiding van ons onderzoek. Daar zit een belangrijk deel van onze effectiviteit. De helft van ons personeel zit ook op departementen. Zo kunnen ze de geur opsnuiven en specifieke kennis over het departement opbouwen.

Ook na afloop van het onderzoek besteden we tijd en aandacht aan het delen van de resultaten. Zo wordt er een briefing gehouden in de Tweede Kamer en geven onderzoeksteams presentaties en workshops. Het onderzoek over de subsidie-evaluaties is toegelicht in diverse workshops op departementen. In die workshops worden ambtenaren geholpen met het op poten zetten van een goede evaluatie en hoe je daarmee verder kan gaan in je departement.

Natuurlijk heb ook ik soms mijn twijfels over de doorwerking. Wij hebben laatst een rapport uitgebracht dat dodelijk oordeelde over de strafrechtketen. Er worden elk jaar ruim een miljoen klachten ingediend bij de politie. Over enkele tienduizenden van die klachten wordt uiteindelijk door de rechter een oordeel uitgesproken, de rest verdwijnt van tafel. Veel mensen doen om deze reden niet eens meer aangifte van een misdrijf. Toen we het rapport hierover presenteerden was er een weekje drukte.

Minister Opstelten zei: “We gaan de zweep erover leggen en de knoet.” Er is ook een bijeenkomst geweest met procureurs-generaal, mensen van de politie en rechters, waarin is gesproken over hoe ze het kunnen oplossen. Nu is het stil en het duurt waarschijnlijk nog wel even voordat eventuele effecten zichtbaar worden voor de maatschappij.

Daarom is het ook belangrijk om een lange adem te hebben en blikt de Algemene Rekenkamer regelmatig terug op eerder verschenen rapporten. Ook het rapportover subsidie-evaluaties krijgt een vervolg: “Effectiviteitsonderzoek bij de rijksoverheid”. Ik ben benieuwd hoe de Tweede Kamer en de regering daarop zullen reageren. Want de Algemene Rekenkamer kan dan constateren dat er problemen zijn, uiteindelijk is het aan de politiek om ze op te lossen.’

Naam: Marjolein B.A. Van Asselt Geboortedatum: 02-05-1969 Geboorteplaats: Apeldoorn Huidige woonplaats: Den Haag Functie: Raadslid Wetenschappelijke Raad voor het Regeringsbeleid en hoogleraar Risk Governance aan de universiteit Maastricht Opleiding: Informatica en Wijsbegeerte van Wetenschap, Technologie en Samenleving aan de Universiteit Twente Werkervaring: Dr Tans leerstoel; lid van de jonge academie van de Koninklijke Academie voor Kunst en Wetenschap; lid van de raad voor Ruimtelijk Milieu en Natuuronderzoek en lid van de stuurgroep Transitions at Risk; onderzoeker en deputy director van het International Centre of Integrative Studies; medeoprichter en onderzoeker van het International Centre of Integrative Studies

Paspoort Naam: Gerrit de Jong Geboortedatum: 22-03-1944 Geboorteplaats: Leeuwarden Huidige woonplaats: Voorburg Functie: Lid van het college van de Algemene Rekenkamer Opleiding: Economie aan de Vrije Universiteit Amsterdam Werkervaring: Lid van de Tweede Kamer voor het CDA, directeur van de Vereniging voor Christelijk Voortgezet Onderwijs te Rotterdam; medewerker Sociaal Economische Raad

30 Rondetafelgesprek

Rondetafelgesprek het wereldje

31

tekst Sarah Haaij en Marc Broere beeld Leonard Fäustle

Mislukken mag Tot slot van deze special laten we nog één keer de belangrijkste thema’s rondom evalueren over tafel gaan. Het hoe en waarom van meten, weten, leren en evalueren komen samen in dit expertgesprek met IOB-directeur Ruerd Ruben, directeur van het gendernetwerk WO=MEN Elisabeth van der Steenhoven en hoogleraar ontwikkelingsstudies Annelies Zoomers.

Juist de niet-geplande successen moeten meer aandacht krijgen

Nog voordat de drie experts met elkaar om de ronde tafel in het IOB-kantoor zitten, laat Ruerd Ruben per mail weten het niet met de volgorde van de te bespreken stellingen eens te zijn. Hij schrijft dat hij liever eerst over de evalueerbaarheid van buitenlandbeleid wil praten, voordat de meetcultuur in de ontwikkelingssamenwerking aan bod komt: ‘Anders wordt het te veel alleen een OSdiscussie’. Annelies Zoomers, die op de warme lentedag van het interview als eerste aan komt lopen, begint er direct over: ‘Het mailtje van Ruerd gezien? Een discussie over ontwikkelingssamenwerking alleen is toch ook interessant?

Ik ben benieuwd waarom Ruerd wil dat het breder wordt, maar dat lijkt me een mooie beginvraag.’

Wanneer het gezelschap compleet is, licht Ruerd Ruben zijn voorstel toe: ‘Ik wil voorkomen dat het te veel een OS-discussie wordt en dat mensen gaan denken dat door IOB alleen het ontwikkelingsbeleid wordt geëvalueerd, hoewel het veel breder is. Evaluatie is geen techniek, het is een taal, een manier van denken. Een taal waarmee je de beleidscyclus op welk terrein dan ook bekijkt. Alle vormen van buitenlandbeleid en ontwikkelingsinterventies zouden moeten worden geëvalueerd.’ De twee dames knikken instemmend. Elisabeth van der Steenhoven, die als directeur van het gendernetwerk WO=MEN veel met evaluaties werkt, is het met Ruben eens: ‘Zeker, je kunt en moet alles evalueren’, beaamt ze, ‘en het helpt heel goed om aan het einde van je project terug te blikken en daar een groot deel van je budget aan te besteden, op welk terrein je ook actief bent.’

Evalueren om te leren Het idee van evalueren an sich lijkt net als bij de meeste organisaties in de sector ook aan deze tafel voor weinig discussie te zorgen. Een spannendere vraag is dan ook met welk doel projecten eigenlijk geëvalueerd moeten worden.

‘Bij een interventie heb je bepaalde doelen en tegen het einde van het proces bekijk je of je de juiste instrumenten hebt gebruikt en of je doelen zijn bereikt’, vat de IOBdirecteur kort samen. ‘Als je de doelen niet hebt bereikt

hoeft dat helemaal niet fataal te zijn, maar je moet dan wel weten waaróm ze niet zijn bereikt.’ Bij het horen van deze woorden kijkt Annelies Zoomers lachend naar Ruerd: ‘Ik ben het zeer met je eens en ook opgelucht om je dit zo van je te horen. Als je op deze manier naar evaluaties kijkt, evalueren om ervan te leren, dan kan ik me daar helemaal in vinden.’

Annelies Zoomers is in haar lange wetenschappelijke carrière vaak betrokken geweest bij evaluaties en legt de nadruk op de leermomenten die tijdens het proces van de interventie al plaatsvinden: ‘Wat is het doel van de evaluatie, waarom evalueren we? Om te leren, prima.

Maar evaluaties worden steeds vaker puur gebruikt om af te rekenen. Het meten van zichtbare resultaten wordt als hoofddoel gezien omdat alleen zo de Nederlandse belastingbetaler kan worden overtuigd van het nut van OS, maar dat is onzin. Natuurlijk willen Nederlanders weten wat er met hun geld is gedaan, maar belangrijker dan meetbaarheid van resultaten is het “verhaal”. Cruciaal voor succes is of men tijdig weet in te spelen op tussentijdse veranderingen. Wat dat betreft vind ik tussentijds leren en monitoring – het op de voet volgen van ontwikkelingen – belangrijker dan het evalueren achteraf.’

Dat je kunt leren tijdens het proces neemt voor Van der Steenhoven echter niet weg dat een project ook aan het einde geëvalueerd moet worden: ‘Pas dan kun je de context duiden die de resultaten van je interventie sterk heeft beïnvloed, en ik denk niet dat je dat weet wanneer je halverwege een project zit.’

Ruben schudt zijn hoofd: ‘Dit moet ik even rechtzetten’, zegt hij. ‘Over de verhouding tussen afrekenen en leren wordt soms fout en onzinnig gedacht. Er valt niets te leren als we niet eerst weten wat de resultaten waren. Dus het beginnen met leren en naderhand naar het afrekenen kijken is volgens mij niet de juiste volgorde. Pas als je weet wat iets heeft opgeleverd, kun je er een leerproces van maken.’

Annelies Zoomers formuleert het anders: ‘Wat ik bedoel is dat je niet tegen elke prijs moet willen evalueren. Voor mij is evaluatie een middel, geen doel. Projecten zijn niet alleen een kwestie van geslaagd of niet geslaagd, voordat

je goed kan meten en evalueren moet je allereerst expliciet maken wat je beoogt, je moet....’ Zoomers krijgt haar zin niet afgemaakt, want Ruben heeft nog een punt dat hij graag rechtzet: ‘Dat moeten wíj niet doen maar degenen die het beleid maken, de ngo’s en de beleidsmakers op het ministerie en de ambassades. Dáár moet worden gezegd: dit en dit willen we bereiken. Een evaluatie begint aan het begin, daar waar het beleid wordt gemaakt. Wij stellen dat bij IOB niet vast; wij toetsen dat alleen.’ Dat er in de praktijk vaak projecten worden gestart zonder eerst de beoogde doelen vast te stellen, zoals Zoomers en Ruben beide suggereren, is volgens Ruben dan ook een fout van de beleidsmakers bij Buitenlandse Zaken en de ontwikkelingsorganisaties.

pijnpunt Als evaluaties belangrijk zijn voor het leerproces en er zijn resultaten nodig voordat je kunt beginnen met leren dan is het van belang om te weten hoe je die resultaten naar boven haalt. Voor Elisabeth van der Steenhoven ligt hier het pijnpunt van de evaluatie-discussies. Als organisatie heb je resultaten nodig om te kunnen leren maar volgens de directrice van het gendernetwerk worden die resultaten nu met de verkeerde, rigide evaluatiemethoden vastgesteld: ‘Met een grid dat te strak is kom je tot oninteressante resultaten en dan leer je dus ook niet.’

Van der Steenhoven doelt met dit grid op de eisen voor monitoring en evaluatie die aan de subsidies uit het Medefinancieringsstelsel (MFS-2) zijn verbonden. In haar vorige functie bij Mensen met een Missie heeft ze veel van deze evaluatiepapieren ingevuld en ze weet dan ook waarover ze praat. ‘Het is de moeite waard om in de toekomst te gaan werken met modellen waarin je veel meer uitgaat van niet-lineaire verhoudingen’, zegt Van der Steenhoven, en ze richt zich bij deze uitspraak vooral tot Ruben. ‘Wat we nu doen is gewoon achterhaald; methodes als logframes, waarin je de assumptie hebt dat als X gebeurt het automatisch tot Y leidt, zijn per definitie niet mogelijk!

Zo werkt het ook niet in het bedrijfsleven.’

Van links naar rechts: Annelies Zoomers, Ruerd Ruben en Elisabeth van der Steenhoven

32 Rondetafelgesprek

Rondetafelgesprek

Elisabeth van der Steenhoven Paspoort Naam: Elisabeth van der Steenhoven Geboortedatum: 3 maart 1973 Geboorteplaats: Luxemburgstad, Luxemburg Functie: Directeur WO=MEN Dutch Gender Platform. Netwerk van ontwikkelingsorganisaties, ondernemers, kenniscentra en individuen voor gelijke rechten van vrouwen & mannen.

Opleiding: Politicologie, Université Libre de Bruxelles en Universiteit van Amsterdam.

Werkervaring: assistentonderzoeker aan het Institut d’Etudes Européennes et Internationales (Luxemburg); beleidsmedewerker bij het Instituut voor Publiek en Politiek; hoofd EU-campagnes bij NCDO; hoofd programma’s bij Mensen met een Missie

‘Over de verhouding tussen afrekenen en leren wordt soms fout en onzinnig gedacht’

Hanteren IOB en Buitenlandse Zaken lineaire meetmethodes voor hun evaluaties? Ruben laat het afhangen van de definitie die je aan het begrip lineariteit geeft: ‘Je hebt doelen en om die te bereiken heb je bepaalde activiteiten.

Die leveren naar verwachting iets op en die leveren feitelijk iets op. Dat is op zich geen lineaire gedachtegang, dat is de gedachtegang die volgt dat je iets doet om iets te bereiken.

Wat betreft het logframe, ik geloof niet dat ik ze de laatste tien jaar hier heb zien passeren, dat is een mystificatie rondom deze discussie en…’

‘Nou, ik weet er anders één’, onderbreekt Van der Steenhoven hem vurig, ‘en dat was het model waarin de ontwikkelingsorganisaties zijn geduwd in MSF-2.’

‘Dat is onjuist, dat is geen logframe’, kaatst Ruerd Ruben de bal terug. Wat volgt is een scherpe discussie over de aard van de MFS-evaluatiemethoden. Volgens Van der Steenhoven kun je wel degelijk van een logframe spreken wanneer alle indicatoren voor het meten van bijvoorbeeld je lobbyactiviteiten kwantitatief zijn. Het aantal aantoonbare beleidsveranderingen dat je als subsidieontvanger hebt gerealiseerd, is een voorbeeld van zo’n kwantitatieve lobbyindicator uit het MFS, waarbij de focus ligt op aantallen en niet op de inhoud van de verandering zelf. De WO=MEN-directeur is niet de eerste die zich kritisch uitlaat over de focus op telbare resultaten in het Medefinancieringsstelsel. Onlangs werd dit evaluatiesysteem ook door de journalisten Han van de Wiel en Wolfgang Richert op de website van Vice Versa ter discussie gesteld. Zij riepen ontwikkelingsorganisaties op om zich te ontworstelen aan het keurslijf van evaluaties waarin ze door het ministerie van Buitenlandse Zaken worden geperst.

‘Een indicator is niet hetzelfde als een logframe’, verzucht Ruben. ‘Door de beleidsafdeling zijn er mogelijkheden genoemd voor indicatoren, maar de organisaties moeten uiteindelijk zelf hun indicatoren definiëren, mits ze gevoelig zijn over de tijd. Ik snap dan ook niet waar die discussie op de site van Vice Versa vandaan komt.’ Dat is voor Van der Steenhoven te kort door de bocht: ‘Je kunt alles evalueren, je moet alles evalueren en je moet ook, wanneer het niet lukt, laten zien wat er dan in de situatie is veranderd waardoor jij je doelstellingen niet hebt kunnen halen. Natuurlijk zijn kwantitatieve indicatoren van belang, maar daarnaast is het ook zaak om meetmethodieken als most significant change of outcome mapping te gebruiken. Wat er nu speelt is dat heel veel ontwikkelingsorganisaties worden gedwongen activiteiten te proppen in een korset dat nauwelijks past.’

Minst geëvalueerde sector Ruben herkent dit beeld van een te strak ingesnoerde OS-sector niet. ‘Er wordt geen korset opgelegd, er wordt de organisaties voor het eerst gevraagd om iets te laten zien: resultaten.’ De nu zichtbaar uitgedaagde IOBdirecteur gaat verder: ‘Verdorie, na dertig tot veertig jaar Medefinanciering mag dat ook wel eens een keer. Het is schandelijk – om maar even een uitspraak te doen – dat een kwart van het BuZa-budget niet aan het parlement verantwoord kan worden, dat is niet meer van deze tijd!’ In tegenstelling tot de veelgehoorde klacht dat de sector door een meetcultuur wordt gedomineerd, poneert Ruben de stelling dat vergeleken met het onderwijs en de gezondheidszorg – ‘gevoelige sectoren waarin ook doden

33

kunnen vallen’ – er beperkt geëvalueerd wordt in de wereld van de ontwikkelingssamenwerking. ‘Het is per saldo een weinig geëvalueerde sector. De MFS-organisaties besteden 0,8 procent van het programmabudget aan evaluaties, en gekeken naar het budget van het hele ministerie is het slechts 0,01 procent.’

Dit beeld past niet bij Van der Steenhovens’ beleving van de sector als behoorlijk reflectief: ‘Maar Ruerd, jij weet toch heel goed, beter dan ik waarschijnlijk, dat organisaties zich altijd, ook vóór het Medefinancieringsstelsel, hebben ingespannen, soms beter soms slechter, om resultaten van hun activiteiten te laten zien.’ Ruben: ‘Nee, dat is niet waar. Zeker de gesubsidieerde organisaties hebben nooit eerder de verantwoordelijkheid gehad om resultaten aan het parlement of de subsidiegever voor te leggen.’

Flexibiliteit Annelies Zoomers heeft het gesprek over de verschillende evaluatiemethoden een tijdje zwijgend aangehoord, maar komt nu tussenbeide. ‘Jullie praten veel te technisch’, begint ze haar betoog. ‘Ruerd, ik geloof je als je zegt dat het de minst geëvalueerde sector is in termen van totaalbudget, maar waar het mij om gaat is wat er uiteindelijk met die evaluaties gebeurt. Feit is dat er over evaluaties van ontwikkelingsprojecten veel vaker publiekelijk wordt gepraat.’

We praten volgens Zoomers over een sector die, heel anders dan andere beleidsterreinen, wordt gedwongen om continu met succesverhalen en evaluaties haar relevantie te bewijzen. ‘Het idee is erin geslopen dat alleen wanneer er zichtbare resultaten kunnen worden geshowd, het project gelukt is. Of dat wat je hebt geprobeerd helemaal gelukt is, vind ik op een gegeven moment minder relevant dan ervan overtuigd zijn dat gegeven de omstandigheden en je doelstellingen je het beste hebt gedaan wat je kon doen. Een overtuigende argumentatie voor de keuze van je activiteiten en flexibiliteit in de uitvoering vind ik belangrijker dan het meten van de effecten.’

Kunnen we in de ontwikkelingssector misschien beter spreken van een dominerende succescultuur in plaats van een meetcultuur? ‘Wij zijn de afgelopen 10 à 15 jaar in een discussie beland waarin alles wat je doet moet lukken en ik denk dat het een foute sfeer geeft rondom het geheel’, vindt Ruben. ‘Wij, en ik denk ook het parlement, zijn gelukkiger met een goede evaluatie van een programma die aangeeft dat het niet succesvol is geweest dan een slechte evaluatie die op de een of andere manier nog probeert te zeggen ja, het heeft wel wat opgeleverd.’

‘Jazeker, zonder meer, en burgers ook!’, valt Van der Steenhoven hem bij.

Ruben: ‘Laatst zei de PVV tijdens een Kamerdebat: “De helft van de ontwikkelingsprojecten mislukt!” Toen heb ik aan de staatssecretaris meegegeven dat dat positief is, want het betekent dat de andere helft blijkbaar wel lukt. De moeilijkheid is echter dat we niet vooraf kunnen zeggen welk deel gaat lukken.’ Voor de directeur van IOB is de helft een goede score, zeker wanneer je het vergelijkt met het MKB, waar zeker driekwart van de beginnende ondernemingen uiteindelijk op een mislukking uitloopt.

Samen met het Zuiden Het gesprek over lukken en mislukken brengt ons bij de vraag waar de rol van het Zuiden in dit eindoordeel blijft; ligt

Ruerd Ruben Paspoort het oordeel of een project wel of niet geslaagd is, niet bij de ontvanger in plaats van de gever? Van der Steenhoven ziet een rol voor beiden: ‘Ook als gever heb je aspiraties en doelen, het is natuurlijk niet zo dat het Zuiden vraagt en wij draaien.’ Wat voor Van der Steenhoven veel interessanter is, zijn de vernieuwende ideeën over monitoring en evaluatie die uit het Zuiden komen. Duidelijk gepassioneerd over dit onderwerp haalt ze een rapport uit haar tas tevoorschijn: ‘Kijk, dit is een evaluatie gedaan dóór het Zuiden over voorlichting en ontwikkelingseducatie in het Noorden. Het onderzoek kijkt naar de leermomenten voor het Zuiden en in plaats van technieken en methoden ligt de focus op bredere thema’s zoals de verdeling van arm en rijk en politieke machtsverhoudingen.’ Van der Steenhoven overhandigt Ruben het rapport en drukt hem nog maar eens op het hart meer evaluaties met en door het Zuiden uit te voeren. Bij het IOB gebeurt dat al, laat Ruben weten, en niet alleen in Nederland, want inmiddels worden ook de terms of reference van een kwart van de Europese evaluaties in nauw overleg met het Zuiden opgesteld. Er zijn ook enkele evaluaties geheel door zuidelijke organisaties uitgevoerd. Ruben: ‘Het maakt in essentie niet uit door wie je een project laat beoordelen, zolang de effecten maar eenduidig kunnen worden bepaald.’

Onverwachte impact Of je nu in het Zuiden of in het Noorden evalueert, de drie experts benadrukken dat het belangrijk is om ook de successen die zich op onverwachte terreinen aftekenen, anders dan waar de interventie oorspronkelijk op is gericht, naar boven te halen. In de huidige sfeer van bezuinigingen en verantwoording blijkt er minder ruimte om juist deze

Naam: Ruerd Ruben Geboortedatum: 2 juni 1954 Geboorteplaats: Helpman, Groningen Functie: directeur Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB) en hoogleraar Effectiviteit van ontwikkelingssamenwerking aan het CIDIN (Centrum voor Internationale Ontwikkelingsvraagstukken) van de Radboud Universiteit Nijmegen Opleiding: (ontwikkelings-) economie aan de Vrije Universiteit Amsterdam Werkervaring: dertien jaar onderzoek en veldervaring in MiddenAmerika; programmaleider interdisciplinair onderzoek duurzaam landgebruik en voedselzekerheid aan de Universiteit Wageningen; onderzoek naar de effecten van fair trade, duurzame handelsketens, migratie en arbeidsmarkten; auteur van veertien boeken en verschillende artikelen

34 Rondetafelgesprek

Column 35

Voor Annelies Zoomers komt ook met deze methode de conclusie nog altijd te laat: ‘Ik denk dat je niet alleen achteraf die vergelijking moet maken maar dat je soms, tijdens je interventie, pas op de plaats moet maken, en om je heen moet kijken om te zien of je nog aansluit bij wat je beoogt.’ Wanneer je dan concludeert dat je inmiddels achterhaald bezig bent, kun je volgens Zoomers beter stoppen met het project dat in evaluatorentermen misschien nog altijd succesvol is. ‘Ik heb een voorbeeld’, zegt Zoomers terwijl ze de frons in het voorhoofd van Ruben negeert, ‘stel dat je een onderwijsproject coördineert en volop investeert in basisscholen, maar gelijktijdig vertrekken mensen naar de stad. In het kader van de Millenniumdoelen wordt nu geïnvesteerd in sociale voorzieningen, ook in dorpen die inmiddels leegstaan. Dan ben je toch fout bezig? Ook al kun je in de evaluatie laten zien dat het project succesvol was.’ Om tussentijds bij te kunnen sturen en zo uiteindelijk effectiever te worden, pleit Zoomers voor een ruimer opgezet evaluatiestelsel dat meer op monitoring is gericht.

‘Nee, dat zou echt onzinnig zijn!’ roept Ruben uit.

‘Dan leg je de verantwoordelijkheid voor beleid bij de evaluatoren en dat zou echt niet verstandig zijn.’ Voor Ruben is en blijft evalueren een zogenaamde expostactiviteit die niet te verwarren valt met het werk van een beleidsmedewerker. Ambassades en beleidsmedewerkers monitoren en brengen daar rapporten over uit, die vervolgens als input voor een evaluatie kunnen dienen.

‘Maar uiteindelijk gaat het alleen om het resultaat, niet-geplande successen over het voetlicht te krijgen. Van der Steenhoven vat het in evaluatorentermen samen: ‘Het is om succesvol beleid. In evaluatie-rapporten wordt weinig aandacht besteed aan hoe die resultaten passen in de niet interessant om alleen de activiteiten, de zogenaamde input, te meten, maar wel heel erg interessant om te kijken lokale realiteit en aan veranderingen die zich voordoen.

Die monitorrapporten zie ik niet terug in jouw evaluaties’, naar de impact of de outcome.’ Dat is soms lastig want de werkelijkheid houdt zich niet altijd aan het strakke stramien daagt Zoomers Ruben nog een laatste keer uit. van een projectplan. Politieke veranderingen hebben grote ‘Dan moet je ze wel goed lezen’, antwoordt de IOBdirecteur. Waarmee duidelijk wordt dat de discussie over invloed op je geplande activiteiten, weet ze vanuit haar gendernetwerk: ‘Met WO=MEN hadden we een prachtig plan evalueren om te leren of meten om te weten ook tegen het einde van dit gesprek nog op scherp staat. uitgewerkt waarin we beschreven wat we in de komende vier jaar wilden bereiken. In het eerste jaar klapte het kabinet en een jaar later begonnen de Arabische revoluties; Een vak apart de helft van onze geplande activiteiten konden we zo van tafel vegen. Waarbij wij met ons project uiteindelijk via Voor Ruben raakt het punt aan een van de fundamentele heel andere wegen en dus andere activiteiten toch tot een problemen van het evalueren: het tekort aan professionals positieve outcome zijn gekomen.’ die evaluaties goed kunnen uitvoeren, laat staan goed Een manier om die impact te meten is door je gebruiken. Evalueren is een vak waar nog geen opleiding interventie te vergelijken met een situatie of groep voor bestaat: ‘Er zijn zalen vol mensen die over evalueren die geen hulp ontvangt. En dat is wat volgens Ruben spreken en er zijn maar weinig mensen die het vak van nu veel te weinig gebeurt: ‘Niet alleen ngo’s maar evaluator beheersen. Er is nu heel veel amateurisme, ook het bedrijfsleven en de grote financiers zoals waardoor uit slechte evaluaties conclusies worden ontwikkelingsbank FMO kijken alleen maar naar: is het getrokken.’ geld uitgegeven, is de waterinstallatie gebouwd? Te weinig Wat de sector volgens Ruerd Ruben dan ook nodig heeft stellen ze de vraag of de mensen er ook wat aan hebben zijn mensen die weten hoe je evaluaties goed uitvoert en gehad. Wij zeggen: ga naar het niveau van de finale aan de beleidskant mensen die weten hoe ze evaluaties gebruiker, de cliënt, en niet de intermediair, de ngo of het kunnen gebruiken. ‘Met die mensen kunnen we gefocuste, waterbedrijf.’ In het geval van de waterinstallatie meet kwalitatief hoge evaluaties realiseren die bijdragen aan je dus niet alleen of de mensen die de installatie hebben nieuw beleid dat zich baseert op feiten.’ gekregen er iets aan hebben, maar ook of de mensen zonder die installatie een andere ontwikkeling doormaken.

Annelies Zoomers Paspoort Naam: Annelies Zoomers Geboortedatum: 3 mei 1959 Geboorteplaats: Amstelveen Functie: Hoogleraar International Development Studies Opleiding: Sociale geografie, Universiteit Utrecht Werkervaring: Onderzoeker en adviseur voor o.a. NEI en KIT en bij verschillende ontwikkelingsprojecten in Latijns-Amerika en Afrika; universitair hoofddocent CEDLA, hoogleraar Internationale Migratie aan de Radboud Universiteit Nijmegen; hoogleraar Ontwikkelingsstudies aan de Universiteit Utrecht (onderzoek naar globalisering en ontwikkelingsbeleid, internationale migratie en land grabbing).

Voorlopers Eind jaren zestig verscheen een officiële evaluatie van de Nederlandse ontwikkelingshulp, verricht in opdracht van de toenmalige minister voor Ontwikkelingssamenwerking Theo Bot. Het interuniversitaire onderzoeksteam stond onder leiding van Professor Janssen uit Tilburg. Ik was een van de medewerkers.

De vraag die Bot ons gesteld had luidde: wat is de optimale besteding van de marginale Nederlandse hulpgulden? De vraag is wetenschappelijk interessant en beleidsmatig relevant. Maar we konden hem niet beantwoorden. Er zijn toe- en afnemende meeropbrengsten bij iedere nieuwe gulden die binnen een land wordt besteed, maar of een volgende gulden in het ene dan wel het andere land dient te worden besteed om het rendement te optimaliseren, vereist een weging van effecten tussen landen, die moeilijk valt te objectiveren.

Ik schreef twee deelrapporten. De eerste betrof een macro-economische beschouwing van ontwikkelingshulp. Wie de literatuur kent, zal niet verbaasd zijn dat we toen reeds concludeerden dat er geen causaal verband bestaat tussen hulp en economische groei. Maar het onderzochte materiaal gaf wel aanleiding voor een pleidooi om naast de behoefte aan hulp (te bepalen door het armoedeniveau en door de beschikbare middelen uit andere bronnen) ook de groeipotentie in aanmerking te nemen. Die kon middels technische bijstand worden verhoogd. Dat zou de effectiviteit van de hulp vergroten.

Die conclusie werd versterkt door bevindingen in een tweede deelrapport, over projecthulp versus programmahulp. Op basis van een door Tinbergen ontwikkeld model berekenden mijn collega Schreuel en ik dat ieder nieuw investeringsproject additionele financiering vraagt in complementaire sectoren (infrastructuur, energie), ongeveer even groot als directe investeringsuitgaven. Wil ontwikkelingshulp de eigen prioriteiten van een ontwikkelingsland niet verstoren, dan verdient programma-, begrotings- of betalingsbalanshulp de voorkeur boven projecthulp, tenzij de hulp per project verdubbeld wordt, zonder bestedingsvoorwaarden, om ook indirecte kosten te dekken.

Het evaluatierapport omvatte een groot aantal deelstudies, voor elk afzonderlijk onderdeel van de Nederlandse hulp. Toen het uitkwam was minister Bot al afgetreden.

Zijn opvolgers, Udink en Boertien, hebben er weinig mee gedaan. Bij mijn aantreden als minister, in 1973, verklaarde ik in de Kamer alle beleidsaanbevelingen te zullen uitvoeren en daarop afgerekend te willen worden. Bovendien nam ik het initiatief tot de instelling van een onafhankelijke inspectie- en evaluatie-eenheid, die soms in opdracht en verder op eigen initiatief onderzoek zou gaan verrichten. Alle studies zouden aan de Kamer worden toegestuurd, ongecensureerd, elk vergezeld van een beleidsnota van de minister. Al mijn opvolgers hebben zich daaraan gehouden.

Bot was wereldwijd de eerste minister die een totale evaluatie van het beleid aandurfde. Tien jaar later liep Nederland met de instelling van IOV opnieuw voorop.

Niet iedereen deelt die mening. In hun standaardwerk De Geschiedenis van Vijftig jaar Nederlandse Ontwikkelingssamenwerking 1949-1999 schreven de auteurs Malcontent en Nekkers dat de beleidsfilosofie van Ontwikkelingssamenwerking kan worden samengevat als: ‘Doe wel en zie niet om.’ In het slothoofdstuk voegt Hellema daaraan toe: “Analyses van de effecten van het beleid […] zeldzaam […] bleven een ondergeschikte rol spelen in het lopende beleid.” In het boek wordt de hoeksteen, het evaluatierapport van 1969, niet eenmaal genoemd. Naar de Inspectie wordt pas verwezen in de voorlaatste alinea van het boek. Zo kun je ook geschiedenis schrijven.

Naar verluidt had men het motto ‘Doe wel en zie niet om’ willen gebruiken als titel voor het boek, maar zou Prins Claus geweigerd hebben in dat geval het eerste exemplaar in ontvangst te nemen. Prins Claus, Inspecteur Ontwikkelingssamenwerking, wist dan ook van de hoed en de rand: het Nederlandse ontwikkelingsbeleid is geïnspecteerd en geëvalueerd als geen ander en de uitkomsten zijn immer serieus genomen. Dat mag wel eens onderstreept worden nu zovelen van alles en nog wat te berde brengen over de effecten van ontwikkelingsamenwerking.

Jan PRONK

© Leonard Fäustle

Meer monitoren

Bot was wereldwijd de eerste minister die een totale evaluatie van het beleid aandurfde

Jan Pronk was minister voor Ontwikkelingssamenwerking in de kabinetten Den Uyl (1973-’77), Lubbers III (1989-’94) en Kok I (1994-’98).

In 1977 richtte hij de Inspectie Ontwikkelingssamenwerking te Velde (IOV) op, die later IOB zou gaan heten. Momenteel is Pronk hoogleraar aan het Institute of Social Studies in Den Haag.

Neem een abonnement op Vice Versa en ontvang 10 % korting op MDF cursussen jaargang

vakblad

ikkel over ontw

ingssame

mber 45 | dece

nwerking

/ januari

vakbla

2011

d ove r

ontwik

keling

ssamen

werkin

g

#06

jaarga

ng 46 | februa

ri / maa rt

#01 vakblad over ontwikkelingssamenwerking

jaargang 46 | mei / juni 2012

#02 ambassadeurs in afrika balanceren tussen betrokkenheid en bemoeizucht

rview Laatste inte prichter 1) met Novib-o (1918-201 simon

jelsma

is gegaan Wat er mis nd met Nederla a luyten marci volgens Hudig en kees

China bepaalt eigen

lp Hu gs en Het me nsenlin raf lei br kke we ogrk van i ns ot wou nt se f Evalu o : atin a’s kaa e MFS-2 i ste ka ingemi nsen ag afr 6p n a 1 va tr en ex og de

do

or

extra

: spec

ial o

ver m

Heeft multilateralisme z’n langste tijd gehad?

Vooruitblik op Rio+20 Hoe Nederland verdwijnt uit Tanzania De Idealen van Partos-voorzitter Annemieke Nijhof

igrat

ie

2012

Ontvang zes keer per jaar vakblad Vice Versa met inspirerende interviews en kritische reflecties op ontwikkelingssamenwerking, plus de specials uit de serie ‘Vice Versa leert’, waarin we telkens een nieuw thema onderzoeken.

Als abonnee van Vice Versa ontvangt u bovendien 10% korting op alle cursussen van MDF.* Bent u na het lezen van dit nummer bijvoorbeeld nog niet uitgeleerd over evaluaties? Volg dan een cursus Monitoring & Evaluation van MDF en profiteer van de korting. Kijk voor meer informatie op www.mdf.nl.

Ga naar www.viceversaonline.nl/abonneren of bel ons op 026-3703177

vakblad over ontwikkelingssamenwerking

* Deze korting geldt ook voor reeds bestaande abonnees en is zowel geldig voor particuliere abonnees als voor medewerkers van een organisatie die een gezamenlijk abonnement op Vice Versa hebben afgesloten (de korting geldt in dat geval per abonnement). De korting is ook van toepassing op cursussen die worden gegeven op de branchekantoren van MDF in het buitenland (Ghana, Congo, Tanzania, Indonesië, Vietnam, Sri Lanka en België).