CCIA No Small Change Nederlands, in Dutch, PDF, 42pp

No Small Change Het succes van uw gemeenschapsvalutaproject evalueren

Dit rapport is door de NEF geproduceerd in het kader van een samenwerkingsproject met CCIA (Community Currencies in Action).

CCIA is een transnationaal samenwerkingsverband dat demonstraties van gemeenschapsvaluta's wil ontwikkelen en houden in verschillende lidstaten in heel Noordwest-Europa. CCIA wil toonaangevend zijn in het delen van kennis en beste praktijken om gemeenschappen in heel Europa in staat te stellen levenskrachtige en welvarende netwerken te realiseren die efficiĂŤnt sociale, economische en ecologische resultaten kunnen afleveren.

CCIA gaat gemeenschapsvaluta's (GV's) ontwerpen, ontwikkelen en implementeren in heel Noordwest Europa (NWE). CCIA gaat daarvoor een rigoureus getest pakket ondersteuningsstructuren leveren om de ontwikkeling van GV's in heel NWE te vergemakkelijken en GV's promoten als een geloofswaardig beleidsmiddel om positieve resultaten te behalen.

CCIA wordt deels gefinancierd via het INTERREG IVB-programma voor Noordwest-Europa, wat een financieel instrument is van het Cohesiebeleid van de Europese Unie - Investeren in kansen.

Ga voor meer informatie over CCIA naar onze website: www.communitycurrenciesinaction.eu

Geschreven door Leander Bindewald en Susan Steed Met speciale dank aan: Ruth Naughton-Doe voor het delen van de ervaringen met de Hull and East Riding-tijdbank en ander nuttig commentaar, Mike Unrau voor het delen van de ervaringen met de Calgary Dollar en ook Tony Greenham, Becky Booth, Christophe Place, John Newman en Alice Martin voor hun commentaar.

Inhoud

Inleiding ....................................................................................................................... 4 Wie dit handboek moeten lezen ................................................................................. 4 1. Effectbeoordeling begrijpen ............................................................................... 9 De evaluatiekloof ....................................................................................................... 9 Effecten begrijpen .................................................................................................... 10 Outcomes verduidelijken: van outputs naar outcomes ............................................. 10 De juiste indicatoren kiezen ..................................................................................... 11 Outcomes versus effecten ....................................................................................... 12 Wie moet de evaluatie uitvoeren? ............................................................................ 12 2. Wat is Theory of Change? ................................................................................ 15 Waarom is een Theory of Change (ToC)-proces nodig? .......................................... 15 Wanneer moet een ToC worden uitgevoerd............................................................. 15 Verschillende soorten ToC's .................................................................................... 16 [End box] ................................................................................................................. 16 De rol van verschillende belanghebbenden ............................................................. 16 Niet-beoogde resultaten identificeren....................................................................... 17 Wat is het verschil tussen een ToC en een logisch model? ..................................... 17 ToC als uitgangspunt ............................................................................................... 18 3. Theory of Change in de praktijk – een doe-het-zelf-gids ................................ 19 Wat u kunt verwachten ............................................................................................ 19 Doel van uw ToC-workshop ..................................................................................... 19 Wie moet u uitnodigen? ........................................................................................... 20 Een ToC-proces uitvoeren ....................................................................................... 20 Logistiek en indeling van de zaal ............................................................................. 21 Tips voor facilitatie en probleemoplossing ............................................................... 23 Controleren en opnieuw beoordelen ........................................................................ 24 Uw ToC opschrijven................................................................................................. 24 Voorbeeld van een ToC ........................................................................................... 26 4. Projectevaluatie; van theorie naar bewijs van verandering ............................ 28 Nadenken over meten ............................................................................................. 28 Wat te meten: outcomes opsplitsen in indicatoren ................................................... 28 Hoe outcomes te meten: geïntegreerde gegevensverzameling................................ 30 Wanneer u outcomes moet meten: kunt u de verandering vastleggen? ................... 32 Wilt u claims over causaliteit maken? ...................................................................... 35 Verklarende woordenlijst.......................................................................................... 38 Eindnoten ................................................................................................................... 39

Inleiding

Dit handboek is ontwikkeld door de New Economics Foundation (NEF) namens het Community Currencies in Action (CCIA) EU Interreg IVB NWE-programma, een project dat bedoeld is om organisatoren van gemeenschapsvaluta's (GV's) te inspireren en ze te helpen gemeenschapsvalutaprojecten te optimaliseren door informatie te bieden over projectevaluatie en effectbeoordeling. Een goede projectevaluatie kan de projectdoelen verduidelijken en eveneens het verkrijgen van ondersteuning en financiering voor een project vergemakkelijken.

We bieden richtlijnen om de effecten van een GV te evalueren aan de hand van een Theory of Change (ToC). Dit is een proces dat past bij een aantal verschillende soorten projecten. Het kan worden gebruikt als een instrumentele, eerste stap om de doelen van een project te definiëren en het succes ervan beter te evalueren.

We beginnen dit boek met een algemene inleiding op effectbeoordeling en evaluatie. We onderzoeken vervolgens het begrip ToC meer gedetailleerd door dieper in te gaan op de manier waarop een ToCproces kan worden uitgevoerd. We geven hints en tips om ToCworkshops te houden om de doelen van een project nauwkeurig vast te leggen en te beginnen met de evaluatie van de voortgang van een project. Nadat de ToC voltooid is, kijken we wat de volgende stappen zijn en hoe u bewijsmateriaal kunt verzamelen waaruit blijkt dat de beoogde resultaten van uw valutaproject inderdaad worden bereikt.

Wie dit handboek moeten lezen Dit handboek is nuttig voor verschillende doelgroepen: 

Experts op het gebied van gemeenschapsvaluta's: U kunt het kader uit dit rapport gebruiken als u al een valutaproject uitvoert of nog in de eerste fasen van het nadenken over een valutaproject bent. Onze aanpak is geschikt voor een breed spectrum GVprojecten, van projecten door organisaties aan de basis tot initiatieven door lokale overheidsinstanties.



Beleidsmakers en financiers: U werkt mogelijk voor een lokale of landelijke overheidsinstantie en wilt weten wat voor resultaten met valuta's mogelijk zijn en hoe u te werk gaat om deze veranderingen te begrijpen. Door de diversiteit van valutaprojecten en de verschillende visies erop is het vaak moeilijk te begrijpen wat de doelen van een specifiek initiatief zijn. Onze ToC-aanpak kan helpen onduidelijkheden te elimineren.



Onderzoekers en experts op andere gebieden: Hoewel de nadruk ligt op valutaprojecten, kan de ToC-benadering worden gebruikt om iedere soort projecten te evalueren. Vooral projecten

Titel

4

met complexe interacties tussen meerdere belanghebbenden en met een breed scala aan sociale effecten komen in aanmerking.

Gemeenschapsvaluta's Van een verslechterende lokale economie tot milieuvervuiling, geld staat aan de basis van veel problemen in deze wereld. Hierdoor zijn steeds meer mensen op zoek naar uitwisselingsmedia als een manier om dit soort uitdagingen aan te pakken. Tijdens de financiële crisis van 2008 hebben we de opkomst gezien van Bitcoins en andere cryptovaluta's. In het afgelopen decennium hebben we nooit eerder geziene innovaties en een ongekende belangstelling voor aanvullende of gemeenschapsvaluta's meegemaakt. Er zijn nog nooit eerder zoveel initiatieven, modellen, theorieën en hooggespannen verwachtingen op dit gebied geweest. Er is toenemende aandacht in de media en politici en beleidsmakers zijn erg geïnteresseerd in het effect van GV's op individuen en gemeenschappen.

Maar omdat veel organisatoren het al erg druk hebben met hun dagelijkse prioriteiten, kan de bewaking van projectdoelen en de evaluatie van het succes van een GV op de achtergrond raken. In sommige gevallen zijn de doelen vanaf het begin onduidelijk, wat de evaluatie nog verder bemoeilijkt. Bovendien zijn sommige GV's gericht op sociale of ecologische resultaten, die niet zo eenvoudig meetbaar zijn in economische termen.

Voor de duurzame groei van dit gediversifieerde werkterrein is het essentieel dat GV-experts hun doelen beter definiëren en het bereiken ervan goed kunnen meten.

Titel

5

De behoefte aan bewijs van succes Het meten van de effecten van een valutaproject is belangrijk. Als u niet precies weet wat uw doelen zijn, wordt uw projectstrategie een kwestie van gokwerk. En als u niet weet hoe succesvol u bent in het bereiken van uw doelen, is het moeilijker financiering en ondersteuning voor uw project te krijgen.

Er is geen goede manier om uw project te evalueren. Het hangt allemaal af van de middelen die u beschikbaar hebt en wat u van plan bent met de resultaten te doen. In hoofdstuk 1 onderzoeken we effectbeoordelingen en hoe een ToC-proces u kan helpen als eerste fase van uw projectevaluatie.

Wat is een ToC en hoe kunnen hiermee effecten worden gemeten?

ToC heeft zijn waarde bewezen als een simpel, krachtig en veelzijdig instrument dat nuttig is tijdens iedere fase van een project en ongeacht het budget ervan. In zijn meest elementaire vorm is een ToC een beschrijving van de manier waarop uw organisatie of project de verandering teweeg brengt die vereist is om de beoogde doelen te bereiken. Een ToC kan worden gepresenteerd in de vorm van een Titel

6

stroomdiagram of een diagram waarin de fasen van uw project zichtbaar worden gemaakt en wordt aangegeven hoe aan de onmiddellijke doelen en de doelen op lange termijn wordt voldaan.

Het uitvoeren van een ToC kan om verschillende redenen nuttig zijn: 

Een ToC verduidelijkt welke resultaten u met uw project probeert te bereiken. U kunt deze resultaten testen bij uw belanghebbenden, feedback van hen verkrijgen en uw plannen zo nodig wijzigen.



Het geeft u de gelegenheid te onderzoeken of de door u gewenste resultaten realistisch zijn en na te denken over aannames die u maakt over de manier waarop verandering optreedt.



Door duidelijk te maken wat u met uw project hoopt te bereiken en op welke manier, kan een ToC fungeren als uitgangspunt voor de ontwikkeling van een compleet kader voor projectevaluatie.



Het ToC-proces verschaft een project de duidelijkheid die benodigd is om alle communicatie met uw belanghebbenden, gebruikers of financiële partners beter te laten verlopen.

We onderzoeken de verschillende soorten ToC's in hoofdstuk 2.

Een ToC ontwikkelen via een workshop Een goede manier om een TOC te ontwikkelen, is de grootste belanghebbenden bijeen te brengen in een workshop. Dat geeft ze de gelegenheid om na te denken en te discussiëren over wat de gedeelde doelen van het project zijn en deze uit te splitsen in gewenste resultaten op korte, middellange en lange termijn. Het doel is duidelijkheid te verkrijgen over wat u probeert te bereiken. In hoofdstuk 3 vindt u een praktische toolkit voor de organisatie van een ToC-workshop.

U kunt de informatie uit uw ToC-workshop op verschillende manieren gebruiken. Dit kan leiden tot vernieuwde of beter afgestemde aandachtspunten voor de activiteiten van uw project. Een workshop kan ook dienen als de eerste fase van een meer rigoureuze evaluatie, of u kunt de workshop aanpassen aan uw eigen specifieke doelen.

Het belangrijkste aspect van het uitvoeren van een evaluatie is dat u uw voortgang meet op weg naar de resultaten die belangrijk zijn voor de belanghebbenden. De resultaten zijn vermoedelijk van sociale, economische en ecologische aard en moeten datgene weerspiegelen waar uw leden of gebruikers waarde aan hechten.

De ToC gebruiken om uw bewijsverzameling snel op gang te brengen Een ToC levert geen bewijs op dat resultaten feitelijk worden gerealiseerd, maar is in de eerste plaats bedoeld om te bepalen wat die resultaten zijn. Het is om deze reden een waardevolle eerste stap om uit te werken hoe een volledige effectevaluatie van uw project eruit zou kunnen zien. Hoofdstuk 4 bevat een korte inleiding op het ontwerpen van deze volgende fase van de projectevaluatie: 

Titel

Wat er moet worden gemeten: In een goede impactevaluatie wordt gemeten wat belangrijk is, niet alleen wat gemakkelijk telbaar is. Splits de resultaten van uw ToC uit in duidelijke indicatoren en bepaal hoe u deze wilt vastleggen op de korte, middellange en lange termijn.

7



Hoe er moet worden gemeten: U kunt gegevens verzamelen wanneer u uw valuta ontplooit of door specifieke instrumenten voor gegevensverzameling te ontwikkelen.



Wanneer er moet worden gemeten: Verzamel gegevens over de uitgangssituatie voordat uw project begint of voordat iemand zich aansluit bij uw project en leg de verandering met regelmatige tussenpozen vast.



Wie erbij moeten worden betrokken: Denk eraan dat de deelnemers representatief moeten zijn voor uw project en voorkom dat u alleen voorbeelden kiest die bij uw project passen. Is er zo mogelijk een manier om de resultaten van de projectdeelnemers te vergelijken met een controlegroep bestaand uit een vergelijkbare groep mensen die niet aan het project hebben meegedaan?

Meer informatie Als u meer informatie nodig hebt om een valutaproject op te zetten, kunt u de projectwebsite raadplegen op www.ccia.eu.

Titel

8

1. Effectbeoordeling begrijpen ‘De complicaties van oorzaak en gevolg zijn een uitdaging voor iedere analyse.’

Douglas Adams, Dirk Gently’s Holistic Detective Agency1 In dit eerste gedeelte gaan we in op effectbeoordelingen en hoe een ToC (Theory of Change) daarbij kan helpen. Hoewel een ToC ook zelfstandig kan worden uitgevoerd, moet deze ideaal gesproken de eerste fase van uw projectevaluatie zijn.

De evaluatiekloof De wereld kent veel problemen: wereldwijde ongelijkheid, armoede en isolement, werkeloosheid, milieuvervuiling. Geld staat vaak aan de basis van deze problemen. Veel lezers van dit rapport zullen inderdaad geïnteresseerd zijn in het oplossen van sommige van deze problemen en hebben met het oog daarop een gemeenschapsvalutaproject opgezet.

De uitdaging is dat hoewel overheden, liefdadigheidsinstellingen, gemeenschapsgroepen en individuen programma's en projecten uitvoeren om deze problemen aan te pakken, er in feite weinig bekend is over wat wel en niet werkt. Er is vaak een kloof tussen de ambities van een project en het bewijs dat de beoogde resultaten daadwerkelijk worden bereikt. Op het gebied van gemeenschapsvaluta's (GV's) is deze kloof om verschillende redenen erg opvallend: 

Te weinig casestudy's. Er zijn nog maar erg weinig voorbeelden van overheden of grote organisaties die investeren in valutaprogramma's. Wanneer een programma met overheidsgeld wordt gefinancierd, is er veel druk om de effecten ervan te evalueren. Omdat de meeste programma's klein zijn of worden uitgevoerd door organisaties aan de basis, zijn er vaak geen middelen beschikbaar om de effecten ervan te evalueren en heeft dit weinig prioriteit. Bestaande casestudy's worden vaak overmatig veel gebruikt (bijvoorbeeld de Blaengarw-tijdbank in Wales of het onafhankelijke GV-programma van de WIR Bank in Zwitserland) zonder aandacht voor de redenen waarom deze programma's succesvol zijn geweest en andere niet.



Te algemene resultaten om meetbaar te zijn. De resultaten of veranderingen die GV-programma's beogen te bereiken zijn vaak globaal. Projecten ambiëren vaak het financiële systeem en de manier waarop geld werkt te willen veranderen. Het kan moeilijk zijn deze globale ambities uit te splitsen in kortetermijnresultaten die op lokaal meetbaar zijn. In sommige gevallen willen organisaties deze resultaten niet precies vastleggen. Sommige hebben als doel bij te dragen aan systemische verandering en werken met andere valutagroepen over de hele wereld om dit te bereiken.



Moeilijk om het effect van GV's en andere factoren uit elkaar te houden GV's zijn soms een instrument om resultaten te bewerkstelligen en daarom is een deel van het succes afhankelijk van de manier waarop valuta's worden opgenomen in het dagelijks leven van de mensen. Hoe beter GV's daarin worden opgenomen,

Titel

9

hoe minder zichtbaar ze worden als de aanjager van verandering en hoe moeilijker het wordt verandering toe te schrijven aan de GV en niet aan andere factoren of activiteiten. 

Projecten met meerdere belanghebbenden en samenwerkingsprojecten. Succes hangt vaak af van een aantal veranderingen die tegelijk optreden. Hoewel een valutaproject soms kan de katalysator of het startpunt zijn voor die verandering, volstaat de uitgifte van een valuta alleen niet om alles te veranderen. Binnen projecten wordt vaak samengewerkt met een groot aantal belanghebbenden. Het kan lastig zijn overeenstemming te bereiken over doelen en gegevens te verzamelen wanneer veel groepen en organisaties bijdragen aan het veranderingsproces.

Effecten begrijpen Het uitvoeren van een ToC is een goed uitgangspunt om na te denken over wat het effect van een project is. Het proces heeft veel voordelen op zich: het is een nuttig instrument om de resultaten van uw project te begrijpen en te achterhalen wat realistisch gezien haalbaar is. Het kan ook een goede manier zijn om de verzameling van gegevens over de uitgangssituatie vóór het begin van het project te plannen. We gaan in hoofdstuk 2 dieper in op de voordelen van een ToC. Een ToC op zich is geen manier om bewijzen van de gewenste effecten te verzamelen Een ToC kan worden gezien als de eerste stap van een evaluatie. De innovatiestichting Nesta beschrijft een ToC als 'Niveau 1' binnen hun resultatenhiërarchie.2 Afbeelding 1 laat zien hoe een ToC kan helpen de resultaten die u wilt behalen te verduidelijken en maakt duidelijk hoe u de gegevens over de uitgangspunten vóór het begin van het project kunt verzamelen om een volledige evaluatie mogelijk te maken. Een ToC is ook compatibel met een groot aantal andere evaluatieprocessen. Het is bijvoorbeeld vaak de eerste fase van een analyse van het sociale rendement van een investering.3

*Additional Material (Virtual Layer showing NESTA standards of evidence and the social return on investment) here:* Voorbeeldvragen voor de verschillende use-cases Afbeelding 1: Cascade voor effectbeoordeling

Outcomes verduidelijken: van outputs naar outcomes Zoals we in het volgende hoofdstuk zullen zien (en zoals blijkt uit de term ToC), gaat een ToC over het bepalen van wat er verandert. Dus in plaats van de activiteiten en resulterende outputs te beschrijven die een project gewoonlijk oplevert, richten we ons hier op de redenen waarom deze belangrijk zijn voor de deelnemers. U zult de vraag "Waarom is het belangrijk" vaak in het rapport en onze toolkit zien terugkomen omdat deze vraag leidt naar de essentie van wat een ToC vraagt.

Titel

10

In de afgelopen jaren heeft de meting van 'outcomes' een ware 'boom' doorgemaakt. Bewaking en evaluatie (en het uitbesteden van diensten) draaiden van oudsher vooral om outputs. Dit is nuttig voor projectbeheer en auditing. Op dit moment is er een nieuwe aandacht voor pogingen op veranderingen breder en dieper te meten (en uit te besteden). De effectiviteit van outputs wordt niet langer als vanzelfsprekend aangenomen. In Groot-Brittannië zijn veel lokale overheidsinstanties bezig sommige van hun diensten te heroriënteren op outcomes.4 Er zijn veel goede redenen om de nadruk te leggen op outcomes. Het vestigt de aandacht op de langetermijndoelen van een project en op de daarmee beoogde veranderingen in plaats van alleen de hoeveelheid activiteiten te meten. We gaan nader onderzoeken wat het verband hiervan met valuta's is. Het moedigt organisaties aan gegevens te verzamelen die verder gaan dan hun directe outputs, zoals het aantal gebruikers of transacties die vaak eenvoudiger meetbaar zijn. Dit is niet zonder uitdagingen. Organisaties zullen vooral specifieke instrumenten moeten implementeren om te meten of er outcomes zijn gerealiseerd. We komen hierop terug in hoofdstuk 4.

De juiste indicatoren kiezen Nadat u overeenstemming hebt bereikt over de outcomes die u wilt behalen, kunt u die opsplitsen in meetbare indicatoren. (Daar gaan we in hoofdstuk 4 dieper op in.)

Het is belangrijk zorgvuldig na te denken over wat de juiste indicatoren zijn, omdat deze voor de korte en lange termijn kunnen verschillen. U krijgt mogelijk te maken met een conflict tussen de dingen die eenvoudig meetbaar zijn en de dingen die het meest nauwkeurig de doelen weerspiegelen die u probeert te bereiken. Vaak is het eenvoudig om te tellen hoe mensen uw valutaprogramma gebruiken, maar veel moeilijker om te zeggen of dit een positieve impact op hun leven heeft gehad.

We moedigen gebruikers aan om gegevens over outputs én outcomes te verzamelen. Op de korte termijn kunnen outputs geldige indicatoren zijn die informatie opleveren over bepaalde outcomes. Bijvoorbeeld het aantal gebruikers van een valuta en het aantal transacties kunnen belangrijk zijn om de valuta de gelegenheid te geven de omvang te bereiken die vereist is om de outcomes op langere termijn te bereiken.

Er kan ook een conflict zijn tussen outputs en outcomes. Een tijdbank kan bijvoorbeeld als outcome hebben gesteld sterke sociale netwerken tussen deelnemers te creëren. Omdat directe interacties in persoon een van de elementen is om dergelijke netwerken op te bouwen, kunnen het aantal gebruikers en de hoeveelheid transacties dienen als een kortetermijnindicator voor dat doel. Op de lange termijn kunnen de positieve veranderingen die uw project begint op te leveren, betekenen dat deze indicatoren minder nuttig en zelfs tegenstrijdig worden. Er is voor persoon-tot-persoon tijdbanken en LETS-valuta's (Local Exchange Trading) gerapporteerd dat mensen nadat ze nieuwe sociale banden waren aangegaan dankzij de valuta, stopten tijd bij te houden en elkaar te 'betalen'. Als u in dit geval alleen outputs (het aantal transacties met de valuta) had gemeten, had het geleken alsof de gewenste uitkomsten (outcomes) niet waren gehaald terwijl de netwerken in feite zo sterk waren geworden dat de valuta overbodig was geworden.

Titel

11

Outcomes versus effecten Het belangrijkste verschil tussen een effectevaluatie en andere manieren om een project te beoordelen, is het streven om de oorzaak van een verandering te bepalen (causaliteit). Het doel van een effectbeoordeling is te begrijpen welke rol het specifieke project of beleid heeft gehad om outcomes te behalen in plaats van alleen de outcomes te registreren die zich hebben voorgedaan.. Afbeelding 1 laat de stap zien tussen het verzamelen van bewijs voor een verandering (outcomes) en het duidelijk maken dat u/uw project die verandering heeft veroorzaakt.

Het is onmogelijk het effect van een interventie nauwkeurig te beoordelen.

Het is niet mogelijk de wereld te observeren zonder uw project. Het is niet mogelijk met zekerheid te weten wat er zou zijn gebeurd als u iets anders had gedaan, of helemaal niets.

Evaluaties hebben te maken met twee belangrijke uitdagingen: 

Het selectie-effect: De mensen, bedrijven of gemeenschappen die deelnemen aan uw project, hebben daar meestal zelf voor gekozen. Zelfs als u onder de deelnemers resultaten 'voor' en 'na' uw project meet, zijn deze veranderingen niet noodzakelijkerwijs veroorzaakt door uw project. Een bekend voorbeeld hiervan is het programma 'Scared Straight'. De theorie daarachter was dat wanneer kinderen werden blootgesteld aan de werkelijkheid van een misdadig leven, dat ze ervan zou weerhouden zich crimineel te gedragen. De 'voor en na' studies leken het programma te ondersteunen omdat er maar heel weinig deelnemers waren die opnieuw bij criminele activiteiten betrokken raakten. Maar in vergelijking met een controlegroep, bleek het percentage recidives feitelijk hoger te zijn dan bij mensen die niet aan het programma hadden deelgenomen. Als dit het belangrijkste resultaat is, dan was het beter geweest niets te doen.5



Contextspecifiek: Projecten worden vaak uitgevoerd op een specifieke plaats of tijd. Zelfs als een project werkt in één geografisch gebied of met een bepaalde groep mensen, dan is er geen garantie dat het elders met even veel succes kan worden herhaald (dit wordt soms 'externe validiteit' genoemd). Het kan erg lastig zijn nauwkeurig te bepalen wat de algemene ingrediënten voor succes zijn.

Hoewel de methodes wisselen, beginnen goede evaluaties met vragen over hoe verandering zich voordoet in de wereld zonder de effecten van een project te hoog in te schatten. Proberen te begrijpen wat wel en niet werkt, is een complexe kwestie. Het is belangrijk diepgaande vragen te stellen over hoe verandering optreedt en geen aannames te maken over het effect dat u hebt. Als u een ToC uitvoert, stelt u dat in ieder geval in staat uw effecten te bespreken, zelfs als u geen oorzakelijke verbanden kunt of wilt constateren.

Wie moet de evaluatie uitvoeren?

Of u uw valutaproject in-house wilt laten evalueren, dit wilt uitbesteden aan een extern evaluatiebureau of wilt doen in samenwerking met een universiteit, hangt af van de beschikbare middelen en het doel van uw evaluatie (zie afbeelding 2 hierna).

Zelf evalueren

Titel

12



Voordelen: Goedkoper. U hebt het proces in eigen hand en kunt een evaluatieproces opstellen dat u begrijpt en te allen tijde naar eigen behoefte kunt aanpassen.



Nadelen: Minder objectief. De deelnemers kunnen u vertekende gegevens melden omdat ze u de informatie willen geven waarnaar u op zoek bent. Uw organisatie beschikt mogelijk over onvoldoende expertise of zet personeel/vrijwilligers onder veel druk om de evaluatie uit te voeren.

Uitbesteden aan een extern evaluatiebureau 

Voordelen: Het kan eenvoudiger zijn om voor expertise te betalen.

Het kan objectiever zijn als de evaluatie door een betrouwbaar bureau wordt uitgevoerd. U kunt de omvang en deadlines bepalen en hebt meestal volledige controle over alle outputs.



Nadelen: Kan duur zijn. Evaluatiebureaus zijn van wisselende kwaliteit en het kan lastig zijn te bepalen waarnaar u op zoek bent.

Als u een evaluatiebureau betaalt, kan dit de objectiviteit schaden.

Het kan voor organisaties moeilijk zijn de evaluatiemethodologie te blijven gebruiken nadat het evaluatiebureau zijn werk voltooid heeft.

Samenwerken met een universiteit 

Voordelen: Wordt gewoonlijk al gefinancierd.

Onderzoeksresultaten van universiteiten worden beschouwd als objectief en onbevooroordeeld. Universiteiten hebben veel expertise, zijn rigoureus en kunnen hun onderzoeksmethodes soms aanpassen aan uw doel.



Nadelen: De outputs van academici en academische artikelen zijn vaak erg verschillend van het type informatie dat valutaprojecten nodig hebben en het werktempo kan erg langzaam lijken. Het kan lastig zijn het proces en tijdschema's onder controle te houden en de regels voor wetenschappelijk onderzoek kunnen extra vertragingen en administratieve rompslomp veroorzaken.

Het is vaak mogelijk de drie opties met elkaar te combineren. U kunt tegen betaling een cursus volgens bij een extern evaluatiebureau, samenwerken met een onderzoeksstudent om gegevens over bepaalde resultaten te verzamelen en het grootste deel van de analyse zelf doen.

Met wie u gaat samenwerken om een evaluatie uit te voeren, hangt ook af van het doel van uw evaluatie.

Afbeelding 2: Het doel van een evaluatie

Titel

13

In dit gedeelte zijn veel zaken aan bod gekomen en zijn we dieper ingegaan op wat een effectevaluatie is. Veel organisaties hoeven niet in te gaan op de finesses van effectmeting. Als u vooraf nadenkt over wat u wilt doen, welke verandering u reĂŤel kunt verwachten en hoe u tijdens het project gegevens kunt verzamelen, kan u dat later veel tijd en moeite besparen.

Titel

14

2. Wat is Theory of Change?

‘ToC-denken wordt gezien als één benadering om mensen te helpen positief om te gaan met de uitdagingen die complexiteit stelt.’

Isabel Vogel6 Waarom is een Theory of Change (ToC)-proces nodig?

Er zijn veel redenen waarom u een ToC zou willen uitvoeren – van de implementatie van een evaluatiekader tot en met het kweken onder belanghebbenden van een gemeenschappelijk begrip van wat ze proberen te bereiken.7 De volgende voordelen zijn volgens ons het meest belangrijk voor gemeenschapsvaluta (GV)-projecten: 

Outcomes van valutaprojecten verduidelijken. Dit heeft enorme voordelen voor de projectontwikkeling omdat u beter geïnformeerde beslissingen kunt nemen over de toewijzing van middelen en de communicatie over het project met gebruikers, financiers en andere belanghebbenden.



Nagaan of de gewenste resultaten (outcomes) realistisch zijn en aannames over hoe verandering plaatsvindt onderzoeken. Dit kan soms worden afgeleid uit bestaand bewijs wanneer dat beschikbaar is. In dit verband is het ook belangrijk te luisteren naar wat mensen in de praktijk te zeggen hebben over het verloop van het project. Soms levert een project resultaten op die niet tot het hoofddoel van het project behoorden.



De resultaten die in een ToC naar boven zijn gekomen, kunnen dienen om een volledig evaluatiekader te ontwikkelen. De ToC is de eerste fase van veel evaluatieprocessen. Daarna worden er indicatoren ontwikkeld en manieren om de voortgang naar de gewenste resultaten (outcomes) te meten.

Wanneer moet een ToC worden uitgevoerd Een ToC kan tijdens vrijwel elke projectfase worden uitgevoerd: vanaf de eerste ideeënfase tot en met een allang lopend valutaproject. De manier waarop u een ToC uitvoert, wisselt al naar gelang de fase waarin uw project zich bevindt.

Terugkijken om te evalueren: Veel mensen zijn geïnteresseerd in een ToC als basis van hun evaluatiestrategie. Voor deze projecten kan het relatief gezien meer tijd kosten om de juiste indicatoren te vinden om de voortgang naar de gewenste resultaten (outcomes) te meten.

Vooruitkijken om te plannen: Een ToC kan ook nuttig zijn voor projecten die zich in de planningsfase bevinden. Veel groepen kunnen van plan zijn met een GV te beginnen, maar moeten nog beslissen welke soort valuta ze willen gebruiken. In dat geval kan de nadruk meer worden gelegd op Titel

15

wat de belanghebbenden willen bereiken en op de middelen die beschikbaar zijn om het project te implementeren. Op grond daarvan kunt u bepalen welke activiteiten u moet uitvoeren.

Projecten kunnen zich uiteraard ook in een tussenfase bevinden. Voor een bestaand valutaproject kan een ToC nuttig zijn om een voorwaartse strategie te ontwikkelen en belanghebbenden te betrekken bij beslissingen over wat er als volgende stap moet worden gedaan.

Verschillende soorten ToC's Methodes om een ToC uit te voeren wisselen van het type gestelde vragen tot en met de manier waarop de resultaten worden gepresenteerd.8 De meeste ToC-projecten hebben een aantal kernpunten gemeen, die worden samengevat in Vak 1: ToC-bouwstenen hierna.

Nadat u duidelijk hebt vastgesteld wat de gewenste resultaten van het project zijn, kunt u evalueren hoe goed u die bereikt of de gewenste resultaten (outcomes) benutten om te beslissen welk valutamodel u wilt gebruiken. Dit betekent dat onze aanbevelingen voor een ToC gelijkenissen vertonen met de ontwikkeling van een 'impactmap' voor evaluaties of een 'Outcomes Framework' voor uitbesteding (zie de Verklarende woordenlijst).

[Box] Vak 1: ToC-bouwstenen, aangepast van Vogel9 

Context voor het valuta-initiatief



Doelen of visie die het valuta-initiatief probeert te bereiken



Belanghebbenden die baat zullen hebben bij de langetermijnverandering



Proces of volgorde (korte naar lange termijn) van de verwachte verandering



Aannames over hoe die veranderingen kunnen plaatsvinden



Diagram en geschreven samenvatting waarin de resultaten van de discussie worden vastgelegd.

[End box] De rol van verschillende belanghebbenden Met onze evaluatieaanpak proberen we voor alles te begrijpen wie er van een project of beleid profiteert. In door de overheid uitbestede evaluaties wordt vaak gepraat over de voordelen voor Groot-Brittannië zonder dat duidelijk wordt aangegeven wie er van het project gaat profiteren en wie betaalt. Dat kan belangrijke informatie verhullen, waaronder zeer regressief beleid.10 Dat is waarom het belangrijk is duidelijk te zijn over wie de belanghebbenden van een project zijn en wie van het project geacht worden te profiteren. Hiermee wordt ook onderkend dat verschillende mensen waarde hechten aan verschillende dingen en dat dit wisselt per situatie en cultuur.11

Titel

16

Niet-beoogde resultaten identificeren Het evaluatieproces van wat uw GV-project aan veranderingen heeft teweeg gebracht, moet zowel beoogde als niet-beoogde outcomes en zowel positieve als negatieve outcomes betreffen.

Niet-beoogde outcomes kunnen positief zijn. Voor bijvoorbeeld het Belgische E-Portemonnee-project waren de belangrijkste outcomes van het project afvalvermindering en meer milieuvriendelijk gedrag. Tijdens een gesprek met een gemeenstemedewerker uit de praktijk constateerde het projectteam echter ook een ander resultaat: mensen leerden andere deelnemende inwoners beter kennen wanneer ze naar het kantoor kwamen om hun punten te claimen en uit te geven. Dit positieve sociale resultaat zou over het hoofd zijn gezien als de projectbeoordelaars niet met alle belanghebbenden hadden gesproken.

Niet-bedoelde consequenties kunnen uiteraard ook negatief zijn. Uit onderzoek door Naughton-Doe naar tijdbankieren onder daklozen in Londen en Wales kwam bijvoorbeeld naar voren dat sommige sprekers zich gestigmatiseerd voelden wanneer ze papieren tijdvaluta in plaats van 'gewoon geld' gebruikten.12 Negatieve outcomes kunnen lastiger zijn om te constateren. Het kan voor de projectorganisatoren ook moeilijker zijn deze onder ogen te zien. Dat is omdat de mensen die negatief worden be誰nvloed door uw project, mogelijk niet de mensen zijn die u als vanzelfsprekend voor een workshop zou uitnodigen. Het laat ook de voordelen zien van samenwerking met een universiteit of extern evaluatiebureau, omdat deze vermoedelijk beter in staat zijn meer evenwichtige en onbevooroordeelde feedback van deelnemers te krijgen.

In een wereld waarin veel organisaties met elkaar concurreren om financiering te krijgen, is het moeilijk eerlijk te zijn over dingen die niet goed gaan. Eerlijkheid is belangrijk omdat anderen daardoor kunnen leren wat er, naast de behaalde successen, eventueel niet goed gegaan is in uw project. Zodra u hebt begrepen wat de echte effecten kunnen zijn, kunt u stappen nemen om de eventuele negatieve consequenties af te zwakken.

Wat is het verschil tussen een ToC en een logisch model?

In dit rapport gebruiken we de term ToC om te verwijzen naar een diagram dat globaal vastlegt wat u probeert te veranderen en wat de voorwaarden daarvoor zijn. We denken dat het essentieel is dat u dit doet in samenwerking met uw voornaamste belanghebbenden. Er zijn allerlei andere namen die vaak worden gebruikt om soortgelijke processen te beschrijven, zoals logisch model, storyboard en impactmap. Deze termen worden vaak door elkaar gebruikt, maar er zijn verschillen tussen deze processen, ook al is er geen volledige overeenstemming over wat die verschillen zijn.

ToC is ontwikkeld als een manier om complexe initiatieven vast te leggen die moeilijk onder te brengen zijn in een lineair veranderingsmodel.13 ToC's beogen duidelijkheid te verschaffen over de aannames van de manier waarop een initiatief tot verandering moet leiden. De manier waarop wij een ToC-proces presenteren, lijkt op de manier waarop logische processen worden beschreven. Wij leggen echter de nadruk op het verduidelijken van gewenste resultaten (outcomes) en het begrijpen van hoe verandering plaatsvindt, in plaats van hoe een initiatief functioneert om deze veranderingen te bereiken.

Titel

17

Als u bent gevraagd een ToC te produceren voor een potentiĂŤle financier, loont het de moeite te verduidelijken wat de financier precies wil omdat sommigen soortgelijke termen gebruiken om verschillende dingen aan te duiden.

ToC als uitgangspunt De ToC-aanpak heeft ook beperkingen. GV's functioneren in een systeem met complexe interacties en het kan lastig zijn deze allemaal mee te nemen in een ToC. Dat kan mensen ertoe aanzetten hun project in een lineair veranderingsmodel in te passen. Beleidsmakers moeten ook de nodige voorzichtigheid betrachten wanneer ze de resultaten van een bepaald valutaproject willen toepassen op andere gebieden omdat GV's vaak contextspecifiek zijn: wat op de ene plaats werkt, werkt niet altijd op de andere.

Desalniettemin zien we de ToC als een goed uitgangspunt. Het Aspen Institute beschrijft ToC's als 'brainstormsessies die de weg bereiden voor meer intens werk na de bijeenkomst'.14 In hoofdstuk 3 gaan we bekijken hoe u een ToC-workshop organiseert.

Maar dat is niet meer dan het begin. In een goed gefaciliteerde workshop kunnen allerlei kwesties naar boven komen, waarvan we er een paar laten zien in het diagram in afbeelding 4 hierna. U kunt hierop voortbouwen door deze punten verder te bespreken met de aanwezigen en andere belanghebbenden, en meer gewenste resultaten en voorwaarden toevoegen wanneer deze aan bod komen.

Titel

18

3. Theory of Change in de praktijk – een doe-het-zelf-gids "Een ons praktijk is vaak meer waard dan een ton theorie.�

E.F. Schumacher

Het opzetten van een Theory of Change (ToC) voor een bepaald project kan in het begin een hele opgave lijken. In dit hoofdstuk beschrijven wij de manier waarop we hebben geleerd de methode toe te passen tijdens workshops over onze CCIA-pilotvaluta (Community Currencies in Action) en maken we het proces zo concreet dat u het met alle vertrouwen kunt repliceren. We beschrijven het proces zodanig dat u zich er gemakkelijk een duidelijk beeld van kunt vormen. We hopen dat u met onze toolkit zelf een workshop kunt uitvoeren en dat het doorwerken van de resultaten een eenvoudige volgende stap zal zijn.

Wat u kunt verwachten Voordat u uw workshop plant, moet u een duidelijk beeld hebben van wat u wilt bereiken. Informeer hierover de andere mensen van wie u hulp nodig hebt en controleer extra goed of iedereen dezelfde verwachtingen heeft. Verdiep u vervolgens in de praktische aspecten, spreek een datum af, reserveer een locatie en nodig de deelnemers uit. Denk eraan dat een workshop op de meeste genodigden kan overkomen als extra werk. Maak de voordelen van deelname voor het gemeenschappelijk belang goed duidelijk. Voorzie voldoende tijd, maar stel niet te hoge eisen aan de inzet van iedereen. Naar onze bevindingen is 2,5 tot 3,5 uur voldoende, al naar gelang het verwachte aantal deelnemers en de mate van vertrouwen die u hebt in het faciliteren van groepssessies. U kunt uiteraard ook een serie kortere sessies plannen als het u lukt de belanghebbenden regelmatig bij elkaar te krijgen.

Doel van uw ToC-workshop U kunt de workshop grofweg organiseren rond de volgende twee doelen: a) Een evaluatieprogramma voorbereiden De ToC verschaft de onderzoeker of evaluator informatie over de concrete resultaten die verwacht worden van een project of initiatief.

Hiermee biedt deze aanpak de gelegenheid om na te denken over de gehoopte projectresultaten vanuit veel verschillende perspectieven in plaats van alleen op grond van de algemene aannames die iedereen over een GV-project kan hebben. b) Uw project vroegtijdig plannen of op momenten dat u op een strategisch kruispunt bent belandt In andere bronnen15 wordt de ToC hoofdzakelijk gezien als een instrument voor strategische projectplanning. Vanuit dat perspectief kan een ToC u helpen na te denken over hoe u uw activiteiten, communicatie, middelentoewijzing en participatie van belanghebbenden meer doelgericht kunt laten verlopen. In beide gevallen zal het uitvoeren van Titel

19

een ToC-proces u een nieuwe en meer gedetailleerde kijk op de activiteiten en ambities van uw project geven.

Wie moet u uitnodigen?

U kunt geen 'verkeerde' mensen uitnodigen, maar hebt mensen nodig die worden beïnvloed door uw project of die bij de planning betrokken zijn.

Zolang de genodigden het doel van uw workshop begrijpen en delen, zullen ze waardevolle bijdragen leveren.

Het verloop van uw workshop hangt af van verschillende factoren.

Bijvoorbeeld van het feit of de deelnemers soortgelijke of verschillende achtergronden hebben, verschillende werkroosters hebben en uiteenlopende maten van betrokkenheid bij het project zelf hebben.

Als u er vertrouwen in hebt dat u iedereen in dezelfde zaal bijeen kunt brengen op een tijdstip dat iedereen schikt, raden we u aan te streven naar een zo gediversifieerd mogelijke groep belanghebbenden. Elk ander perspectief draagt iets nieuws bij aan het uiteindelijke beeld. Alleen door te luisteren naar de standpunten en ervaringen van hen die niet regelmatig bij het project betrokken zijn, maar die direct of indirect door uw activiteiten zullen worden beïnvloed, kunt u verzekeren dat u met uw ToC een realistisch beeld van het project verkrijgt. Hierbij kan het gaan om de mensen en organisaties die de valuta gebruiken, financiers, vertegenwoordigers van de gemeenschap en medewerkers van partnerorganisaties.

Hoeveel mensen er meedoen, is ook erg belangrijk voor het verloop en de praktische aspecten van de workshop. Het maakt uit of er drie mensen meedoen, of twintig. Meer dan twintig deelnemers kan vanwege tijdsbeperkingen organisatorische problemen opleveren. Zelfs een introductieronde zou dan teveel tijd vergen. Een workshop voor belanghebbenden is uiteraard niet de enige manier om een ToC te produceren. Als er niet meer dan een paar mensen zijn die u bij de huidige fase van uw project kunt betrekken, is iedere andere vergaderstijl prima.

Een ToC-proces uitvoeren U kun de kernelementen van de hier beschreven workshopcontext eenvoudig aanpassen aan uw specifieke behoeften.

Een van de methodes die vaak wordt gebruikt om een ToC te faciliteren, is de 'storyboard'-techniek. Hiervoor moet het verhaal van uw project tijdens de workshop worden neergezet in een groot diagram of een afbeelding. Dat helpt u om het proces te structureren, uw deelnemers te oriënteren en vooraf de resultaten te structureren die u na afloop moet doorwerken.

Het storyboard dat u gebruikt (en invult tijdens de workshop) hoeft niet meer te zijn dan een paar lege flipovervellen op een muur of een groot whiteboard.

Tijdens de workshop worden de verschillende onderdelen van het verhaal stapsgewijs aangeleverd door de deelnemers. Hierdoor krijgen ze een gemeenschappelijk beeld van het project en bent u beter in staat om na afloop een rapport over de bijeenkomst te schrijven.

U kunt de ideeën van deelnemers op post-its laten schrijven of ze als workshopfacilitator zelf opschrijven. Vaak zult u een combinatie van beide Titel

20

gebruiken. Als iedereen ermee akkoord gaat, kunt u het gesprek ook opnemen.

Het is altijd een goede gewoonte tijdens een workshop verschillende communicatiemethodes te gebruiken. U kunt wisselen tussen plenaire discussies met de hele groep en discussies in kleine groepjes. Hierdoor blijven de deelnemers actief en alert. Een pauze met versnaperingen na maximaal anderhalf uur is ook goed voor iedereen.

Logistiek en indeling van de zaal Het organiseren en uitvoeren van een ToC-workshop is niet moeilijker of arbeidsintensiever dan andere evenementen. Hoe meer energie u echter steekt in de planning en voorbereiding van de workshop, hoe waarschijnlijker het is dat deze nuttige resultaten zal opleveren en hoe minder werk u zult hebben aan het schrijven van uw verslag.

Wanneer u deelnemers uitnodigt, moet u rekening houden met hun werkroosters en een tijdstip kiezen dat goed uitkomt voor de meeste deelnemers. De locatie kan het succes en de kwaliteit van de workshop be誰nvloeden. Probeer een informele, lichte ruimte te vinden, die ruim en overzichtelijk aanvoelt. Het is vaak een goed idee extra ruimte te voorzien om in kleine groepjes te kunnen werken.

De basisopzet voor deze workshop is, net zoals voor ieder open gesprek, een cirkel waarin de deelnemers elkaar kunnen aankijken. U zult uw storyboard vermoedelijk aan een van de wanden willen hangen op een plaats waar iedereen het goed kan zien.

U hebt alleen basismateriaal nodig: flipoverpapier, post-its, een viltstift voor elke deelnemer en iets waarmee u vellen papier aan de wand kunt bevestigen, zoals plakgum, punaises of plakband.

Een camera is handig om de flipovervellen na afloop van de workshop te fotograferen en een vriendelijk klinkende bel is nuttig om mensen te verzoeken na de pauze weer terug te komen.

Gebruikelijke stappen voor een workshop Titel

21

Zoals we hiervoor hebben gezegd, is de belangrijkste output van uw workshop het storyboard waarop de gewenste resultaten (outcomes) van uw project op korte, middellange en lange termijn worden beschreven. Wij hangen gewoonlijk drie lege flipovervellen (met de namen korte termijn, middellange termijn en lange termijn) aan de voorzijde van de workshopruimte. Dit doen we om aan te geven dat outcomes op korte termijn voorwaarden zijn voor outcomes op middellange termijn, die op hun beurt moeten worden bereikt om de outcomes op lange termijn van uw project te halen.

Het kan nuttig zijn deze drie kernelementen van uw storyboard op aparte flipovervellen aan te vullen met enige extra informatie: 1) Noem alle belanghebbenden: Vermeld alle belanghebbenden van het project op een apart vel dat u aan het begin van de workshop presenteert en links van het storyboard hangt. Dit is met inbegrip van de verschillende groepen belanghebbenden die wellicht bij uw workshop aanwezig zijn en (ook heel belangrijk) degenen die niet direct bij de sessie zijn vertegenwoordigd. Dit vergroot bij de deelnemers het bewustzijn van de verreikende effecten die het project kan hebben bij verschillende mensen.

Het laat ook zien dat positieve resultaten kunnen afhangen van de bijdragen van velen.

2) Som alle activiteiten op: Maak een complete lijst van alle concrete projectactiviteiten om te zorgen dat u zich daadwerkelijk richt op de outcomes van de ToC. Deze waardevolle oefening draagt er ook aan bij dat iedereen in de zaal dezelfde projectactiviteiten in gedachten heeft zodat de discussie op het juiste onderwerp gericht blijft en niet afdwaalt. U zult vaak constateren dat het vergaren van activiteiten later een nuttig referentiepunt is wanneer u wilt praten over outcomes.

3) Schep ruimte voor de visie: Houd aan de andere kant van het storyboard ruimte vrij voor de hoogste ambities of visies van het project.

Deze kunt u verzamelen voordat u over outcomes begint te praten. De outcomes op lange termijn klinken vaak hetzelfde als deze doelen, maar kunnen helpen uw grootste ambities een aparte plaats te geven zodat u uw outcomes op lange termijn kunt terugbrengen tot iets haalbaars en meetbaars.

Voor het uitwerken van deze drie logische stappen van uw ToC, kunt u bij een groot aantal deelnemers kleinere discussiegroepjes vormen die praten over de stappen voor de korte, middellange en lange termijn. U kunt dit op een aantal manieren doen: u kunt drie kleine groepen maken die elk bijvoorbeeld werken aan de stappen waar ze het meest vertrouwd mee zijn op grond van de duur van hun betrokkenheid bij het project op dit moment. Of u kunt gemengde groepen maken die voor elke stap ideeĂŤn bedenken. Dit geeft de mensen meer kans om hun standpunten over elk van de drie stappen te formuleren.

De kleine groepen gaan gewoonlijk zo'n 10-15 minuten aan de slag. Na afloop daarvan is het belangrijk voor elke groep voldoende tijd te voorzien om hun ideeĂŤn voor de hele groep te presenteren. Tijdens dit proces kan iedereen nadenken over wat er wordt gezegd en er het zijn of hare aan toevoegen. Als facilitator moet u voortdurend alert zijn en alles noteren wat van belang is. Zorg dat de deelnemers zich concentreren op de hoofdtaak, maar voorzie voldoende tijd om elke suggestie voldoende te verkennen om belangrijke details mee te nemen.

Titel

22

Tips voor facilitatie en probleemoplossing Wanneer u verschillende belanghebbenden uitnodigt voor uw workshop, hebt u een unieke kans om uiteenlopende standpunten over uw project te horen. Het is in dit opzicht belangrijk niet te vergeten dat iedereen die uw uitnodiging accepteert, op een of andere manier gemotiveerd is om u te helpen. Bewijs hen daarom een tegendienst door henzelf en hun standpunten als waardevol te beschouwen en te zorgen dat er naar hen wordt geluisterd.

Omdat zij hun tijd aan u besteden, moet u duidelijk zijn over wat u van hen verwacht en waarom. Het is belangrijk aan het begin een introductieronde te houden, zelfs als er maar weinig mensen zijn die elkaar niet kennen. Laat de mensen zichzelf voorstellen en aangeven wat hun rol of betrokkenheid bij het project is en wat hun motivatie is om naar de workshop te komen. Dit voorkomt dat mensen zich onzeker voelen.

Een eenvoudige opwarmoefening kan mensen het gevoel geven dat ze erbij horen, waardoor het voor hen eenvoudiger wordt aandachtig mee te doen.

De grootste opgave van een facilitator is authentieke en korte antwoorden te ontlokken en de discussie te oriĂŤnteren op de doelen die voor de sessie zijn gesteld. Het kan daarbij gebeuren dat u mensen voor het hoofd stoot, vooral wanneer er tijdgebrek is en uw aandacht moet uitgaan naar verschillende taken, zoals het noteren van wat er wordt gezegd en het bijhouden van de voortgang ten opzichte van de agenda. Het helpt als er ten minste twee medefacilitatoren zijn. Wees duidelijk over welke rol elk van u speelt tijdens elk onderdeel van het proces en raadpleeg elkaar regelmatig, bijvoorbeeld wanneer de deelnemers in deelgroepjes werken of tijdens de pauze.

Zelfs als de taken en vragen glashelder lijken, kunnen de onvoorspelbaarheid en kronkels van een gesprek of de verschillende aannames van de deelnemers er toe leiden dat u de groep moet oriĂŤnteren op de globale doelen.

Wat veel voorkmt tijdens ToC-workshops, is dat antwoorden vaak beschrijvingen zijn van activiteiten of outputs in plaats van outcomes. Een paar eenvoudige vragen of herinneringen kunnen de discussie opnieuw op het juiste spoor brengen. De centrale vraag die moet worden gesteld is: "Waarom is dit belangrijk?" Pas op het punt waarop het niet langer nodig is deze vraag te stellen, kunt u er zeker van zijn dat u bezig bent met een echte outcome.

Voorbeeld: V: Welke verandering op middellange termijn wilt u bereiken?

A: Meer omzet in de valuta van onze tijdbank.

V: Waarom is meer omzet belangrijk?

A: Omdat dat betekent dat meer mensen activiteiten verrichten via de tijdbank.

V: Maar waarom is het uitvoeren van meer activiteiten belangrijk voor uw project of voor de deelnemers?

Titel

23

A: Omdat meer mensen zich dan nuttig en gewaardeerd zullen voelen en hun eigenwaarde hebben verbeterd.

Controleren en opnieuw beoordelen Nadat u uw ToC-workshop hebt gehouden, moet u het gevoel hebben dat de juiste mensen aanwezig waren en dat u beter voorbereid bent om de verwachte outcomes te meten en uw effecten te evalueren. Of als de workshop tijdens de ideeënfase wordt gehouden, moet u voldoende gestimuleerd zijn om met uw valuta aan de slag te gaan. Het is echter waarschijnlijk dat er bepaalde kwesties naar boven zijn gekomen die u ertoe aanzetten opnieuw te beoordelen wat u als volgende stap wilt doen.

Dat is een waardevol resultaat dat u veel tijd kan besparen in een later stadium. Zorg dat u leert van de feedback van de aanwezigen en van uw eigen beoordeling van de workshop.

Als u begint aan een nieuw project, wilt u zichzelf misschien de volgende vragen stellen: 

Wie waren er aanwezig – hebben de juiste mensen en de juiste verscheidenheid aan partners aan de bijeenkomst meegedaan?

Waren er belanghebbenden van wie u hoopte dat ze zouden komen, maar die niet hebben meegedaan – waarom niet?



Beschikt u over de juiste middelen en voorwaarden om uw doelen te bereiken? Wat moet er verder gebeuren?



Lijkt u het juiste valutamodel en de goede projectopzet te hebben gekozen voor de geformuleerde outcomes?



Welke effecten hebben soortgelijke modellen elders aantoonbaar opgeleverd en met welke projecten is bereikt wat u ook wilt bereiken? (Door het vroege succes en de ruime aandacht in de media zijn er bijvoorbeeld veel groepen die het valutamodel van de Transition Towns willen volgen, een model waarin een lokale valuta wordt ondersteund door het pond sterling. Nu u in een betere positie bent om na te denken over uw strategische doelen, ziet u misschien andere modellen waar u meer aan hebt?)

Het lanceren en beheren van een gemeenschapsvaluta brengt veel werk met zich mee en is veel complexer dan veel andere gemeenschapsprojecten.

Wees realistisch over uw doelen. Het is moeilijk dingen te veranderen in uw valutamodel als u halverwege uw project bent. Als u duidelijke mijlpalen vanaf het begin vastlegt, zal dat u helpen om verder na te denken en u aan te passen in de loop van het project. Als u tijdens het hele project gegevens ten opzichte van de verwachte outcomes verzamelt, bent u beter in staat te beoordelen hoeveel voortgang u hebt geboekt of hoever u van het juiste pad bent afgeraakt.

Een nuchtere evaluatie via het meten van outcomes is een manier om mislukking, burn-outs en onjuiste toewijzing van middelen te voorkomen.

De wereld der gemeenschapsvaluta's kent veel voorbeelden van projecten die niet hebben gefunctioneerd – zorg ervoor dat uw project niet het volgende voorbeeld wordt!

Uw ToC opschrijven Nadat u de input van uw belanghebbenden tijdens de ToC-workshop hebt verzameld, is de volgende stap wijs te raken uit wat u hebt gehoord en Titel

24

individuele antwoorden samen te voegen in het ToC-rapport. Als u samenwerkt met onderzoekers die de evaluatie uitvoeren, moet u dat samen met hen doen.

Als er tijdens uw workshop voldoende tijd is, kunt u de deelnemers vragen de voorgestelde resultaten onder te verdelen in thema's op elk van de vellen voor de korte, middellange en lange termijn. Het kan ook nuttig zijn even afstand te nemen en dit op een latere datum te doen. U wilt uiteindelijk een beeld hebben van de manier waarop uw project veranderingen bewerkstelligt, dat niet te gecompliceerd, rommelig of simplistisch is. Deze extremen zouden uw ToC minder waardevol maken voor de volgende stappen van het evaluatieproces, zoals beschreven in hoofdstuk 4.

In de meeste gevallen bestaat een voltooid ToC-document uit een stroomdiagram waarin outcomes op korte termijn in verband worden gebracht met outcomes op middellange termijn, die zich ontwikkelen tot outcomes op lange termijn. Deze kunnen op verschillende manieren worden samengevoegd, met inbegrip van de belanghebbenden waarop ze betrekking hebben of de bredere sociaaleconomische context.

Het principe van 'materialiteit' zal u helpen beslissen wat u wilt opnemen en weglaten. Dit betekent dat alleen de dingen die echt belangrijk zijn en tot de kern van uw project behoren, moeten worden opgenomen in uw ToC. Een voorbeeld van een ToC van CCIA of anderen vindt u op website van CCIA. Alle workshops verschillen enigszins van elkaar door de verschillen tussen de valutapilots. Dit heeft ook geleid tot variaties in de manier waarop resultaten zijn gegroepeerd en vastgelegd in de uiteindelijke documenten.

Al naar gelang met wie u uw ToC wilt delen, kan een grafische voorstelling alles zijn wat u nodig hebt. In andere gevallen is het waardevol een meer gedetailleerd rapport van een paar pagina's te produceren met een overzicht van de andere elementen die u tijdens de workshop hebt verzameld (belanghebbenden, activiteiten, doelen, visies) samen met enkele inzichten of letterlijke citaten uit de workshop.

Titel

25

Voorbeeld van een ToC

Theory of Change: TradeQoin – Coöperatieve handelsuitwisseling

Titel

26

Theory of Change: Time Credits in Ely and Caerau and Blaengarw

Meer informatiebronnen om een valutaproject op te zetten vindt u op onze projectwebsite: website www.ccia.eu.

Titel

27

4. Projectevaluatie; van theorie naar bewijs van verandering 'De maat van intelligentie is het vermogen om te veranderen.'

Albert Einstein

In dit hoofdstuk richten we ons op hoe u het meeste kunt halen uit wat u geleerd hebt in de Theory of Change (ToC)-workshop. Zoals we hebben besproken, is een ToC een goed uitgangspunt om te bepalen tot welke outcomes een project moet leiden. Het is geen bewijs dat deze outcomes zijn bereikt. De volgende stap is dit te meten.

Nadenken over meten In uw ToC-rapport moet een serie outcomes of verwachte veranderingen duidelijk worden aangegeven. Doorloop eerst een paar basisvragen over hoe u deze outcomes kunt meten: 

Wat?



Hoe?



Wanneer?



Wie?

Wat te meten: outcomes opsplitsen in indicatoren Uw ToC-workshop moet u hebben geholpen de belangrijkste doelen en outcomes te identificeren die u met uw project hoopt te bereiken.

Outcomes worden vaak opgesplitst in een set indicatoren om ze beter meetbaar te maken. Een voorbeeld van een paar outcome-indicatoren vindt u in vak 2: Calgary Dollars.

Het is het beste als u uw indicatoren zo goed mogelijk kunt koppelen aan de outcomes die belangrijk zijn voor uw belanghebbenden en die verband houden met uw ToC. Zorg dat u zich richt op wat verandert, niet op elementaire outputgegevens zoals het aantal gebruikers of transacties.

In de praktijk kunnen compromissen nodig zijn. Als u werkt met een financier of een overheid die opdracht heeft gegeven voor bepaalde outcomes, kan het gebeuren dat u uiteindelijk gegevens prioriteert die voor hen van belang zijn. In sommige gevallen kunt u de indruk hebben dat dit nadelig is voor uw project als dit inhoudt dat u uw gebruikers vragen moet stellen die zij te opdringerig vinden. Gebruik uw oordeelsvermogen om een juist evenwicht tussen tegengestelde belangen te vinden.

U kunt het ook nuttig vinden elementaire demografische gegevens over uw gebruikers te verzamelen (bijvoorbeeld hun leeftijd, etniciteit, handicaps) omdat financiers mogelijk willen weten wie baat heeft bij hun project. U kunt deze gegevens dan vergelijken met lokale Titel

28

volkstellingsgegevens om te zien of uw tijdbank representatief is voor de lokale bevolking.

[Box] Vak 2: Calgary Dollars: duidelijke outcome-indicatoren ontwikkelen De Calgary Dollar (C$) is een GV die wordt gedenomineerd (maar niet ondersteund ) door de Canadese dollar. Handelaren die deelnemen aan het netwerk, kunnen ervoor kiezen C$ te accepteren voor 25% tot 100% van de prijs van hun goederen en diensten.

C$ is begonnen aan een evaluatieproces dat deels werd gemotiveerd door de behoefte om verslag uit te kunnen brengen aan hun financiers en deels omdat de organisatie haar voortgang wilde beoordelen. Ze zijn begonnen met een ToC-model waarin outcomes op lange termijn worden uitgesplitst in een serie stappen die zij aan de hand van indicatoren meten.

Hun evaluatieproces heeft een paar interessante kenmerken: 

Wat ze meten: Een van de outcomes op lange termijn is: "Inwoners van Calgary moeten voldoende inkomen hebben om hun familie te ondersteunen en volledig deel te nemen aan hun gemeenschappen". Tabel 1 bevat een paar outcomes op middellange termijn (en de bijbehorende indicatoren) op weg naar dat langetermijndoel. De gegevens die zij verzamelen, gaan veel verder dan alleen meten in hoeverre mensen de C$ gebruiken.

Deze outcomes zouden volledig worden gemist als ze alleen de hoeveelheid C$ in omloop zouden meten omdat het gebruik van C$ ook leidt tot meer gebruik van federale dollars en tot sterkere sociale netwerken, waardoor de mensen zonder $ mogelijk robuuster zijn.



Wanneer ze meten: Om zich te registreren voor het gebruik van C$, moeten deelnemers een 'intake-enquête' beantwoorden waarin gegevens vroegtijdig worden vastgelegd. Ze ondervragen alle deelnemers elk jaar op hetzelfde moment en maken hiervan een centraal kenmerk van het beheer van de valuta. De responsfrequentie was uitstekend: bijna 100% voor de eerste enquête en meer dan 60% voor de tweede.

[End box] Tabel 1: Calgary Dollars – outcomes en indicatoren voor de middellange termijn

Outcome op middellange termijn

Indicatoren

Methode voor gegevensverzameling

Deelnemers verwerven economisch kapitaal met verdiende en bestede C$

C$ en federale dollars die deelnemers hebben verdiend/besteed via transacties in C$

In de enquête worden objectieve vragen gesteld over: - hoeveel C$ zijn besteed/ontvangen - hoeveel federale dollars ze ontvangen via transacties in C$ - hoeveel goederen en diensten ze ruilen zonder monetaire uitwisseling.

Percepties van deelnemers van het effect dat C$

In de enquête worden ook subjectieve vragen gesteld over de mate waarin mensen zich zorgen maken over geld.

Titel

29

heeft op hun economisch kapitaal

- 63% maakt zich zelden of nooit zorgen over geld na C$ te hebben gebruikt

Hoe outcomes te meten: geïntegreerde gegevensverzameling Er zijn een aantal verschillende manieren waarop u gegevens kunt verzamelen, waarvan sommige erg tijdrovend zijn. We willen er bij organisaties op aandringen te zoeken naar manieren om gegevens te verzamelen die nuttig voor u, uw gebruikers, uw medewerkers en de vrijwilligers zijn.

U kunt mogelijk outcome-gegevens verzamelen in het kader van uw dagelijkse projectactiviteiten in plaats van er een aparte activiteit van te maken. Helaas is dit niet altijd mogelijk. Denk hiervoor zorgvuldig na over de belangrijkste contactpunten die u met de gebruikers hebt en ga na of u deze kunt benutten om bepaalde outcome-gegevens te verzamelen.

Paxton Green in Zuid-Londen stelt bijvoorbeeld een paar korte welzijnsvragen op het intekenformulier dat alle deelnemers moeten invullen. Voor de tijdbank van Hull and East Riding moeten alle leden een uitgebreide outcome-enquête invullen (zie vak 3): Tijdbank Hull and East Riding Time Bank hierna.

[Box] –Vak 3: Tijdbank Hull and East Riding – geïntegreerde gegevensverzameling Sinds het project twee jaar geleden is gelanceerd, heeft de tijdbank van Hull and East Riding gegevens verzameld van alle nieuwe tijdbankleden via enquêtes voor en na de test.

De enquêtes waren tijdens een workshop ontwikkeld in samenwerking met negen andere tijdbanken uit heel Groot-Brittannië. Deze workshops hebben er mede aan bijgedragen dat de enquêtes verandering konden vastleggen.

De enquêtes meten kwantitatieve gegevens voor de volgende outcomes:    

Welzijn en sociale contacten Sociaal kapitaal/sociale netwerken Niveau van vrijwilligerswerk Motivatie en voordelen van lidmaatschap van een tijdbank.

Er worden ook enkele kwalitatieve vragen gesteld waardoor leden de gelegenheid hebben de tijdbank feedback te geven op hun verwachtingen van lidmaatschap of de verbeteringen die volgens hen mogelijk zijn.

De enquête is opgesteld door Naughton-Doe16 en mag voor ieder ander GV-project worden gebruikt, op voorwaarde dat eerst contact wordt opgenomen met de auteur.

De coördinator van de tijdbank van Hull and Eest Risding zag de voordelen van gegevensverzameling in en was bereid aan de leden uit te leggen waarom dit belangrijk was. De enquête is geïntegreerd in de manier waarop het project wordt afgeleverd: iedereen die voor het eerst lid wordt, moet tijdens de inschrijving een enquête invullen. Hierdoor Titel

30

wordt een responsfrequentie van bijna 100% gehaald. De broker had ook tijd gereserveerd om gegevens voor de follow-up enquête te verzamelen, die een responsfrequentie van 35% had. Dit percentage zal hoger worden naarmate de tijdbank zich verder ontwikkelt. [end box] Het is belangrijk te begrijpen dat het verzamelen van gegevens met een 'voor en na enquête' tijd kost en extra expertise vereist om de resultaten te analyseren. Voordat een dergelijk proces wordt ondernomen, is het belangrijk dat het stafpersoneel (en/of de vrijwilligers) de gelegenheid hebben gehad deel uit te maken van het proces en dat een realistische methode van gegevensverzameling wordt gehanteerd. Wat werkt in het ene project, werkt mogelijk niet in een ander project. Verder wordt het aantal binnengehaalde antwoorden op enquêtes vermoedelijk beïnvloed door de mate waarin uw personeel achter het proces staat.17 U kunt ook denken aan de gegevens die worden vastgelegd tijdens de dagelijkse exploitatie van het project. U kunt mogelijk uw besturingssysteem of software zodanig inrichten dat nuttige gegevens gemakkelijk kunnen worden gerapporteerd. Zoals gezegd in hoofdstuk 2, is het rapporteren van alleen het aantal gebruikers geen outcome. Als u in plaats daarvan kunt aantonen dat gebruikers meer handelen met nieuwe gebruikers en aankopen doen op plaatsen waar ze niet eerder zijn geweest, zijn dat veel betekenisvollere statistieken.

In Key indicators of time bank participation van Collum worden een paar aanbevelingen gedaan om transactiegegevens van tijdbanken te gebruiken voor evaluaties.18 Als u eenvoudig manieren kunt inbouwen om gegevens te analyseren of rapporteren, is dat nuttig omdat het samenvoegen en analyseren van antwoorden erg tijdrovend kan zijn.

Wees creatief in de manier waarop u bewijs verzamelt. Financiers willen graag verhalen horen en foto's zien van wat er gebeurt. Zorg daarom dat dit deel uitmaakt van de manier waarop u activiteiten aflevert. Als u in het kader van uw project een reisje organiseert, kunt u dan de tijd in de bus gebruiken als een manier om de deelnemers te onderhouden en gegevens over outcomes te verzamelen?

Vergeet niet toestemming te vragen aan de deelnemers. Maak duidelijk waarom u ze evaluatievragen stelt en zorg dat hun antwoorden desgewenst anoniem blijven. In sommige gevallen wilt u ze misschien vragen of u voor een follow-up oefening opnieuw contact met hen kunt opnemen. U moet ook om toestemming vragen als u namen of foto's in het openbaar wilt gebruiken.

Gebruik de tijd van de deelnemers optimaal. Als u een enquête naar resultaten doet, kunt u die kans aangrijpen om feedback te krijgen en de deelnemers laten vertellen wat zij in het project zouden veranderen.

Wanneer u gegevens verzamelt, moet u zich houden aan alle nationale of Europese wetten op gegevensbescherming en privacy.19 [box] Vak 4: Soorten primaire gegevensverzameling Administratieve gegevens: Gegevens die u als onderdeel van het project verzamelt. Dit kunnen heel elementaire gegevens zijn, zoals het Titel

31

aantal gebruikers, het aantal valutatransacties enzovoort. In een nuttigere analyse kan ook worden gekeken naar gebruikers die via de valuta nieuwe contacten leggen.

Outcome-enquêtes: Worden gewoonlijk alleen ontworpen om gegevens tegenover resultaten te verzamelen, maar ze kunnen worden geïntegreerd in de projectoplevering. Dit kan online, op papier, telefonisch of per sms worden gedaan. De enquêtes moeten ideaal gesproken met regelmatige tussenpozen worden uitgevoerd.

Eenmalige outcome-enquête: Soms wilt u eenmalig outcomes verzamelen voor specifieke doelen, bijvoorbeeld als u een nieuwe trainingscursus geeft, een speciaal evenement houdt enzovoort.

Kwalitatieve gegevensverzameling: eenmalige interviews, focusgroepen, workshops.

Op maat gemaakte instrumenten: Er zijn een aantal outcomeinstrumenten die zijn ontworpen voor zeer specifieke doelen die u mogelijk wilt opnemen in uw eigen outcome-enquête of misschien apart wilt gebruiken. [end box] Wanneer u outcomes moet meten: kunt u de verandering vastleggen?

Uw outcome-gegevens zijn het meest overtuigend als u veranderingen voor gebruikers (of andere belanghebbenden) in de loop van de tijd kunt meten en u deze veranderingen aan uw project kunt toewijzen.

Enquêtes waarin mensen vragen over hun outcomes worden gesteld na een evenement zijn niet altijd overtuigend. U mist mensen die niet hebben meegedaan en kunt niet analyseren waarom. Ook zijn mensen vaak bevooroordeeld en vertellen ze alleen wat u wilt horen. Het is beter als u kunt meten hoever gebruikers zijn gekomen in vergelijking met het punt waar ze waren voordat het evenement plaatsvond. U moet daarvoor outcome-gegevens met regelmatige tussenpozen verzamelen en daarmee beginnen vóór iedere andere activiteit.

Zelfs als u 'voor en na' gegevens verzamelt, kan het toch moeilijk zijn gevonden veranderingen toe te schrijven aan uw project. In dat opzicht is het nuttig te beschikken over een vergelijkingsgroep met mensen die niet of veel minder dan andere mensen aan het project hebben deelgenomen.

We gaan hierna verder in op dit 'Ontwerpen voor effecten'.

Wie moet worden gemeten: kies niet alleen de beste voorbeelden uit Bij outcome-metingen moet u terugkijken naar uw grootste belanghebbenden en manieren uitwerken om gegevens te verzamelen over zoveel mogelijk van deze belanghebbenden. U moet uw instrument voor de verzameling van outcome-gegevens aanpassen aan elke groep belanghebbenden. Voor een lokale overheidsinstantie wilt u misschien één-op-één interviews voeren met belangrijke contactpersonen om een idee te krijgen hoe u hen helpt met het realiseren van strategische doelen.

Voor uw belangrijkste gebruikers moet u ook bepaalde kwantitatieve gegevens kunnen vastleggen. Als u zakelijke gebruikers of aflossingspartners hebt, zijn dit vaak zeer druk bezette personen voor wie een minder tijdrovende aanpak nuttig kan zijn.

Titel

32

U moet de gebruikers zodanig kiezen dat hun feedback representatief is voor de hele groep. Het gebeurt vaak dat alleen de frequentste gebruikers worden geselecteerd en melding maken van hun outcomes. U wilt misschien komen met een paar goede casestudy's, maar dat is iets anders dan echte outcome-gegevens.

Naast de belangrijkste leden of deelnemers zijn ook de mensen die niet aan uw project deelnemen om een aantal redenen interessant. Zijn er mensen die belangstelling hebben getoond voor uw project, maar de valuta niet of weinig zijn gaan gebruiken? Waarom doen ze dat niet en zijn hun outcomes anders? U kunt vaak achterhalen hoe uw project verandering creëert door deze vragen te stellen – zie vak 5: De Brixton Pound voor details [Box] Vak 5: De Brixton Pound: welke verandering maakt het gebruik van de valuta uit?

Toen voor de Brixton Pound het initiatief 'Payroll Local' (Lokale salarisbetaling) werd gelanceerd (een project waarbij raadsmedewerkers een deel van hun salaris in de valuta konden uitbetaald krijgen), zijn de resultaten van mensen die zich hadden opgegeven om deel te nemen vergeleken met de resultaten van mensen die interesse hadden getoond om mee te doen. De bevindingen: 



De meeste veranderingen werden alleen ervaren door mensen die die zich hadden opgegeven voor het 'Payroll Local'-initiatief.

Bijvoorbeeld 40% van de mensen die een deel van hun salaris ontvingen in B£, zeiden dat ze vaker in Brixton gingen lunchen in vergelijking met 2% in de andere groep.

Er waren enkele resultaten voor mensen die zich niet hadden opgegeven voor het project. Bijvoorbeeld meer dan 40% vond dat Lambeth Council innovatief was en 25% voelde zich trotser op Brixton zelfs al deden ze niet mee aan het programma. Deze percentages waren nog steeds lager dan voor hen die een deel van hun salaris in B£ ontvingen.

[end box] Afbeelding 3: Voorbeeld van een stroomdiagram van de betrokkenheid van primaire gebruikers

Titel

33

Voor al deze aspecten zijn er glijdende schalen voor meting. We geven deze verschillen aan in tabel 2. Voor sommige organisaties is het niet mogelijk, noodzakelijk of wenselijk om metingen te verrichten tijdens meer geavanceerde fasen en zijn de behoeften veel meer elementair.

Desalniettemin kan in sommige gevallen de implementatie van meer geavanceerde en rigoureuze evaluatieprocedures relatief eenvoudig zijn, bijvoorbeeld door samen te werken met een universiteit. Het Transition Network biedt enkele nuttige adviezen voor projecten waarin naar samenwerking met onderzoekers wordt gezocht.20 Tabel 2: Fasen om resultaten te meten Elementair

Geavanceerd

Wat

Vooral outputs

Gebruik een serie indicatoren om de voortgang naar outcomes op langere termijn te meten.

Combinatie van subjectieve en objectieve indicatoren.

Hoe

Zeer elementaire enquĂŞte

Verzameling van outcomegegevens opgenomen in de manier waarop het project wordt afgeleverd en alle nieuwe projecten waaraan u begint. Samenwerking met een onafhankelijke derde partij (bijv. een universiteit) die uw bevindingen kan controleren.

Wanneer Outcome-gegevens die op

Outcomes verzameld voor, na en met regelmatige tussenpozen tijdens de deelname. Dit is met inbegrip van een vergelijkingsgroep die niet deelneemt.

willekeurige momenten worden verzameld.

Titel

34

Wie

Outcomes verzameld voor een Outcomes verzameld in een willekeurige steekproef van willekeurige steekproef zelf geselecteerde gebruikers gebruikersgroepen en andere belanghebbenden. Outcomes verzameld tegen een vergelijkingsgroep.

Wilt u claims over causaliteit maken?

Een belangrijke fase van gegevensverzameling is de beoordeling van de mate waarin de outcomes het gevolg zijn van uw project. Hoe eerder u deze stap kunt plannen, hoe groter de kans dat uw bevindingen betrouwbaar zijn.

Er zijn twee algemene benaderingen om effect te meten. We noemen de eerste 'iteratieve effectevaluatie'. Hierbij wordt geprobeerd causaliteit na of tijdens het project te beoordelen. Het tweede type is 'Ontwerpen voor effectevaluatie' omdat het hele proces wordt ontworpen om causale effecten te vinden. De laatste benadering wordt gewoonlijk gevolgd door economen of beleidsbeoordelaars bij de overheid of op universiteiten.

1) Iteratieve effectevaluatie Afbeelding 4: Van outcome naar effect

In een evaluatiemethodologie zoals sociaal rendement op investering worden drie belangrijke aspecten geïdentificeerd voor de overgang van outcomes naar effecten: 

Deadweight: In welke mate zou de verandering zich ook hebben voorgedaan als er niets was gedaan?



Attributie: Hoeveel van de verandering is veroorzaakt door uw project en hoeveel door andere factoren?



Verplaatsing: Heeft uw project een probleem naar elders verplaatst?

Als u bovendien de claim maakt dat uw outcomes een langetermijneffect hebben, moet u ook nadenken over de 'drop-of': de mate waarin het effect na verloop van tijd zal afnemen.

Er zijn aan paar manieren waarop u kunt beginnen na te denken over wat deze effecten zijn. U kunt onderzoeken of 'retrospectief inschatten' hoeveel invloed u hebt gehad.21 Of u kunt expliciet vragen naar de mening Titel

35

van mensen over de attributie binnen uw instrumenten voor gegevensverzameling.22 Zelfs als u deze effecten niet met zekerheid kunt bewijzen, kunt u, wanneer u er even over nadenkt, eerlijker en realistischer zijn over de veranderingen die u teweeg brengt.

2) Ontwerpen voor effecten De tweede methodologie beoogt te bepalen wat de effecten van een project zijn door een evaluatie te ontwerpen waarmee wordt geprobeerd een causaal verband te leggen. Dit betekent dat u, in plaats van de attributie, deadweight en verplaatsing aan het einde van het proces te beoordelen, een evaluatie ontwerpt waarin deze automatisch is aanmerking worden genomen. De methode die het eenvoudigst te begrijpen (maar ook het meest controversieel) is, is het gebruik van gerandomiseerde gecontroleerde onderzoeken. Er zijn echter ook een aantal andere methodes die niet op dezelfde manier op een controlegroep berusten.

Veel van deze methodes zijn onrealistisch voor organisaties aan de basis.

Voor veel mensen kan het gebruik van een controlegroep onpraktisch of zelfs onethisch lijken. Als u een controlegroep wilt hebben, moet u sommige mensen de toegang tot uw project ontzeggen, wat niet eerlijk lijkt. Het tegenargument hiervoor is dat het niet per se ethisch is overheidsgeld te besteden aan een project waarvan de effectiviteit niet kan worden bewezen. Een controlegroep kan het effect van uw valutaproject bewijzen.

Als u kunt samenwerken met een universiteit, kunt u mogelijk een manier uitwerken om rigoureus onderzoek te doen op een manier die past bij beide. In vak 6: Door een project gefaseerd uit te brengen, geven we het voorbeeld van het gebruik van een 'difference-in-difference'onderzoeksontwerp waarin u een vergelijking van het verschil in outcomes maakt tussen een gebied waar de valuta wordt gebruikt en een gebied waar dat niet zo is. Een andere optie (zoals in het voorbeeld van de Brixton Pound) is bepaalde elementaire gegevens vast te leggen van mensen die hun belangstelling voor een project hebben geuit, maar zich uiteindelijk niet hebben opgegeven of die zich hebben opgegeven maar geen regelmatige gebruikers van het project zijn geworden.

[Box] Vak 6: Een project gefaseerd uitbrengen Een onderzoeksteam van de Solvay Brussels School of Economics and Management werkt samen met een van de CCIA-pilotvalutaprojecten van Limburg.net aan de evaluatie van hun E-Portemonnee-valutaprogramma.

Dit is een op punten gebaseerd valutaprogramma dat is ontworpen om duurzaam, milieuvriendelijk gedrag te bevorderen en momenteel functioneert op 13 locaties in Belgisch Limburg. Hun einddoel is het project in de volledige regio Limburg door te voeren.

Het onderzoeksteam ontwikkelt in samenwerking het Limburg.net een serie outcome-indicatoren die verandering in de richting van de langetermijndoelen van Limburg meten om minder afval te produceren.

Het onderzoeksteam heeft aanbevolen om, voordat het project op grotere schaal wordt doorgevoerd, de locaties waar de valuta niet wordt gebruikt, te gebruiken als controlegroep (dit is een 'difference-in-difference'ontwerp. Dit betekent dat ze de voortgang op de indicatoren kunnen vergelijken voor- en nadat de mensen gingen deelnemen aan het project.

Ze kunnen deze indicatoren ook vergelijken met mensen die op een Titel

36

locatie leven waar het project niet wordt gebruikt. Het onderzoeksontwerp is gebaseerd op de manier waarop ze het project in fasen implementeren en betekent daarom niet dat ze groepen moeten weigeren. [end box]

Conclusie U hebt nu meer duidelijkheid over de verschillende opties om een evaluatie uit te voeren en hebt een idee van de manier waarop u een ToC voor uw project kunt starten. Dit levert u enige directe feedback op uw project op en kan ook het begin zijn van een uitgebreidere evaluatie.

Het is vaak verleidelijk een evaluatie laag op de prioriteitenlijst te zetten, maar uw evaluatie zal beter (en eenvoudiger) zijn als u de fasen en de verzameling van gegevens in de projectaflevering kunt inbouwen.

Evaluatie is belangrijk en moet deel uitmaken van de strategie en toekomstige ontwikkeling van uw project. Door tijd te reserveren om te beoordelen of uw doelen zijn bereikt, kunt u voor uw valutaproject aantonen dat het serieus wil proberen verandering in de economie te be誰nvloeden en de levens van mensen te verbeteren.

Titel

37

Verklarende woordenlijst Activiteiten: Een beschrijving van wat u feitelijk 'doet' in het kader van uw GV-project – bijvoorbeeld een valuta beheren, sociale evenementen organiseren, bekendheid geven aan lokale bedrijven zijn allemaal activiteiten.

Attributie: Rekening houden met attributie betekent proberen te begrijpen hoeveel verandering is veroorzaakt door de bijdragen van andere organisaties of mensen en niet alleen ten gevolge van uw gemeenschapsvaluta. Sommige mensen vinden bijvoorbeeld betaald werk nadat ze uw GV hebben gebruikt, maar dit kan slechts ten dele worden 'geattribueerd' aan uw project. U moet ook hun persoonlijke vaardigheden en motivatie 'attribueren'.

Deadweight: Een maat van de outcome die zich sowieso zou hebben voorgedaan, zelfs als u geen GV-project zou hebben georganiseerd. Uw valuta kan er bijvoorbeeld toe leiden dat mensen vrijwilliger worden in hun locatie, maar sommigen van hen zouden ook zonder de stimulans van een GV als vrijwilliger aan de slag zijn gegaan.

Verplaatsing: In sommige gevallen kan een project een nieuwe outcome opleveren, maar gaat dit ten koste van de oorspronkelijke outcome die elders is opgetreden – bijvoorbeeld straatverlichting kan leiden tot minder criminaliteit op de ene straat, maar de criminaliteit kan dan zijn 'verplaatst' naar de volgende straat.

Effect: Een beoordeling van hoe uw GV-project de outcomes voor deelnemers heeft veroorzaakt.

Effectenkaart: Een tabel waarin wordt vastgelegd hoe een organisatie verschil uitmaakt, d.w.z. hoe de organisatie haar middelen gebruikt om activiteiten te bieden die vervolgens leiden tot specifieke outcomes voor verschillende belanghebbenden.

Indicatoren: Een manier om de voortgang naar de doelen te meten.

Logisch model: Een logisch model drukt uit hoe een organisatie verandering creëert en vertoont enkele overeenkomsten met een ToC, maar wordt als meer 'lineair' beschouwd. Een logisch model kijkt daarom meer naar de manier waarop een organisatie inputs gebruikt om activiteiten af te leveren. Daarna volgt het model hoe deze activiteiten kunnen worden omgezet in outcomes.

Materialiteit: Materialiteit is een nuttig concept om te bepalen of iets in uw ToC moet worden opgenomen, ongeacht of het gaat om een outcome, een belanghebbende of een activiteit. Iets is materieel als het weglaten ervan gemaakte beslissingen kan beïnvloeden.

Outputs: Een manier om kwantitatief te beschrijven wat uw activiteiten produceren voor elke belanghebbende – bijvoorbeeld 3000 mensen hebben deelgenomen aan een tijdbankuitwisselingen en tien bedrijven hebben workshops bijgewoond.

Outcomes: De veranderingen die optreden ten gevolge van activiteiten – bijvoorbeeld een betere gezondheid, meer sociaal vertrouwen enzovoort.

Kwalitatieve gegevens: Gegevens die beschrijvend zijn en niet in cijfers kunnen worden uitgedrukt.

Titel

38

Kwantitatieve gegevens: Gegevens die telbaar zijn en in cijfers kunnen worden uitgedrukt.

Belanghebbenden: Mensen, organisaties of entiteiten die verandering (positief of negatief) ondergaan ten gevolge van de activiteit die wordt geanalyseerd.

In dit rapport hebben we ook verwezen naar verschillende soorten gemeenschapsvaluta- of individuele gemeenschapsvalutaprojecten, zoals de WIR Bank of de Transition Towns in Groot-Brittannië. Meer informatie over deze projecten vindt u op www.community-currency.info

Eindnoten

1

Vogel, I. (2012) Review of the use of ‘Theory of Change’ in international development. Afkomstig uit http://r4d.dfid.gov.uk/pdf/outputs/mis_spc/DFID_ToC_Review_VogelV7.pdf

2

Puttick, R. & Ludlow, J. (2013) Standards of evidence: An approach that balances the need for evidence with innovation. London, NESTA. Afkomstig uit http://www.nesta.org.uk/sites/default/files/standards_of_evidence.pdf [geraadpleegd op 26 maart 2014] 3

Nicholls, J., Lawlor, E., Neitzert, E., Goodspeed, T. (2012) A Guide to social return on investment. London: Cabinet Office.

4

Blume, T. & Randle, A. (2013) Social value: A commissioning framework. Part 1: Lessons from Lambeth. Afkomstig uit http://www.collaboratei.com/media/4098/Social%20Value%20A%20Commissioni ng%20Framework%20Report.pdf [geraadpleegd op 24 maart 2014]

5

Haynes, L., Service, O., Goldacre, B., & Torgerson, T. (2012) Test, learn, adapt: Developing public policy with randomised control trials. London: Cabinet Office.

Afkomtig uit https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/62 529/TLA-1906126.pdf 6

Vogel, I. (2012) op. cit.

Titel

39

7

Anderson, A. (n.d.) The community builder’s approach to Theory of Change: A practical guide to theory development. New York: Aspen Institute. Afkomstig uit http://www.dochas.ie/Shared/Files/4/TOC_fac_guide.pdf [geraadpleegd op 24 maart 2014] 8

Ibid.

9

Vogel, I. (2012) op. cit.

10

Steed, S. (2013) How economics is used in government decision making.

London, New Economics Foundation. Afkomstig uit http://www.neweconomics.org/page//images/publications/Economics%20in%20policymaking%20%20Briefing%202.pdf 11

Nicholls, J., Lawlor, E., Neitzert, E., Goodspeed, T. (2012) op.cit.

12

Naughton-Doe, Ruth (forthcoming - 2014/15) What can time banking contribute to social care delivery? A realistic evaluation of time banking in England. PhD thesis from the University of Bristol.

13

Clark, H. & Anderson, A., (2004) Theories of change and logic models: Telling them apart – gepresenteerd tijdens het congres van de American Evaluation Association in 2004. Afkomstig uit http://dmeforpeace.org/learn/theories-changeand-logic-models-telling-them-apart 14

Anderson, A. (n.d.) op. cit.

15

Ibid.

16

Naughton-Doe, Ruth (te verschijnen - 2014/15) What can time banking contribute to social care delivery? A realistic evaluation of time banking in England. PhD thesis from the University of Bristol.

17

Ibid.

18

Collom, E. (2012) ‘Key indicators of time bank participation: Using transaction data for evaluation’, International Journal of Community Currency Research 16 (A) pp18-29.

19

Bijvoorbeeld volgens de Europese wet voor gegevensbescherming is de organisatie of persoon die gegevens verzamelt en verwerkt, een 'voor verwerking verantwoordelijke' die zich mogelijk moet registreren bij een nationale regelgevende instantie. Zie Richtlijn 95/46/EG betreffende de bescherming van gegevens in de EU en de voorgestelde opvolger daarvan, de Algemene verordening gegevensbescherming (AVG). Bijvoorbeeld in Groot-Brittannië moeten voor verwerking verantwoordelijken zich registreren bij het Information Commissioner’s Office http://ico.org.uk.

20

Henfrey, T., & Brangwyn, B. (2013) Transition research primer: Transition and researchers: Unlocking the potential for collaboration. Totnes: Transition Research Network.

21

Hobson, K., Mayne, R., Hamilton, J., Monitoring and Evaluation for Sustainable Communities: Phase1 (2014), Oxford: University of Oxford School of Geography and the Environment. Afkomstig uit http://www.geog.ox.ac.uk/research/technologies/projects/monitoringandevaluatio n

Titel

40

22

U kunt mensen bijvoorbeeld vragen in welke mate volgens hen een outcome het gevolg is van uw GV-project. Voor voorbeeldvragen en meer details over hoe u dit doet, kunt u het volgende document raadplegen: Steed, S., & Nicholles, N. (2010) Small slices of a bigger pie, London: New Economics Foundation.

Afkomstig uit http://s.bsd.net/nefoundation/default/page/file/86c098b42b969e12c6_wam6i8ux8. pdf

Titel

41