Impact meten: hoe, wat, waarom? Zomeruniversiteit Hasselt – 26 augustus 2019
Impact assesment: hoe, wat, waarom?
1. Rikolto? 2. Hoe en waar willen we (bijdragen aan) verandering? 3. Hoe en waarom meten we verandering?
Wereldwijd staan we voor grote uitdagingen
Een groeiende wereldbevolking, steden die uit hun voegen barsten
Een veranderend klimaat
Steeds ouder wordende boeren
Recept van ons voedselsysteem veranderen Lekker eten dat goed is voor mens, boer en klimaat
Internationale netwerkorganisatie 17 landen, 7 bureaus, 157 personeelsleden
82.000 boeren in 83 boerenorganisaties
2. Hoe en waar willen we bijdragen aan verandering?
Analyse voedselsysteem = “veld” onderzoeken
context
Actoren in het veld + hun perspectieven
Veranderingsflow en bestaande dynamieken
Je mogelijkheden / capaciteiten
…
In welke context bevinden we ons?
Voedselsysteem?
Erkennen dat voedselsysteem complex is
Ontrafelen context: veranderingsflow weergeven
Je veranderingsstrategie kiezen (hypotheses)
Voorbeeld pathway of change - Vietnam
Capaciteiten boerenorganisatie versterken (business skills, marketing, contracten onderhandelen
BO’s management team verbetert (…) skills en hebben betere kennis van onderhandelingstechnieken en strategieën
BO’s management team heeft een grotere professionaliteit en onderhandelen voor beterevoorwaarden in contracten
Betere inkomens voor kleinschalige boeren
BO’s en kleinschalige boeren zijn betere geïntegreerd in de keten, hebben meer win-win contracten, betere prijzen voor producten
Voorbeeld POC - BelgiĂŤ
Dialoog tussen burger/consument & retail geeft extra stimulans voor verduurzaming aankoopbeleid - sector
Verduurzaming voedselsysteem in BelgiĂŤ
Proces leidt naar bruikbare handvaten voor verduurzaming
VE zet dialoogproces op tussen burgers/consumenten en retailers
Burgers/consumenten en retailers zoeken samen naar knelpunten en oplossingen.
Middenveldorganisatie s stimuleren leden richting duurzame consumptie
Burgerbeweging (en druk) ontstaat rond duurzame consumptie
‌ wetende dat er beperkte controle is op impact
3. Verandering (impact) meten
Waarom?
• Donor rapportage • Intern & extern leren acties beter sturen via inzicht in complexe context • Doelpubliek: wie heeft extra ondersteuning nodig? Zelf-analyse
Wanneer?
Baseline (jaar 1)
Mid-term evaluatie (jaar 3) OUTCOME
Eindevaluatie (jaar 5) IMPACT
Monitoring & evaluatiesysteem
Sleutelvragen die scope impactmeting bepalen 1. Op welk niveau wil je impact meten? 2. Welke methodes gebruik je? 3. Welk niveau van nauwkeurigheid wil je?
Sleutelvragen die scope impactmeting bepalen
1.Op welk niveau wil je impact meten? Wat is de focus van de impactmeting?
Rikolto’s impactniveaus
duurzame voedingssector & institutionele omgeving
Sterke boerencoĂśperaties
Verbeteren levenscondities kleinschalige boeren & toegang consumenten
Sleutelvragen bij impactmeting
2. Welke methode kies je?
Impact op boeren niveau • Onderzoeksvragen: inkomen Ecologische duurzaamheid Stem en invloed
• Tool: (household) enquêtes • Sample grootte: ten minste 200-300 boeren die ondersteund worden + 200 – 300 boeren uit controle groep (hangt ook af van verwachte effect)
Impact op consumenten niveau • Onderzoeksvraag: Toegang en consumptie van gezonde en duurzame voeding is mainstream • Tool 1: populatie enquêtes Gebruik bestaande surveys indien mogelijk (bv. Middenveld, overheid, bedrijven)
• Tool 2: trend analysis Vergelijken sectordata over tijd (bv. Aankopen in supermarkten)
• Sample grootte: bepaald in functie van gewenst effect
Impact bij partnerorganisatie (FO / school level) • Onderzoeksvraag: verandering in organisatorische / duurzaamheidscapaciteiten • Tool 1: SCOPEinsight assessments • Tool 2: Process Tracing interviews Levert overtuigend bewijsmateriaal over bijdrage en effectiviteit van Rikolto’s werk mbt. capaciteitsversterking Interessant voor donoren (RoI)
• Sample grootte: 4-8 boerenorganisaties of scholen
Impact op sectorniveau • Onderzoeksvraag: veranderingen op sector niveau • Tool 1: Qualitative Comparative Analysis (QCA) Genereert hypotheses die gevalideerd moeten worden door triangulatie (gesprekken / datacollectie bij derden) Veel cases nodig om causale relaties te detecteren
• Sample grootte: 20 interventies op institutioneel niveau
Sleutelvragen bij impactmeting
3. Welke mate van nauwkeurigheid verwacht je bij impactmeting?
Sleutelvragen bij impactmeting
Controlegroep? Sample grootte? Datacollectie vs. externe (bestaande data)? ‌
Uitdagingen impact meting Kost Timing (vaak binnen programma – impact mogelijk?) Bijdrage Rikolto filteren Nauwkeurigheid (bias – controlegroep - ...) Moeilijk of gevoelig meetbare data (bv. mentaliteit – inkomen) • Logistieke struikelblokken (geografische versnippering, conflict, ongeletterdheid,…) • ... • • • • •
Spectrum van creatieve, innovatieve tools om verschillende facetten van interventies te meten
Duurzaamheidstool tool Senegal
Scope Insight tool Meten van business & organisatie skills van boerenorganisatie
Scope Insight tool
Scope Insight tool Meten van business & organisatie skills van boerenorganisatie
• Kwantitatieve data • Geharmoniseerde tool – vergelijkbaar (benchmark) • Makkelijk om sterktes en zwaktes op te sporen – strategie aan te passen • Baseline & impact • Consortium van organisaties (AMEA) – credibele tool • Bruikbaar voor organisaties zelf ten aanzien van bv. financiële instellingen, …
Sensemaker: patronen zoeken in verhalen With support from the Bill & Melinda Gates Foundation
Meten en beter begrijpen van de minder tastbare veranderingen in handelsrelaties tussen kopers en boerenorganisaties zoals ze ervaren en gepercipieerd worden door boeren
SenseMaker is een leergerichte monitoring en evaluatiemethode die vertrekt vanuit de verhalen en ervaringen van mensen.
The Inclusive Business Scan
Step 1: Story collection
“Think about a specific recent moment or event when you felt particularly encouraged or concerned about being a producer and selling your produce to the company.�
Step 2: Self interpretation
Toepassing: inclusive Business scan 2014-2017 Doel: peilen naar inclusie van kleinschalige boeren in formele markten (impact) Inzicht verwerven naar effectiviteit nieuwe business modelen (onze strategie) Kost-effectief
Cacao Indonesia (500+500 stories) Cacao Nicaragua (300 stories) Coffee Congo (800+520 stories)
Rice Senegal (400 stories) Mango Burkina Faso (150 stories) Beans Guatemala (400 stories )
T5 Facteurs explicatifs des quantités des cerises livrées à la MSL Prix élevé par rapport à celui de la concurrence n=488 N/A: 6%
57%
75%
143 histoires portant la production de café de haute qualité et l’adoption de bonnes pratiques culturales, où trois quarts considèrent plus explicitement le prix élevé comme facteur déterminant les quantités apportées (la moitié de ces trois quarts provenant des MSL Mathungu, Rughetsi, Kighali et Ihunga). On observe la même tendance (75%) pour les sondés considérant la commercialisation collective comme l’un des services principaux fournis par la CooKKanz.
5%
Distance entre le champ et la MSL
L’endettement auprès des acheteurs porte à porte
There is a sub-group of micro-washing stations that has shared experiences that made them proud and who oftentimes are proportionally more explicit in saying that: The benefits of collaboration are worth the effort They trust the coop to find the best market for their produce The value of collective marketing as a service provided by the coop Linking the production of high quality coffee and adopting GAP with higher sales prices Prices paid for their produce allow in future investments Positive deviance, outliers to be studied further?
Voices that count Jongeren in landbouw (Nicaragua)
Ook voor planning mogelijk (baseline) 2015-2016 Patronen detecteren in complexe context Inzicht in uitdagingen, struikelblokken en drivers voor jongeren in agri-business Meerwaarde voor jongeren : participatief project met jongeren
Ecuador+ Peru (389 stories) Nicaragua (478 stories)
Zambia (600 stories)
T1. In jouw verhaal, wat hield jongeren tegen? Gebrek relevante capaciteiten 14% Where do you live?
N/A: 8%
Urban area Rural area
12% 23%
Gebrek aan business opportuniteiten
15%
46%
53% 45%
Gebrek aan middelen
T3. In your example, what were people pursuing? Power/status/reputation Highest educational degree obtained
19%
Elementary school
N/A: 2%
High/Technical school University
8%
44%
26%
41%
34%
19%
33%
Happiness
33% 13%
40%
Wealth/income
Situatie Rikolto België • Scholen: nulmeting vs. Vooruitgangsmeting over duurzaamheidspraktijken • Retailers: dieptegesprekken, externe sectorverslagen • Consumenten: enquêtes TA,.. ?
Voorbeeld vragen Wat versta jij onder gezonde, duurzame voeding? Wordt er op je school aandacht besteed aan gezonde en/of duurzame voeding tijdens de les.
Ben je tevreden over het voedingsaanbod op school? Heb jij de afgelopen twee jaar iets zien veranderen op het vlak van voeding op je school? Welke voeding wordt er geserveerd op jouw droomschool?
Liesbeth Van Meulder Liesbeth.vanmeulder@rikolto.org