ra08_23

Kompetensutvecklingsinsatser inom Miljö- och landsbygdsprogrammet 2000–2006 – en metautvärdering

Rapport 2008:23 Foto: Mats Pettersson

Kompetensutvecklingsinsatser inom miljö- och landsbygdsprogrammet 2000–2006 – en metautvärdering

2008-10-28 Referenser Jordbruksverket Håkan Alfredsson Carin Bunnvik Ulrika Franke Lars Pettersson Referens SLU Jörgen Wissman Författare Konkludo AB Cornelia Björk Solveig Lagerhall Lena Lindgren

Förord KULM- och K2-verksamheten utgjorde viktiga byggstenar i Miljö- och landsbygdsprogram för Sverige 2000-2006 (LBU-programmet). Verksamhetens syfte var att, med hjälp av olika kompetensutvecklingsåtgärder, motivera och utbilda lantbrukare och andra personer verksamma inom jordbruket att använda miljöanpassade produktionsmetoder. K2verksamheten hade som syfte att främja den sociala och ekonomiska utvecklingen på landsbygden med hjälp av utbildningsinsatser.

SLU har under 2008 regeringens uppdrag att utvärdera LBU-programmet. Utvärdering av kompetensutveckling är en del av detta arbete. SLU har därför låtit genomföra en metautvärdering av de utvärderingar och uppföljningar som redan gjorts av kompetensutveckling under programperioden.

Jordbruksverket har haft ansvar för den nationella utvärderingen i LBU-programmet under programperioden. Jordbruksverket har också i nuvarande landsbygdsprogram (2007-2013) ett ansvar för att identifiera och vidta åtgärder och insatser som behövs för att nå målen med åtgärderna. Under den tidigare programperiodens gång har ett antal olika utvärderingsstudier och andra uppföljningsrapporter presenterats. Vi har därför ansett det angeläget att utifrån metautvärderingen bedöma utvärderingarnas kvalitet och belysa vilken potential som finns för att kunna förbättra kommande utvärderingar.

Denna rapport utgör en samlad sammanställning över metautvärderingen på SLU:s uppdrag och den ytterligare utvärdering som Jordbruksverket tagit initiativ till. Rapporten har gjorts av Konkludo AB och författare är Cornelia Björk, Solveig Lagerhall och Lena Lindgren.

Författarna är ensamma ansvariga för innehållet i rapporten vad gäller tolkningar och slutsatser.

Jordbruksverket i oktober 2008 --------------------------------------Referenser: Jordbruksverket Håkan Alfredsson Carin Bunnvik Ulrika Franke Lars Pettersson SLU Jörgen Wissman

1

Innehåll Förord........................................................................................................................................ 1 1 Sammanfattning ............................................................................................................... 5 2 Inledning ........................................................................................................................... 7 2.1 Metautvärdering ......................................................................................................... 7 2.2 KULM och K2 ........................................................................................................... 9 2.3 Uppdraget ................................................................................................................. 10 3 Material och metod ........................................................................................................ 11 3.1 Kategorisering av dokument .................................................................................... 11 3.2 Täckningsgrad .......................................................................................................... 13 3.2.1 KULM:s verksamhetslogik .............................................................................. 14 3.2.2 K2:s verksamhetslogik ..................................................................................... 16 3.2.3 Analysmodeller täckningsgrad......................................................................... 17 3.3 Analysmodeller för kvalitet...................................................................................... 18 3.4 Metoddiskussion....................................................................................................... 22 4 Resultat............................................................................................................................ 25 4.1 Kvalitetsbedömning utvärderingar........................................................................... 25 4.1.1 Objektsbeskrivning........................................................................................... 25 4.1.2 Design............................................................................................................... 26 4.1.3 Datainsamling/metod ....................................................................................... 28 4.1.4 Analys och slutsatser........................................................................................ 29 4.1.5 Tillgänglighet ................................................................................................... 30 4.1.6 Sammanvägd bedömning av kvalitet i utvärdering.......................................... 31 4.2 Kvalitetsbedömning uppföljningar........................................................................... 31 4.2.1 Material/datainsamling..................................................................................... 31 4.2.2 Reliabilitet ........................................................................................................ 33 4.2.3 Innehållsvaliditet .............................................................................................. 34 4.2.4 Analys............................................................................................................... 35 4.2.5 Tillgänglighet ................................................................................................... 36 4.2.6 Sammanvägd bedömning av kvalitet i uppföljning.......................................... 37 4.3 Vad dokumenten har att säga om KULM och K2.................................................... 37 4.3.1 KULM .............................................................................................................. 37 4.3.2 K2 ..................................................................................................................... 43 4.3.3 Sammanvägd bedömning av täckningsgrad..................................................... 44 5 Slutsatser, diskussion och rekommendationer ............................................................ 47 5.1.1 Slutsatser i ett nötskal....................................................................................... 47 5.1.2 Diskussion och rekommendationer .................................................................. 48 6 Referenser ....................................................................................................................... 53

3

Bilaga 1: Uppdragsbeskrivning............................................................................................. 55 Bilaga 2: Lista på studerade dokument................................................................................ 57 Bilaga 3: Bedömning av gränsfall vid kategoriseringen av dokument.............................. 59 Bilaga 4: Exempel på god kvalitet ........................................................................................ 61 Bilaga 5: Rikssnitt nöjdhetsindex för kurs .......................................................................... 63 Bilaga 6: Rikssnitt nöjdhetsindex för rådgivning................................................................ 65 Bilaga 7: Andel kvinnor i KULM:s kurser .......................................................................... 67 Bilaga 8: Andel kvinnor i KULM:s rådgivning................................................................... 69

Figur- och tabellförteckning Figur 1: Kriterier för kategorisering av dokument ................................................................... 12 Figur 2: Kategorisering av dokument....................................................................................... 13 Figur 3: Verksamhetslogik ....................................................................................................... 14 Figur 4: Verksamhetslogik KULM .......................................................................................... 16 Figur 5: Verksamhetslogik K2 ................................................................................................. 17 Figur 6: Modell för bedömning av täckningsgrad KULM ....................................................... 18 Figur 7: Modell för bedömning av täckningsgrad K2.............................................................. 18 Figur 8: Modell för bedömning av utvärderingars produktkvalitet.......................................... 19 Figur 9: Modell för bedömning av uppföljningars produktkvalitet ......................................... 21 Figur 10: Vad dokumenten säger om KULM (hänvisningar till dokumenten ligger i texten). 42 Figur 11: Vad dokumenten säger om K2 (hänvisningar till dokumenten ligger i texten) ....... 44 Figur 12: En grundstruktur för uppföljningssystem................................................................. 51 Tabell 1: Objektsbeskrivning ................................................................................................... 25 Tabell 2: Design ....................................................................................................................... 27 Tabell 3: Datainsamling/metod ................................................................................................ 28 Tabell 4: Analys och slutsatser................................................................................................. 29 Tabell 5: Tillgänglighet............................................................................................................ 30 Tabell 6: Material och datainsamling....................................................................................... 32 Tabell 7: Reliabilitet................................................................................................................. 33 Tabell 8: Innehållsvaliditet....................................................................................................... 34 Tabell 9: Analys ....................................................................................................................... 35 Tabell 10: Tillgänglighet.......................................................................................................... 36 Tabell 11: Totalt utnyttjade medel inom KULM ..................................................................... 38 Tabell 12: Antal deltagare per år i KULM (enskild rådgivning och utbildning) ..................... 38 Tabell 13: Ökat intresse hos målgruppen................................................................................. 39 Tabell 14: Andel av deltagarna som har förändrat sitt beteende sedan år 2000....................... 40 Tabell 15: Totalt utbetalda belopp i kronor till K2-verksamheten under 2002 – 2006............ 43 Tabell 16: Deltagarantal för K2 ............................................................................................... 43

4

1 Sammanfattning Föreliggande rapport är en metautvärdering av två kompetensutvecklingsinsatser (KULM och K2) som genomförts inom Miljö- och landsbygdsprogrammet 2000–2006. I rapporten studeras ett antal dokument som under programperioden har författats om KULM och K2:s verksamheter och tre huvudsakliga frågeställningar besvaras: 1) Vilka aspekter av KULM och K2 studeras i dokumenten? 2) Vad har dokumenten att säga om KULM och K2? och 3) Vilken kvalitet har denna kunskap?

Arbetet började med att dokumenten delades in i två huvudkategorier, utvärderingar och uppföljningar. Därefter utvecklades ett analysschema för respektive kategori för att bedöma dokumentens kvalitet. Vidare rekonstruerades KULM och K2:s verksamhetslogiker där antaganden om hur verksamheterna är uppbyggda och tänkta att fungera tydliggjordes. Dessa användes sedan som analysscheman för att bedöma vilka aspekter av verksamheterna som studerats i dokumenten.

Rapportens huvudsakliga slutsatser ifråga om kvalitet är att få dokument är att betrakta som utvärderingar. De utvärderingar som finns håller god kvalitet men kan förbättras genom tydliggörande av verksamhetslogik och frågeställningar. När det gäller uppföljningarna så bedöms de dels ha låg tillgänglighet, dels brista i det att allt insamlat empiriskt material inte behandlas.

När det gäller vad dokumenten har att säga om insatserna är de huvudsakliga slutsatserna att väldigt lite information finns om K2. Ifråga om KULM indikerar dokumenten att lantbrukarna (mellan 40 och 50 %) fått ett ökat intresse för frågor aktuella inom kompetensområde 1 – 4 samt att en del lantbrukare (mellan 20 och 40 %) har förändrat sitt beteende i linje med vad kompetensområde 1 – 4 förespråkar.

Ifråga om täckningsgrad är de huvudsakliga slutsatserna att data om ökad kunskap har insamlats utan att sammanställas på en övergripande nivå vilket är anmärkningsvärt eftersom KULM och K2 just är kompetensutvecklingsinsatser. Huruvida KULM bidragit till att stärka effekten av andra åtgärder inom LBU, om miljökvalitetsmålen uppnåtts eller om djurvälfärden förbättrats har endast studerats i liten omfattning.

Analysen ledde fram till att följande rekommendationer lämnas till Jordbruksverket: -

Stärk beställarkompetensen hos programansvariga.

-

Rekonstruera verksamhetslogiken för KULM/K2:s motsvarigheter i det nya programmet.

-

Med utgångspunkt i den nya verksamhetslogiken omsorgsfullt diskutera hur uppföljningen av verksamhet inom den nya programperioden ska se ut.

-

Förhåll er kritiskt till vad som faktiskt är möjligt att följa upp givet tillförlitligheten till och kostnaderna för att samla in empiriskt material.

5

2 Inledning Kraven på offentliga organisationer att redovisa att deras verksamhet har förväntad kvalitet, att de åstadkommit avsedda resultat och att detta skett till en rimlig kostnad är idag mycket stora. För att möta kraven krävs att såväl tjänstemän som professionella på ett systematiskt och tillförlitligt sätt följer upp och utvärderar såväl arbetsprocesser som deras resultat. För att inte detta arbete ska bli en tom ritual som bara stjäl resurser krävs också att den kunskap som utvärderingarna frambringar används på ett medvetet och ansvarsfullt sätt för kvalitets- och verksamhetsutveckling samt för styrning och kontroll. I det sammanhanget är det givetvis av största vikt att de utvärderingar som görs har en god kvalitet, annars finns en stor risk att användningen leder till felaktiga beslut. Många menar också att en god kvalitet är avgörande för att utvärderingarna alls ska komma till användning.

Frågan är dock vad som menas med god utvärderingskvalitet. Vilka egenskaper i en utvärdering kan och bör användas för att bedöma kvalitet? Hur kan de utvalda egenskaperna operationaliseras så att det empiriskt går att visa på deras förekomst eller tillstånd i en given utvärderingsrapport? Räcker det med att granska rapporten, eller ska hela utvärderingsprocessen – från beställning och genomförande till användning och nytta bedömas? En annan viktig fråga i sammanhanget är om utvärderingskvalitet kan och bör vara någonting entydigt, eller om olika utvärderingssituationer och ansatser kräver olika definitioner av kvalitet.

I förlängningen av de ökade kraven på utvärdering och av diskussionen om utvärderingskvalitet har begreppet metautvärdering fått ökad aktualitet. Med metautvärdering menas utvärdering av utvärderingar eller, mera bestämt, utvärdering som sammanställer resultat från flera befintliga utvärderingar inom ett område och/eller granskar kvaliteten av dessa. Det är just en metautvärdering som föreliggande rapport handlar om. De utvärderingar som utgjort själva studieobjektet är sådana som gjorts av kompetensutvecklingsinsatserna KULM och K2 inom ramen för Miljö- och landsbygdsprogrammet 2000–2006. Vad en metautvärdering innebär, hur just denna genomförts och varför den kommit till stånd beskrivs i följande avsnitt.

2.1 Metautvärdering Vi lever i utvärderingens tidevarv när allt som görs inom den offentliga sektorn ska granskas och bedömas i en omfattning som inte förut skådats. Från många håll framförs numera också krav på evidensbaserad social praktik, dvs. att man särskilt inom välfärdsstatens kärnområden använder metoder baserade på vetenskaplig kunskap om deras verkan. Måhända som en naturlig följd av denna utveckling, som Vedung (2003) kallat en förvaltningspolitisk megatrend, har många börjat intressera sig för nivån ovanför verksamhetsnivån och argumenterat för att själva utvärderandet i sig bör bli föremål för utvärdering. Begrepp som systematisk kunskapsöversikt, metaanalys och metautvärdering har på så vis vunnit internationell uppmärksamhet som nya former för utvärderings- och kunskapsproduktion.

Systematisk kunskapsöversikt innebär att all tillgänglig litteratur inom ett område sammanställs och granskas med avseende på resultat och kvalitet. I den mån översikten bygger på kvantitativa data kan en metaanalys göras. Metaanalys är en statistisk metod som använder resultaten från många, oberoende studier som bedöms ha god vetenskaplig kvalitet och högt bevisvärde (evidens) för att dra slutsatser om t.ex. värdet av en viss behandlingsmetod. Grunden för inklusion i en metaanalys är vanligen den så kallade evidenshierarkin där experimentella, randomiserade, kontrollerade studier rankas högst, och 7

ickeexperimentella studier utan kontrollgrupper där resultaten beskrivs med ord rankas lägst.

För studier som inte lever upp till dessa krav har andra former för metaanalys utvecklats med engelska beteckningar som “narrative reviews” och “metaethnography”. Nyhetsanspråken till trots har metaanalys flera decennier på nacken, och kunskapsöversikter är en klassisk form för kunskapsutveckling inom forskarsamhället.1 Det som är nytt är specialiserade, internationella organisationer som sysslar med att kvalitetsgranska forskning inom sitt område, och aktivt förmedla den reliabla forskningen vidare till potentiella användare, också utanför forskarsamhället. Även metautvärdering har flera decennier på nacken. Begreppet introducerades första gången av Scriven (1969) som beskrev metautvärdering som utvärdering av utvärdering, utvärderingssystem eller -metoder. Hans argument var att dåliga utvärderingar lätt kan vilseleda beslutsfattare, vilket i sin tur kan få ödesdigra konsekvenser. Utvärderingar borde därför granskas med avseende på deras kvalitet. Med tiden har en mängd andra författare argumenterat för värdet av detta slags analys, varvid även flera olika former för metautvärdering lanserats.

Utvärdering enligt Scrivens (1991, s 139) ofta citerade definition ”… refers to the process of determining the merit, worth, or value of something, or the product of that process.” Med meriter avses de inneboende egenskaperna och kvaliteterna hos ett utvärderingsobjekt, och med värdet avses objektets betydelse i det system i vilket det ingår. Samma definition kan överföras till metautvärdering som kan ta sikte på dels befintliga utvärderingars meriter, d.v.s. kvaliteter hos utvärdering som produkt, dels på värdet av dessa utvärderingar i ett system, d.v.s. utvärderingarnas användning och nytta. Precis som i all utvärdering krävs också i en metautvärdering att bedömningskriterier formuleras som preciserar hur utvärderingar ska vara beskaffade för att anses ha god kvalitet, respektive hur användningen av utvärderingar ska se ut för att anses vara meningsfull. Med utgångspunkt i detta sätt att tänka kan man enligt vår mening peka ut minst fyra olika former eller inriktningar av metautvärdering, nämligen metautvärdering inriktad på produktkvalitet, användning, resultat samt utvärderingssystem.

Här nedan beskrivs kort dessa fyra former samt de kriterier som kan ligga till grund för den bedömning som respektive form ställer krav på.

För den första typen av metautvärdering, som enligt Rogers (2000) översikt av forskningsfältet är vanligast, finns utarbetade standarder och checklistor att tillgå som kan tjäna som kriterier för bedömning av produktkvalitet.2 Typiska frågor som ställs i dylika skrifter är t.ex. om utvärderingens objekt är tydligt beskrivet, om det finns en redovisning av kriterier som använts vid bedömningen av objektet, om det finns en systematik och tydlighet i metoder som tillämpats och om de slutsatser som dras är tillförlitliga.

Metautvärdering för att bedöma utvärderingars användning har sin grund i utvärderingslitteraturen där frågor kring användning är mycket central. Att så är fallet beror på att det funnits och finns en stark oro för att utvärderingar inte används på avsett vis, d.v.s. som grund för beslutsfattande. Stor tankemöda har därför lagts ner på att identifiera andra tänkbara användningsformer som med fördel kan användas vid detta slags metautvärdering, såsom konceptuell och rituell användning. Metautvärdering med fokus på användning är emellertid inte någon vanlig aktivitet, av någon anledning finns mycket få empiriska studier av hur utvärderingar faktiskt används.3 Vi vet därför inte särskilt mycket om och hur utvärderingar används i offentliga organisationer. Därför vet vi inte heller om användningen i sin tur leder till verksamhetsutveckling och högre grad av måluppfyllelse, eller om 1

Foss Hansen & Rieper (2005) Här kan t.ex. nämnas Joint Committee on Standards (1994; EU-Commisson (2002); SIDA (2004); Key Evaluation Checklist (2007).

3 Shulha & Cousins (1997); Leviton (2003).

2

8

utvärderingar påverkar verksamheten på oönskat vis.4 En tredje form av metautvärdering, som har stora likheter med metaanalys och systematiska kunskapsöversikter, innebär att resultat från flera utvärderingar som gjorts inom ett visst område sammanställs. Här undersöks vad man kan lära om hur t.ex. en behandlingsmetod eller en viss typ av organisation fungerar i olika sammanhang, varvid kriteriet för bedömning utgörs av metodens eller organisationsformens förväntade effekter. Fokus i detta slags metautvärdering kan emellertid också ligga på andra bedömningskriterier än förväntade effekter, t.ex. utvärderingars täckninsgrad. Forss m.fl. (2006) har exempelvis undersökt om, hur och i vilken omfattning SIDA:s utvärderingar motsvarar sina uppdragsbeskrivningar (”terms of reference”).

Metautvärdering används också för en fjärde typ av analys, bedömning av organisationers utvärderingssystem. Ett utvärderingssystem kan givetvis vara många olika saker. Det kan vara knutet till en sektor (t.ex. jordbruksområdet), men det kan också vara en del av ett större system (t.ex. den statliga budgetprocessen). Ett utvärderingssystems huvuduppgift är dock att generera ett flöde av information om kostnader, kvalitet, processer, effektivitet etc. Vilka kriterier som ska ligga till grund för bedömning av ett utvärderingssystem finns det givetvis inte heller något entydigt svar på, men ett vanligt synsätt är att utvärderingar ska genomföras och användas med en viss systematik. Enligt Faugert m.fl. (2005) innebär systematik i detta sammanhang att det finns ett klart definierat ansvar och riktlinjer för utvärderingsverksamheten, tydliga uppdragsbeskrivningar med frågor som är möjliga att besvara med givna resurser, vissa bestämda användningar eller syften i sikte och att verksamheten ingår i en större besluts- och planeringskontext. Ett liknande synsätt återfinns hos EU-kommissionens (2002) Evaluation Standards and Good Practice, och i svenska myndigheters policydokument för utvärdering.5 Föreliggande metautvärdering inbegriper en bedömning av produktkvalitet och täckningsgrad hos de utvärderingar av KULM och K2 som gjorts under 2000–2006.

2.2 KULM och K2 KULM och K2 var två insatser inom Miljö- och landsbygdsprogrammet (LBU). LBUprogrammet genomfördes åren 2000 – 2006 som ett led i moderniseringen och reformeringen av EU:s jordbrukspolitik. Det utgjorde ett så kallat samlat program vilket innebär att EU:s medlemsländer försöker skapa en integrerad syn på lantbrukets utveckling. LBU var således en del av ett större program på EU-nivå.

På nationell nivå har Jordbruksverket haft det övergripande ansvaret för planering, genomförande, administration och uppföljning av LBU. På regional nivå har länsstyrelserna haft motsvarande ansvar. Programmet var uppbyggt av olika insatser inom två områden, dels ekologisk hållbar utveckling på landsbygden (insatsområde I), dels ekonomiskt och socialt hållbar utveckling på landsbygden (insatsområde II). Insatserna bestod av olika former av ekonomiskt stöd till lantbruket, exempelvis kompensationsbidrag till jordbruk i mindre gynnade områden och investeringsstöd för att underlätta anpassningen till ett ekologiskt hållbart jordbruk. LBU innefattade även insatser i form av kompetensutveckling för personer verksamma inom jordbrukssektorn.6

4

Lindgren (2006).

SIDA (2007), Naturvårdsverket (2007), Ekonomistyrningsverket (2005) 6 Jordbruksdepartementet 5

9

Både KULM och K2 var kompetensutvecklingsinsatser inom LBU, vilka syftade till att utbilda och motivera lantbrukare och andra personer verksamma inom jordbruket. Insatserna bestod av olika former av rådgivning, utbildning och informationsspridning.7 Kompetensutvecklingen inom KULM handlade i första hand om att uppnå målsättningar inom insatsområde I, ett ekologisk hållbart lantbruk, medan insatserna inom K2 handlade om att uppnå målsättningar inom insatsområde II, en ekonomiskt och socialt hållbar utveckling på landsbygden.

LBU har nu avslutats och en ny programperiod har påbörjats som sträcker sig från 2007 till och med 2013. Under föregående programperiod har ett antal dokument sammanställts om KULM och K2 och verksamheterna har på olika sätt följts upp och utvärderats. Inför slututvärderingen av LBU-programmet har ansvariga för verksamheten efterfrågat en metautvärdering av dessa dokument, vilket är bakgrunden till föreliggande rapport.

2.3 Uppdraget Uppdraget har beställts av Jordbruksverket samt Sveriges lantbruksuniversitet och utförts av utvärderingsföretaget Konkludo AB. I uppdraget låg att genomföra en metautvärdering av de dokument som under programperioden har författats om KULM och K2:s verksamheter.

Uppdragsbeskrivningen presenteras i sin helhet i bilaga 1. Syftet med metautvärderingen var att dels sammanställa den kunskap om KULM och K2 som dokumenten producerar, dels värdera denna kunskap. Metautvärderingen skulle ge ansvariga på Jordbruksverket rekommendationer på hur utvärdering och uppföljning av denna typ av verksamhet skulle kunna förbättras inför den nya programperioden, samtidigt som den skulle ge en samlad bild av vad man kan dra för slutsatser av de utvärderingar som är gjorda.

De huvudfrågor som vi har haft till uppgift att besvara lyder som följer: 1. Vilka aspekter av KULM och K2 omfattas i befintliga utvärderingar? Vilka aspekter av verksamheterna har inte varit föremål för utvärdering?

2. Vad har de befintliga utvärderingarna att säga om KULM och K2?

3. Vilken kvalitet har denna kunskap? Hur tillförlitliga är med andra ord de slutsatser som utvärderingarna redovisar?

7 KULM står för KompetensUtveckling av Lantbrukare inom insatsområde I (Miljö) och K2 står för Kompetensutveckling inom insatsområde II.

10

3 Material och metod Innan vårt arbete inleddes fick vi av Jordbruksverket ett stort antal dokument som handlade om KULM och K2. Vi började med att kategorisera dokumenten. Därefter utvecklade vi analysmodeller för att möjliggöra en bedömning av vilka aspekter av KULM och K2 som dokumenten omfattar och vilken kvalitet den kunskap som dokumenten producerar har.

Dokumenten analyserades sedan med hjälp av de utarbetade modellerna. Slutligen sammanställdes informationen från dessa dokument för att ge en bild över vad dokumenten har att säga om KULM och K2.

3.1 Kategorisering av dokument De dokument som tillhandahölls av Jordbruksverket hade mycket skiftande karaktär. De bestod av minneanteckningar, programdokument för LBU och KULM, mötesprotokoll, deltagarlistor, personliga anteckningar, avtal mellan Jordbruksverket och annan part, utvärderingsanbud, enkätutkast, kontrollrapporter från länsstyrelser, strategiska dokument om KULM:s utvecklingsmöjligheter, rapport från öppet forum, personliga reflektioner utifrån tre seminarier, enkätundersökningar, uppföljningar och utvärderingar. Det sammanlagda antalet dokument uppgick till 869 stycken.

Dessa 869 dokument granskades först noggrant och delades därefter in i följande kategorier; utvärdering, uppföljning, programdokument och icke relevanta. De dokument som kategoriserades som icke relevanta bestod bland annat av tre rapporter som bedömdes som viktiga för KULM och K2:s verksamhetsstyrning, men inte relevanta för vår metautvärdering.

De sorterades bort eftersom de inte tillförde information som behövdes för att kunna besvara frågeställningarna. Ett dokument sorterades bort av det enkla skälet att utvärderingen ifråga är pågående. Resterande dokument i denna kategori bestod av avtal, mötesprotokoll och dylikt, vilka uppenbarligen inte var av intresse. I kategorin programdokument placerade vi ett antal årliga verksamhetsberättelser. De är centrala dokument som följer verksamhetens utveckling men som inte grundar sig på en egen datainsamling, utan bl.a. sammanställer fakta om verksamheten från de utvärderingar och uppföljningar som har genomförts. Av denna anledning gjordes ingen bedömning av programdokumentens kvalitet. De bedömdes ändå vara av relevans för vår studie eftersom det endast är i dessa dokument som kostnaderna redovisas. När det gäller kategorierna utvärdering och uppföljning krävdes en särskild diskussion eftersom gränsen mellan dessa inte på något sätt är självklar.

Vare sig utvärdering eller uppföljning är entydiga begrepp, och för att kunna avgöra vilka dokument som skulle kategoriseras som det ena eller det andra använde vi allmänt vedertagna begreppsdefinitioner hämtade ur ett svenskt standardverk om utvärdering som definierar begreppen enligt följande: Utvärdering är en ”… noggrann efterhandsbedömning av antingen förvaltning, slutprestationer eller utfall som bygger på en noggrann datainhämtning och/eller bedöms utifrån en uppsättning värdekriterier”.8 ”Uppföljning är en mångtydig term som vanligen betyder datafångst av någon enskild variabel i förvaltnings-, slutprestations- och utfallsleden. Att följa upp innebär med andra ord att samla in data och göra statistik men inte relatera informationen till interventioner eller värdekriterier.”9 8 9

Vedung (1998, s 20). www.esv.se

11

Utvärdering bygger alltså på noggrann datainhämtning och gör en bedömning utifrån värdekriterier, medan uppföljning bara behöver inbegripa datainhämtning. Utvärdering är ofta en omfattande punktinsats medan uppföljning vanligen sker kontinuerligt. Vidare handlar utvärdering ofta om effekter, men kan också, som Vedung (1998) påpekar, vara avancerade mätningar av en verksamhets kvalitet eller effektivitetsanalyser som beaktar kostnader. En skillnad mellan utvärdering och uppföljning är att utvärdering oftare belägger effekter medan uppföljning uppskattar prestationer och eventuellt ett förändrat tillstånd. En uppföljning innehåller inte kvalificerade bedömningar eller frågor om kausalitetsförhållanden.

Ekonomistyrningsverket beskriver det som: ”Om uppföljningen, något förenklat, är en beskrivning av olika händelseförlopp är utvärderingen förklaringen till och bedömningen av dessa händelseförlopp. Hur omfattande eller hur ’vetenskaplig’ en analys måste vara för att kallas utvärdering är ett ständigt debatterat ämne. /…/ Syftet med uppföljning är oftast att man snabbt ska kunna vidta olika korrigerande åtgärder innan det är för sent eller som en utgångspunkt för att kunna göra djupare analyser.”10 Skillnaden mellan utvärdering och uppföljning är således också att en utvärdering innehåller mer analys och ställer andra typer av frågor. Utifrån ovanstående diskussion skapades följande kriterier för hur dokumenten skulle kategoriseras.

Figur 1: Kriterier för kategorisering av dokument Utvärdering Vad studeras?

Hur hanteras data?

När genomförs studien?

Vilka frågor ställs?

Vad syftar studien till?

10

Ibid

12

Uppföljning

Bedömer antingen aktiviteter, Fångar in data av någon enskild prestationer eller effekter. variabel i aktivitets-, prestationsoch effektleden (vanligen prestationer).

Innefattar en noggrann Samlar in data och gör statistik datainhämtning och/eller bedömning men relaterar inte informationen utifrån en uppsättning värdekriterier. till interventioner eller värdekriterier. Är oftast en engångsinsats.

mer

omfattande Sker vanligen kontinuerligt.

Innehåller en mer vetenskaplig Beskriver, kartlägger och mäter analys som ställer lite tyngre Varför men bedömer inte. Ställer lättare – frågor.

Hur – och Vad – frågor.

Syftar ofta till att belägga kausalitetsförhållanden (effektmätning), men kan också vara avancerade mätningar av verksamhetens kvalitet och effektivitetsanalyser.

Syftar till att indikera styrkor och svagheter i och i förhållande till verksamheten för att man snabbt ska kunna korrigera åtgärderna.

Det totala antalet dokument vi erhöll från Jordbruksverket var som nämnts ovan 869. Om vi bortser från dokument som kategoriserats som icke relevanta (833) så bestod materialet av totalt 36 dokument. Av dessa har 4 kategoriserats som utvärderingar, 21 som uppföljningar och 11 som programdokument och varje dokument har getts ett unikt nummer. Den totala listan på utvärderingar, uppföljningar och programdokument presenteras i bilaga 2.

Kategoriseringen av vissa dokument har varit svårare än andra och sex dokument krävde en särskild diskussion. Denna diskussion presenteras i bilaga 3.

Figur 2: Kategorisering av dokument Dokumenttyp

Antal

Dokumentnummer

Antal numrerade dokument

Utvärdering

4 stycken

1, 2, 4, 9

36 stycken

Uppföljning

21 stycken

5, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 34, 35, 36, 37, 38, 39, 40

Programdokument

11 stycken

23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33

Icke relevanta

833 stycken

-

Totalt

869 stycken

3.2 Täckningsgrad En av de frågor vi skulle besvara var vilka aspekter av KULM och K2 som omfattas i befintliga dokument. En vidareutveckling av denna fråga är; i vilken utsträckning behandlar dokumenten KULM och K2:s verksamheter, d.v.s. hur hög är deras täckningsgrad?

I syfte att ta fram en analysmodell för att göra det möjligt att besvara denna fråga har vi använt oss av ett angreppssätt som utgår från KULM och K2:s verksamhetslogiker.

Verksamhetslogik är ett användbart analysverktyg för utvärderare. Förenklat kan det sägas ge en schematisk beskrivning av en verksamhet. Det tydliggör alltifrån vilka resurser som investeras till vad som är de förväntade långsiktiga effekterna. Genom att strukturera och beskriva verksamhetslogiken kan utvärderaren begreppsliggöra det som ska studeras. På detta sätt avgränsas studieobjektet från omvärlden och planeringen av hur utvärdering ska läggas upp underlättas. Utvärderaren kan också på så vis få stöd i sökandet efter relevanta frågeställningar att besvara. Vissa menar att en verksamhet inte är redo att utvärderas innan den logiska bas på vilken den är uppbyggd har formulerats och tydliggjorts.11 De byggstenar som en verksamhetslogik vanligen består av är resurser, aktiviteter, prestationer och effekter. Se figur 3 nedan.

11

McLaughlin&Jordan (1999); Chen (1990); www.esv.se

13

Figur 3: Verksamhetslogik

Resurser

Aktiviteter

Prestationer

Effekter kort sikt

Effekter medellång sikt

Effekter lång sikt

När verksamheten beskrivs på detta sätt tydliggörs vilka resurser den förfogar över, vilken eller vilka aktiviteter som genomförs med hjälp av resurserna, vad som blir prestationen av aktiviteterna (ett direkt och ofta kvantifierbart resultat, exempelvis antal deltagare i aktiviteterna) och vilka effekter som detta förväntas få både på kort, på medellång och på lång sikt.

I vårt fall var vi intresserade av de antaganden som fanns om KULM och K2. Vilka resurser har använts, vilka var de förväntade långsiktiga effekterna och vad antog man skulle ske i processen däremellan? Det vi i detta skede sökte var alltså inte en beskrivning över hur verksamheterna fungerat i praktiken utan de antaganden som fanns om hur de skulle fungera.

Som ovan nämnts var både KULM och K2 insatser som genomförts inom ramen för LBU. KULM syftade främst till att uppnå målsättningar inom insatsområde I och K2 syftade främst till att uppnå målsättningar inom insatsområde II. Då både insatser och mål skiljer sig åt mellan KULM och K2 krävdes att vi skapade två olika verksamhetslogiker.

I arbetet med att beskriva KULM och K2:s verksamhetslogiker studerade vi först tillgänglig dokumentation om verksamheterna i form av programdokument och tidigare genomförda utvärderingar. Ett utkast på verksamhetslogikerna skickades sedan till personer på Jordbruksverket med kunskap om KULM och K2. Detta gjordes för att kontrollera att vi på ett korrekt sätt beskrivit hur verksamheterna är tänkta att fungera. Några mindre justeringar har därefter gjorts i samband med att analysen genomfördes.

3.2.1 KULM:s verksamhetslogik KULM:s verksamhetslogik beskrivs nedan i text och presenteras i en schematisk bild i figur 4.

Texten är strukturerad i enlighet med figuren.

Jordbruksverket, länsstyrelserna samt ett antal organisationer och föreningar har varit involverade i genomförandet av KULM:s verksamheter. Jordbruksverkets roll var bland annat att utarbeta riktlinjer för fördelning av KULM-budgeten och att stödja verksamheten i länen med fortbildning och informationsmaterial. Länsstyrelsernas ansvar var att koppla verksamheten till de regionala miljömålen, upprätta så kallade länsprogram efter samråd med målgruppen (lantbrukare m.fl.) och utföra verksamheterna med utgångspunkt i dessa länsprogram. Övriga organisationer (exempelvis hushållningssällskap och husdjursföreningar) har samarbetat lokalt och regionalt med länsstyrelserna och varit aktörer genom att genomföra aktiviteter inom länsprogrammen samt komplettera länsprogrammen med egen verksamhet.

KULM har finansierats med ekonomiska medel inom LBU. De resurser som använts i KULM är således programmedel inom LBU samt personalresurser på Jordbruksverket, länsstyrelser och andra organisationer.

Insatserna inom KULM har riktat sig till personer verksamma inom jordbruket, d.v.s. lantbrukare, deras familjemedlemmar och anställda inom jordbruket, vid maskinstationer och liknande verksamhet riktad mot jordbruket samt markägare. Berättigade att delta var även djurhållare samt ägare till djur av utrotningshotade husdjursarter. Aktiviteterna inom KULM har bestått av kompetensutveckling främst genom rådgivning, utbildning och 14

informationsspridning. Till KULM:s målgrupp hörde också rådgivare och informatörer som arbetar med kompetensutveckling. Inom ramen för KULM har därför även fortbildning av myndigheter och organisationer genomförts.

Insatserna har haft olika inriktningar, så kallade kompetensområden. Under perioden 2000– 2002 bestod KULM av 3 kompetensområden; (1) Bevarande av biologisk mångfald och kulturmiljövärden, (2) Skydd av miljökänsliga områden och (3) Åtgärder för att främja ekologisk produktion. Inom kompetensområde 1 och 2 har det under programperioden genomförts två särskilda kampanjer, ”Levande landskap” och ”Greppa näringen”. År 2003 tillkom kompetensområdena (4) Ökad djurvälfärd och (5) Energihushållning i växthus. Ett sjätte kompetensområde tillkom 2006, (6) Tvärvillkor, vilket handlar om de regler som måste följas för att lantbrukaren ska få full utbetalning av sina jordbrukarstöd, exempelvis regler inom djurskydd eller livsmedelssäkerhet. Kortfattat kan KULM:s aktiviteter beskrivas som kompetensutveckling av lantbrukare främst i regionala länsprogram inom sex olika kompetensområden, samt fortbildning av myndigheter, organisationer och föreningar.

För KULM fanns ett operativt mål uppsatt om att verksamheten skulle nå 60 000 deltagare per år genom individuella rådgivningar, utbildningar m.m. Detta är det direkta och kvantifierbara resultatet av aktiviteterna. Det har även funnits ett mål om att jämställdhetsaspekten ska beaktas. Förväntade prestationer av KULM är således ett visst antal deltagare och en viss könsfördelning bland dessa deltagare.

Genom kompetensutveckling är tanken att målgruppen i ett första skede ska öka sin kunskap inom de sex kompetensområdena. När det gäller kompetensområde 1 – 3 handlar det i stor utsträckning om att få ökad kunskap om och motivation till att använda hållbara produktionsmetoder. Inom kompetensområde 4 – 5 handlar det om att få ökad kunskap om djurskötsel och hur tillgänglig energi i växthus kan utnyttjas. Ifråga om kompetensområde 6 handlar det om att få en stärkt förmåga att följa gällande lagstiftning och fullgöra de miljöåtaganden som lantbrukaren har genom olika miljöersättningar. Ökad kunskap och motivation samt stärkt förmåga klassificerar vi som de första förväntade effekterna i KULM:s verksamhetslogik (steg 1).

Som en följd av ökad kompetens, motivation och stärkt förmåga är det tänkt att målgruppen ska förändra sitt beteende i enlighet med den nya kunskapen. Det förändrade beteendet kan exempelvis handla om att använda andra produktionsmetoder eller i större utsträckning följa gällande lagstiftning. Förändrat beteende klassificerar vi som en förväntad effekt i verksamhetslogiken (steg 2).

I och med att målgruppen förändrar sitt beteende kan miljökvalitetsmålen (såsom exempelvis ett rikt odlingslandskap eller en giftfri miljö) uppnås samt djurvälfärden öka. Ytterligare ett mål med KULM har varit att stödja andra åtgärder inom LBU-programmet. Dessa övriga insatser består av olika former av ersättningar, stöd och bidrag. Tanken är att effekten av dessa åtgärder ska stärkas genom KULM:s verksamhet. Att miljökvalitetsmålen uppnås, djurvälfärden ökar och effekten av andra åtgärder inom programmet stärks är förväntade effekter i steg 3 i verksamhetslogiken. På lång sikt är den förväntade effekten att jordbruket blir mer miljöanpassat och ekologiskt hållbart.

15

Figur 4: Verksamhetslogik KULM Resurser

Aktiviteter

Prestationer

Förväntade effekter steg 1

Förväntade steg 2

Program-medel från LBUprogrammet samt personal på Jordbruksverket, länsstyrelser och andra organisationer

Kompetensut veckling inom sex olika kompetenso mråden, av lantbrukare främst i regionala länsprogram samt fortbildning av myndigheter, organisatione r, föreningar m.fl.

Ett antal deltagare

Målgruppens kunskapsnivå ökar inom kompetensområde 1 –6

Målgruppen förändrar sitt beteende i enlighet med den nya kunskapen

Könsfördelning en bland dessa deltagare

Målgruppens motivation att använda hållbara produktionsmetoder ökar

effekter

Förväntade steg 3

effekter

Miljökvalitetsmålen uppnås

Förväntade steg 4

Jordbruket blir mer miljöanpassat och ekologiskt hållbart

Djurvälfärden ökar

Effekten av andra åtgärder inom programmet stärks

Målgruppens förmåga stärks att fullgöra de miljöåtaganden som de har genom olika miljö-ersättningar och att följa gällande lagstiftning.

3.2.2 K2:s verksamhetslogik Den information om K2 som vi har haft tillgång till är mycket knapphändig. Nedan presenteras både i text och i bild K2:s verksamhetslogik utifrån tillgänglig information.

Resurserna kan beskrivas på samma sätt som för KULM nämligen programmedel från LBU samt personalresurser på Jordbruksverket, länsstyrelser och andra organisationer.

Målgruppen beskrivs som lantbruksföretag eller andra med anknytning till lantbruket.

Aktiviteterna inom K2 har bestått av riktad kompetensutveckling av lantbruksföretag främst i regionala länsprogram. Även inom K2 har fortbildning av myndigheter, organisationer, föreningar m.fl. genomförts.

Det operativa målet inom K2 var att minst 15 000 deltagare skulle nås under programperioden. Det anges att kompetensutveckling som riktas mot kvinnor ska prioriteras.

De förväntade prestationerna inom K2 är således ett visst antal deltagare och en viss könsfördelning bland dessa. Förväntade effekter av insatserna var i det första skedet att målgruppens kunskapsnivå skulle öka, exempelvis om planering och genomförande av investeringar. Tanken var också att målgruppens kunskap om övriga stöd inom programmet skulle öka. Den ökade kunskapen skulle bidra till att exempelvis fler projektidéer föds och fler framgångrika investeringar kunde genomföras samt att målgruppen i större utsträckning tog del av andra stöd i programmet. På detta sätt skulle företagandet öka och bli mer diversifierat och effekten av andra åtgärder inom LBU stärkas. På lång sikt var tanken att K2 skulle bidra till att uppnå en ekonomiskt och socialt hållbar utveckling på landsbygden.

16

effekter

Figur 5: Verksamhetslogik K2 Resurser

Aktiviteter

Prestationer

Förväntade effekter steg 1

Förväntade effekter steg 2

Förväntade effekter steg 3

Förväntade effekter steg 4

Programmedel, personal på Jordbruksverket, länsstyrelser och andra organisationer

Riktad kompetensutvec kling av lantbruksföretag m.fl. främst i regionala länsprogram samt fortbildning av myndigheter, organisationer, föreningar m.fl.

Ett antal deltagare

Målgruppens kunskapsnivå ökar

Målgruppen genomför fler framgångsrika investeringar, fler nya projektidéer föds etc.

Företagandet ökar, blir mer diversifierat och konkurrenskraftigt

En ekonomiskt och socialt hållbar utveckling på landsbygden

Målgruppen tar i större utsträckning del av andra stöd i programmet

Effekten av andra åtgärder inom programmet stärks

Könsfördelni ngen bland dessa deltagare

Målgruppens kunskap om stöden i programmet ökar

3.2.3 Analysmodeller täckningsgrad Generellt kan man säga att en utvärdering eller uppföljning kan fokusera på olika aspekter av verksamhetslogiken. Till exempel kan en utvärdering studera huruvida genomförda aktiviteter lett till förväntade effekter, d.v.s. att utvärderingens fokus ligger på verksamhetslogikens högra led. Utvärderingen kan också fokusera på aktiviteternas genomförande (processen), d.v.s. de led i verksamhetslogiken som föregår effekterna. En utvärdering kan även studera i vilken omfattning investerade resurser haft någon ”nytta”. Verksamhetslogikens vänstra led, resurser, ställs då i relation till antingen de prestationer eller de effekter som aktiviteterna producerat. Uppföljningar studerar ofta prestationer, d.v.s. det kvantifierbara och direkta resultatet av aktiviteten, exempelvis antal deltagare. Ett annat vanligt mått på prestationer i uppföljningar är hur deltagarna uppfattat de aktiviteter de deltagit i, så kallade nöjddeltagarindex.

De dokument som studerar KULM och K2:s verksamhet kan således beröra olika delar av verksamhetslogikerna. Med utgångspunkt i figur 4 och 5 har två analysmodeller skapats (en för KULM och en för K2, se figur 6 och 7 nedan) som sedan använts för att kartlägga dokumenten. Varje kolumn motsvarar ett led i verksamhetslogiken. För att förenkla analysmodellen något har aktiviteter och prestationer slagits samman till en kategori/kolumn.

I denna kategori placerades information både om aktiviteternas genomförande/processen och prestationer (ex. hur många som har deltagit i aktiviteterna). När det gäller KULM har modellen även sex rader, en för varje kompetensområde.

17

Figur 6: Modell för bedömning av täckningsgrad KULM Resurser

Aktiviteter och prestationer

Ökad kunskap, motivation och stärkt förmåga hos målgruppen

Förändrat beteende hos målgruppen

Miljömålen Jordbruket blir uppnås, ekologiskt hållbart djurvälfärden ökar och effekten av andra åtgärder stärks

Kompetensområde 1 Kompetensområde 2 Kompetensområde 3 Kompetensområde 4 Kompetensområde 5 Kompetensområde 6

Figur 7: Modell för bedömning av täckningsgrad K2 Resurser

Aktiviteter och prestationer

Ökad kunskap Ökad kunskap om andra stöd

Förändrat beteende Mer diversifierat hos målgruppen företagande och effekten av andra åtgärder stärks

Ekonomiskt och social hållbar utveckling på landsbygden

3.3 Analysmodeller för kvalitet Utöver täckningsgrad vill Jordbruksverket/Lantbruksuniversitet också veta vilken kvalitet utvärderingarna av KULM och K2 har, dvs. det som vi inledningsvis talade om i termer av produktkvalitet. Med produktkvalitet menas egenskaper i den färdiga utvärderingsrapporten.

På grundval av de internationella standarder och checklistor som utvecklats inom utvärderingslitteraturen (och som refererades i avsnitt 1.1) i har vi nedan formulerat en modell för bedömning av kvaliteten på Jordbruksverkets utvärderingar av KULM/K2:

18

Figur 8: Modell för bedömning av utvärderingars produktkvalitet Kvalitetsegenskaper

Kriterier/variabler

Värden

Objekt

Utvärderingsobjektet och dess sammanhang är väl beskrivet.

1 = Bör/kan förbättras

Verksamhetslogik, eller tecken på verksamhetslogik, finns.

2 = Godtagbar kvalitet

Anknytning till forskning om objektet finns.

3 = Föredömligt

Det framgår varför utvärderingen skett.

1= Bör/kan förbättras

Utvärderingsfrågor framgår.

2 = Godtagbar kvalitet

Utvärderingsfrågorna är formulerade på ett tydligt sätt.

3 = Föredömligt

Design/Upplägg

Tillämpad design/modell framgår, det finns en genomtänkt tanke i upplägget.

Urval redovisas och diskuteras.

Design och metod diskuteras kritiskt.

Kriterier för bedömning framgår tydligt.

Kriterierna är relevanta i förhållande till utvärderingens frågor.

Datainsamling

Analys och slutsatser

Struktur, språk, presentation

Det framgår vilket empiriskt underlag som använts.

1= Bör/kan förbättras

Det framgår hur underlaget har samlats in.

2 = Godtagbar kvalitet

Det finns en diskussion om dataunderlagets validitet och reliabilitet.

3 = Föredömligt

Det framgår hur bedömningen har gjorts.

1 = Bör/kan förbättras

Slutsatserna är rimliga/tillförlitliga i förhållande till data.

2 = Godtagbar kvalitet

Det finns resonemang om slutsatsernas generaliserbarhet.

3 = Föredömligt

Rapporten är läsbar och tillgänglig.

1 = Bör/kan förbättras

Korrekt språk (grammatik, stavning)

2 = Godtagbar kvalitet

Struktur

3 = Föredömligt

Nedan följer ett resonemang om valda kvalitetsegenskaper och hur de har använts vid bedömningen av dokumenten.

Då vi har bedömt utvärderingarnas objekt har vi bl.a. tagit hänsyn till kvaliteten i beskrivningen av utvärderingsobjektet. Beskrivningen bör, för att hålla god kvalitet, ta upp hela eller delar av KULM och K2. De sammanhang som bör beskrivas är att verksamheten bl.a. utgör en del i LBU-programmet. När det gäller verksamhetslogik har vi främst sökt en beskrivning av aktiviteterna och vad de syftar till att uppnå (föredömligt i termer av förväntade effekter, mål och resultat). Vad gäller anknytning till forskning, så har begreppet forskning tolkats i en vidare mening. Forskning kan exempelvis vara resultat från tidigare studier eller rapporter och riktlinjer som är relevanta för ämnet ifråga.

Design/uppläggning har bl.a. bedömts utifrån om utvärderingarnas syfte framgår. Syftet ska vara välformulerat och det ska framgå varför utvärderingen skett och vad resultatet ska användas till. Utvärdering bör drivas av tydliga frågeformuleringar. Frågorna ska framgå inledningsvis och i slutet ska utvärderingen återkoppla till och besvara dessa. Därutöver bör det finnas en genomtänkt tanke i hur utvärderingen har lagts upp och en diskussion kring hur design och metod möjliggör och begränsar att syftet med utvärderingen nås. En del av design handlar också om att diskutera hur utvärderingens urval påverkar studiens resultat.

Föredömligt är att föra en diskussion kring om urvalet kan ha påverkat utvärderingens 19

förmåga att utifrån sitt empiriska underlag föra generaliserbara resonemang. Kriterier för bedömning är den måttstock mot vilken utvärderingens resultat värderas. Det kan exempelvis handla om att värdera utvärderingsresultat mot vad tidigare studier kommit fram till, vad teorier i ämnet säger, eller mot verksamhetens mål.

Bedömningen av kvaliteten i datainsamling baseras på att det tydligt framgår vilket empiriskt underlag som har använts och hur det har samlats in. Det ska framgå vilka verktyg för datainsamling som har använts, t.ex. intervjuer, dokumentstudier, fokusgrupper osv. Det bör också föras en diskussion om det empiriska underlagets tillförlitlighet och validitet, dvs. i vilken utsträckning man mäter det man avser att mäta. Diskussionen bör vara insiktsfull och ange hur underlagets tillförlitlighet och validitet begränsar utvärderingens förmåga att dra slutsatser.

Vad gäller analys och slutsatser ska läsaren förstå hur resultaten värderas och slutsatserna bör vara rimliga/tillförlitliga i förhållande till de utvärderingsresultat som empirin presenterar.

Slutsatsernas tillförlitlighet bygger på att de håller sig inom ramen för vad empirin tillåter och är väl underbyggda. Slutsatserna ska inte vara för långtgående. Ett klassiskt misstag är att utifrån en verksamhets prestation, t.ex. antal nöjda deltagare, dra slutsatser om verksamhetens effekt. Möjliggör inte insamlad data en slutsats eller bedömning, kan ett sådant konstaterande i sig vara en rimlig/tillförlitlig slutsats. Vidare bör författarna visa på insikt genom att föra ett resonemang om slutsatsernas generaliserbarhet. Är det troligt att slutsatserna kan generaliseras och appliceras på ett större sammanhang eller ej? En kombination av våra bedömningar i analys och slutsatser ska ge indikationer på hur tillförlitliga slutsatserna i utvärderingarna är.

Som vi sett är inte alla de dokument som Jordbruksverket önskar få granskade i denna metautvärdering att betrakta som utvärderingar i en sådan mening. Även andra typer av dokument ingår, framförallt sådana som har karaktären av uppföljning, där huvudsakligen kvantitativa mått används för att regelbundet mäta hur en verksamhet utvecklas i vissa på förhand bestämda avseenden. För att bedöma produktkvaliteten hos uppföljningar krävs därför en analysmodell som beaktar vad som rimligtvis kan ses som kvalitet i dylika produkter. Några sådana modeller finns inte att tillgå i litteraturen om metautvärdering, varför vi utvecklat en egen modell för bedömning av uppföljningars produktkvalitet. Modellen bygger på en grundläggande och allmänt vedertagen uppfattning om hur kvantitativa mått bör vara beskaffade, samt hur de bör samlas in och analyseras.12 Se figur 9 nedan.

Då uppföljningarnas material- och datainsamling har bedömts, har det tagits hänsyn till om urvalet har beskrivits och om dess representativitet har diskuterats. Bortfallet/svarsfrekvensen ska framgå och om svarsfrekvensen är låg, dvs. bortfallet är högt, ska det finnas en diskussion om hur det påverkar resultatens tillförlitlighet. Det har också gjorts en bedömning av om datainsamlingen har beskrivits och om verktygen för datainsamling har presenterats.

12

Esaiasson (2003); Hawthorn & McDavid (2005); Trost (2007).

20

Figur 9: Modell för bedömning av uppföljningars produktkvalitet Kvalitetsegenskaper

Kriterier/variabler

Värden

Material/datainsamling

Uppföljningen beskriver urval/bortfall och tillvägagångssätt med viss metodmedvetenhet.

1 = Bör/kan förbättras

Verktyg för datainsamling presenteras.

2 = Godtagbar kvalitet 3 = Föredömligt J = Ja N = Nej

Reliabilitet

Frågor är entydiga.

0 = Går ej att besvara av olika skäl

Svarsalternativ är entydiga.

1 = Bör/kan förbättras

Det framgår att reliabilitetstest görs.

2 = Godtagbar kvalitet 3 = Föredömligt J = Ja N = Nej

Innehållsvaliditet

De mått/frågor som används – är de relevanta?

1 = Bör/kan förbättras

Belyser frågorna målet med verksamheten?

2 = Godtagbar kvalitet 3 = Föredömligt

Analys

Analys görs?

Enkel – Frekvensfördelning? Mer avancerad – Samband?

J = Ja N = Nej 0 = Irrelevant/ Går ej att bedöma

Bearbetas öppna frågor/öppna svarsalternativ?

Tillgänglighet/läsbarhet

Förstålig/transparent

1 = Bör/kan förbättras

Presentation/struktur/språk

2 = Godtagbar kvalitet 3 = Föredömligt

Reliabilitet betyder tillförlitlighet i insamlad data. Huruvida reliabiliteten är hög i en enkätundersökning är avhängigt frågornas och svarsalternativens utformning. Negationer eller krångliga ord i en fråga höjer sannolikheten för att fler respondenter missuppfattar frågan.

Frågorna som ställs ska inte vara ledande och de ska kännetecknas av enkla satser, med begripliga och vanliga ord. Om flertalet uppfattar frågan på samma sätt betyder det att reliabiliteten är högre. Svarsalternativen ska vara entydiga och lättförståliga och får inte innehålla oklarheter som kan misstolkas. Vad gäller skalor i svaren, är det brukligt att längre skalor anses reliabla om svarsgruppen är insatt i ämnet. Svarsalternativen ska vara varandra uteslutande dvs. inte överlappa varandra. Vidare håller fasta svarsalternativ generellt högre intern validitet än öppna frågor. Öppna frågor är dessutom svårare att koda och generalisera utifrån. Reliabiliteten i kvantitativa undersökningar som avser att säga något om hela målgruppen, är högre om det är en hög standardisering i svarsalternativen. En öppen fråga överlämnar tolkningen till den svarande i högre grad vilket betyder att svarsalternativen har en låg standardisering och det är svårare att säga något om målgruppen som helhet.

Innehållsvaliditet handlar om huruvida måtten/frågorna är relevanta och belyser verksamhetens mål. Det handlar om i vilken utsträckning de använda måtten/frågorna på ett övertygande sätt representerar bredden på det man vill mäta. Brister i innehållsvaliditeten kan antingen bero på de sätt prestationer och effekter har mätts eller hur exempelvis verksamhetens mål har operationaliserats.

21

I fråga om analys har det bedömts vilken sorts statistisk analys som görs i uppföljningarna. En envariabelanalys syftar till att kartlägga eller besvara beskrivande frågeställningar. Exempel på en envariabelanalys är bl.a. frekvensfördelningar och procenträkningar. En frekvensfördelning visar hur många enheter som har tilldelats samma variabelvärde och därför klassificeras i samma kategori. Frekvensfördelningarna räknas ofta om till procent så att de kan jämföras. Index, dvs. sammanslagning av flera variabler till ett sammansatt mått på en egenskap, räknas också som en enkel analys av statistiskt material. En annan form av analys fokuserar på samband. Vi har definierat denna analysform som statistisk analys med två variabler. Analysen kan t.ex. bestå av procentberäkning med korstabeller eller sammanfattande mått på statistisk samvariation mellan två variabler. Sambandsmått är mått på t.ex. styrkan eller riktningen i korrelationen. När sambandsanalys görs brukar sambandsmåtten skrivas ut. I de fall vi har haft tillgång till verktyget för datainsamling, har vi dessutom gjort en bedömning av om svar på öppna frågor och öppna svarsalternativ har behandlats.

Tillgängligheten i dokumenten är en bedömning av hur väl metoden har beskrivits, dvs. om uppföljningsprocessen är transparent. Det kan också handla om rapportens struktur och dess pedagogik. Det ska finnas förklarande texter med rubriker som guidar läsaren. Presentationen behöver inte vara späckad av information, men den information som söks ska på ett enkelt sätt kunna hittas och de aspekter som har bedömts i analysmodellen för produktkvalitet ska ha kommunicerats.

3.4 Metoddiskussion I denna metautvärdering har vi granskat kvaliteten i ett antal dokument. Det är relevant att även för en stund reflektera över kvaliteten i vår egen analys. Vilka potentiella svagheter finns i vårt arbete?

Vi har försökt mäta kvalitet i ett antal utvärderingar och uppföljningar, men motsvarar de aspekter vi valt att studera verkligen god kvalitet? Finns det relevanta aspekter som vi har uteslutit? Med andra ord, hur god är validiteten i vår egen studie? Vid framtagandet av analysschemat för utvärdering har vi utgått ifrån litteratur om vad som är att betrakta som god kvalitet i utvärdering och litteratur om metautvärdering samt tidigare utförda metautvärderingar. Analysschemat för uppföljning har vi själva skapat utifrån en grundläggande och allmänt vedertagen uppfattning om hur kvantitativa mått bör vara beskaffade, samt hur de bör samlas in och analyseras. Både analysschemat för och den genomförda analysen av uppföljningarna har vidare granskats av en forskare/expert på kvantitativ metod vid Göteborgs universitet. När det gäller analysschemana är vår uppfattning således att de ligger i linje med forskning i ämnet. Dock är vi ödmjuka inför att analysscheman av det här slaget stöter på en del validitetsproblem. Till exempel är dokumenten som analyserats av skiftande karaktär, de har olika syften och kan ha utförts i skilda kontexter. Vad som ska betraktas som kvalitet i ett dokument kan skilja sig från vad som ska ses som kvalitet i ett annat (även inom de två kategorierna utvärdering och uppföljning). Av denna anledning läggs ingen större vikt vid den sammanvägda bedömningen av dokumenten. En jämförelse mellan helhetsbedömningar av olika dokument riskerar att bli missvisande.

Det huvudsakliga syftet med att genomföra bedömningen är att identifiera styrkor och svagheter för att på så vis bidra till lärande. För detta syfte fungerar de analysschema vi utvecklat väl. Man skulle kunna tänka sig en vidareutveckling av schemana, där olika aspekter viktas beroende på dokuments karaktär men detta skulle förmodligen göra analysen mer komplex och på så vis minska tillgängligheten utan att det stärker metautvärderingens 22

huvudsakliga syfte, nämligen att bidra till lärande.

Efter att analysschemana tagits fram studerade vi först och främst ett urval av dokument.

Vissa skillnader fanns då i hur olika personer i gruppen bedömde dokumenten. Dessa skillnader diskuterades ingående för att vi skulle kunna komma fram till en gemensam syn.

Resultatet av denna diskussion var att vi skapade mer detaljerade tolkningsregler, i syfte att stärka reliabiliteten i vår egen analys. Det är dock fullt möjligt att andra granskare, med hjälp av samma analysscheman, skulle komma fram till andra resultat. Våra bedömningar ska i första hand ses som en del av denna lärandeprocess och som ett led i diskussionen om vad som är att betrakta som god kvalitet i utvärdering och uppföljning.

23

4 Resultat I detta kapitel presenteras resultatet av våra analyser. Först redovisas analysen av dokumentens kvalitet. Därefter presenteras analysen av hur väl KULM och K2:s verksamheter täckts i dokumenten och en sammanställning av den information som dokumenten ger oss om KULM och K2.

4.1 Kvalitetsbedömning utvärderingar De kvalitetsaspekter som har bedömts i utvärderingarna är; beskrivning av utvärderingsobjektet, utvärderingens design, datainhämtning och metod, analys och slutsatser samt utvärderingarnas tillgänglighet. Detta stycke är uppdelat utifrån kvalitetsaspekterna och bedömningen presenteras tillsammans med exempel på god kvalitet och diskussion om problem och förbättringsmöjligheter.

4.1.1 Objektsbeskrivning De utvärderingsobjekt som dokumenten bör beskriva är hela eller delar av KULM och K2.

Det sammanhang som verksamheterna befinner sig i är bl.a. att de är en del av LBUprogrammet. I de flesta fall är utvärderingsobjekten beskrivna i utvärderingarna, men deras sammanhang är sällan utförligt beskrivna. Endast i en utvärdering bedöms utvärderingsobjektet KULM och dess sammanhang vara välbeskrivet. En svaghet är att antagandena på vilka verksamheterna är uppbyggda, dvs. verksamhetslogiken, inte framgår på ett tillfredsställande sätt i majoriteten av utvärderingarna. Som tidigare nämnts är verksamhetslogik ett viktigt verktyg för att begreppsliggöra det som ska studeras och för att utveckla de frågeställningar som utvärderingen ska besvara. Det är endast en utvärdering som på ett tydligt sätt har beskrivit verksamheternas förväntade effekter. Resterande utvärderingar har inte på ett tillfredställande sätt beskrivit de antaganden som ligger till grund för insatserna.

När utvärderingarnas anknytning till forskning har bedömts har ordet forskning tolkats i en vidare mening. Till forskning har exempelvis resultat från tidigare studier, rapporter och riktlinjer som är relevanta för ämnet i fråga, samt teorier om exempelvis pedagogik och rådgivning, räknats. Alla utvärderingar bedömdes på olika sätt anknyta till forskning. I ett par fall framgår anknytningen till forskning tydligare än i andra. I tabell 1 nedan visas en sammanställning av vår bedömning av utvärderingarnas objektsbeskrivning.

Tabell 1: Objektsbeskrivning Dokumentnummer

1

2

4

9

Utvärderingsobjektet och dess sammanhang är väl beskrivet

2

3

2

2

Verksamhetslogik eller ”tecken” på verksamhetslogik finns

1

2

1

1

Anknytning till forskning om objektet finns

3

2

2

3

Bedömningsskala: 1 = Kan förbättras, 2 = Godtagbar kvalitet 3 = Föredömlig

25

4.1.1.1 Exempel på god kvalitet Vad gäller anknytning till forskning så har utvärdering nummer 1 rankats högt. Den forskning som refereras teoretiserar rådgivning och rådgivarrollen inom jordbruk, och valet av forskning framstår därför som relevant för utvärderingens syfte. I exemplet nedan, som är taget ur denna utvärdering, förs på ett föredömligt sätt en diskussion om vad ett rådgivningssystem för hållbar utveckling inom jordbruket bör kännetecknas av.

De aktörer som ingår i det svenska rådgivningssystemet är naturligtvis olika, men alla arbetar med kunskapsprocesser som att förmedla, utveckla, integrera, rådge, lagra eller föra ut, agra kunskap, policy och/eller teknologi. Genom att samverka kan dessa aktörer tillsammans skapa positiva synergieffekter, något som torde öka nyttan för jordbruket.

Helheten blir större än delarna. Röling och Jiggins (1998) har belyst frågan om vad som kännetecknar ett hållbart kunskapssystem på ett mer generellt plan. Till skillnad från dagens rådgivningssystem, som har fokuserat på produktivitet och lönsamhet, så bör ett rådgivningssystem för hållbart jordbruk tydligare fokusera på även de sociala och ekologiska dimensionerna av jordbruket. Ett rådgivningssystem för hållbar utveckling av jordbruket kännetecknas bl.a. av: •

Argumenterandet av ekologiskt och socialt uthålliga metoder

•

Hög grad av både individuellt lärande hos både brukare och rådgivare, men också gemensamt lärande mellan dem och flera aktörer,

•

Institutionellt stöd för att hantera framför allt förändringsprocesserna, t.ex. i form av kompetens och ekonomiska resurser, men även en stabil och tydlig politisk riktning.

•

Institutionell flexibilitet i det att myndigheter, universitet, forskningsstiftelser och andra aktörer ingår i ett nätverk som stödjer och anpassar sig till förändringar.

•

Hög informationsintensitet, dvs. en förmåga att hantera, sprida och omsätta stora mängder information, både med hjälp av ny teknologi och den inneboende mänskliga kapaciteten.

Källa: Dokument nr 1

4.1.1.2 Förbättringsområde Ett exempel där en verksamhetslogik, och då framförallt en tydlig effektkedja, skulle ha stärkt utvärderingen är dokument nummer 4. I denna studie mäts om lantbrukarna genom utbildning och rådgivning har ökat sitt intresse för frågor aktuella inom kompetensområde 1 – 4 (exempelvis växtnäringsfrågor). Målet med KULM anges i programdokument vara att bidra till uppfyllelsen av miljökvalitetsmålen och generellt höja kompetensnivån hos personer verksamma inom jordbruk. Men hur förhåller sig ett ökat intresse till dessa mål? Är måttet ett sätt att operationalisera målet ökad kompetens eller ska ökat intresse vara en del av KULM:s verksamhetslogik? Användandet av en verksamhetslogik skulle i det här fallet förmodligen ha tydliggjort hur måttet förhåller sig till studieobjektet, dvs. vad av studieobjektet det är man avser att mäta. Avser man att mäta ökat intresse i sig, eller avser det att representera något annat?

4.1.2 Design Majoriteten av utvärderingarna har en väl genomtänkt design och en föredömlig urvalsdiskussion, där det finns ett resonemang om ifall urvalet kan ha påverkat resultatet.

Syftesformuleringarna är i de allra flesta fall av godtagbar kvalitet, men i ett par utvärderingar ligger tonvikten mer på vad som ska göras, än att underbygga varför detta är viktigt. En viktig svaghet att lyfta fram är att de flesta utvärderingar inte innehåller några formulerade utvärderingsfrågor. Endast en utvärdering har tydliga och av uppdragsgivaren formulerade frågor.

Det är viktigt att bedömningskriterierna framgår i en utvärdering, eftersom det ska vara tydligt hur utvärderaren gjort sin bedömning. Vår analys visar att bedömningskriterierna är relevanta, 26

även om de inte alla gånger framgår tillräckligt tydligt. Dokument nummer 9:s låga omdöme på denna punkt beror på att det ligger i gränszonen mellan utvärdering och uppföljning (se separat diskussion om gränsfall vid kategorisering i bilaga 3). I tabell 2 nedan visas vår bedömning av utvärderingarnas design.

Tabell 2: Design Dokumentnummer

1

2

4

9

Det framgår varför utvärderingen skett/syfte

3

3

2

2

Utvärderingens frågor framgår och de är tydligt formulerade

1

3

1

1

Tillämpad design/modell framgår, det finns en genomtänkt tanke med uppläggningen.

3

3

3

2

Urval redovisas och diskuteras

3

3

3

3

Kriterier för bedömning framgår och är tydliga

3

3

2

1

Kriterierna är relevanta i förhållande till utvärderingens frågor/syfte

3

3

3

1

Bedömningsskala: 1 = Kan förbättras, 2 = Godtagbar kvalitet 3 = Föredömlig

4.1.2.1 Exempel på god kvalitet Ett bra exempel på hur syftet kan beskrivas finns i dokument 1. Syftesformuleringen framgår tydligt och klart. Anledningen till varför utvärderingen sker och vad resultatet ska användas till framgår också, vilket gör att syftet känns välmotiverat.

SYFTE Förhållandevis litet är dock gjort för att närmre förstå a) vad som händer då information överförs från en sändare till en annan (t.ex. olika aktörer på det regionala planet), b) det pedagogiska upplägget och utbildningsplaneringens betydelse för framgång, c) vilka aktiviteter som på gårdsnivå vidtas som ett direkt resultat av rådgivningen (både i fält/stall och i samverkan med verksamhetsstyrningen, t.ex. användandet av dokumentation), samt d) hur lantbrukarens idéer och förslag integreras i det löpande förbättringsarbetet av rådgivningen (återkopplingen). /…/Syftet med utvärderingen är att få en klarare bild av hur rådgivningen fungerar och att om möjligt förbättra den rådgivning som bedrivs. /…/ Resultatet ska användas till att utveckla dels dokumentationen, dels den enskilda rådgivningen i sig. Påpekas bör att föreliggande rapport ska ses som ett diskussionsunderlag för den kommande diskussion med länsstyrelserna och rådgivarna om dokumentationen inom KULM och inte läsas som ett färdigt förslag.

Källa: Dokument nr 1

Utvärdering nummer 1 är också ett bra exempel på hur urvalet på ett föredömligt sätt kan beskrivas och diskuteras. Hur urvalet gjorts beskrivs tydligt och författarna beskriver vilka kriterier intervjupersonen ska leva upp till för att vara av intresse för studien. Senare i utvärderingen beskrivs också hur urvalsmetoden kan ha påverkat utvärderingens resultat.

Vidare höjer författarna kvaliteten i diskussionen genom att resonera kring ett alternativt tillvägagångssätt och hur det hade påverkat utvärderingen. Beskrivningen är mycket metodmedveten och självkritisk, vilket gör den trovärdig.

27

Urval av lantbrukare samt intervjuerna …/De kriterier som vi ställde på de lantbrukare som vi skulle intervjua var framför allt att de inte skulle vara rädda för att säga vad de tycker. Vad gäller tidpunkten för rådgivningstillfället borde det å ena sidan ha skett under den senaste tiden, för att lantbrukaren ska ha ett färskt minne av situationen. Å andra sidan borde rådgivningen ha ägt rum för så lång tid sedan att det funnits möjlighet till uppföljning. Vårt förslag var därför att rådgivningen ska ha ägt rum under 2001/2002.

Till de rådgivningsorganisationer som bedrev en stor del av KULM-rådgivningen inom regionen, och som således skulle ha ett flertal av ”sina” lantbrukare representerade i undersökningen, framfördes även ett par ytterligare önskemål. Till dessa hörde att lantbrukarna gärna fick vara i skiftande åldrar, vara av varierande kön samt att de erhållit rådgivning av olika rådgivare hos rådgivningsorganisationen” /…/ Metodkritik /…/ Likaledes kan man ifrågasätta vårt tillvägagångssätt vad gäller urval av lantbrukare. I och med att vi har låtit rådgivare föreslå lämpliga intervjukandidater, riskerar vi att få ett positivt urval av lantbrukare och rådgivningsinsatser.

Detta hade vi kunnat undgå genom att beställa listor på rådgivningsinsatser inom ramen för KULM från respektive länsstyrelse och därefter slumpmässigt valt ut ett antal lantbrukare som vi sedan kontaktat. Vi upplever emellertid inte att något positivt urval har skett, eftersom vi har pratat lantbrukare som framfört både positiva och negativa åsikter om dels den KULM-rådgivning de fått, dels om rådgivningen överlag. De dokumentationer som lantbrukarna har erhållit har även varit av mycket varierande omfattning och kvalitet. /…/Risken med att på egen hand välja ut intervjupersoner helt slumpmässigt är även att man kommer i kontakt med personer som inte är så verbala, vilket skulle försvåra utvärderingen avsevärt.

Källa: Dokument nr 1

4.1.3 Datainsamling/metod Datainsamling och metod bedöms i de flesta av utvärderingarna vara föredömligt utförda.

Framförallt framgår klart i alla utvärderingar hur data har samlats in. I majoriteten av utvärderingarna framgår det tydligt vilket empiriskt material som har använts och det finns en hög metodmedvetenhet. I en utvärdering, i vilken det empiriska underlaget består av resultat från egna och andras studier, skulle det egna materialet ha kunnat beskrivas bättre. I samma utvärdering skulle också en mer kritisk diskussion kring det empiriska underlagets reliabilitet stärkt utvärderingen. I nedanstående tabell presenteras vår bedömning av utvärderingarnas datainsamling och metod.

Tabell 3: Datainsamling/metod Dokumentnummer

1

2

4

9

Det framgår vilket empiriskt underlag som används

3

2

3

3

Det framgår hur data har samlats in

3

3

3

3

Det finns en diskussion om datans validitet och reliabilitet. Det existerar en metodmedvetenhet, i 3 vilken det egna tillvägagångssättet ifrågasätts.

2

3

3

Bedömningsskala: 1 = Kan förbättras, 2 = Godtagbar kvalitet 3 = Föredömlig

28

4.1.3.1 Exempel på god kvalitet Utvärdering 4 är ett bra exempel på hur en diskussion om det empiriska underlagets tillförlitlighet kan se ut. Författarna beskriver vilka osäkerhetskällorna är och att svarsfrekvensen har betydelse för resultatets tillförlitlighet. Dessutom hänvisas läsaren till utförliga bilagor där mer information ges.

1.3 Kvalitetsbedömning Tillförlitligheten i resultaten från undersökningen beror av ett antal osäkerhetskällor, som var och en påverkar resultatet.

De felkällor som ger den största osäkerheten torde här vara urvalsfelet och bortfallsfelet.

Urvalsfelet beror på att ett urval och inte hela populationen har undersökts. Felets storlek varierar beroende på antalet svarande i den delgrupp man är intresserad av, och vilken andel i svaret som uppmätts. Medelfelet för samtliga variabler redovisas i tabellbilagan. Tillsammans med punktskattningen, som också redovisas i tabellbilagan samt tablåer och diagram i denna rapport, kan ett 95 %-igt konfidensintervall beräknas som punktskattning ± 1,96 x medelfelet.

Svarsfrekvensen i undersökningen är 67 % (ovägt), varav 5 % utgör övertäckning, d.v.s. företagen bedriver inte längre jordbruk. Det partiella bortfallet varierar mellan frågorna, och ligger vanligen mellan 0 och 5 %. Bortfallsfelets storlek beror på om gruppen som inte svarar skiljer sig på ett relevant sätt från dem som inkommer med svar.

Fel som uppstått under bearbetningen (registrering, granskning, rättning etc) bedöms vara små, liksom de fel som beror på brister i urvalsramen. Mätfel uppstår då lantbrukarna lämnar felaktiga uppgifter, vilket kan förekomma i enskilda fall.

Källa: Dokument nr 4

4.1.4 Analys och slutsatser Utvärderingarnas hantering av analys och slutsatser är överlag föredömlig. Det framgår klart hur bedömningen har gjorts i de flesta utvärderingar. Alla utvärderingars slutsatser har bedömts hålla godtagbar kvalitet vad gäller rimligheten i förhållande till data. Vi vill dock peka på att i dokument nummer 2 underbyggs inte alla slutsatser fullt ut av det empiriska underlag som presenteras (se nästa stycke). Majoriteten av utvärderingarna innefattar också resonemang om slutsatsernas generaliserbarhet. Nedan presenteras vår bedömning av utvärderingarnas analys och slutsatser.

Tabell 4: Analys och slutsatser Dokumentnummer

1

2

4

9

Det framgår hur bedömningen har gjorts

3

3

3

0

Slutsatserna är rimliga/tillförlitliga i förhållande till data

3

2

3

2

Det finns resonemang kring slutsatsernas generaliserbarhet

3

2

2

1

Bedömningsskala: 0 = Går ej att bedöma/ej av relevans, 1 = Kan förbättras, 2 = Godtagbar kvalitet 3 = Föredömlig

4.1.4.1 Exempel på god kvalitet och förbättringsmöjligheter Vi har valt att lyfta fram dokument nummer 2 som exempel för att illustrera både god kvalitet och förbättringsmöjligheter när det gäller om det framgår hur bedömningen har gjorts och om slutsatserna är rimliga/tillförlitliga i förhållande till data. I exemplet nedan anges att målet med verksamheten var att höja kunskapsnivån hos personer verksamma i jordbruket. Genom att hänvisa till tidigare utförda utvärderingar som visar att jordbrukarna upplever att de haft nytta av att delta i utbildning och rådgivning, drar utvärderarna slutsatsen att kompetensnivån ökat och att insatsen därmed varit framgångsrik för att uppnå målet. Det framgår klart och tydligt hur bedömningen är gjord och är i det avseendet ett exempel på god kvalitet. Däremot innehåller resonemanget en svaghet. Slutsatsen att kompetensnivån har ökat eftersom 29

deltagarna upplever sig ha haft nytta av utbildning och rådgivning skulle kunna ifrågasättas. Är denna slutsats rimlig och tillförlitlig i förhållande till data? Är det verkligen sannolikt att kompetensnivån har ökat bara för att deltagarna svarar att de upplever sig ha haft nytta av utbildningen? Vi vet väldigt lite om vilken nytta som jordbrukarna syftar på. Nyttan kan likaväl handla om att de genom utbildningen fick tillgång till ett större nätverk som att utbildningen gav dem kunskaper. Slutsatsen säger något om hur jordbrukarna uppfattat att de haft användning av aktiviteten men inte nödvändigtvis att målet ökad kunskap är uppnått.

Ett av de specifika målen för kompetensutveckling är att generellt höja kunskapsnivån hos personer verksamma inom jordbruk. Det framgår av tidigare utvärderingar av Jordbruksverket och Statistiska centralbyrån att de jordbrukare, som deltagit i någon av aktiviteterna inom kompetensutvecklingen, anser att de har en betydande nytta av utbildningen. I Jordbruksverkets studie av jordbrukarnas upplevda nytta av åtgärdsplaner i maj 2003 framkom att mer än 70 % har haft nytta av rådgivningen. Det är således sannolikt att kompetensnivån hos de deltagande har ökat inom de områden som utbildningsinsatserna har inriktats på. Därmed har dessa bidragit till att uppfylla det ena specifika målet för insatserna, dvs. en generellt höjd kompetensnivå. Insatserna bedöms således ha varit framgångsrika.

Källa: Dokument nr 2

Ett exempel på god kvalitet vad gäller resonemang om slutsatsernas generaliserbarhet har hämtats från dokument nummer 1. Kvalitetskriteriet behandlar i vilken mån författarna är medvetna om sin förmåga att dra generaliserbara slutsatser. I vårt exempel åskådliggörs en diskussion kring vilka slutsatser som författarna anser att utvärderingen möjliggör, samt vilken typ av generaliseringar som inte är empiriskt underbyggda. Framförallt förtydligandet av studiens begränsningar ifråga om möjlighet att dra slutsatser anser vi vara föredömlig.

Författarnas kunskap om tillvägagångssättets begränsningar, samt att de konsekvent förhåller sig till dessa, ökar chanserna för rimliga och tillförlitliga slutsatser.

I denna kvalitativa studie har dokumentationen och dess användning analyserats. Resultatet av analysen är tillämpligt på alla regioner i Sverige, även om ett urval här har skett. Detta på grund av att studien är explorativ och söker generalisera kring svårigheter och möjligheter i samband med användning av dokumentation oavsett kontext. Detta möjliggör för oss att ge generella rekommendationer för hur dokumentationen kan utvecklas, men inte hur lantbrukarna i genomsnitt ser på dokumentationen.

Källa: Dokument nr 1

4.1.5 Tillgänglighet Tillgängligheten är överlag mycket hög. Alla utvärderingar är läsbara och tillgängliga, men en utvärdering hade förbättrats av ett mindre internt och tekniskt fackspråk. Alla utvärderingar har genomgående ett korrekt språk och en struktur av godtagbar kvalitet. Omdömet på strukturen har sänkts något vid exempelvis avsaknad av sammanfattningar och ologisk placering av kapitel. Nedan presenteras vår bedömning av utvärderingarnas tillgänglighet.

Tabell 5: Tillgänglighet Dokumentnummer

1

2

4

9

Rapporten är läsbar och tillgänglig

3

3

3

2

Korrekt språk (grammatik, stavning)

3

3

3

3

Struktur

2

3

2

2

Bedömningsskala: 1 = Kan förbättras, 2 = Godtagbar kvalitet 3 = Föredömlig

30

4.1.5.1 Exempel på god kvalitet I utvärdering 2 placeras en kort och koncis sammanfattning först, innan rapporten går på djupet i ämnet. Det är ett utmärkt exempel på en bra och tydlig placering som underlättar för den läsare som endast är intresserad av utvärderingsresultatet. Sammanfattningen har en enkel struktur och ett korrekt språk.

Sammanfattning KULM Utredningen finner att insatserna för kompetensutveckling är uppskattade av såväl anordnare som deltagare och bedömer att dessa insatser är värdefulla medel i arbetet med att nå de uppsatta miljökvalitetsmålen. I utvärderingen har det emellertid pekats på ett minskat intresse för vissa aktiviteter, framförallt kurser. Slutsatsen av detta är att dessa insatser kontinuerligt behöver utvecklas och anpassas efter deltagarnas behov och intresse samt inriktas på att nå nya deltagare inom målgruppen.

K2 Även aktiviteterna inom K2 har bedömts fungera väl av både anordnare och deltagare. Utredningen gör samma bedömning baserad på tillgängligt utvärderingsmaterial men konstaterar att resultatinformationen behöver förbättras för att göra en fullständig utvärdering med avseende på uppsatta mål ska kunna göras.

Källa: Dokument nr 2

4.1.6 Sammanvägd bedömning av kvalitet i utvärdering Den sammanvägda bedömningen av utvärderingarna är att alla är av godtagbar kvalitet.

Framförallt håller utvärderingarna hög kvalitet vad gäller design och urvalsbeskrivningar. De har en hög metodmedvetenhet, beskriver väl hur datainsamling har gått till och den empiri som datainsamlingen resulterat i. Utvärderingarna har en hög tillgänglighet och ett korrekt språk. Det framgår överlag hur bedömningarna i utvärderingarna har gjorts och slutsatserna är generellt rimliga. Trots att utvärderingarna håller hög standard, finns det några förbättringsområden som vi har valt att lyfta fram. De förbättringar som kan göras handlar om att formulera tydligare syfte och tydliga frågeställningar samt att på ett bättre sätt redogöra för verksamhetslogiken.

4.2 Kvalitetsbedömning uppföljningar I detta stycke presenteras vår bedömning av uppföljningarnas kvalitet. Bedömningen presenteras utifrån analysmodellens kvalitetsaspekter; material/datainsamling, reliabilitet, innehållsvaliditet, analys och tillgänglighet. I de fall då uppföljningarna har ett identiskt tillvägagångssätt och ställer återkommande frågor har de slagits ihop och en gemensam bedömning gjorts.

4.2.1 Material/datainsamling Ungefär en tredjedel av uppföljningarna redovisar urval, bortfall och tillvägagångssätt på ett tydligt och metodmedvetet sätt som bedöms vara av godtagbar kvalitet. Två tredjedelar av uppföljningarna bedöms kunna förbättra beskrivningen av hur man har gått tillväga. De förbättringar som kan göras handlar bl.a. om att tydliggöra urvalsbeskrivningar och se över användning av terminologi så att den är korrekt och konsekvent, samt att redovisa svarsfrekvens och presentera bortfallsanalys. I nästan hälften av uppföljningarna saknas tillgång till verktyg för datainsamling i originalskick, dvs. enkät- eller intervjumallar finns inte tillgängliga. I tabell 6 nedan presenteras vår bedömning av uppföljningarnas material och datainsamling.

31

Tabell 6: Material och datainsamling Dokumentnummer:

5

10-11

12-16

17-20

21-22

34

35

36

37 38 39 40

Uppföljningen beskriver urval/bortfall och tillvägagångssätt med viss metodmedvetenhet

2

1

1

3

3

1

1

1

1

Verktyg för datainsamling presenteras

J

J

J

J

J

N

J

J

N N N N

2

1

1

Bedömningsskala: 1 – Kan förbättras, 2 – Godtagbar kvalitet, 3 – Föredömlig, J = JA, N = NEJ

4.2.1.1 Exempel på god kvalitet Uppföljningarna 17 – 20 är föredömligt utförda vad gäller att redovisa urval, bortfall och tillvägagångssätt. Deras tekniska bilagor innehåller en grundlig genomgång med bortfallsredovisning, urvalsbeskrivning samt beskrivning av hur det empiriska underlaget har bearbetats och hur tillförlitligt det är. I exemplet nedan visas en föredömlig bortfallsredovisning och urvalsbeskrivning.

Bortfallsredovisning – våren 2004 Bruttourval (antal utsända) Utgått ur populationen: - Lantbruket nedlagt, sålt, utarrenderat - Lantbrukaren avliden, svårt sjuk osv.

Nettourval (antal som tillhör populationen) - Bortfall (vägrare, ej inkommet formulär mm) Godkänds formulär Svarsfrekvens (godkända formulär/nettourval)

1000 86 12 902 253 649 72 %

Population, urval De 1000 lantbrukarnas adresser dras ur Statistiska Centralbyråns Lantbruksregister. Registret omfattar alla lantbrukare med minst två hektar åkermark.

Vid urvalet delas populationen in i sju strata (grupper) beroende på hur många hektar åker lantbrukaren har. Dessa delas sedan in i tre storleksklasser: 2-20 ha, 21-50 ha och >50 ha. I varje storleksklass dras sedan slumpmässigt en tredjedel av urvalet.

Genom denna metod blir det fler stora gårdar som deltar i undersökningen än vad som är representativt för landet i sin helhet. Vid databearbetningen av intervjusvaren vägs därför materialet så att de stora gårdarna, var och en, får mindre betydelse (vikt) än de små gårdarna. På så sätt återställs relationen mellan storleksklasserna så att undersökningen blir riksrepresentativ.

Källa: Dokument 18

4.2.1.2 Förbättringsområden Det finns två för uppföljningarna tydliga förbättringsområden. Den första är att användning av fackterminologi bör vara korrekt och konsekvent, den andra är att svarsfrekvens och bortfallsanalys ska redovisas. En bortfallsanalys bör göras för att författaren ska veta om svaren är representativa för totalpopulationen. Om urvalet inte är representativt begränsas uppföljningens möjlighet att dra slutsatser om totalpopulationen. Nedan redogörs för urvalet men inget sägs om hur bortfallet påverkar studiens slutledningsförmåga. Själva redogörelsen för urvalet är också något oklar.

32

3. Metod Alla uppgifter som har tagits fram för studien är sekretessbelagda och har behandlats därefter. Greppa Näringen har jobbat i följande sex län: Skåne, Blekinge, Halland, Kalmar, Västra Götaland och Gotland. Från 2500 personer har det slumpvis valts ut 208 stycken som uppfyller följande kriterier: har haft minst 4 stycken rådgivningar, varav minst 1 har varit växtnäringsbalans. Dessa 208 stycken har delats in efter län, och uppgifter om areal, djurhållning och växtodlings gård, mjölkproducenter och köttproducenter. De lantbrukare som har valts ut är framförallt företag med mer än 25 enheten och 50 hektar åker. Från dessa 208 stycken har ett urval av 100 stycken tagits fram, där en blandning av län och inriktning av lantbrukarna beaktats.

Från de slumpmässigt utvalda 208 stycken lantbrukare var 3 stycken rådgivare och ströks från listan. Därefter visade det sig att 5 stycken avvecklat sin verksamhet, 9 stycken ville inte bli intervjuade och 3 stycken telefon nummer stämde inte.

De kvarvarande 100 stycken består av; 63 stycken från Skåne, 6 stycken Blekinge, 7 stycken Halland, 6 stycken Kalmar, 17 stycken Västra Götaland och en från Gotland. Koncentrationen till Skåne är beroende på att de flesta Greppa Näringen medlemmar finns där och är således överrepresenterade. Under två veckor har telefonintervjuerna pågått och med ett medel tal på 10 intervjuer per dag på cirka 15 minuter per intervju. Däremot har alla på listan blivit påringa men av olika skäl inte blivit intervjuade och flera har blivit uppringda flera gånger därmed är antalet telefonsamtal per dag svårt att beräkna. Lantbrukarna har telefonintervjuats efter en framtagen intervjuguide och svaren har sammanställts och analyserats.

Källa: Dokument 37

4.2.2 Reliabilitet Drygt hälften av uppföljningarna har frågor och svarsalternativ som är av godtagbar eller föredömlig kvalitet. Det innebär att frågor och svarsalternativ var för sig och tillsammans är entydiga. Frågorna är begripliga, i de flesta fall inte ledande och innehåller inte onödigt krångliga ord som kan tolkas på olika sätt. Svarsalternativen är varandra uteslutande och lätta att förstå.

I knappt hälften av uppföljningarna finns dock förbättringsmöjligheter när det gäller frågor och svarsalternativ. I vissa fall handlar det om att frågor och svarsalternativ inte är logiskt överensstämmande med varandra, ibland innehåller frågorna grammatiska fel eller negationer.

I tabell 7 presenteras vår bedömning av uppföljningarnas reliabilitet.

Tabell 7: Reliabilitet Dokumentnummer:

5

10-11 12-16 17-20 21-22 34 35 36 37 38 39

40

Är frågor entydiga?

2

2

3

3

3

0

1

2

0

2

2

2

Är svarsalternativ entydiga?

2

2

3

3

3

0

1

1

0

1

0

1

Framgår det att reliabilitetstest görs?

N J

J

N

N

N

N

N

N

N

N

N

Bedömningsskala: 0 – Går ej att besvara av olika skäl, 1 – Kan förbättras, 2 – Godtagbar kvalitet, 3 – Föredömlig, J =Ja, N = Nej

4.2.2.1 Exempel på god kvalitet Enkäterna som dokumenten 12 – 16 grundar sig på är ett föredömligt exempel på hur frågor och svarsalternativ har utformats entydigt. Det förekommer inga ledande frågor eller kontradiktioner i språket. Språket är enkelt och kan inte misstolkas av respondenterna.

Svarsalternativen är standardiserade och skalorna lättförståliga, vilket ökar tillförlitligheten.

Svarsalternativen är varandra uteslutande. Enkätens layout är enkel och det finns inga oklarheter. Enkäten presenteras i bilaga 4.

4.2.2.2 Förbättringsområden Vi har valt att lyfta fram två exempel där vi anser att förbättringar kan göras. I det första exemplet ställs en entydig fråga men svarsalternativen kan förbättras. Respondenten ges 33

svarsalternativ på en sjugradigskala tillsammans med ett vet-ej-alternativ. Alla svarsalternativ har placerats på en och samma rad. Placeringen av vet-ej-alternativet längst ut till höger kan ifrågasättas eftersom det kan göra det svårare för respondenten att direkt uppfatta skalans mittpunkt. Svarsskalan är egentligen sjugradig men enkätens layout ger ett intryck av att vara åttagradig. Vidare kan man ifrågasätta om ett vet-ej-alternativ ska finnas med överhuvudtaget . Ett sådant alternativ fyller en viktig funktion om man tror att respondenterna inte har tillräcklig kunskap för att ha kunnat bilda sig en åsikt i frågan. I det här fallet handlar frågan om hur nöjda kursdeltagare är med en kurs och vi kan anta att kursdeltagare genom sitt deltagande har kunnat bilda sig en uppfattning om kursen. Det är sålunda mer intressant att så att säga ”tvinga” respondenterna till ett ställningstagande genom att exkludera vet-ejalternativet.

Hur nöjd är du allmänt med kursen?

Mycket missnöjd Ganska missnöjd Något missnöjd Varken eller

Något nöjd

Ganska nöjd

Mycket nöjd

Vet ej

















Källa: Enkät till dokument 10-11

Det andra exemplet handlar om svårigheten med att använda sig av negationer i frågor.

Frågan i exemplet ska mäta lantbrukarens attityd till växtnäringsförluster. Om respondenten svarar att hon/han inte instämmer i påståendet; de växtnäringsförluster vi har idag går inte att reducera med bibehållen avkastning; menar respondenten att de växtnäringsförluster vi har idag går att reducera med bibehållen avkastning. Dilemmat är att negationer lätt förbises och att negationer i följd är svåra att förstå. Det är därför möjligt att respondenter som anser att växtnäringsförluster går att reducera med bibehållen avkastning, har svarat att de instämmer helt och hållet i påståendet. Det är därför svårt att veta hur många av respondenternas svar som är tillförlitliga respektive icke tillförlitliga i exemplet nedan.

4b. De växtnäringsförluster vi har idag går inte att reducera med bibehållen avkastning.

Stämmer Stämmer ej - Helt och hållet, - Ganska bra, - Varken heller, - Ganska dåligt, - Inte alls Källa: Dokument 38 och 39

4.2.3 Innehållsvaliditet Övervägande delen av frågorna syftar till att antingen få information om lantbrukarnas behov och hur de uppfattar aktiviteterna eller att mäta prestationer. Ungefär hälften av uppföljningarna innehåller ett fåtal frågor som belyser olika aspekter av verksamhetens förväntade effekter. Dessa frågor bedöms belysa de förväntade effekterna med godtagbar kvalitet. I tabell 8 nedan visas vår bedömning av innehållsvaliditeten i uppföljningarnas mått/frågor.

Tabell 8: Innehållsvaliditet Dokumentnummer:

5

10-11 12-16 17-20 21-22 34 35 36 37 38 39 40

De mått/frågor som används – är de relevanta?

2

3

3

2

2

2

2

2

0

2

2

2

Belyser frågorna målet med verksamheten?

2

2

3

1

1

1

2

2

0

3

3

1

Bedömningsskala: 0 – Enkät/frågor finns ej tillgänglig, 1 – Kan förbättras, 2 – Godtagbar kvalitet, 3 – Föredömlig

34

4.2.3.1 Exempel på god kvalitet Ett föredömligt exempel är kursenkätfrågor i dokumenten 12 – 16 . Där ombeds respondenten uppskatta effekterna av KULM:s verksamhet genom att svara på hur mycket hon/han instämmer i påståendet jag lärde mig mycket och jag fick inspiration till handling. Påståendet jag lärde mig mycket belyser tydligt verksamhetslogikens förväntade effekter i steg 1, dvs. att målgruppen genom insatserna ska höja sin kunskapsnivå. Det andra påståendet mäter inte kunskapshöjning utan snarare lantbrukarnas attityd till att förändra sitt beteende. En kunskapshöjning behöver inte innebära att målgruppen förändrar sitt beteende i linje med vad kunskapen förespråkar, därför ser vi det som föredömligt att också uppskatta om lantbrukarnas fått inspiration till handling. Lantbrukarna kan ha kunskap om jordbrukets miljöpåverkan, men det betyder inte att lantbrukaren per automatik ändrar rutiner i sitt arbete för att minska sin miljöpåverkan. Påståendena har inte specificerat vad för kunskap eller vilken typ av handling som respondenten uppskattar. Det finns med andra ord ett litet tolkningsutrymme som lämnas fritt till respondenten. Det skulle kunna begränsas genom att önskvärd kunskap inom de olika kompetensområdena förtydligas. Exempelvis skulle det kunna stå jag lärde mig mycket om hantering av bekämpningsmedel, eller jag fick inspiration till att förändra skötseln av djur.

D. Hur väl tycker du att nedanstående påståenden stämmer? Besvara varje påstående med ett kryss i rutan vid lämpligt svarsalternativ.

Nytta

Stämmer mycket dåligt

Stämmer ganska dåligt

Stämmer varken bra eller dåligt

Stämmer ganska bra

Stämmer mycket bra

Jag lärde mig mycket











Jag fick inspiration till handling











Källa: Enkät till dokumenten 12-16

4.2.4 Analys Större delen av uppföljningarnas analyser är enkla och syftar främst till att kartlägga ett tillstånd (exempelvis hur stor andel av lantbrukarna som har genomfört givna råd), mycket få uppföljningar gör sambandsanalyser. Knappt hälften av uppföljningarna bör förbättra sin analys genom att bearbeta svar på öppna frågor och de svar som ges i öppna svarsalternativ, för att i större utsträckning göra det möjligt att utnyttja det empiriska materialet som samlats in. Nedan i tabell 9 presenteras vår kartläggning av vilken typ av analys som uppföljningarna gör.

Tabell 9: Analys Dokumentnummer:

5

10-11

12-16

17-20

Görs en analys?

J

J

J

J

Enkel – Frekvensfördelning?

J

J

J

Mer avancerad – Samband?

N

N

Bearbetas öppna svarsalternativ?

0

N

21-22

34

35

36

37

38

39

40

J

J

J

J

J

J

J

N

J

J

J

J

J

J

J

J

J

N

N

N

N

N

N

N

J

J

N

N

0

0

0

N

J

0

N

N

N

frågor/öppna

Bedömningsskala: J = Ja, N = Nej, 0 = Irrelevant/Går ej att bedöma

35

4.2.4.1 Förbättringsområden De kvalitetsaspekter som kan förbättras berör nästan hälften av uppföljningarna. I dessa dokument framgår att ett empiriskt underlag finns i form av svar på öppna frågor och öppna svarsalternativ som inte har bearbetats. När svaren endast har listas påverkas deras tillgänglighet negativt. Ett exempel på detta är dokumenten 10-11 och 12-16. Svaren på de öppna frågorna om vilka kursämnen som lantbrukare vill lära sig mer om och goda råd till hur rådgivning och kurser kan förbättras, skulle kunna bearbetas. En sådan analys skulle ge verksamhetsansvariga kunskap om lantbrukarnas kunskapsbehov. Frågornas svar skulle dessutom kunna kategoriseras systematiskt. Utifrån kategorierna kan man skapa mer standardiserade svarsalternativ på frågorna, vilket underlättar att uppskatta lantbrukarnas kunskapsbehov under nästkommande programperiod. Dessa dokuments metod och tillvägagångssätt har också möjliggjort ett omfattande empiriskt underlag, i vilket fler analyser skulle kunna göras. Uppföljningssystemen 10-11 och 12-16 ställer frågor inom samma områden och har rapporterat olika delar av sina resultat till olika aktörer. Resultaten från dokumenten 10-11 och 12-16 kan inte jämföras med varandra, då enkäternas frågor och svarsalternativ skiljer sig åt. Resultaten från dokument 12-16 skulle kunna sammanställas för att dra slutsatser om kvaliteten i aktiviteterna på en övergripande nivå och summera KULM:s tidiga effekter, mellan åren 2002 – 2006.

4.2.5 Tillgänglighet Slutsatsen vad gäller tillgängligheten i uppföljningarna är att den är låg och kan förbättras på flera punkter. Majoriteten av uppföljningarna är svåra att ta till sig eller inte transparenta, framförallt är det önskvärt att bättre förklaringar ges av hur data har bearbetats.

Presentation/struktur/språk kan också förbättras framförallt ifråga om att information först och främst bör presenteras efter relevans och tillförlitlighet. I tabell 10 nedan presenteras vår bedömning av tillgängligheten i uppföljningarna.

Tabell 10: Tillgänglighet Dokumentnummer:

5

10-11

12-16

17-20

21-22 34

35

36

37

38

39

40

Förståelig/transparent

2

1

1

2

2

1

1

1

1

2

1

1

Presentation/struktur/språk

1

1

1

2

2

1

1

2

1

1

1

1

Bedömningsskala: 1 – Kan förbättras, 2 – Godtagbar kvalitet, 3 – Föredömlig

4.2.5.1 Förbättringsmöjligheter Den låga tillgängligheten i uppföljningarna är ett problem. Få uppföljningar presenterar sitt resultat på ett sätt så att läsaren lätt kan ta till sig information och förstå hur den kan användas.

Det kräver noggrann läsning och en förförståelse för att i vissa fall kunna tolka om uppföljningarnas resultat är bra eller dåliga.

De förbättringar som vi identifierat är bl.a. användningen av ett mindre internt språk. Vidare bör figurer, tabeller och diagram finnas för att öka förståelsen av uppföljningarnas resultat.

Resultat bör inte endast presenteras i diagram och tabeller eftersom värdena som sådana inte säger läsaren något om de inte samtidigt tolkas. De resultat som är tillförlitliga och relevanta måste dessutom framhävas. Ett exempel på detta är hämtat från dokument nummer 39.

Uppföljningen presenterar svaren på ett antal frågor i diagram om hur effektiva lantbrukarna uppfattar olika odlings- och utfodringsåtgärder vara för att minska växtnäringsläckaget. Data 36

om lantbrukarnas uppfattningar presenteras på ett stort antal sidor. Efter att läsaren gått igenom och tagit ställning till informationen belägger en kort följdfråga att ett stort antal lantbrukare har svårigheter med att bedöma vilka åtgärder som är effektiva. Risken är att läsaren missar den viktiga informationen och tror att information som fått ett stort utrymme är tillförlitlig och använder den som beslutsunderlag. Resultat bör, som tidigare nämnts, presenteras utifrån relevans och otillförlitliga resultat bör sorteras ut.

4.2.6 Sammanvägd bedömning av kvalitet i uppföljning Det finns ingen uppföljning som är föredömlig vad gäller alla kvalitetsaspekter. Kvaliteten på uppföljningarna är kort och gott ojämn. En del uppföljningar har bedömts ha en hög reliabilitet och innehållsvaliditet, men en låg tillgänglighet och en analys som kan utvecklas.

Andra bedömdes ha en föredömlig beskrivning av sitt tillvägagångssätt och en hög reliabilitet, men belyser inte målen med verksamheten.

Samtliga uppföljningar har aspekter som kan förbättras vad gäller tillgänglighet. Som diskuterades i föregående kapitel måste information vara tillgänglig/förstålig för att vara användbar. Det kan tyckas vara en petitess att bedöma presentation/struktur/språk och förstålighet/transparens, men faktum är att en uppföljning inte fyller någon funktion om informationen inte går att ta till sig. Andra tendenser som ses är att uppföljningarna kan förbättra beskrivningen av sina tillvägagångssätt. De flesta uppföljningar bygger därutöver nästan uteslutande på enklare analyser med syfte att kartlägga eller beskriva situationen.

Vidare bearbetar endast hälften av uppföljningarna allt empiriskt material som har samlats in.

4.3 Vad dokumenten har att säga om KULM och K2 Förutom att bedöma dokumentens kvalitet låg även i vårt uppdrag att redovisa vad dokumenten har att säga om verksamheterna och svara på hur väl dokumenten täcker KULM och K2:s verksamheter. Nedan presenteras resultatet av denna analys.

4.3.1 KULM Stycket är uppdelat i resurser, aktiviteter och prestationer samt effekter i tre steg i enlighet med KULM:s verksamhetslogik.

4.3.1.1 Resurser Genom de årliga verksamhetsrapporterna är resurserna inom KULM välbevakade under hela programperioden. Totalt utnyttjade medel för KULM är ungefär 997 miljoner kronor. De tre första kompetensområdena har markant högre totalt utbetalda belopp än de tre sista. Det har satsats mest resurser inom kompetensområde 2, där totalt utnyttjade medel uppgår till 423 miljoner kronor. Kompetensområde 1 har totalt utnyttjat 281 miljoner kronor och kompetensområde 3 har utnyttjat 243 miljoner kronor. Nedan redovisas en sammanställning över fördelningen av totalt utnyttjade medel inom KULM.

37

Tabell 11: Totalt utnyttjade medel inom KULM Kompetensområde

2006

2005

2004

2003

2002

2001

2000

Totalt

Biologisk mångfald

34 026 961

37 382 769

41 320 142

36 427 453

34 944 719

58 737 075

38 577 297

281 416 416

Miljökänsliga

69 130 131

71 405 798

71 565 583

69 173 219

56 361 060

48 531 914

36 818 148

422 985 853

Ekologisk produktion

35 864 302

34 962 779

35 974 860

35 377 598

32 065 838

33 232 169

35 108 072

242 585 618

Djurens välfärd

12 135 432

10 231 505

8 728 472

3 019 068

34 114 477

245 822

241 611

267 842

311 729

1 067 004

Tvärvillkorsutbildning

7 987 431

7 181 923

45 925

Totalt

159 390 079

161 406 385

157 902 824

områden

Energihushållning

i

växthus 15 215 279 144 309 067

123 371 617

140 501 158

110 503 517

997 384 647

Källa: Dokument nr 29, sid. 8 (siffrorna gäller exklusive målområde 1)

4.3.1.2 Aktiviteter och prestationer I flertalet uppföljningar finns mått som syftar till att forma eller behovsanpassa verksamheten, de har oftast mätts i öppna frågor, och svaren har inte alltid sammanställts. Dessa mått redovisas inte i denna metautvärdering. När det gäller prestationer finns ett flertal mått.

Prestationsmåtten kartlägger bl.a. hur väl specifik information har nått målgruppen, hur många som har deltagit i aktiviteterna, och hur nöjda deltagarna i kurser och rådgivning har varit. Vi har valt ut de mått som spänner över en större del av programperioden och kompetensområdena, dessa är totalt antal deltagare per år, andel kvinnor som deltagit i kurser och rådgivning och ett nöjddeltagarindex.

Ifråga om prestationsmåttet totalt antal deltagare per år fanns för KULM ett operativt mål om att 60 000 jordbrukare eller andra som är verksamma inom lantbruket årligen skulle nås av de olika aktiviteterna. Huruvida det operativa målet är uppnått är svårt att säga, då siffrorna för KULM:s deltagarantal varierar mellan olika dokument. Det föreligger också en viss dubbelräkning genom att samma jordbrukare kan delta i flera olika aktiviteter.13 En sammanställning av siffrorna i dokument 29 indikerar att KULM når upp till sitt mål år 2000, 2001 och 2006. KULM lever nästan upp till målet år 2002, men inte åren 2003, 2004 eller 2005, se tabell 12 nedan.

Tabell 12: Antal deltagare per år i KULM (enskild rådgivning och utbildning) År

2000

2001

2002

2003

2004

2005

2006

Antal deltagare

72 796

71 796

59 918

44 955

50 089

58 340

65 838

Källa: Sammanställd information från dokument nr 29, sid. 8

Vad gäller andelen kvinnor i kurser och rådgivning, så har vi sammanställt siffror från dokumenten 12 – 16 som sträcker sig mellan åren 2002 – 2006. Sammanställningen visar att ungefär 8 % av deltagarna i kurser varit kvinnor och i rådgivning cirka 26 %, se bilaga 8.

I fråga om nöjddeltagarindex redovisas deltagarnas nöjdhet i kurser och rådgivning mellan åren 2002 – 2006 i dokument 12-16. Vi har sammanställt rikssnitten för kurser och 13

Dokument nummer 2

38

rådgivning. Det visar att snittet för kurser ligger mellan cirka 80 och 95 där nöjdheten mäts på en skala från 0 till 100. Kurserna inom djurvälfärd och biologisk mångfald har genomgående lite högre värden, dessa ligger mellan cirka 89 och 90. Kursen Greppa Näringen växtnäring har de lägsta rikssnitten. För rådgivning ligger rikssnitten mellan ungefär 78 och 93. Inom rådgivning har ekologisk produktion lite högre värden, de ligger mellan cirka 89 och 91.

Greppa Näringens rådgivning har marginellt något lägre rikssnitt än övrig rådgivning, se bilaga 6.

4.3.1.3 Förväntade effekter steg 1: Ökad kunskap, motivation och stärkt förmåga hos målgruppen Ifråga om förväntade effekter steg 1, finns i dokumenten 12 – 16 frågor där lantbrukare har fått uppskatta hur mycket de instämmer i påståendena jag lärde mig mycket och jag fick inspiration till handling.14 Det första påståendet är ett tydligt mått på ökad kunskap. Det andra måttet uppskattar om lantbrukarna är benägna till att förändra sitt beteende. Svaren på dessa påståenden har redovisats till kursledare och rådgivare inom länsprogrammen och består av cirka 500 rapporter, enligt avtal mellan Jordbruksverket och kontrakterad part.

De två måtten finns uppskattade mellan åren 2002 – 2006, inom alla kompetensområden. Vi har bara haft tillgång till ett par av dessa rapporter, och har därför inte kunnat sammanställa resultaten. Det finns dock, enligt utvärdering 2, indikationer i halvtid på att kompetensnivån hos målgruppen har ökat, men som diskuterades i kapitel 3.1.4 finns en del frågetecken när det gäller trovärdigheten i denna slutsats.

I kapitel 3.1.1. lyfte vi frågan om hur ett ökat intresse hos lantbrukarna förhåller sig till verksamhetens mål. Om man väljer att se ett ökat intresse som ett mål, eller med andra ord som en förväntad effekt i KULMs verksamhetslogik så redovisar dokument 4 att mellan 40 – 50 % av lantbrukarna har uppgett att de genom KULM:s utbildning/rådgivning har ökat sitt intresse mycket eller ganska mycket inom kompetensområde 1 – 4. Studien spänner över hela programperioden och är representativ för KULM:s målgrupp, se tabell 13 nedan.

Tabell 13: Ökat intresse hos målgruppen Kompetensområde

Andel av deltagarna vars intresse har ökat år 2006

1: Biologisk mångfald och kulturmiljövärden

41 %

2: Miljökänsliga områden Växtnäring

44 %

Bekämpningsmedel

45 %

3: Ekologisk produktion

44 %

4: Djurens välfärd

49 %

Källa: Sammanställd information från dokument nr 4

14

Dokument nummer 10 – 11 och 12 – 16

39

Om man dessutom räknar attitydförändringar som en förväntad effekt i steg 1, redovisar dokument 39 förändringar i attityd till växtnäring år 2005 i jämförelse med år 1999. Studien är representativ för Greppa Näringens målgrupp i bl.a. Skåne, Halland och Blekinge. Enligt studien, är ungefär 6 procentenheter av lantbrukarna mindre övertygade om att jordbruket är en viktig orsak till växtnäringsläckaget år 2005 än år 1999. Trots det anser 9 procentenheter fler av lantbrukarna att jordbrukets växtnäringsläckage måste åtgärdas. Ungefär 10 procentenheter fler av lantbrukarna är vid slutet av programperioden villiga att själva vidta åtgärder för att minska växtnäringsläckaget. Ungefär hälften av lantbrukarna uppger att det främsta hindret för att åtgärda växtnäringsläckaget är svårigheter med att veta vilka åtgärder som är effektiva. Andel som anser sig ha svårigheter att göra den bedömningen har alltså sjunkit med 5 procentenheter gentemot år 1999.

4.3.1.4 Förväntade effekter i steg 2: Förändrat beteende hos målgruppen När det gäller förväntade effekter i steg 2 uppskattas i vilken utsträckning lantbrukarna sedan år 2000 har ändrat (eller planerar att ändra) sitt beteende i linje med de beteendeförändringar som KULM förespråkar inom ramen för kompetensområde 1 – 4.15 Några exempel på beteendeförändring är förändrad hantering av bekämpningsmedel, eller skötsel av djur.

Studien är representativ för målgruppen och spänner över hela programperioden. Mellan 23 och 37 % av deltagarna i KULM:s utbildning/rådgivning uppger att de har ändrat sitt beteende eller planerar att ändra sitt beteende. Av dessa uppger mellan 61 och 79 % att utbildningen/rådgivningen har haft stor eller mycket stor betydelse för det förändrade beteendet, se tabell 14.

Tabell 14: Andel av deltagarna som har förändrat sitt beteende sedan år 2000 A

B

Kompetensområde

Andel av deltagarna som anger att de ändrat sitt beteende

Andel av A som anger att utbildning/rådgivning haft stor/mycket stor betydelse för förändrat beteende

1: Biologisk mångfald och kulturmiljövärden

23 %

71 %

Växtnäring

30 %

61 %

Bekämpningsmedel

34 %

79 %

3: Ekologisk produktion

37 %

72 %

4: Djurens välfärd

37 %

68 %

2: Miljökänsliga områden

Källa: Sammanställd information från dokument nr 4

I Västra Götalands län anger 75 % av lantbrukarna att de har genomfört de råd de har erhållit vid rådgivning inom kompetensområdena 2 – 3.16 Inom Greppa Näringen (kompetensområde 2), uppskattas olika typer av förändringsbeteenden hos lantbrukarna i bl.a. Skåne, Halland och Blekinge. Av dessa lantbrukare uppger ungefär 60 % att de kraftigt minskat tiden mellan spridning och nedbrukning på hösten samt minskat andelen gödsel som sprids när det är blåsigt, vilket minskar ammoniakavgången. Cirka 60 % av lantbrukarna uppger att de följer Jordbruksverkets riktlinjer för gödsling samt har vidtagit följande åtgärder som minskar kväveutlakningen; kraftigt ökad areal för vårbearbetning och kraftigt ökad areal för senarelagd bearbetning under hösten. Ungefär 55 % av lantbrukarna uppger att de markkarterar i större utsträckning och tar hänsyn till Jordbruksverkets riktlinjer om åtgärder 15 16

Dokument nummer 4 Dokumentnummer 5

40

som minskar fosforförlusterna. Informationen säger något om det förändrade tillståndet, men ett kausalt samband mellan Greppa Näringens insatser och det förändrade beteendet har inte belagts. Cirka 25 % av Greppa Näringens medlemmar uppskattar dock att medlemskapet har lett till stora förändringar på deras gårdar.17

4.3.1.5 Förväntade effekter steg 3: Miljömålen uppnås, djurvälfärden ökar och effekten av andra åtgärder stärks När det gäller förväntade effekter i steg 3 finns det enligt utvärdering 2, indikationer i halvtid på att insatserna bidrar till att effekten av andra åtgärder stärks samt bidrar till att miljökvalitetsmålen uppnås. I utvärdering 9 studeras bl.a. minskningen av kväveutlakning som ligger i linje med Greppa Näringens miljömål. Studiens resultat bygger på empiri från främst Skånegårdar, som gjort minst två växtnäringsbalanser. Enligt dokumentet, tycks kväveutlakningen ha minskat på gårdstyperna; mjölk, gris och växtodling. Efter en uppskalning av kväveutlakningsförändringen till ett större antal gårdar, har den totala minskningen av kväveutlakningen för programperioden landat på 2070 ton. En kostnadsberäkning därefter, resulterar i 31 kronor per kg utlakat kväve.18 I figur 10 har vi sammanfattat vad dokumenten säger om KULM.

17 18

Dokument 39 Dokument nummer 9, sid. 68 och 72

41

Figur 10: Vad dokumenten säger om KULM (hänvisningar till dokumenten ligger i texten) Resurser

Aktiviteter och prestationer

Förväntade effekter steg 1

Förväntade effekter steg 2

Förväntade effekter steg 3

Kompete nsområd e1

281 miljoner kronor 29

Totalt antal deltagare 29 Nöjdhetsindex – rådgivning12-16 Andel kvinnor i rådgivning12-16 Nöjdhetsindex – kurser12-16 Andel kvinnor i kurser12-16

116 905 Ca: 85 Ca: 19 % Ca: 90 Ca: 35 %

41 % av deltagarna i utbildning/rådgivning har ökat sitt intresse för odlingslandskapets biologiska mångfald och kulturvärden.4 Indikationer i halvtid på att målgruppen har ökat sin kunskap.2

23 % av deltagarna anger att de ändrat/planerar att ändra skötseln och 71 % anger att utbildning/rådgivning har haft stor/mycket stor betydelse för förändringen.4

Indikationer i halvtid på att insatserna bidrar till att höja effekten av andra åtgärder inom LBU-programmet samt bidrar till att miljökvalitetsmålen uppnås.2

Kompete nsområd e2

423 miljoner kronor 29

Totalt antal deltagare29 Nöjdhetsindex – rådgivning12-16 Andel kvinnor i rådgivning12-16 Nöjdhetsindex – kurser12-16 Andel kvinnor i kurser12-16

165 864 Ca: 85 Ca: 4 % Ca: 85 Ca: 7 %

45 % av deltagarna i utbildning rådgivning har ökat sitt intresse för bekämpningsfrågor och 44 % för växtnäringsfrågor.4 10 procentenheter fler lantbrukare är år 2005 beredda att själv vidta åtgärder än 1999. 9 procentenheter fler av lantbrukarna anser år 2005 att det är viktigt att åtgärda jordbrukets växtnäringsläckage. 6 procentenheter färre av lantbrukarna anser att jordbrukets växtnäringsläckage ställer till problem i miljön år 2005 än 1999.39 Indikationer i halvtid på att målgruppen har ökat sin kunskap.2

30 % av deltagarna anger att de ändrat/planerar att ändra hanteringen av växtnäring och 61 % anger att utbildning/rådgivning har haft stor/mycket stor betydelse för förändringen. 34 % av deltagarna anger att de ändrat/planerar att ändra hanteringen av bekämpningsmedel och 79 % anger att utbildning/rådgivning har haft stor/mycket stor betydelse för förändringen.4 21-67 % av lantbrukarna i Skåne, Blekinge och Halland uppger att de vidtagit åtgärder som minskar ammoniakavgång, fosforförluster och kväveutlakning.39 75 % av lantbrukarna i Västra Götalands län uppger att de har genomfört de råd de har fått.5

Kväveutlakning tycks ha minskat.9

Kompete nsområd e3

243 miljoner kronor 29

Totalt antal deltagare29 Nöjdhetsindex – rådgivning12-16 Andel kvinnor i rådgivning12-16

105 574 Ca: 85 Ca: 17 %

44 % av deltagarna i utbildning/rådgivning har ökat sitt intresse för ekologiskt lantbruk.4

Nöjdhetsindex – kurser12-16 Andel kvinnor i kurser12-16

Ca: 88 Ca: 29 %

37 % av deltagarna anger att de har lagt om eller planerar att lägga om driften till ekologisk produktion och 72 % anger att utbildning/rådgivning har haft stor/mycket stor betydelse för omläggningen.4 75 % av lantbrukarna i Västra Götalands län uppger att de har genomfört de råd de har fått.5

Indikationer i halvtid på att insatserna bidrar till att höja effekten av andra åtgärder inom LBU-programmet samt bidrar till att miljökvalitetsmålen uppnås.2

Kompete nsområd e4

34 miljoner kronor 29

Totalt antal deltagare29 Nöjdhetsindex – rådgivning12-16 Andel kvinnor i rådgivning12-16 Nöjdhetsindex – kurser12-16 Andel kvinnor i kurser12-16

21797 Ca: 90 Ca: 13 % Ca: 90 Ca: 49 %

Kompete nsområd e5

1 miljon kronor 29

Totalt antal deltagare29 Nöjdhetsindex – rådgivning12-16 Andel kvinnor i rådgivning12-16 Nöjdhetsindex – kurser12-16 Andel kvinnor i kurser12-16

368 Ca: 85 Ca: 44 % Ca: 91 Ca: 13 %

Kompete nsområd e6

15 miljoner kronor 29

Totalt antal deltagare29 Nöjdhetsindex – rådgivning12-16 Andel kvinnor i rådgivning12-16 Nöjdhetsindex – kurser12-16 Andel kvinnor i kurser12-16

18 361 Ca: 90 Ca: 81 Ca: 19 %

Indikationer i halvtid på att målgruppen har ökat sin kunskap.2 49 % av deltagarna i utbildning/rådgivning har ökat sitt intresse för ökad djurvälfärd.4

42

37 % av deltagarna anger att de har ändrat/planerar att ändra djurskötseln för att förbättra djurvälfärden och 68 % anger att utbildning/rådgivning har haft stor eller mycket stor betydelse för ändringen.4

Indikationer i halvtid på att insatserna bidrar till att höja effekten av andra åtgärder inom LBU-programmet samt bidrar till att miljökvalitetsmålen uppnås.2

4.3.2 K2 Stycket är uppdelat i resurser, aktiviteter och prestationer samt effekter i tre steg i enlighet med K2:s verksamhetslogik.

4.3.2.1 Resurser Vad gäller resurser finns information om utbetalda belopp per aktivitet mellan åren 2002 – 2006. Information om resurser för K2:s första verksamhetsår har vi inte tillgång till men däremot täcker den informationen som finns hela verksamhetens geografiska område. Totalt utbetalt belopp till K2-verksamheten är knappt 107 miljoner kronor. De största utgiftsposterna var seminarier och kurser, studieresor och enskild rådgivning. I tabell 15 presenteras totalt utbetalda belopp för K2: s verksamhet.

Tabell 15: Totalt utbetalda belopp i kronor till K2-verksamheten under 2002 – 2006 År

2002

2003

2004

2005

2006

Totalt

Utbetalt belopp

18 333 498

21 811 269

21 513 274

26 343 614

18 817 706

106 819 361

Källa: Sammanställd information från dokument nr 30-33 samt dokument nr 2

4.3.2.2 Aktiviteter och prestationer De kontinuerliga prestationsmått som finns för K2 mäter hur många som har deltagit i aktiviteterna och hur många av deltagarna som är kvinnor, för alla år utom första verksamhetsåret. Det operativa målet för K2 är att insatserna ska ha nått 15 000 deltagare vid programperiodens slut. Om siffrorna vi har tillgång till stämmer innebär det att K2 har nått ut till 61 579 deltagare. Ungefär 43 % av dessa var kvinnor. I tabell 16 presenteras deltagarantal för K2 under åren 2002 – 2006.

Tabell 16: Deltagarantal för K2 År

2002

2003

2004

2005

2006

Totalt

Deltagare

9579

11 924

13 077

14 760

12 239

61 579

Varav kvinnor

4067

5205

5221

7129

5106

26 728

Källa: Sammanställd information från dokument nr 30-33 samt dokument nr 2

4.3.2.3 Förväntade effekter steg 1 och 3 För K2 finns uppskattningar av förväntade effekter i steg 1 och 3 i utvärdering 2.

Uppskattningarna gäller endast för den första hälften av programperioden. Bedömningen är en helhetsbedömning av K2:s verksamhet, så informationen antas täcka hela verksamhetens geografiska område. I samma utvärdering konstateras att det är svårt att bedöma om K2 har bidragit till lantbrukarnas höjda kompetensnivå. Utvärderingen bedömer emellertid att kompetensnivån har höjts, utifrån tillgänglig information från bl.a. en enkät där länsstyrelserna anser att åtgärder inom K2 bidrar till att höja kompetensnivån och att deltagarna har varit av samma uppfattning. Utvärderingen gör också bedömningen att K2aktiviteterna har bidragit till att höja effekten av andra åtgärder inom LBU-programmet, grundat på hur stor andel av deltagarna som har utbildats i ämnen som anknyter till andra åtgärder (t.ex. miljöersättningsstöd).

43

I figur 11 nedan sammanfattas vad dokumenten har sagt oss om K2.

Figur 11: Vad dokumenten säger om K2 (hänvisningar till dokumenten ligger i texten) Resurser

Aktiviteter/prestatio ner

Ökad kompetens och kunskap om stöd

Totalt

Totalt 61 579 deltagare, varav 26 728 kvinnor.20

Svaga indikationer i halvtid på att tillgänglig information talar för att kompetensnivån höjts.21

utbetalda medel 106 819 361 kronor.19

Förändrat beteende hos målgruppen

Mer diversifierat företagande och effekten av andra åtgärder stärks

Ekonomiskt och social hållbar utveckling på landsbygden

Svaga indikationer i halvtid på att insatserna har bidragit till ett diversifierat företagande samt bidragit till att effekten av andra åtgärder inom LBUprogrammet har höjts.21

4.3.3 Sammanvägd bedömning av täckningsgrad Ifråga om vad dokumenten har att säga kan vi konstatera att det finns information om KULM men väldigt lite rörande K2. Vad gäller KULM indikerar dokumenten att 40 – 50 % av lantbrukarna fått ett ökat intresse för frågor aktuella inom kompetensområde 1 – 4 samt att 20 – 40 % av lantbrukarna har förändrat sitt beteende i linje med vad kompetensområde 1 – 4 förespråkar. Gällande KULM inriktar sig dokumenten främst mot de tre första kompetensområdena, vilka är de tyngsta utgiftsposterna. Särskilt fokus läggs på kampanjen Greppa Näringen som också är en tung utgiftspost under kompetensområde 2. Vad gäller K2 ges i ett dokument svaga indikationer i halvtid på att insatserna har bidragit till målet ett diversifierat företagande.

När det gäller vilka aspekter av KULM och K2 som inte har studerats vill vi lyfta fram två saker. Till att börja med har data om ökad kunskap och inspiration till handling inte sammanställts på en övergripande nivå. En central fråga i ett kompetensutvecklingsprogram måste naturligtvis vara huruvida målgruppens kunskap/kompetens ökat. Det är därför anmärkningsvärt att data som avser att mäta just ökad kunskap inom KULM verkar ha samlats in men utan att sammanställas på en övergripande nivå. Vidare har målet att kompetensutvecklingsinsatserna skulle bidra till att förstärka effekten av andra åtgärder inom insatsområdet endast studerats i liten omfattning och de slutsatser som dras, baseras på relativt svaga resonemang. I dokument nummer 2 bedöms att KULM:s insatser bidrar till att höja effekten av stöd inom programmet utifrån att deltagare uppskattat nyttan av åtgärdsplaner för bevarandet av natur- och kulturmiljövärden i betesmarker samt utifrån en granskning av ett antal åtgärdsplaner. Dessa bedömningar täcker endast en liten del av programperioden.

Bedömningar i dokument nummer 3 av föregående kompetensutvecklingsprogram har konstaterat att ”de jordbrukare, som fick någon form av miljöstöd, hade tagit större intryck av kompetensutvecklingen än de som inte hade miljöstöd.” En snarlik utvärdering av KULM år 2005 har genomförts av samme uppdragstagare i dokument nummer 4. Men en liknande slutsats har ej redovisats i de dokument vi studerat. Vad gäller K2 anges i dokument nummer 2 att det ”saknas /…/underlag för att närmare bedöma hur K2 – aktiviteterna har underlättat genomförandet av investeringar med stöd enligt Insatsområde II”. Författarna rekommenderar 19

Dokument nr 2 och 30 – 33 (sammanställda siffror) Dokument nr 30 – 33 21 Dokument nr 2 20

44

också Jordbruksverket att komplettera ”resultatinformationen avseende K2 från och med 2005 med underlag om kopplingar till andra åtgärder inom insatsområdet.” En sådan komplettering har vi inte funnit i vårt material.

45

5 Slutsatser, diskussion och rekommendationer I detta sista kapitel lyfts metautvärderingens slutsatser fram och diskuteras. Diskussionen utmynnar i ett avsnitt med rekommendationer till Jordbruksverket på hur utvärdering och uppföljning av denna typ av verksamhet kan förbättras.

5.1.1 Slutsatser i ett nötskal Då kvaliteten i dokumenten har bedömts har vi sett några generella drag. En slutsats är att det finns väldigt få dokument som har utvärderingskaraktär, särskilt i förhållande till antalet uppföljningar. De utvärderingar som har gjorts håller godtagbar kvalitet i förhållande till den analysmodell som här tillämpats. De förbättringsmöjligheter som identifierats är behovet av att bättre framhäva och tydliggöra verksamhetslogiken och utvärderingarnas frågeställningar.

Vad det gäller uppföljningarna finns det en del tydliga förbättringsområden. Flertalet uppföljningar bedöms ha en låg tillgänglighet, vilket påverkar förståelsen och användningen av informationen. Vi har också gjort bedömningen att det finns empiriskt material som inte bearbetats.

-

Få dokument är att betrakta som utvärderingar.

-

De utvärderingar som finns håller god kvalitet men kan förbättras genom tydliggörande av verksamhetslogik och frågeställningar.

-

Uppföljningarna har låg tillgänglighet och behandlar inte allt insamlat empiriskt material.

De huvudsakliga slutsatserna när det gäller täckningsgrad är följande: -

Väldigt lite information finns om K2

-

När det gäller KULM indikerar dokumenten att mellan 40 och 50 % av lantbrukarna fått ett ökat intresse för frågor aktuella inom kompetensområde 1 – 4 samt att en del lantbrukare (mellan 20 och 40 %) har förändrat sitt beteende i linje med vad kompetensområde 1 – 4 förespråkar.

-

Data om ökad kunskap och inspiration till handling om KULM finns men har ej sammanställts på övergripande nivå.

-

Huruvida KULM bidragit till att stärka effekten av andra åtgärder inom LBU, om miljökvalitetsmålen uppnåtts eller om djurvälfärden förbättrats har endast studerats i liten omfattning.

47

5.1.2 Diskussion och rekommendationer Föreliggande metautvärdering har varit inriktad på att granska kvalitet, täckningsgrad och resultat i ett antal dokument. Inledningsvis nämndes också en fjärde form av metautvärdering som syftar till bedömning av organisationers utvärderingssystem, som alltså inte här berörts.

Mot bakgrund av vad vi nu vet om dokumentens kvalitet, täckningsgrad och resultat kan man enligt vår mening ändå indirekt dra slutsatsen att Jordbruksverket skulle kunna vidta en hel del åtgärder för att utveckla sitt utvärderingssystem så att utvärderingar (och andra närliggande aktiviteter såsom uppföljning) genomförs och används med mera systematik.

Med systematik i detta sammanhang menas bl. a. att: 1) utvärderingar genomförs vid vissa definierade tidpunkter, och 2) med vissa rutiner eller metoder eller efter vissa riktlinjer, 3) med vissa bestämda (eller avsedda) användningar eller syften i sikte, och som 4) ingår i ett större besluts- och planeringssammanhang.22 Att ha ett utvärderingssystem med genomtänkt systematik är viktigt av flera skäl. Det mest centrala skälet är att utvärderingar som planerats väl blir bättre än utvärderingar som aktualiseras på ett så sent stadium att de inte går att genomföra på ett bra sätt.

Produktkvaliteten blir sannolikt högre, samtidigt som förutsättningarna för att utvärderingar används på ett ”nyttigt” sätt ökar. Det sista är för övrigt en aspekt som omnämns i all litteratur om utvärderingars användning.

När det gäller att utveckla Jordbruksverkets utvärderingssystem vill vi för det första särskilt peka på vikten av vad som brukar kallas beställarkompetens. I en utmärkt skrift om konsten att beställa utvärderingar skriver Ekonomistyrningsverket (2005, s 4) att ”som man ropar i skogen får man svar”. Har man inte i förväg tänkt igenom frågor kring utvärderingars syfte och användning blir utvärdering lätt till en ritual som bara kostar pengar, samtidigt som den drar resurser från andra aktiviteter. I beställarkompetens ingår att kunna: 1) formulera relevanta och utvärderingsbara frågor, 2) formulera en uppdragsbeskrivning och ta ställning till resursbehov, 3) föra en dialog med den/de som ska utföra utvärderingen, och 4) granska rapportutkast och kunna ta ställning till produktkvalitet. Med tanke på den vikt som utvärderingar idag ges som medel för verksamhetsutveckling, styrning och kontroll – och i förlängningen för utkrävande av ansvar – är kloka utvärderingsbeställningar och nyttig användning av utvärderingar ett ytterst angeläget ämne.

När det kommer till att beställa enskilda utvärderingar, att ta fram mått som kontinuerligt följer upp en verksamhet och/eller att arbeta för att bygga upp ett helt utvärderingssystem, menar vi att användandet av verksamhetslogik kan vara till en stor hjälp för Jordbruksverket.

Som har diskuterats på flera ställen i denna rapport tydliggör verksamhetslogiken de antaganden som finns om hur verksamheterna ska fungera och blir på så vis ett verktyg för diskussion och kommunikation kring verksamheten. När det gäller täckningsgrad drog vi slutsatsen att det mål som handlar om att kompetensutvecklingsinsatserna skulle bidra till att stärka effekten av andra åtgärder inte har studerats i någon större omfattning. Genom detta arbete har det inte blivit klart för oss hur det är tänkt att detta mål ska nås, det vill säga på vilket sätt det är tänkt att KULM och K2 ska öka effekten av andra åtgärder. Om det redan innan beställningen av de utvärderingar som gjorts av KULM och K2 funnits en utarbetad verksamhetslogik hade det varit enklare att både planera och utföra rapporterna och på så vis borgat för att verksamheterna studerats med mer systematik. Vi menar därför att Jordbruksverket för innevarande programperiod på en detaljerad nivå bör beskriva verksamhetslogikerna för de nya verksamheterna. Vilken typ av kunskap ska lantbrukarna förvärva genom en viss typ av aktivitet? Vilket är det önskvärda förändrade beteendet som ett 22

Kriterier på vad som karaktäriserar ett systematiskt utvärderingssystem diskuteras i exempelvis Faugert m fl (2005).

48

resultat av denna kunskap och vilket miljökvalitetsmål är det förändrade beteendet tänkt att bidra till att uppnå? Hur tänker man sig att de aktiviteter som vidtas eller planeras att vidtas leder till kunskap och förändrat beteende? Genom att tydliggöra antagna orsakssamband som de nu nämnda skapas underlag för diskussion, samtidigt som relevanta utvärderingsfrågor kan formuleras och normativa antaganden i en verksamhet kan penetreras och systematiseras.

Verksamhetslogik kan, som vi snart ska visa, med fördel också användas för att utveckla system för uppföljning eller för att förfina ett redan befintligt system.

En andra aspekt som vi särskilt vill peka på är vikten av att integrera arbetet med uppföljning och utvärdering. Uppföljningsdata som samlas in löpande kan med fördel användas som underlag för mer noggranna och djupgående utvärderingar. Överhuvudtaget tror vi att Jordbruksverket skulle kunna få ett långt bättre bruk för de uppföljningar som görs av KULM och K2. Som vi sett i denna studie har man idag i vissa fall inte ens sammanställt data från alla de uppföljningar som gjorts. Frågor om ökad kunskap och inspiration till handling har ställts till lantbukarna men svaren har inte gjorts tillgängliga på övergripande nivå. Vad vi kan se har heller inga jämförelser gjorts över tid, mellan olika regioner eller mellan olika typer av kompetensutvecklingsinsatser. Mer djupgående studier av befintliga data skulle förmodligen vara möjlig. Uppföljningsdata kan exempelvis användas för att: a) göra jämförelser över tid, b) skapa förståelse för samband mellan en verksamhets olika led, c) återkoppla till och vägleda personal och för att motivera till förbättring och utveckling, d) stödja strategisk och annan långsiktig planering.

En förutsättning för ett ökat bruk av uppföljningsdata är naturligtvis att de frågor och mått som uppföljningarna omfattar mäter relevanta aspekter av verksamheten, dvs. att de har en god innehållsvaliditet. Om rätt saker inte mäts, eller mäts på ett inadekvat sätt, kommer informationen att bli missledande och kanske leda till dåliga beslut. I vår studie har vi bland annat ställt frågor om ökat intresse kan sägas mäta ökad kunskap och om det är möjligt att dra slutsatsen att lantbrukarnas kunskap har ökat för att de uppger att de har haft nytta av en viss utbildning. Som framgått av denna metautvärdering är kvaliteten på uppföljningarna av KULM och K2 ojämn, och kan därför förbättras. I avsnittet nedan har vi lämnat förslag på hur ett uppföljningssystem för aktiviteter som KULM och K2 kan utvecklas.

5.1.2.1 Ett mer genomtänkt uppföljningssystem Uppföljning är en aktivitet som görs löpande enligt fasta rutiner för att granska hur en verksamhet utvecklas i något eller några bestämda avsikter i syfte att styra densamma.

Vanligen är det verksamhetens måluppfyllelse som granskas. Med mål avses här ett önskat resultat som en verksamhet förväntas leda till, dvs. prestationer och effekter. Mål i offentliga verksamheter är nästan alltid är breda och oprecisa och därför krävs indikatorer som indirekt påvisar förekomst eller tillstånd av måluppfyllelse (eller något annat, t ex kvalitet).

Indikatorer kan vara av både kvantitativ och kvalitativ art, men för att systematisera, jämföra och följa en verksamhets utveckling över tid är kvantitativa indikatorer (antal, medelvärde, median etc.) att föredra. Det är viktigt att de indikatorer som omfattas av ett uppföljningssystem har god innehållsvaliditet. Med det menas här att man lyckats bryta ner de nyckelbegrepp som finns i ett mål i storheter som kan uttryckas med siffror på ett sätt som fångar andemeningen i målet. I KULM:s fall handlar det således om att finna indikatorer som fångar andemeningen i begrepp som exempelvis ökad kunskapsnivå, förändrat beteende, ökad djurvälfärd och ekologiskt hållbart jordbruk.

49

Det är värt att notera att en indikator bara är en indikation på måluppfyllelse, eftersom den mäter en avgränsad del av ett mål. En indikator säger heller inget om kausala förhållanden, d.v.s. om det är den aktuella verksamhetens insatser som bidragit till ett uppmätt resultat, om det är något annat eller om resultatet skulle uppnåtts ändå. För att kunna dra sådana slutsatser är det nödvändigt med mer robust upplagda utvärderingar.

Vilka mål och delar av mål som är relevanta att få med i ett uppföljningssystem är sällan givet utan måste diskuteras fram. Även i detta sammanhang är verksamhetslogik, som bygger på de styrdokument som gäller för verksamheten, en utmärkt referensram och diskussionsunderlag.

Tillgången på redan befintliga data är också en viktig faktor att väga in, men man bör noga tänka igenom om befintliga data verkligen passar ihop med de mål vars uppfyllelse uppföljningssystemet ska mäta. Ett annat förhållande som bör påverka valet av vilka mål som ska mätas är hur långt en viss verksamhets ansvar för önskade effekter rimligen kan sträcka sig, men även vilka effekter som kan mätas på ett tillförlitligt sätt. I samband med valet av mål och definitionen av indikatorer krävs också att man identifierar datakällor för de indikatorer som ska ingå i uppföljningssystemet. Ett uppföljningssystem bör ge tydliga anvisningar om vilka empiriska data som behöver samlas in, när det ska ske och vem som har ansvar för det.

För att illustrera vad som hittills sagts har vi i figuren 12 nedan lagt in KULM:s verksamhetslogik i en grundstruktur för uppföljningssystem, samt de uppföljningsdata som (så vitt vi känner till) idag samlas in om KULM. Som synes belyses en inte så liten del av KULM:s verksamhetslogik i de uppföljningar som redan görs i form av enkäter med deltagare som får svara på frågor om ökad kunskap, motivation etc. Problemet är som tidigare antytts att all data inte sammanställs och analyseras på en övergripande nivå.

Ju längre bort i effektkedjan vi kommer desto sämre är det emellertid med indikatorer på måluppfyllelse. Av flera skäl är vi dock tveksamma till om de mål som ligger i verksamhetslogikens steg 3 och 4 är möjliga att följa upp på ett tillförlitligt sätt. Även om det skulle vara möjligt att definiera valida indikatorer på exempelvis ökad djurvälfärd och mer miljöanpassat och ekologiskt hållbart jordbruk, kan man för det första fråga sig om det är möjligt att ta fram empiriska data om dessa förhållanden och om det kan göras på ett kostnadseffektivt sätt. För det andra kan man ifrågasätta hur långt i effektkedjan som KULM/K2:s ansvar sträcker sig och vilka tillstånd dessa insatser rimligen kan påverka. Ju längre bort i en förväntad effektkedja vi förflyttar oss, desto fler aktörer och strukturer är det som är med och påverkar tillstånden. Enligt vår mening är det viktigt att ha realistiska förväntningar på vad som är möjligt att uppnå eller åstadkomma genom olika insatser. För det tredje, slutligen, kan man också fråga sig om utbildningsinsatser som innebär försök till påverkan genom övertygelse, övertalning eller faktaupplysning är rätt form av styrmedel för att åstadkomma avsedda effekter.

50

Figur 12: En grundstruktur för uppföljningssystem MÅL

Aktiviteter och prestationer

Förväntad effekt steg 1

Förväntad effekt steg 2

Förväntad effekt steg 3

Förväntad effekt steg 4

Kompetensutveckling inom 6 områden av lantbrukare i regionala länsprogram samt fortbildning av myndigheter, organisationer, föreningar m.fl.

Ökad kunskap, motivation och stärkt förmåga hos målgruppen

Förändrat beteende hos målgruppen

Miljömålen uppnås, djurvälfärden ökar och effekten av andra åtgärder stärks

Jordbruket blir ekologiskt hållbart

Deltagarnas påståenden om ändrat beteende och om utbildningens/råd givningens betydelse för detta.

Lantbrukares uppskattning av vidtagna åtgärders effekter.

Dokument 4

Dokument 2

INDIKATOR Antal deltagare/år; deltagarnas Deltagarnas

EMPIRISKT UNDERLAG

könsfördelning; nöjddeltagarindex.

påståenden om vad de lärt sig, om de fått inspiration till handling och ökat intresse.

Programdokument och

Dokument 4 och 12-16

dokument 12-16

Mot bakgrund av vad som nu sagts om uppföljning vill vi plädera för att Jordbruksverket: -

Stärker beställarkompetensen hos programansvariga

-

Rekonstruerar verksamhetslogiken för KULM/K2:s motsvarigheter i det nya programmet

-

Med utgångspunkt i den nya verksamhetslogiken och stöd av figur 12 omsorgsfullt diskuterar hur uppföljningen av verksamhet inom den nya programperioden ska se ut.

-

Förhåller sig kritiskt till vad som faktiskt är möjligt att följa upp givet tillförlitligheten till och kostnaderna för att samla in empiriskt material

51

6 Referenser Chen H.T. (1990): Theory-Driven Evaluations, Newbury Park, CA: Sage Ekonomistyrningsverket: ESV:s ordbok, tillgängligt på www.esv.se, senast uppdaterad: 200706-29, hämtat 2008-03-30.

Ekonomistyrningsverket (2005): Att beställa utvärderingar – en vägledning. Stockholm: Ekonomistyrningsverket.

EU- Commission (2002): Evaluation Standards and Good practice.

Faugert, S m fl (2005): Utvärderingssystem för FoU-finansiärer – mot systemutvärdering för FoU-finansiärer? Paper presenterat vid Svenska utvärderingsföreningens konferens, Stockholm 20-21 oktober 2005.

Forss, K m fl (2006): Can Evaluations be Trusted? An Inquiry into the Quality of SIDA’s Evaluation Reports. Stockholm: SIDA. Foss Hansen, H & Rieper, O (2005): Systematiske reviews: Spredning, organisering og betydning af en ny evalueringsform. Paper presenterat vid Nopsa XIV Nordiska statsvetarförbundets kongress, Reykjavik, 11-13 augusti 2005.

Joint Committee on Standards (1994): The Program Evaluation Standards. Thousand Oaks, CA: Sage.

Jordbruksdepartementen: Miljö och landsbygdsprogram för Sverige år 2000 – 2006: tillgängligt på www.regeringen.se, senast uppdaterad 2007-02-17, hämtad 2008-03-30.

Key Evaluation Checklist (2007): Evaluation Checklists Project, Claremont University, USA (www.wmich.edu/evalctr/checklists).

McLaughlin J & Jordan G (1999): Logic Models: a tool for telling your program’s performance story. I Evaluation and Program Planning nr. 22, 56-7.

Naturvårdsverket (2007): Riktlinjer för regionala miljöövervakningsprogram. Stockholm: Naturvårdsverket.

Rogers, P (2000): Meta-evaluation bibliography. Southern Cross University, Australia.

Scriven, M (1969): An introduction to meta-evaluation. Educational Product Report, no 2 (s 36-38).

Scriven, M (1991): Evaluation Thesaurus, 4th ed. Thousand Oak, CA: Sage.

SIDA (2007): Looking Back Moving Forward. Stockholm: SIDA. Trost, J (2007): Enkätboken, tredje upplagan, Författarna och Studentlitteratur.

Vedung, E (1998): Utvärdering i politik och förvaltning. Lund: Studentlitteratur.

Vedung, E (2003): Utvärderingsböljans former och drivkrafter. STAKES, Fin-Soc Working Papers 17/2003.

53

Bilaga 1: Uppdragsbeskrivning Bakgrund KULM/K2-verksamheten utgjorde viktiga byggstenar i Miljö- och landsbygdsprogram för Sverige 2000-2006 (LBU-programmet). Verksamheten gick ut på att med hjälp av olika kompetensutvecklingsåtgärder motivera och utbilda lantbrukare och andra personer verksamma inom jordbruket att använda miljöanpassade produktionsmetoder som är hållbara på lång sikt både ekonomiskt och ekologiskt. SLU har uppdragit åt oss att genomföra en så kallad metautvärdering av befintliga KULM/K2-utvärderingar.23 Jordbruksverket har haft ansvar för nationell utvärdering av bl.a. kompetensutvecklingsåtgärder LBU-programmet 2000-2006. SLU har för närvarande regeringens uppdrag att utvärdera hela landsbygdsprogrammet 2000-2006.

En metautvärdering innebär vanligen en sammanställning av resultaten från flera olika utvärderingar, men det kan också handla om att granska kvaliteten på redan gjorda utvärderingar för att kunna uttala sig om tillförlitligheten i redovisade resultat. Inom ramen för SLU:s utvärdering av landsbygdsprogrammet görs en samlad sammanställning av de utvärderingar av kompetensutveckling som är genomförda inom LBU-programmet 20002006. Som ett led i utvecklingen av verksamheten ser Jordbruksverket det som angeläget att utifrån denna sammanställning ytterligare analysera resultaten med avseende på utvärderingarnas kvalitet.

Utvärderingsfrågor Ett viktigt syfte med denna utvärdering är att identifiera svagheter och brister i befintliga utvärderingar, samt att föreslå hur Jordbruksverket fortsättningsvis kan arbeta med utvärdering av KULM/K2-liknande verksamheter. Metautvärderingen ska göras i form av en sammanställning av resultaten från flera olika utvärderingar och ska göras genom följande steg: Steg 1 Täckningsgrad: Vilka aspekter av KULM/K2 omfattas i befintliga utvärderingar?

Vilka aspekter av verksamheten har inte varit föremål för utvärdering?

Steg 2 Resultat: Vad har de befintliga utvärderingarna att säga om KULM/K2?

Steg 3 Kvalitet: Vilken kvalitet har denna kunskap? Hur tillförliga är med andra ord de slutsatser som utvärderingarna redovisar?

Vidare kommer följande frågeställningar kommer att beaktas i arbetet: -

Har KULM/K2-projekten (kurser, rådgivning) resulterat i att effekterna av LBU stöden främjats?

-

Har målgruppens kompetens/skicklighet ökat?

-

I vilken grad har de interna utvärderingarna av KULM/K2 belyst effekterna och inte bara redovisat statistik om antal deltagare?

23 Utvärdering används här som ett familjebegrepp för aktiviteter som är inriktade på att systematiskt granska och värdera en verksamhet, t.ex. uppföljning, utvärdering, kvalitetsmätning och samhällsekonomisk analys.

55

-

Har data om KULM/K2-projekten insamlats på sådant sätt att nyttoutvärdering (resultat per krona) möjliggörs?

-

Vilken kvalité är det på utvärderingsansatserna och metoderna som har använts? Hur tillförlitligt är utvärderingarnas resultat?

-

Hur kan förbättringar göras? Finns det förslag på lämpliga indikatorer eller metoder till nästa period?

Tillvägagångssätt Studieobjektet för denna metautvärdering är befintliga KULM/K2-utvärderingar som till sin karaktär är högst skiftande. Förutom mer traditionella utvärderingar ingår även statistik, enkätsammanställningar, årsredovisningar, förstudier etc. P.g.a. av denna variation är det därför nödvändigt att inledningsvis göra en översikt och kategorisering av de dokument som ska granskas med avseende på täckningsgrad, resultat och kvalitet. Skillnader mellan olika typer av utvärderingar beaktas och det kan också bli aktuellt att särbehandla någon dokumentkategori. Ett urval måste troligtvis göras.

För att kunna svara på frågorna i steg 1 används en metod som kallas rekonstruktion av verksamhetslogik med vars hjälp det är möjligt att tydliggöra de mål och antagna samband som KULM/K2 vilar på. En hjälp på vägen i detta arbete är den effektkedja som Jordbruksverket redan utarbetat för KULM/K2. Därutöver studeras styrdokument som beskriver hur KULM/K2 är tänkt att fungera. Eventuellt kan ett fåtal intervjuer med ansvariga på Jordbruksverket och/eller andra personer bli aktuella.

Genom att jämföra KULM/K2:s verksamhetslogik med innehållet i befintliga utvärderingar av KULM kommer vi att kunna se vilka aspekter som täckts in och vilka aspekter som inte täckts in. Är det t.ex.. så att fokus har legat på prestationer (antal kompetensutvecklingsåtgärder och antal deltagare), medan åtgärdernas effekter för dem som deltagit lämnats därhän? Vilken typ av effekter är det som uppmärksammas (kortsiktiga/långsiktiga, individ/ samhälle)? Beaktas kostnader?

Vidare krävs att en analysmodell utarbetas som beskriver vad kvalitet i utvärdering innebär.

Underlag för en sådan modell hämtas från litteratur om metautvärdering, men också från aktuell debatt kring så kallad evidensbaserad social praktik där frågan om vad som ska räknas som säker kunskap (evidens) är central. Modellen används sedan för att värdera kvalitet i KULM/K2-utvärderingarna. Värderingen kan i sin tur identifiera brister och utgöra en grund för förslag till förbättringar.

56

Bilaga 2: Lista på studerade dokument 1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

Ljung, M. och Höckert, J. för Sveriges lantbruksuniversitet (2003) Utvärdering av dokumentation vid enskild rådgivning inom KULM, Jordbruksverkets rapport 2003:9.

Wramner, P (2003) Levande kulturlandskap en halvtidsutredning av Miljö- och landsbygdsprogrammet, Statens Offentliga Utredningar 2003:105.

Adolfsson, R. och Svensson, J. för Statistiska centralbyrån, (2000) Attitydundersökning om miljöutbildning för lantbrukare, Jordbruksverkets rapport 2000:8.

Bratt, M. och Svensson, J. för Statistiska centralbyrån, (2006) Miljöutbildning och rådgivning för jordbrukare, Jordbruksverkets rapport 2006:19.

Johansson, J. och Sjölander, A. för Landja Marknadsanalys AB (2006) Effekter av KULM-rådgivning – en pilotundersökning av Enskild rådgivning, plan (EP), Jordbruksverkets rapport 2006:20.

Johansson, J. (2002) Greppa Näringen – Varför bli medlem? intervjuer med lantbrukare, Näringslivets undersökningsinstitut.

Johansson, J. (2003) Greppa Näringen – Vilka som väljer och varför segmenteringsundersökning, Näringslivets undersökningsinstitut.

Sammanfattning Miljöeffekter av informations- och rådgivningsprojektet Greppa Näringen åren 2001-2006.

Preliminär rapport: Uppföljning av kunskaps- och rådgivningsprojektet Greppa Näringen för åren 2000-2006.

Dokumenthuset Information AB, årsrapporter 2000.

Dokumenthuset Information AB, årsrapporter 2001.

Kinnmark Information AB, årsrapporter 2002.

Kinnmark Information AB, årsrapporter 2003.

Kinnmark Information AB, årsrapporter 2004.

Kinnmark Information AB, årsrapporter 2005.

Kinnmark Information AB, årsrapporter 2006.

Johansson, J. (2003) Sveriges lantbruk en undersökning bland lantbrukare Utvärdering av ”Levande Landskap”, Landja Marknadsanalys AB. Johansson, J. (2004) Sveriges lantbruk en undersökning bland lantbrukare Utvärdering av ”Levande Landskap”, Näringslivets undersökningsinstitut.

Johansson, J. (2005) Sveriges lantbruk en undersökning bland lantbrukare Utvärdering av ”Levande Landskap”, Landja Marknadsanalys AB. Johansson, J. (2006) Sveriges lantbruk en undersökning bland lantbrukare Utvärdering av ”Levande Landskap”, Landja Marknadsanalys AB. Johansson, J. (2004) Sveriges lantbruk en undersökning bland lantbrukare Tidningsbilaga och kännedom om Greppa Näringen, Näringslivets undersökningsinstitut.

Johansson, J. (2006) Sveriges lantbruk en undersökning bland lantbrukare Tidningsbilaga och kännedom om Greppa Näringen, Landja Marknadsanalys AB. Kompetensutveckling av lantbrukare inom miljöområdet – KULM, Verksamhetsåret 2000, Jordbruksverkets rapport 2001:14.

Kompetensutveckling av lantbrukare inom miljöområdet – KULM, Verksamhetsåret 2001, Jordbruksverkets rapport 2002:6.

Kompetensutveckling av lantbrukare inom miljöområdet – KULM, Verksamhetsåret 2002, Jordbruksverkets rapport 2003:12.

57

26. Kompetensutveckling av lantbrukare inom miljöområdet – KULM, Verksamhetsåret 27.

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

58

2003, Jordbruksverkets rapport 2004:15.

Kompetensutveckling av lantbrukare inom miljöområdet – KULM, Verksamhetsåret 2004, Jordbruksverkets rapport 2005:16.

Kompetensutveckling av lantbrukare inom miljöområdet – KULM, Verksamhetsåret 2005, Jordbruksverkets rapport 2006:25.

Kompetensutveckling av lantbrukare inom miljöområdet – KULM, Verksamhetsåret 2006, Jordbruksverkets rapport 2007: 24.

Utvecklingen inom Miljö- och landsbygdsprogrammet år 2003, Jordbruksverket Dnr 19-1041/2004.

Utvecklingen inom Miljö- och landsbygdsprogrammet år 2004, Jordbruksverket Dnr 19-2027/05.

Utvecklingen inom Miljö- och landsbygdsprogrammet år 2005, Jordbruksverket Dnr 19-2125/06.

Utvecklingen inom Miljö- och landsbygdsprogrammet år 2006, Jordbruksverket Dnr 19-2244/07.

Wallman, M. och Wallin, K. (datum saknas) ENKÄTUNDERSÖKNING OM VäxtEko, Jordbruksverket internt material.

Bergérus Rensvik, Å. (2006) Utvärdering av Greppa Näringen i Halland, LRF, internt material.

Bergérus Rensvik, Å. Vad tycker lantbrukare om Greppa Näringen? En telefon intervju med lantbrukare, LRF, internt material.

Lans, H. (2003) Utvärdering av enskild rådgivning Greppa Näringen, Länsstyrelsen Halland, internt material.

Johansson, J. (1999) Växtnäringsundersökningen 1999, Näringslivets undersökningsinstitut.

Johansson, J. (2005) Växtnäringsundersökningen 2005, Landja Marknadsanalys AB. Enkät om KULM – verksamheten Sammanställning av länsstyrelsernas svar, Jordbruksverket, internt material.

Bilaga 3: Bedömning av gränsfall vid kategoriseringen av dokument Några dokument befinner sig i gränslandet mellan utvärdering och uppföljning. Dessa dokuments kategorisering diskuteras nedan och deras placering motiveras.

Dokument nummer 4 har klassificerats som utvärdering. Dokumentet är av omfattande karaktär och syftar till att belägga kausalitetsförhållanden. Dokumentet gör ingen tydlig värdering av resultatet. Det framgår att värdekriterier finns i form av resultat från tidigare studier. Kriterierna för bedömning används i liten utsträckning och en tydlig slutsats/bedömning framhålls inte.

Dokument 9 ska enligt syftesformuleringen belägga miljöeffekter. Studien bygger på föreoch efterdata, som belägger ett förändrat tillstånd ifråga om exempelvis lantbrukarnas beteende eller hur stora kväveutsläppen är. Dokumentet bygger på en noggrann datainhämtningsprocess som skett under flera år. Anledningen till att dokumentet befinner sig i gränslandet mellan utvärdering och uppföljning är att det trots att det innefattar en noggrann datainhämtning inte på ett tydligt sätt relaterar resultatet till insatsen. Det säger alltså inte att det förändrade tillståndet har orsakats av rådgivningen. I sammanhanget passar dokumentet ändå bättre i kategorin utvärdering eftersom det är en mer omfattande engångsinsats och innehåller en mer vetenskaplig analys (olika beräkningsmodeller för att fånga miljöförändringar).

Dokument nummer 35 är inriktat emot att mäta hur Greppa Näringen har mottagits och uppfattats, vad som varit bra respektive dåligt samt att kartlägga förändrat beteende hos lantbrukarna. Dokumentet kartlägger situationen men gör ingen analys. Resultaten värderas inte heller, vilket gör att dokumentet bedöms vara en uppföljning.

Dokument 36 syftar till att kartlägga lantbrukarnas uppfattning om Greppa Näringen, vad som har fungerat bra och mindre bra samt utvärdera resultatet. Enkätundersökningen ställer öppna frågor om behov, samlar in data om prestationer. Det finns en strävan att mäta effekter. Men empirin presenterats utan värdering eller djupare analys. Dokumentet är en engångsinsats, men karaktären överensstämmer bättre med uppföljning.

Dokument nummer 38 och 39 är två undersökningar av lantbrukarnas attityder till växtnäringsläckage. Den senaste undersökningen nr 39 jämför sitt resultat mot de referenspunkter som getts i den föregående undersökningen nr 38. Dokumenten belägger en attitydförändring och ett förändrat tillstånd. I den senast utförda undersökningen nr 39, uppskattas lantbrukarnas förändrade beteende i en reflexiv kontroll. Det görs dock ingen värdering av resultaten eller en djupare analys, varav dokumenten har klassificerats som uppföljningar.

59

Bilaga 4: Exempel på god kvalitet A Frågorna besvaras genom att sätta ett kryss vid lämpligt svarsalternativ.

A1. Hur nöjd är du allmänt med kursen? Mycket missnöjd

Ganska missnöjd

Varken eller

Ganska nöjd

Mycket nöjd

A2. I vilken utsträckning vill du rekommendera kursen till andra? Säkert inte

Troligtvis

Varken eller

 Ja, troligtvis

 Ja, säkert

 Ja, troligtvis

 Ja, säkert

A3. Vill du gärna delta i ytterligare utbildning eller rådgivning? Säkert inte

Troligtvis

Varken eller

D Hur väl tycker du att nedanstående påståenden stämmer?

Besvara varje påstående med ett kryss i rutan vid lämpligt svarsalternativ.

Stämmer

Stämmer

Stämmer

mycket

ganska

varken bra

Stämmer

Stämmer

Nytta

dåligt

dåligt

eller dåligt

ganska bra

mycket bra

Jag lärde mig mycket











Jag fick inspiration till handling











Informationen i förväg var bra











Kursinnehållet var bra











Kursen var bra genomförd











Framförandet var bra











Kursmaterialet var bra











Genomförande

Källa: Kinnmarks enkät SJV V42 för kurser (2005)

61

Bilaga 5: Rikssnitt nöjdhetsindex för kurs 2002

2003 2004 2005 2006

88,7

89,4

88,8

89,9

90,5

Växtnäring jordbruk (VNJ)

81,1

83,4

84,7

92,3

83,4

Växtnäring trädgård (VNT)

90

85,6

87,4

84,4

88,9

Bekämpningsmedel trädgård (BMT)

87,6

86,9

87,2

89,5

87,3

Bekämpningsmedel jordbruk (BMJ)

81

86,5

82,9

85

83,5

Greppa Näringen växtnäring (VGN)

81,2

80,1

81,5

Greppa Näringen bekämpningsmedel (BGN)

82,4

91,4

86,9

86,5

89,4

87,7

65

89,8

90,3

91,1

Kompetensområde 1 – Biologisk mångfald och kulturmiljövärden Biologisk mångfald (BM) Kompetensområde 2 – Miljökänsliga områden

Greppa Näringen

83,2

Kompetensområde 3 – Ekologisk produktion Ekologisk produktion (EKO)

86,9

Kompetensområde 4 – Ökad djurvälfärd Ökad djurvälfärd Kompetensområde 5 – Energihushållning i växthus Energihushållning i växthus

87,2

94,7

Kompetensområde 6 – Tvärvillkorsutbildning Tvärvillkorsutbildning (TVÄR)

80,8

80,8

Källa: Dokument nr 12 – 16:s rikssnitt för NDI.

63

Bilaga 6 Rikssnitt nöjdhetsindex för rådgivning

2002

2003

2004

2005

2006

Biologisk mångfald (BM) Kompetensområde 2 – Miljökänsliga områden

84,9

88

86,5

84,1

83,9

Växtnäring jordbruk (VNJ) Växtnäring trädgård (VNT) Bekämpningsmedel trädgård (BMT) Bekämpningsmedel jordbruk (BMJ) Greppa Näringen Greppa Näringen växtnäring (VGN) Greppa Näringen bekämpningsmedel (BGN) Kompetensområde 3 – Ekologisk produktion

84,1 88,9 78,9 81,3 88,4

84,7 86,1 92 87,7 84,1

81,8 82,4 77,5 87 84,3 84,3 83

87,3 83,8 89,8 82,8 80 82,4 85,5

84,1 83,6 90 87,6 80 84,8 83,5

Ekologisk produktion (EKO)

90,3

89

90,5

89,7

88,9

Kompetensområde 1 – Biologisk mångfald och kulturmiljövärden

Kompetensområde 4 – Ökad djurvälfärd Ökad djurvälfärd Kompetensområde 5 – Energihushållning i växthus Energihushållning i växthus

85,3 92,2

87,2

88,9

Kompetensområde 6 – Tvärvillkorsutbildning Tvärvillkorsutbildning (TVÄR)

Källa: Dokument nr 12 – 16:s rikssnitt för NDI.

65

Bilaga 7: Andel kvinnor i KULM:s kurser Andel kvinnor i KULM:s kurser 2002 2003 2004 2005 2006 Kompetensområde 1 – Biologisk mångfald och kulturmiljövärden totalt kvinnor totalt kvinnor totalt kvinnor totalt kvinnor totalt kvinnor Biologisk mångfald (BM) 3043 1051 4024 1307 3038 1055 2850 1116 3177 1165 Kompetensområde 2 – Miljökänsliga områden Växtnäring jordbruk (VNJ) 5291 231 5992 298 1396 130 958 92 1027 117 Växtnäring trädgård (VNT) 8 2 163 11 212 36 111 15 18 0 Bekämpningsmedel trädgård 134 28 395 74 317 35 400 79 194 28 (BMT) Bekämpningsmedel 195 11 310 25 291 28 171 5 139 13 jordbruk (BMJ) Greppa Näringen 76 9 Greppa Näringen växtnäring (VGN) 414 60 188 14 280 29 Greppa Näringen bekämpningsmedel (BGN) 62 3 28 2 Kompetensområde 3 – Ekologisk produktion Ekologisk produktion (EKO) 2552 584 3153 912 3113 981 2600 832 2169 649 Kompetensområde 4 – Ökad djurvälfärd Ökad djurvälfärd 864 288 2934 1277 3398 1776 4385 2298 Kompetensområde 5 – Energihushållning i växthus Energihushållning i växthus 49 5 21 4 Kompetensområde 6 – Tvärvillkorsutbildning Tvärvillkorsutbildning (TVÄR) 6105 1098 7300 1491 Totalt antal deltagare per år 11223 1907 14977 2924 11826 3610 16809 5029 18710 5794 Totalt deltagande 73545 Varav kvinnor 19264 Andel kvinnor i kurser totalt 0,262

Källa: Dokument nr 12 – 16

67

Bilaga 8: Andel kvinnor i KULM:s rådgivning Andel kvinnor i KULM:s rådgivning 2002 2003 Kompetensområde 1 – Biologisk mångfald och kulturmiljövärden totalt kvinnor totalt kvinnor Biologisk mångfald (BM) 118 19 403 60 Kompetensområde 2 – Miljökänsliga områden Växtnäring jordbruk (VNJ) 540 36 539 26 Växtnäring trädgård (VNT) 4 1 20 0 Bekämpningsmedel trädgård (BMT) 18 3 27 4 Bekämpningsmedel jordbruk (BMJ) 17 0 94 1 Greppa Näringen 940 46 2428 100 Greppa Näringen växtnäring (VGN) Greppa Näringen bekämpningsmedel (BGN) Kompetensområde 3 – Ekologisk produktion Ekologisk produktion (EKO) 286 51 292 47 Kompetensområde 4 – Ökad djurvälfärd Ökad djurvälfärd Kompetensområde 5 – Energihushållning i växthus Energihushållning i växthus Kompetensområde 6 – Tvärvillkorsutbildning Tvärvillkorsutbildning (TVÄR) Totalt antal deltagare per år 1923 156 3803 238 Totalt deltagande i rådgivning Varav kvinnor Andel kvinnor i kurser totalt

2004

2005

totalt kvinnor totalt

2006

kvinnor totalt

kvinnor

1238

238

1439

295

804

150

333

15

133

6

147

4

21

4

11

2

23

4

19

2

12

1

6

1

91 329

2 11

35

0

14

0

3178

126

3430

169

3038

110

115

2

171

121

30

218

11

5456

0 54

430

5503

1 55

36

2

187

29

8

1

36

19

1

546

4301

302

20986 1672 0,08

Källa: Dokument nr 12 – 16

69

Jordbruksverkets rapporter 2008 1.

Terminshadel med jordbruksprodukter – översikt

2.

Förädlade livsmedel på den internationella arenan – studie över handeln med livsmedelsindustriprodukter 1995–2005

3.

Växtskyddsmedel och miljöeffekter – rapport från projektet CAP:s miljöeffekter

4.

Myndigheters kostnader och åtgärder vid hanteringen av EG-stöd 2007

5.

Mervärden för svenskt kött – studie 2007

6.

Jordbruksverkets foderkontroll 2007 – Feed Control by the Swedish Board of Agriculture 2007

7.

Kartläggning av mark som tagits ur produktion

8.

Utformning av stöd till biogas inom landsbygdsprogrammet

9.

Kartering av jordbruksmark med höga naturvärden (HNV) i Sverige

10.

Prisutveckling och lönsamhet inom ekologisk produktion

11.

Minska jordbrukets miljöpåverkan!

12.

Jordbruket om tio år – Hur påverkar omvärlden?

13.

Miljöeffekter av slopad uttagsplikt – rapport från projektet CAP:s miljöeffekter

14.

Hållbar användning av växtskyddsmedel – förslag till handlingsprogram

15.

Samordning av informationskrav

16.

Begreppet kvalitet inom livsmedelssektorn

17.

Livsmedelsföretagen och exportmarknaden – Vilka faktorer stimulerar företagensexportdeltagande?

18.

Kunskap om mångfald – Verksamhetsberättelse för POM 2007

19.

Konsekvens av angrepp av tallvedsnematod i svensk skog

20.

Sveriges utrikeshandel med jordbruksvaror och livsmedel 2005–2007

21.

Marknadsöversikt – vegetabilier

22.

Analys av hur förslaget till ändringar i EU:s regelverk för växtskyddsmedel påverkar svensk odling

Rapporten kan beställas från Jordbruksverket, 551 82 Jönköping Tfn 036-15 50 00 (vx) Fax 036 34 04 14 E-post: jordbruksverket@sjv.se Internet: www.sjv.se

ISSN 1102-3007 ISRN SJV-R-08/23-SE SJV offset, Jönköping, 2008 RA08:23