Att utvärdera

JAN-AXEL KYLÉN Organisation Verksamhet Personal

ger olika metoder för hur man kan utvärdera en organisation, dess verksamhet och personal. Det kan gälla allt från målen, hur användbara de är och hur väl de uppfylls, till hur problemlösningsförmågan eller internkommunikationen fungerar.

Att utvärdera är lika mycket en kursbok som en handbok i metoder för utvärdering. Boken vänder sig till högskolekurser eller yrkesverksamma inom management, beteendevetenskap och sociologi samt till organisationskonsulter, stabspersonal och ledningsgrupper på alla nivåer, projektledare och personer som vill genomföra egenutvärdering.

Jan-Axel Kylén är arbetspsykolog med inriktning på utredning, utvärdering och problemlösning. Driver sedan 1966 egen konsultverksamhet med uppdragsgivare inom både näringsliv och offentlig sektor samt leder kurser och handleder i hur man genomför utredningar och utvärderingar. Tidigare lärare vid Stockholms universitet. Är författare till ett stort antal böcker.

ATT UTVÄRDERA

Oavsett vad som utvärderas är målsättningen att få fram en bedömning som kan fungera som beslutsunderlag. Det handlar om att beskriva, förklara, värdera och föreslå. Utvärderingen är inte en kontroll eller revision men det finns likheter.

JAN-AXEL KYLÉN

ATT UTVÄRDERA

ATT UTVÄRDERA Organisation Verksamhet Personal

Best.nr 47-08778-5 Tryck.nr 47-08778-5-00

LIBER

Att_utva rdera_omslag.indd 1

07-11-09 08.19.42

Att utvärdera: Organisation – Verksamhet – Personal ISBN 978-91-47-08778-5 © 2008 Författaren och Liber AB Redaktör: Anders Abrahamsson Omslag och formgivning: Fredrik Elvander Figurer: Lars Gylldorff Upplaga 1:1 Tryckt på miljövänligt papper Sättning: Gyllene Snittet AB, Helsingborg Printed in Slovenia by Korotan Ljubljana, Slovenien 2008

KOPIERINGSFÖRBUD Detta verk är skyddat av upphovsrättslagen.

Den som bryter mot lagen om upphovsrätt kan åtalas av allmän åklagare och dömas till böter eller fängelse i upp till två år samt bli skyldig erlägga ersättning till upphovsman/rättsinnehavare.

Liber AB, 205 10 Malmö Tfn 040-25 86 00, fax 040-97 05 50 www.liber.se Kundservice tfn 08-690 93 30, fax 08-690 93 01

Att_utvardera_inlaga.indd 2

07-11-12 14.28.53

Förord

Det är spännande att utvärdera. Som utvärderare ska vi beskriva det vi ser och tycker oss förstå. Vi ska beskriva det så att de vi utvärderar känner igen sig. Tillsammans ska vi komma med förslag på hur verksamheten kan utvecklas. Som utvärderare kan vi vara ett stöd för att arbetsplatser och föreningar ska bli bättre.

Visst är det spännande, men också svårt.

Den här boken är lika mycket en kursbok som en handbok. Den ger olika angreppssätt för hur man kan utvärdera en verksamhet. I de uppdrag jag har haft under några decennier har jag hela tiden behövt söka ny kunskap och utveckla den i förhållande till vad uppdragen krävde. Bokens innehåll bygger således på mina behov av kunskap och mycket av det jag lärt mig är en utveckling från litteratur, seminarier och utvecklande samtal tillsammans med uppdragsgivare och kollegor. För den skull har det varit svårt att alltid ge litteraturhänvisning, vilket jag beklagar. De som behöver ytterligare underlag får därför själva söka på nätet och bedöma vad de behöver läsa. Ni får också gärna kontakta mig för diskussion.

Som handbok kan jag rekommendera att först skumma igenom boken och sedan inför ett uppdrag söka vilka angreppssätt som kan passa. Ofta måste man slå ihop flera, till exempel fyrfaktormodellen (kap 3) och kompetensutveckling (kap 10) eller problemlösning (kap 8) och uppföljning av mål (kap 6). För dig som är student hjälper boken dig att både förstå och använda olika angreppssätt.

Vid tentamen kan frågorna vara av i princip två slag. Du kan få i uppgift att beskriva ett angreppssätt, till exempel ”Utvärdera katastrofberedskap” (kap 7). Hur tänker man? Hur gör man? Vad kan bli fel? Du kan också få i uppgift att kommentera katastrofberedskap i förhållande till kompetens (kap 10). I den andra typen av frågor kan du få ett tänkt uppdrag där du ska pröva vad olika angreppssätt innebär och hur utvärderingen kan läggas upp. Frågan kan vara kompletterad med ett krav på att redovisa fördelar och nackdelar med de olika sätten att lägga upp utvärderingen på, gärna kopplad till en teoretisk diskussion.

Stockholm i januari 2008, Jan-Axel Kylén kylenutb@brfingemar13.se

Att_utvardera_inlaga.indd 3

07-11-09 08.15.55

Att_utvardera_inlaga.indd 4

07-11-09 08.15.55

Innehåll Förord 3 1. Varför utvärdera? 7 Utvärderingens mål 8 Utvärderingens fyra grundverb 10

2.

Uppdraget att utvärdera 13 7 steg för effektiva och kreativa utredningar Vem ska utvärdera? 17 Krav på en utvärderare 20 Intressenterna i en utvärdering 23 Vad kan man lära av en utvärdering? 24 Rapportens inriktning 24

13

3.

Fyra faktorer för en fungerande organisation Mål 29 Arbetsmetoder 40 Ansvar 44 Människor 45 Organisationsutveckling 51

4.

Utvärdera förändring över tiden 56 Enkla och parallella flöden 57 Samband eller orsak–verkan 61 Prognoser 66 Åtgärd – Resultat – Effekt: En utvecklingsmodell Processanalys 76 Hypotetiska antaganden 83

5.

Utvärdera organisationer 90 Vad är en organisation? 90 Bra chefer på alla nivåer gör att organisationen fungerar Bra medarbetare behövs på alla nivåer 100 Att beskriva en organisation 100 Verbal beskrivning av en organisation 101 Schematiska organisationsmodeller 102

Att_utvardera_inlaga.indd 5

28

69

92

07-11-09 08.15.55

Innehåll

6.

Utvärdera mål och måluppfyllelse 113 Hur gör vi när vi utvärderar? 114 Mål betyder så olika 115 Hur används mål? 117 Mål kan ha olika karaktär och funktion 122 Utvärdera arbetet med målen 132

7.

Utvärdera katastrofberedskap och riskanalyser Riskanalys 136 Katastrofberedskap 139 Sabotage och terror 141 Strategisk planering 142

8.

Utvärdera problemlösning, förhandling och samarbete Problemlösning 147 Förhandlingar 152 Samarbete 164

9.

Utvärdera information – kommunikation – påverkan – argumentation 176 Information och kommunikation 177 Sändare – sändning – mottagning – mottagare 178 Informationsbrister är vanliga 182 Information i flera led 184 Informera effektivt 186 Sakinformation eller argumentation? 192

135

147

10. Utvärdera kompetens och kompetensutveckling 196 Situationsmodellen 197 Kunskapsmodellen 204 Situations- eller kunskapsmodellen? 212 Utveckling för individer 214 Olika sätt att ta reda på kompetens 215 Utvärdera insatser för kompetensutveckling 217 Lönar det sig att utveckla kompetens? 219 Vad kan vi fråga om i kursutvärderingar? 221 När ska kursbedömningar göras? 224 Litteratur 229 Register 232

Att_utvardera_inlaga.indd 6

07-11-09 08.15.56

Kapitel 1

Varför utvärdera?

Ordet ”utvärdera” är ett verb, alltså talar det om vad man ska göra. Men vad gör man när man utvärderar? Ordet består av två delar: ”ut” och ”värdera”. Det är således inte bara en fråga om ”att värdera”, det ska komma ”ut” något från värderingen, till exempel förslag till vad man ska göra eller vad man ska låta bli att göra. (Vedung, 1998) Om man bara värderar något kan resultatet bli ganska magert. Vad säger oss omdömet ”Den här boken om Léon är fantastisk”? Vi vill till att börja med veta varför läsaren tycker att den är fantastisk och vi vill veta vad läsaren jämför med.

Som grund för bedömningen vill vi åtminstone få en kortfattad beskrivning av boken. En mer fyllig utvärdering av Léon skulle då kunna vara: Författaren beskriver en pojkes uppväxt i Paris medelklasskvarter under 1930-talet. Hur han går i skolan, vad han gör på fritiden, hur hans föräldrar, portvakten och äldre kamrater i huset uppfostrar och lär upp honom. Den är inte spännande med mysterier eller våld. Ändå fångar den mig eftersom hans liv liknar mitt i samma ålder, trots att jag är tjugo år yngre och bodde i Nybro. Vi hade ingen portvakt, men det fanns andra i det lilla samhället som brydde sig om oss på samma sätt. Jag fick aha-upplevelser och fann att Paris och Nybro inte är så olika ändå. Och att pojkar har samma problem, var de än bor eller växer upp. Jag såg min barndom på ett nytt sätt. Jag tror att boken passar för den som inte riktigt förstått eller brytt sig om att tänka ”Hur blev jag så här?”. Det är en bok för män, och kanske för deras fruar som inget förstår av hur pojkar har det när de är pojkar.

När vi läst den här recensionen är det lättare för oss att ta ställning till om vi kommer att uppskatta den här boken. Vi kan ta vårt beslut om boken är värd att läsa. (Vedung, 1995) 7

Att_utvardera_inlaga.indd 7

07-11-09 08.15.56

1. Varför utvärdera?

Utvärderingens mål Målet med utvärderingar är således att få fram en bedömning som kan vara underlag för beslut om hur man ska göra. Ett sätt att beskriva vad utvärderingar är till för är de tre begreppen summativ, normativ och formativ.

Summativ utvärdering kunde lika väl kallas deskriptiv. Man summerar vad som har gjorts, beskriver arbetsinsatsen, resultaten och effekterna utan att värdera eller föreslå några åtgärder. Ekonomiska bokslut är en sådan typ av utvärdering.

De kan vara mer eller mindre tillrättalagda, så kallade ”kreativa bokslut” för ”krea­tiva beslut”. Vi rör oss då på gränsen till det olagliga.

En annan form av summativ utvärdering består i ett reportage av det som har hänt. Det är som att spegla händelserna med en tevekamera. Ibland används också uttrycket spegling, inte minst när man i terapi vill få klienten att se sig själv ”utifrån”.

Alla beskrivningar kan vara partiska, egentligen kallar vi det för utvärdering först när de är neutrala. Skulle jag använda ordet objektiv finns det risk att många ser en kylig och ointressant beskrivning framför sig. En beskrivning utgår alltid från den person som gör den, en viss grad av subjektivitet finns med. Bästa sättet att göra beskrivningen neutral kan vara att klart ange utvärderarens utgångspunkt. Ett annat sätt är att låta flera personer med olika bakgrunder göra var sin beskrivning. Att summera dessa eller att hitta ett medelvärde skulle leda till att skillnaderna slätas ut och att utvärderingen blir ointressant. I en summativ eller deskriptiv utvärdering överlåter man värderingen åt någon annan.

I en normativ utvärdering ställer vi beskrivningar, resultat och effekter i relation till de krav som finns. I dagens målrelaterade skolbetyg görs bedömningen i förhållande till de mål som finns. De tidigare relativa skolbetygen sattes i förhållande till övriga elevers prestationer. I arbetslivet finns ibland normer om hur man ska arbeta, mål som ska uppnås och vem som ska ta ansvar för vad. Riktningsmål visar åt vilket håll utvecklingen ska gå och tillståndsmål vad man ska ha uppnått.

Ibland är målen relativa: ”Vi ska vara bättre än de andra.” Det är viktigast att ha högre avkastning på kapitalet än de andra, inte att ha tillräckligt god avkastning. För många småföretagare är målet att få arbeta med det man är road av, inte att ha många anställda eller tjäna mycket pengar. Detta gäller av allt att döma också många som ”bara” är anställda.

8

Att_utvardera_inlaga.indd 8

07-11-09 08.15.56

1. Varför utvärdera?

Revision är en typ av normativ utvärdering. Här skiljer man mellan ekonomisk revision och förvaltningsrevision. Den ekonomiska kontrollen är helt inriktad på att bokföringen är riktig och att kapitalet används enligt regler och beslut. Förvaltningsrevision är inriktad på att verksamheten bedrivits klokt och enligt beslut.

Formativ utvärdering inrymmer förslag på hur man kan ”forma” utvecklingen.

En del tror att det är bäst att börja om på nytt efter varje utvärdering. Det är att kasta ut barnet med badvattnet. Om något är bra ska det bevaras. Är det inte tillräckligt bra kan det utvecklas. Samma sak gäller om vi vill komma vidare, det lönar sig att utgå från det som finns. När en nytillträdd chef säger ”Jag vill börja om från början”, menar han egentligen ”Jag vill ha det på mitt sätt, jag måste visa att jag duger. Jag vill ha det så som jag är van vid.” Att tänka på det sättet är att slösa med resurser, såväl mänskliga som ekonomiska och tekniska. Det är som regel mer positivt att komma vidare än att börja om på nytt.

Ibland behöver vi ändå en nystart. Då ska utvärderingen visa vad man behöver åstadkomma och helst också hur man ska börja för att komma dit man vill.

Utvärderaren kanske inte är den som ska föreslå hela paketet. Oftast behövs ett samlat lagarbete med olika kompetenser.

De flesta som tänker på utvärdering ser förslag till åtgärder som slutprodukten. Förslagen ska helst bygga på det som är och använda sig av de resurser som finns i form av teknik, ekonomi och inte minst människor. Förslagen från en utvärdering ska vara realistiska och gärna inriktade på både nuläge och framtid, ibland också på visioner. Nutid kan anses vara de närmaste två åren, framtiden är om sju år, medan visionerna ligger minst tre gånger sju år framåt. Om vårt fokus är nutid finns en risk att vi styr insatserna åt ett håll som snart måste ändras totalt för att passa in i omvärldens utveckling.

Tre mål för formativa utvärderingar: • Bevara det som är bra.

• Utveckla det som kan bli bättre.

• Ändra det som inte går att utveckla.

9

Att_utvardera_inlaga.indd 9

07-11-09 08.15.56

1. Varför utvärdera?

Utvärderingens fyra grundverb I en utvärdering har vi inte bara ett verb, utvärdera. Att utvärdera innebär som regel att vi ska uppfylla fyra verb för att få en komplett formativ utvärdering.

Utvärderingens fyra grundverb: • Beskriva • Förklara • Värdera • Föreslå I vissa utvärderingar har vi enbart till uppgift att ”beskriva” och ”värdera”. ”Förklaringar” kan vara onödiga. I vissa fall är förklaringarna till och med känsliga och kan skapa behov av försvar som blockerar konstruktiva diskussioner. ”Förslag” är inte alltid utvärderarens sak. Det kan finnas en särskild grupp som tar fram förslagen – ledningsgrupp, kommitté, politisk nämnd. Är utvärderingen ett led i att lösa en konflikt kan det vara parternas sak att föreslå lösningar. Som regel vinner man ändå på att utvärderaren utgår från parternas önskemål och föreslår en lämplig väg för att komma vidare.

Det vanligaste är att utvärderaren gör allt, det vill säga utför alla fyra verben – beskriver, förklarar, värderar, föreslår.

E X E M P E L : E N K E L U P P L Ä G G N I N G AV E N

UTVÄRDERING Du har i uppgift att utvärdera fem arbetsgruppers arbetssätt och effektivitet.

Resultatet ska vara klart om en vecka. Du förstår att man vill ha en fullständig utvärdering med alla fyra verben, även om ingen säger något, framför allt inte om beskrivning. Du väljer att träffa en grupp i taget för intervju och diskussion.

För varje träff lägger du fyra frågor på bordet, ser till att ni håller er till en fråga i taget och tar dem i din ordning. Frågorna är egentligen identiska med de fyra verben: beskriva, förklara, värdera, föreslå.

• Fråga 1. Hur arbetar ni i dag?

• Fråga 2. Hur kommer det sig att ni arbetar på det sättet?

• Fråga 3. Hur bedömer ni ert arbetssätt i förhållande till er ­effektivitet?

• Fråga 4. Vilka förslag har ni för att ni skulle kunna arbeta bättre?

10

Att_utvardera_inlaga.indd 10

07-11-09 08.15.56

1. Varför utvärdera?

För sammanställning av dina anteckningar använder du ett blädderblocksblad och för in det du fått fram för varje fråga under re­ spektive grupp enligt mallen nedan. Till höger sammanfattar du frågorna och nedtill sammanfattar du grupperna.

Fråga

Grupp 1

Grupp 2

Grupp 3

Grupp 4

Grupp 5

Sammanfattning för varje fråga

Fråga 1. Hur arbetar ni i dag?

Fråga 2. Hur kommer det sig att ni ­arbetar på det sättet?

Fråga 3. Hur bedömer ni ert arbetssätt i förhållande till er effektivitet?

Fråga 4. Vilka förslag har ni för att ni skulle kunna arbeta bättre?

Sammanfattning för varje grupp Kommentarer eller förslag

Nedtill finns en rad för dina kommentarer och kanske förslag. En extra kolumn kan läggas till på höger sida för kommentarer kring varje frågas svar. För analysen sätter du dig i ett möte tillsammans med en från varje grupp och prövar sammanställningen, framför allt sammanfattningarna för frågeområdena för varje grupp. För slutsatserna sätter du dig tillsammans med uppdragsgivaren och prövar resultatet av analysen dels mot målet för verksamheten, dels mot din och uppdragsgivarens uppfattning av effektivitet.

Det här är en utvärdering av inre effektivitet, att vi arbetar på rätt sätt. Den yttre effektiviteten, om vi gör rätt saker, måste utvärderas ur ett annat perspektiv.

11

Att_utvardera_inlaga.indd 11

07-11-09 08.15.56

1. Varför utvärdera?

I k o rt h et Vad är utvärdering till f ö r ?

Utvärdering kan vara till för att bedöma en verksamhet eller för att hjälpa den att komma vidare, normativ respektive formativ utvärdering. En deskriptiv utvärdering beskriver och överlåter bedömningen åt någon annan. Som utvärderare gör vi mer nytta när vi är formativa, det vill säga bidrar till att utveckla arbetsplatsen och personalen.

Den formativa utvärderingen kräver att utvärderaren kan ge konstruktiv kritik inom ramen för vad verksamheten kan ta emot.

Utvärderingen bygger på fyra verb: • Beskriva • Förklara • Värdera • Föreslå Förslagen bör vara väl förankrade hos såväl ledning som personal.

Det innebär inte att utvärderaren gör som uppdragsgivaren eller andra intressenter vill. Vi måste förbli neutrala och stå för vad vi har sett och insett.

12

Att_utvardera_inlaga.indd 12

07-11-09 08.15.56

Kapitel 2

Uppdraget att utvärdera

Lyssnar vi noga på vår uppdragsgivare får vi veta mycket om vårt uppdrag att utvärdera. De första tre kontakterna ger nästan hela problematiken, vare sig den sägs tydligt eller är underförstådd. De viktigaste frågorna för oss är: • Varför behövs det en utvärdering?

• Vilka är intressenterna?

• Hur tänker de använda resultaten?

• Varför ber de just mig att göra utvärderingen?

Oftast finns mer information än den vi får från början. Frågan är varför. Vill de undvika att påverka oss? Är de rädda att blotta sig för mycket? Ibland får vi för mycket information. Uppdragsgivarna berättar om allt och lite till, ibland också om sig själva fast det inte angår utvärderingen. Troligen är det ett uttryck för osäkerhet. Samtalet blir nästan som terapi. Det kan också vara ett sätt att dölja något.

Innan vi sätter igång kan vi behöva lyssna in olika intressenters syn på situationen. Det viktigaste är att komma underfund med hur resultaten ska användas och vem som ska använda dem. Hur ska intressenterna påverka utvärderingen?

Slutligen måste vi veta vem som ska lära sig något av utvärderingen och vem eller vilka som ska ha rapporten.

7 steg för effektiva och kreativa utredningar Görs utvärderingen som en utredning kan man följa den 7-stegsmodell som beskrivs nedan. Samma 7 steg kan användas i ett sammanträde där deltagarna fått i uppgift att ta med sig det faktaunderlag som behövs. Alternativt gör man en serie sammanträden. Det första behandlar uppdraget, det vill säga bakgrund och inriktning. Efter en kort tids funderande ses man och gör en detaljplanering. Deltagarna skickar sedan in sina fakta och en utvärderare sammanställer dem. Tredje 13

Att_utvardera_inlaga.indd 13

07-11-09 08.15.57

2. Uppdraget att utvärdera

gången går man igenom underlaget, analyserar materialet och drar preliminära slutsatser. Utvärderaren gör en preliminär rapport till det fjärde och sista mötet där man bearbetar rapporten och avslutar arbetet.

De 7 stegen i en utredning delas in i tre moment: Uppdrag, Råjobb och Resultat.

Uppdraget består av bakgrund och inriktning. Första steget är till för att få fram förutsättningarna och precisera det som var anledningen till att sätta igång utredningen. Man identifierar och avgränsar det problem som ska utredas. Ange målet med utredningen och ange vilka som är intressenter. Bakgrunden följs upp i slutsatserna, steg 7.

Inriktningen bestäms utifrån bakgrunden och utvärderarnas kompetens.

Formulera delfrågor så att de underlättar det fortsatta utredningsarbetet. Delfrågorna används två gånger: Först ligger de till grund för detaljplaneringen, sedan kan man använda dem som rubriker i rapporten när man redovisar underlaget för slutsatserna.

Sammanfattningen av bakgrund och inriktning utgör uppdraget. Den ska klart och entydigt beskriva hur man har tolkat förutsättningar och valt utgångspunkt för utvärderingen. Innan det detaljerade förberedelsearbetet börjar bör uppdraget förankras hos uppdragsgivaren.

Råjobbet består av detaljplanering, insamling och sammanställning av data. I detaljplaneringen bestämmer vi vilka data vi behöver, var vi ska hämta dem och hur vi ska ta fram dem: intervju, enkät, läsning eller observation.

Vi gör en tidplan och prövar om tidsåtgång och kostnader står i proportion till problemet och de resultat som kan tänkas komma fram.

Därefter samlar vi in data enligt planen och ställer samman dem på ett rättvisande sätt med statistiska metoder, verbala beskrivningar och ritningar eller bilder. Denna bearbetning av de insamlade uppgifterna ger överblick inför analysarbetet.

Resultatet av utredningen inrymmer analys av underlaget, det vill säga svar på delfrågorna i steg 2, och slutsatser som svarar på kärnfrågan i steg 1, bakgrunden.

I analysen tränger man in i materialet och tolkar data både förnuftsmässigt och känslomässigt samtidigt som man tillför egna kunskaper och erfarenheter.

När analysen ger en tillförlitlig och användbar bild går man vidare till det sista

14

Att_utvardera_inlaga.indd 14

07-11-09 08.15.57

2. Uppdraget att utvärdera

steget, slutsatserna. Här prövar man om materialet är tillräckligt för att svara på kärnfrågan och föreslå lösningar. Förslag prövas mot ramar, effekt, varaktighet och konsekvenser.

Uppdrag 1. Bakgrund – för att klargöra fokus • Tolka uppdraget, klargör problemet • Ange intressenter, mål och ramar • Klargör resurser och sluttid 2. Inriktning – för att styra upp arbetet • Välj inriktning • Formulera huvudfrågor och delfrågor • Bestäm ambitionsnivå • Förankra uppdraget Råjobb 3. Detaljplan – för att hitta rätt • Bestäm vilka uppgifter som behövs • Välj källor och metoder • Organisera detaljerna 4. Insamling – för att spegla verkligheten • Utforma detaljfrågor och frågeinstrument • Samla in uppgifter 5. Sammanställning – för att få överblick • Gör materialet överskådligt • Sammanställ statistiskt och verbalt • Sammanställ annan relevant kunskap Resultat 6. Analys – för att tolka och förstå • Bedöm tillförlitligheten • Tolka underlaget, skapa en helhetsbild • Bedöm genomförbarhet och effekt 7. Slutsats – för att få fram beslut • Koppla till uppdraget, dra slutsatser • Pröva effekter och konsekvenser • Föreslå fortsättning

7-stegsmodellen – en översikt. Ur Metoder för undersökande arbete (Burell & Kylén, 2003).

Klamrarna till vänster visar sambanden mellan stegen. Steg 1 följs upp i steg 7 etc. I denna bok fokuserar jag på steg 2 med Inriktning och delfrågor när man gör utvärderingar.

15

Att_utvardera_inlaga.indd 15

07-11-09 08.15.57

2. Uppdraget att utvärdera

Varje utredning startar med att vi avgränsar problemet. Uppdragsgivaren ger oss impulsen och tillsammans diskuterar vi vilken kärnfråga, eller vilka kärnfrågor, utvärderingen ska ge svar på. Uppdragets uppläggning bestäms av vad som ligger bakom behovet av en utvärdering. Vi ska vara måna om att de frågor som utvärderingen ger svar på verkligen kommer verksamheten till nytta.

E X E M P E L : U T V Ä R D E R A KO M M U N E N S A R B E T E M E D ­A L K OHO L I S T E R O C H A N D R A D R O G M I S S BRUKARE Impuls: Antalet missbrukare av alkohol och droger har ökat trots att man inom kommunen anser sig göra allt man kan.

Alternativa kärnfrågor • Vilka effekter har insatserna haft och vad har underlättat ­respektive hindrat önskade effekter?

• Hur är arbetet organiserat för att fungera optimalt?

• Hur arbetar man med de enskilda fallen och vilken kompetens behöver de som arbetar med alkohol- och drogmissbruk?

• Hur har utvecklingen sett ut de senaste sju åren och vilken ­utveckling kan vi förvänta oss de närmaste sju åren? Ta i utvärderingen hänsyn till kringliggande faktorer, både sådana som kommunen inte kan påverka och sådana som man kan ­påverka.

• Vilka drog- och alkoholproblem kan vi acceptera utan att samhället och medborgarna utsätts för allt för stora risker?

De viktigaste skillnaderna mellan frågorna ger uppdragets art: Att utvärdera effekten av en insats, att utvärdera organisationen, att pröva arbetsmetoderna, att kartlägga och förstå utvecklingen och förutsäga framtiden, eller en riskanalys för att bestämma toleransnivån.

Uppdraget att utvärdera är alltid ett uppdrag att utreda, att göra en undersökning. Utvärderingen kan vara mer eller mindre ambitiös, men den bör alltid avslutas med en rapport. Om arbetet kan görs med ett eller några sammanträden eller i en årslång utredning ger ingen skillnad i ambitionsnivån.

Skillnaden mellan utvärdering och uppföljning har diskuterats. Själv anser jag att det enbart handlar om ambitionsnivå. Det som karakteriserar en grundlig utvärdering är att det finns ett väl definierat och förankrat problem, att hänsyn tas till alla intressenter, att datainsamlingen är allsidig och det insamlade ma­te­ ria­let analyseras noga. Det hela avslutas med en rapport som gärna prövas med

16

Att_utvardera_inlaga.indd 16

07-11-09 08.15.57

2. Uppdraget att utvärdera

olika parter innan den avslutas. Hur lång tid detta tar är mindre viktigt, det är den strukturerade uppläggningen som är central.

Mindre ambitiöst blir det när vi bara gör en uppföljning, kanske ett möte i avslutningen på ett projekt. Före en god middag diskuterar vi hur det gick. Även i det fallet bör man föra anteckningar som tas fram inför nästa projekt.

Vem ska utvärdera?

Vi kan se tre olika relationer mellan utvärderaren och dem som ska utvärderas.

Man kan ha en extern utredare som förhoppningsvis kan förhålla sig neutral. Det kan alternativt vara en utredare som kommer från organisationens stab och har en översiktlig uppfattning om organisationen. Slutligen kan det vara en person ur den enhet som utvärderas. I det senare fallet deltar som regel alla i enheten aktivt i en så kallad egenutvärdering. Varje roll har sina fördelar och svagheter. Låt oss titta närmare på dem en i taget.

Den externa utvärderaren är som regel expert på att utvärdera. Han är opartisk i förhållande till verksamheten, men har naturligtvis sin egen utgångspunkt genom sin utbildning och sina åsikter och värderingar. Den externa utvärderaren kan vara någon form av konsult, forskare eller representant för en intresseorganisation. Den som väljer utvärderare utgår från vad han vet om den personen. Är det en ekonom, en tekniker, medicinare eller en beteendevetare? Är det en person som är känd för behov av faktaunderlag, en som känner av stämningar, en som anpassar sig till uppdragsgivaren eller en som rakryggad beskriver allt han ser?

Den externa utvärderaren behöver en budget och priset på arbetet bestämmer ambitionsnivån, men inte inriktningen.

Det förekommer en kritik mot externa utvärderare. De kan anses gå i uppdragsgivarens ledband, de ”sköter sig” för att kunna få fler uppdrag. Två gånger har jag som konsult fått avslag på grund av att frågeställningarna var hotande för uppdragsgivaren. En gång ville de att jag skulle visa värdet av en plattare organisation, medan jag ville pröva hur personalen och kvaliteten fungerade i den nya organisationen jämfört med den gamla. Andra gången ville uppdragsgivaren att jag skulle visa hur det kom sig att friskolorna i kommunen inte hade någon mobbning och hur de kommunala skolorna skulle kunna bli lika bra. Jag ville undersöka hur skolorna arbetade mot mobbning idag och hur de kunde utveckla sina arbetsmetoder. Oftare har jag dock fått uppdrag där beställaren hoppats på att jag skulle upptäcka en ny och spännande vinkling som kanske till och med kunde ge obehagliga resultat.

17

Att_utvardera_inlaga.indd 17

07-11-09 08.15.57

2. Uppdraget att utvärdera

E X E M P E L : E X T E R N U T V Ä R D E R A R E Civil beredskap Landets beredskap inför katastrofer skulle utvärderas. Ansvaret delas mellan flera instanser: länsstyrelser, landsting, kommuner, flera statliga myndigheter inklusive försvaret och en samordnande statlig myndighet. Det fanns många intressenter och många viljor som ville satsa resurser samtidigt som de ville lägga ansvaret på någon annan. Det var självklart att välja en extern utvärderare och gärna en som var känd för att ha hög integritet, ”en som vågar säga som det är”.

Handledning av företagsläkare Företagsläkarna har fått en ny roll i samhället. De ska inte ersätta svåråtkomlig sjukvård och upptagna distriktsläkare. De ska arbeta mer förebyggande inom företagen och samarbeta med specialister inom arbetsmiljö och beteendevetenskap. För att understödja den nya rollen satsar Arbetslivsinstitutet och Företagsläkarföreningen på att utbilda handledare för att stärka läkarnas utvecklade roll.

Effekten av utbildningen behöver utvärderas för att öka effekten av kommande kurser. Parterna enas om att anlita en utomstående utvärderare, men väljer en som är insatt såväl i läkarnas arbete som i organisationsutveckling med olika inriktning.

När utvärderingen utförs av staben kommer partsförhållandet att vara ganska givet. Staben representerar alltid ledningen i första hand. Det hindrar inte utvärderaren från att var lyhörd och ta hänsyn till olika intressen. Eventuellt gör man ett projekt med representanter för olika intressen. Från staben kan finnas intresse att bevara det man själv varit med och byggt upp. Alternativt är man ny chef och vill visa att det man själv vill åstadkomma ska bli genomfört. Fördelen med staben som utvärderare är att den har tillgång till alla nivåer inom organisationen och till alla dokument som finns. Staben kan också lätt förankra sina resultat i ledningen och har direkt kommunikation med alla inom företaget.

18

Att_utvardera_inlaga.indd 18

07-11-09 08.15.58

2. Uppdraget att utvärdera

E X E M P E L : S TA B E N U T V Ä R D E R A R Kompetens inom företaget Bankkontoren har fått kritik för dålig personlig rådgivning. Dels har kunder fått dåliga råd, dels har de fått felaktig sakinformation inom de mest skiftande områden. ”Dåliga råd” bygger på rådgivarnas bedömningar och de bör utveckla sin förmåga att lyssna på kundernas behov. ”Felaktig sakinformation” är en kunskapsfråga, eller möjligen en oförmåga att förstå vad kunden behöver veta.

Ansvaret för personalens utbildning och fortlöpande utveckling ligger på distrikten och kontoren. Den centrala staben har en central funktion för kompetensutveckling.

Utvärdering av nuläget och förslag till åtgärder bör göras inom banken. Kompetensen för utvärdering finns centralt och där finns också kunskap om vad som krävs av bankens anställda, några kommer från fältet och några har speciell utbildning för personalfrågor och utvärderingar. Stabens personal är både extern och intern sett ur kontorens synvinkel. Att gå utanför banken innebär dessutom en risk att känslig information kommer ut.

I en egenutvärdering finns god kunskap om det man utvärderar, man är ju en del av det. Om resultatet av utvärderingen ska användas i den egna enheten är resultaten förankrade redan när de tas fram. För egenutvärdering använder man gärna en utomstående som ger instrumenten för utvärderingen. Instrumenten består av frågor, mätinstrument och anvisningar för sammanställning och analys.

Enheten utser inom sig en eller flera ansvariga som sköter det hela internt.

Egenutvärderingar kan användas på olika sätt. Analys och resultat används enbart inom den utvärderade enheten. Ingen utomstående får ta del av den. Gruppen kan begära ytterligare resurser med hänvisning till sin utvärdering. Senare kan de visa upp vad de utvecklat som följd av sina insatser.

Enheten kan också ärligt redovisa för ledningen vad de kommit fram till i sin utvärdering. En sådan redovisning bör innehålla förslag till åtgärder såväl från omgivningen som av enheten själv.

Den tredje formen av egenutvärdering liknar utvärdering med extern hjälp eller av staben. Rapporten redovisas för en utomstående utvärderare som drar slutsatser och föreslår åtgärder.

19

Att_utvardera_inlaga.indd 19

07-11-09 08.15.58

2. Uppdraget att utvärdera

E X E M P E L : E G E N U T V Ä R D E R I N G Allergikommittéer Folkhälsoinstitutet, FHI, vill underlätta för kommunernas allergikommittéer att utvärdera sig själva. De anlitar en konsult som gör frågor och ger anvisningar för hur man väljer frågor och hur man kan bearbeta och analysera svaren. Det finns frågor till deltagarna i kommittén om det egna arbetet. Man kan också utvärdera sina samarbetsparter med speciella frågor. Vidare kan samarbetsparterna utvärdera sig själva och kommittén.

(J-A Kylén, 2005)

Det finns fördelar och nackdelar med egenutvärderingar. Till fördelarna hör främst att de som utvärderar är väl insatta i förhållandena, men även att de kan slippa blotta sig inför utomstående.

Men det finns också nackdelar eller risker. En del vill försvara sina insatser och revir. De ger en partisk bild av situationen. Det kan vara av blygsamhet men också bero på en negativ erfarenhet av att bli kritiserad på ett obehagligt sätt.

Som utomstående utvärderare kan vi i det sammanhanget få fram en mer neutral och därmed mer användbar beskrivning och värdering. Förhoppningsvis leder våra förslag, tillsammans med uppdragsgivarens erfarenheter, till en förbättring som alla har glädje av. Ibland kan vi se en rädsla för att visa upp sig. Rädslan är också en intressant information. Att få veta vad de är rädda för kan ge goda tips om hur organisationen kan utvecklas. Blygsamhet över sina insatser kan vara ett tecken på bristande positiv uppmärksamhet från ledning och arbetskamrater.

Krav på en utvärderare Vilken kompetens och erfarenhet bör en utvärderare ha? Vilken yrkesutbildning krävs? Jag tror att en utvärderare bör vara generalist och sedan spelar det inte så stor roll vad man är i grunden. Det kan vara en nackdel om man är expert inom det område man utvärderar; experter har ofta en egen uppfattning och vet exakt hur det borde vara. Kommer man utifrån är man mer fri. Vid egenutvärdering är det givetvis annorlunda. Utvärderare som samarbetar i ett uppdrag bör vara olika, till exempel man och kvinna, äldre och yngre.

Matrisen på nästa sida visar utvecklingen från att vara specialist inom ett område till tillämpningar inom olika yrken. Varje cell i matrisen har sina krav på utveckling. Modellen kan generaliseras till många områden.

20

Att_utvardera_inlaga.indd 20

07-11-09 08.15.58

2. Uppdraget att utvärdera

Yrkes­ inriktad

Bredd­ inriktad

Enskilda ärenden

Samhälle

I. Specialist inom sitt område. Skicklig i att hantera till exempel juridiska frågor, patienter, tekniska lösningar eller ekonomiska kalkyler. Kan också bli en skicklig forskare inom sitt område. Har djup kunskap i sitt område. Umgås i yrket med andra specialister.

II. Administratör. Utvecklar sin kunskap som en samhällsfunktion. Till exempel: Hur styr och fungerar lagarna i samhället?

Bedöma patientens rätt till stöd. Bedöma patentansökningars tekniska möjligheter.

Utveckla samhällets kontroll över företag.

Har djup kunskap om hur samhällets olika organ fungerar. Umgås i yrket med andra administratörer.

Ansvar: Att veta vad som är säker respektive osäker kunskap inom sitt fack.

Ansvar: Att veta och förstå hur samhällets institutioner fungerar och vilken funktion de har.

III. Stödjare. Hjälper och stöder andra personer i samhället när det gäller att tillämpa specialistkunskaper. Utbildar andra i sitt område så att de lättare kan klara samhällets krav utan att för den skull bli specialister. Är lika mycket inriktad på privata livet som yrkeslivet. Umgås i yrket med ”tillämpare”.

IV. Utvärderare utreder med utgångspunkt i rollerna I, II och III här bredvid. En generalist med bred kunskap, troligen djupare inom något område. Förstår samspelet och dynamiken inom och mellan organisationer. Ser människans roll i sammanhanget. Umgås i yrket med alla de träffar.

Ansvar: Att se nyttan i sina kunskaper och förstå hur andra kan tillämpa dem. Att informera begripligt om det man kan.

Ansvar: Att konstruktivt ge stöd åt individer och organisationer så att de kan klara det dagliga arbetet och sina relationer i arbetslivet.

Utvärderarmatris (utveckling av företagsläkarmatris för Arbetslivsinstitutet 2005). Pilarna visar utvecklingen för den som är yrkesutbildad. I ruta I har vi specialisten. Ovalen visar med en dubbelpil att utvecklingen innebär en fördjupning inom sitt specialområde. Ruta IV, som är en utvärderare, är troligen en organisationskonsult eller beteendevetare. Som utvärderare kommer vi som regel från ruta II eller III. En del har följt den diagonala pilen direkt från ruta I till ruta IV. Troligen har vi då snuddat vid de andra rutorna på vägen mot vår utveckling.

Saknar vi den kunskap som finns i ruta II och III får vi se till att göra utvärderingen tillsammans med personer som har den kompetensen.

E X E M P E L : A T T U T V E C K L A S F R Å N P A T I E N T ­L Ä K A R E

T I L L F Ö R E TA G S L Ä K A R E I. Som expert kan man stanna i ruta I och utveckla sin yrkeskunskap eller forska inom sitt specialområde.

II. Här kan man utveckla sin kunskap om samhällets stöd- och bidragssystem och eventuellt bli försäkringsläkare.

III. Som allmänläkare utveckla sin förmåga att med stöd av olika personalgrupper inom sjukvården underlätta för patienten att leva ett mänskligt liv.

21

Att_utvardera_inlaga.indd 21

07-11-09 08.15.58

2. Uppdraget att utvärdera

IV. Som företagsläkare kan man utveckla sin förmåga att tillsammans med arbetsplatsens aktörer behålla klienten i arbetslivet, också med stöd av läkare från ruta II och ruta III. Handledningarna av nya företagsläkare blir olika som en följd av deras bakgrund. Beroende på var de kommer ifrån ska de föras mot ruta IV och då ta med sig all den kunskap och erfarenhet som de fått i sina tidigare roller.

Kraven på en utvärderare är oberoende av om det är en utomstående utvärderare eller en som kommer inifrån organisationen. Den utomstående kan ha lättare att vara neutral men ha svårare att förstå det som kommer fram.

Vi har tre typer av krav. De första handlar om förmågan att göra utredningar.

Tolka impulsen, se problemet eller kärnfrågan, välja angreppssätt och bryta ner kärnfrågan i delfrågor, samla in underlag och analysera samt slutligen dra slutsatser.

För det andra kan vi ställa krav på förhållningssätt. Många utvärderingsuppdrag visar sig vara partsinlagor, vilket innebär att ena sidan vill visa att den har rätt och att den andra har fel. Ibland kan utvärderare ha en egen uppfattning om vad som är klokt eller rätt. Det gäller att vara neutral och se situationen ur olika synvinklar.

För det tredje kan vi ställa krav på tydlighet och mod, att man vågar beskriva det man sett. Det gäller ”bara” att göra det så att mottagarna accepterar och tar budskapet till sig.

K R AV P Å E N U T V Ä R D E R A R E Utredarförmåga • Avgränsa uppdraget • Välja angreppssätt Förhållningssätt • Förhålla sig neutral • Se ur alla synvinklar Tydlighet och mod • Ge tydliga slutsatser • Våga beskriva

22

Att_utvardera_inlaga.indd 22

07-11-09 08.15.58

2. Uppdraget att utvärdera

Intressenterna i en utvärdering Intressenterna är en viktig faktor vid alla utredningar, inte minst i en utvärdering. Bakom många uppdrag att utvärdera ligger ett missnöje med förhållandena. Ledningen tycker inte att alla enheter fungerar effektivt. Det kan föreligga en motsättning där man vill visa att ”jag har rätt och du har fel”. Experter inom organisationen anser att det går för långsamt att anpassa sig till den nya utvecklingen. Mer positiva utgångspunkter är ett behov av att utveckla sig och att följa med i utvecklingen. En annan kan vara att företaget går bra och nu gäller det att komma på vad som ligger bakom detta så att man inte ändrar det som gett en positiv utveckling.

När vi definierar ett uppdrag ska vi redan i bakgrunden till utvärderingen fastställa vilka som är intressenter och hur de ska påverka utredningen i olika faser.

Intressenter kan finnas överallt, och till exempel vara: ledning, ägare, politiker, personal på olika nivåer och olika funktioner, fackliga representanter, medborgare, kunder, utbildningsansvariga i samhället, EU, FN, grannländer, offentliga funktioner inom kommun, landsting, länsstyrelse och staten, andra företag etc.

Intressenternas inflytande kan vara av olika grad och slag. Enkelt uttryckt kan det ligga på fyra nivåer, även om dessa kan finfördelas ytterligare: • Nivå 1. Deltar i utvärderingen och kan påverka den inifrån.

• Nivå 2. Är referensperson och deltar i diskussioner under arbetets gång utan att för den skull ha rätt att medverka i beslut.

• Nivå 3. Får information om utvärderingen och har möjlighet att yttra sig.

• Nivå 4. Utvärderarna tar hänsyn till intressenterna, dock utan att informera dem.

(J-A Kylén, 1965) Formen för intressenternas inflytande kan variera stort, allt från att aktivt medverka i utvärderingen till att utredarna endast tar hänsyn till dem som utvärderingen gäller. Genomförandet av de förslag som kommer fram går mycket smidigare om de som utvärderas på något sätt medverkar i utvärderingsarbetet. Man kan tycka att den slutsatsen är given, men jag möter sådana som tycker att de som påverkas av resultaten får vänta till dess att allt är klart. Notera att massmedia inte är intressenter och inte bör informeras förrän man är färdig med slutsatserna. Underhandsresultat kan lätt missbrukas och riktas mot oskyldiga parter.

Ser vi utvärderingen som ett projekt kan intressenter sitta med i en styrgrupp eller referensgrupp. Utan att formellt organisera arbetet kan de få vara med och

23

Att_utvardera_inlaga.indd 23

07-11-09 08.15.58

JAN-AXEL KYLÉN Organisation Verksamhet Personal

ger olika metoder för hur man kan utvärdera en organisation, dess verksamhet och personal. Det kan gälla allt från målen, hur användbara de är och hur väl de uppfylls, till hur problemlösningsförmågan eller internkommunikationen fungerar.

Att utvärdera är lika mycket en kursbok som en handbok i metoder för utvärdering. Boken vänder sig till högskolekurser eller yrkesverksamma inom management, beteendevetenskap och sociologi samt till organisationskonsulter, stabspersonal och ledningsgrupper på alla nivåer, projektledare och personer som vill genomföra egenutvärdering.

Jan-Axel Kylén är arbetspsykolog med inriktning på utredning, utvärdering och problemlösning. Driver sedan 1966 egen konsultverksamhet med uppdragsgivare inom både näringsliv och offentlig sektor samt leder kurser och handleder i hur man genomför utredningar och utvärderingar. Tidigare lärare vid Stockholms universitet. Är författare till ett stort antal böcker.

ATT UTVÄRDERA

Oavsett vad som utvärderas är målsättningen att få fram en bedömning som kan fungera som beslutsunderlag. Det handlar om att beskriva, förklara, värdera och föreslå. Utvärderingen är inte en kontroll eller revision men det finns likheter.

JAN-AXEL KYLÉN

ATT UTVÄRDERA

ATT UTVÄRDERA Organisation Verksamhet Personal

Best.nr 47-08778-5 Tryck.nr 47-08778-5-00

LIBER

Att_utva rdera_omslag.indd 1

07-11-09 08.19.42