Evaluering av prosjekter by Fagbokforlaget

Knut Samset

Et verdensmesterskap på ski, utviklingen av et nytt legemiddel, en internasjonal konferanse, et bryllup. Svar: Ingen skal ut. De har alle det til felles at de ble organisert og gjennomført som prosjekter. Dagens store samfunnsoppgaver lar seg vanskelig gjennomføre på annen måte, ettersom de er avhengige av samarbeid på tvers av sektorer og institusjonsgrenser. Siden 1950-tallet har prosjektfaget hatt en kolossal utvikling. Vi har satset mye på å løse problemer som oppstår i gjennomføringen, og som fører til kostnadsoverskridelser og forsinkelser. Erfaringene viser imidlertid at mange prosjekter mislyktes fordi selve konseptet var feil, selv om gjennomføringen var vellykket. Det er et paradoks i dag at vi satser svært lite på å trekke lærdom av prosjektene etter at de er kommet i driftsfase. Vi bør altså evaluere prosjektene for å bruke erfaringene til å unngå liknende problemer samt sikre SUKSESS i nye prosjekter. Denne boken gir en innføring i en enkel evalueringsmetodikk og praksis som benyttes ved evaluering av store statlige investeringer i Norge, og som anbefales av både EU-kommisjonen, OECD og FN. Boken er skrevet for studenter og planleggere, rådgivere og beslutningstakere i næringsliv og i offentlig forvaltning.

www.fagbokforlaget.no

Evaluering av prosjekter – vurdering av SUKSESS

Hvem skal ut?

Knut Samset

Evaluering av prosjekter

Vurdering av

SUKSESS

ISBN 978-82-450-1748-9

Knut Samset er professor i prosjektledelse ved Norges teknisk-naturvitenskapelige universitet, NTNU

omsl Evaluering av prosjekter 13 mm rygg.indd 1

02.12.2014 12:26:42

.187 6$06(7

(9$/8(5,1* $9 3526-(.7(5

985'(5,1* $9 68.6(66

&RS\ULJKW ย E\ )DJERNIRUODJHW 9LJPRVWDG %MยกUNH $6 $OO 5LJKWV 5HVHUYHG ,6%1 *UDILVN SURGXNVMRQ -RKQ *ULHJ $6 %HUJHQ 2PVODJVGHVLJQ YHG IRUODJHW 2PVODJVLOOXVWUDVMRQ RJ JUDILVN IRUPJLYQLQJ YHG IRUIDWWHUHQ )ยกUWU\NN RJ WLOUHWWHOHJJLQJ ,QJULG 9HQnV 8WJLYHOVHQ HU VWยกWWHW DY IRUVNQLQJVSURJUDPPHW &21&(37 )RUIDWWHUHQV NRQWDNWLQIR NQXW VDPVHW#QWQX QR ZZZ FRQFHSW QWQX QR 6SยกUVPnO RP GHQQH ERNHQ NDQ UHWWHV WLO )DJERNIRUODJHW .DQDOYHLHQ %HUJHQ 7OI )DNV H SRVW IDJERNIRUODJHW#IDJERNIRUODJHW QR ZZZ IDJERNIRUODJHW QR 0DWHULDOHW HU YHUQHW HWWHU nQGVYHUNORYHQ 8WHQ XWWU\NNHOLJ VDPW\NNH HU HNVHPSODUIUHPVWLOOLQJ EDUH WLOODWW QnU GHW HU KMHPOHW L ORY HOOHU DYWDOH PHG .RSLQRU

Introduksjon Prosjekter brukes i økende grad i samfunnet til å gjennomføre store som små oppgaver. Ved hjelp av prosjekter målrettes og avgrenses aktivitetene, ansvaret plasseres, og risikoen overføres fra den som eier eller finansierer prosjektet til den som gjennomfører det. De fleste prosjekter lykkes i større eller mindre grad, men noen ganger går det galt. Det kan være forskjellige årsaker til det: at det var feil type prosjekt helt fra starten, at utformingen var utilstrekkelig, at ledelsen ikke greide å gjennomføre prosjektet som planlagt, eller at uforutsette hendelser forårsaket store problemer under gjennomføringen eller i prosjektets driftsfase. For å prøve å unngå slike problemer kan det være nødvendig med ulike tiltak på forskjellige stadier i prosjektet: Det kan være å utforske alternative konsepter før prosjektet blir vedtatt, å legge inn større ressurser i detaljplanlegging og gjennomføring, eller å vurder effekten etter at det er gjennomført, for eksempel for å se om det er nødvendig med andre tiltak i tillegg. Det er dette man bruker evaluering til. Det er blitt et populært verktøy for å kontrollere, styre, og trekke lærdom av erfaringer fra prosjekter. Prosjektevaluering innebærer til dels omfattende studier av fremdrift, leveranser og effekter av prosjekter. Evalueringen tar et bredt overordnet perspektiv på prosjektet og vurderer det i forhold til involverte og berørte parter. Evalueringer er utpreget tverrfaglige og krever kompetanse både innenfor forskning og kommunikasjon. Evaluatoren skal produsere relevant og pålitelig informasjon for beslutningstakere, som regel under tidspress og ofte under vanskelige arbeidsforhold. Denne boken består av 76 kortfattede og selvstendige kapitler om sentrale temaer, med illustrasjoner, eksempler og sjekklister. Evalueringsmetoden bygger på den såkalte logframe-teknikken. Denne metoden ble tatt i bruk innenfor FN systemet i evaluering av utviklingsprosjekter, senere også av OECD og EU-kommisjonen, samt av bistandsadministrasjonen i mange land deriblant de skandinaviske. Den har fått fornyet aktualitet i Norge ettersom den er valgt som standard for etterevaluering av de store statlige investeringsprosjektene som kvalitetssikres under statens prosjektmodell, som også er kjent som Finansdepartementets ordning for ekstern kvalitetssikring før prosjektene legges frem for vurdering i henholdsvis regjering og Storting.

Trondheim, juni 2014

iii

Innhold

.DSLWWHO Prosjektet ........................................................................................................9 1.1

Introduksjon – hva denne boken handler om................................................................. 10

1.2

Prosjektet som et middel for å oppnå et mål .................................................................. 12

1.3

Usikkerhet som påvirker prosjekter.................................................................................. 14

1.4

Intern og ekstern usikkerhet .............................................................................................. 16

1.5

Prosjektets hovedinteressenter .......................................................................................... 18

1.6

Interessentenes prioriteringer og preferanser.................................................................. 20

1.7

Prosjektet i et tidsperspektiv .............................................................................................. 23

1.8

Prosjektets utforming ......................................................................................................... 26

1.9

Prosjektets strategi .............................................................................................................. 29

1.10 Vellykkete prosjekter .......................................................................................................... 32 .DSLWWHO +YD HU HYDOXHULQJ" 2.1 Hva er evaluering? ............................................................................................................... 36 2.2

Dokumentering og resultatforbedring ............................................................................. 39

2.3

Evaluering: et verktøy i kvalitetssikring ........................................................................... 42

2.4

Ex post evaluering............................................................................................................... 44

2.5

Ex ante evaluering ............................................................................................................... 46

2.6

Evaluering på et svakt informasjonsgrunnlag ................................................................. 48

2.7

Hvordan sikre nytten av evalueringer............................................................................... 50

2.8

Om å trekke ut erfaringer ................................................................................................... 52

2.9

To hovedtilnærminger til evaluering................................................................................. 55

2.10 Formål og fokusering av evalueringer .............................................................................. 57 2.11 Kvalitet i evaluering ........................................................................................................... 59 2.12 Vurdering av evaluerbarhet ................................................................................................ 61 .DSLWWHO (YDOXHULQJ VWHJ IRU VWHJ 3.1 Hovedaktører i evalueringen ............................................................................................. 64 3.2

Gjennomføring av en evaluering ...................................................................................... 66

3.3

Beslutning om å evaluere ................................................................................................... 68

3.4

Utarbeide oppdragsbeskrivelse .......................................................................................... 70

3.5

Engasjere evalueringsteam ................................................................................................. 72

3.6

Utarbeide bakgrunnsdokument ......................................................................................... 74

3.7

Gjennomføre evaluering .................................................................................................... 76

3.8

Skrive evalueringsrapport ................................................................................................... 78 v

3.9

SluttfĂ¸re evaluering ............................................................................................................. 80

.DSLWWHO (YDOXHULQJHQV IRNXV 4.1 Vurdering av velykkethet ................................................................................................... 84 4.2

Evalueringskriteriene .......................................................................................................... 89

4.3

Produktivitet ........................................................................................................................ 91

4.4

MĂĽloppnĂĽelse ....................................................................................................................... 93

4.5

Virkninger............................................................................................................................. 95

4.6

Relevans ................................................................................................................................ 97

4.7

Levedyktighet ....................................................................................................................... 99

4.8

Foreta en samfunnsĂ¸konomisk analyse ......................................................................... 101

.DSLWWHO 'HW WYHUUIDJOLJH SHUVSHNWLYHW 5.1 En integrert evalueringsmodell........................................................................................ 106 5.2

Rammebetingelser og overordnede prioriteringer ........................................................ 109

5.3

Ă&#x2DC;konomiske og finansielle forhold ................................................................................ 111

5.4

Samfunnsmessige forhold ................................................................................................ 113

5.5

MiljĂ¸messige aspekter ....................................................................................................... 115

5.6

Institusjonelle forhold ...................................................................................................... 117

5.7

Teknologiske forhold........................................................................................................ 119

.DSLWWHO 8WIRUPLQJ RJ PHWRGH 6.1 Deduktiv versus induktiv tilnĂŚrming ............................................................................. 122 6.2

Vurdering av strategien..................................................................................................... 124

6.3

Problemet med tilbakefĂ¸rbarhet ..................................................................................... 126

6.4

Informasjonsprosessen ..................................................................................................... 129

6.5

Valg av forskningsdesign .................................................................................................. 132

6.6

Kvalitativ og kvantitativ analyse ...................................................................................... 134

.DSLWWHO 'DWDLQQVDPOLQJ 7.1 Datainnsamling .................................................................................................................. 138 7.2

Bruk av eksisterende data ................................................................................................. 142

7.3

Intervjue nĂ¸kkelinformanter............................................................................................ 144

7.4

Direkte mĂĽling ................................................................................................................... 146

7.5

Direkte observasjon .......................................................................................................... 148

7.6

Gruppefokusering ............................................................................................................. 150

7.7

Uformell spĂ¸rreundersĂ¸kelse .......................................................................................... 152

7.8

Casestudier ......................................................................................................................... 154

7.9

Deltakende observasjon ................................................................................................... 156

7.10 Formell spĂ¸rreundersĂ¸kelse............................................................................................. 158 vi

.DSLWWHO ,QIRUPDVMRQHQV NYDOLWHW 8.1 Kunnskap og erkjennelse ................................................................................................. 162 8.2

Informasjonens kvalitet .................................................................................................... 164

8.3

Ă&#x2026; sikre validitet og reliabilitet .......................................................................................... 166

8.4

Ă&#x2026; sikre troverdighet .......................................................................................................... 169

8.5

Triangulering for ĂĽ fĂĽ frem sannheten............................................................................ 171

8.6

Sikre ressurser for evalueringen ...................................................................................... 174

8.7

Evalueringens etikk ........................................................................................................... 176

.DSLWWHO 5DSSRUWHULQJ RJ EUXN DY UHVXOWDWHQH 9.1 Evalueringsrapporten ....................................................................................................... 180 9.2

Bruken av evalueringsresultater....................................................................................... 183

9.3

Bruk av evalueringer som lĂŚringsarena .......................................................................... 186

.DSLWWHO 3URVMHNW HNVHPSOHU 10.1 Evaluering av et prosjekt .................................................................................................. 190 10.2 Etterevaluering: Svinesund kontrollomrĂĽde .................................................................. 200 10.3 Etterevaluering: Dobbeltspor Asker - Sandvika ........................................................... 208 10.4 Etterevaluering: MTB Skjold til SjĂ¸forsvaret ................................................................ 215 9HGOHJJ 2UGOLVWH 9HGOHJJ /LWWHUDWXU 9HGOHJJ .LOGHU RJ /LQNHU 9HGOHJJ ,QGHNV 235

vii

KAPITTEL PROSJEKTET

Kapittel 1 Prosjektet

,1752'8.6-21 ± +9$ '(11( %2.(1 +$1'/(5 20 Denne boken handler om evaluering av prosjekter – eller mer presist om hvordan man på en systematisk måte kan fastslå i hvilken grad et prosjekt er vellykket, eventuelt hvorvidt det vil lykkes når det er gjennomført. Et slikt arbeid starter med å identifisere de viktigste partene som medvirker i - eller berøres av prosjektet. Prosjektet er en møteplass for prosjektets eiere, den finansierende part, prosjektledelsen, brukerne, dets motstandere og det offentlige. Partene kan ha felles eller motstridende interesser – ofte en kombinasjon av begge deler. Partenes preferanser vil avhenge av deres preferanser og hvilket perspektiv de har på prosjektet. For eksempel vil samfunnets perspektiv ofte være mye bredere enn perspektivet til bankens folk, prosjektledelsen eller brukerne. Mye av diskusjonen i media begrenser seg til gjennomføringen av prosjektet sett i et kortsiktig tidsperspektiv, først og fremst er en opptatt av forsinkelse i fremdriften og kostnadsoverskridelser i de tilfeller der det oppstår. En av årsakene til dette er at tid og kostnad er lett å dokumentere og vanligvis de første suksesskriteriene en kan benytte for å vurdere om prosjektet lykkes. Effekten av prosjektet og hvorvidt det lykkes i å nå sine mål kan bare avklares på et senere tidspunkt. Det er en svært mye bredere problemstilling og tilsvarende vanskeligere å måle.

Under “FNs internasjonale vanndekade” før århundreskiftet, investerte en rekke giverland enorme ressurser i prosjekter som skulle skaffe rent vann til den fattige befolkningen i utviklingsland. Prosjektene ble finansiert av internasjonale organisasjoner som FN og nasjonale bistandsorganisasjoner. Begrunnelsen var at rent vann er et grunnleggende behov, og en antakelse om at dette derfor er noe alle mennesker prioriterer høyt. Det viste seg imidlertid at mange av prosjektene mislyktes. Mange av anleggene ble ikke vedlikeholdt, de gikk i stykker, ble ikke reparert og ble oppgitt. Det ble gjennomført mange evalueringer av slike prosjekter og flere av disse så nærmere på målgruppenes behov og prioriteringer i et bredere perspektiv. På grunnlag av slike studier ble det etter hvert klart at den opprinnelige antakelsen ikke gjaldt for de fattigste i målgruppen. Det som var første prioritet hos disse var mat, arbeid, redskaper, etc. – mens rent vann ikke kom høyt opp på listen. Det som skjedd var at målgruppen ikke var i stand til å vedlikeholde anleggene med de begrensede ressursene de hadde. Resultatet ble at enorme ressurser som kunne ha vært brukt bedre for å få i gang produksjon i jordbruk eller industri var bortkastet. Dersom evalueringene hadde kommet på et tidligere tidspunkt kunne store ressurser blitt bedre anvendt.

Nettopp av denne grunn er det viktig å ta utgangspunkt i et bredt perspektiv på prosjekter helt fra starten av når ideen oppstår og blir utformet – og videre i løpet av 10

Kapittel 1 Prosjektet

gjennomføringen. Det viser seg at mange av problemene i prosjektene kan tilbakeføres til det at man i utformingen ikke tok med i betraktningen de bredere og mer langsiktige effektene av tiltaket. Et annet problem er at evalueringer ofte gjennomføres på et sent tidspunkt. I slike tilfeller vil de ha liten innvirkning på utfallet – ettersom det da er for sent å endre prosjektets strategi. Evaluering handler om å vurdere prosjekter i et bredt perspektiv. Utgangspunktet for denne boken er prosjektet som fenomen, dets interessenter og deres preferanser, ettersom dette er avgjørende for om en skal lykkes. Kapittel 1 drøfter betydningen og fortolkningen av begrepet suksess sett i forskjellige perspektiver og presenterer et analytisk rammeverk som kan brukes for å utforme og vurdere prosjekter. Kapittel 2 drøfter evaluering som fenomen. Boken handler først og fremst om det som kalles målorientert evaluering. Denne evalueringsmodellen er beskrevet i kapittel 3. Denne modellen forutsetter at en studerer i et langsiktig perspektiv, som beskrevet i kapittel 4 – men også i et tverrfaglig perspektiv, som beskrevet i kapittel 5. Når en evaluering skal gjennomføres er det avgjørende å klargjøre prosjektets langsiktige og kortsiktige mål. Det er også behov for å identifisere hvilke mer spesifikke indikatorer man kan anvende for å vurdere måloppnåelsen. Kapittel 6 ser nærmere på den analytiske prosessen og metodikken som brukes i evaluering. Kapittel 7 og 8 gir en oversikt over metoder for datainnsamling og analyse av data. Kapittel 9 handler om rapportering og anvendelsen av resultatene fra evalueringene. I kapittel 10 er det tatt med et eksempel som viser anvendelsen av metodikken, og tre eksempler på evalueringer som har vært gjennomført.

Kapittel 1 Prosjektet

3526-(.7(7 620 (7 0,''(/ )25 c 2331c (7 0c/ Prosjektet som arbeidsform har fått økt betydning de siste tiårene. En klar trend har vært at oppgaver som tidligere har vært håndtert av permanente, ofte offentlige institusjoner, i økende grad gjennomføres i form av prosjekter. Det kan være oppgaver som å bygge en tunnel eller en flyplass, utvikle og implementere en ITløsning, omstrukturere en organisasjon, gjennomføre et kultur- og idrettsarrangement, utvikle et nytt industriprodukt, løse en forskningsoppgave eller prøve ut et nytt legemiddel. Prosjekter anvendes i økende grad for å løse store samfunnsoppgaver, og organiseres som målrettete, selvstendige, midlertidige tiltak som opererer på tvers av organisasjonene, og som oppløses når den planlagte oppgaven er gjennomført. Men prosjekter organiseres også innenfor organisasjoner. De fleste organisasjoner har i dag ett eller flere prosjekter gående, og noen organisasjoner er blitt så knyttet til begrepet at de kaller seg prosjektbaserte organisasjoner. Det vil si at deres verdiskapning og lønnsomhet avhenger av vellykkede prosjekter.

Et prosjekt er et midlertidig tiltak for å skape et unikt produkt eller en unik tjeneste. (Project Management Institute, PMI)

Begrepet prosjekt benyttes i svært mange sammenhenger og assosieres med ord som nyskapning, endring og kreativitet. Project Management Institute (PMI) i USA definerer fenomenet slik: “Et prosjekt er et midlertidig tiltak etablert for å skape et unikt produkt eller en unik tjeneste.” Et prosjekt har altså en definert start og slutt og gjennomføres av en ad-hoc organisasjon som skal utvikle noe unikt. De oppgavene som prosjektene er opprettet for å løse, er definert ved hjelp av mer eller mindre presise og realistiske mål. Det midlertidige i arrangementet og det at tiltaket er mer eller mindre unikt, innebærer at usikkerheten ofte er større enn hva som er vanlig for virksomheten til permanente organisasjoner. Ofte uttrykkes dette eksplisitt: Prosjektet er en organisasjonsform utformet for å håndtere en situasjon med stor usikkerhet. Ettersom det ofte er stor grad av usikkerhet knyttet til planlegging og gjennomføring av prosjektet, er det også usikkerhet knyttet til i hvilken grad man når prosjektets mål. Prosjekter gjennomføres på alle nivåer i organisasjoner. Det kan omfatte én person eller flere tusen. Det kan gjennomføres på mindre enn hundre timer eller flere millioner arbeidstimer. De berører kanskje en enhet i organisasjonen eller mange nivåer og flere organisasjoner i samarbeid. Det kan dreie seg om å:

Kapittel 1 Prosjektet

utvikle et nytt produkt eller tjeneste

endre organisasjonens struktur, bemanning eller arbeidsmodus

utvikle eller anskaffe et nytt eller modifisert informasjonssystem

bygge en bygning eller et anlegg

gjennomføre en kampanje

iverksette en ny prosess eller arbeidsprosedyre

De oppgavene som prosjektet skal løse defineres i mer eller mindre presise og realistiske mål. Ettersom det dreier seg om midlertidige tiltak, og også fordi tiltak er mer eller mindre unikt, så er usikkerheten ofte større enn i rutinemessig virksomhet i organisasjoner. Usikkerheten gjør at realiseringen av prosjektets mål også er usikker. Dette er en av grunnene til at kunnskap om prosjektledelse og planleggings- og prosjektstyringsverktøy får økt økonomisk betydning. Det er også en av grunnene til at prosjekter evalueres hyppigere enn annen virksomhet. Det er mange eksempler på at prosjekter har medført store ekstra kostnader for samfunnet, både under gjennomføringen og etter at de er kommet i driftsfasen. En omfattende studie av store prosjekter, Morris and Hough (1991)1, konkluderer med at svært få prosjekter ble gjennomført på kortere tid og med lavere kostnad enn budsjettert. Dette gjelder spesielt store prosjekter. .

Figur 1.1 Et prosjekt er et middel for å oppnå et mål basert på anvendelsen av en gitt mengde ressurser. På et eller flere tidspunkter i denne prosessen kan det være hensiktsmessig å gjennomføre en evaluering som kan bidra til at prosjektet vil lykkes på sikt.

Hvorfor da en fortsatt økning i store prosjekter? Det er mange svar på dette. I mange tilfeller er oppgavene så store og komplekse at en enkelt organisasjon ikke har kompetanse eller kapasitet til å gjennomføre dem alene. Dette gjelder kanskje særlig i et lite land som Norge. Et annet moment er at prosjektet fokuserer og synliggjør

Basert på 31 separate studier fra perioden 1959-86 og omfattet mer en 4000 prosjekter

Kapittel 1 Prosjektet

oppgaven og derfor virker motiverende på de som medvirker. I prosjekter tydeliggjøres ansvaret, og de ulike partene ansvarlig gjøres. Prosjekter er dessuten en hensiktsmessig måte å overføre risiko fra den finansierende til den gjennomførende part. Prosjekter er en hensiktsmessig organisasjonsform for å kople ressurser og få ulike interesser til å samarbeide.

86,..(5+(7 620 3c9,5.(5 3526-(.7(5 Ettersom hvert prosjekt er unikt vil det være usikkerhet knyttet til utforming og gjennomføring. Usikkerhet er et utrykk for i hvilken grad utfallet av en gitt hendelse eller aktivitet vil være tilbøyelig til å avvike fra det som var forutsatt. Det følger av dette at økt usikkerhet vil gjøre det vanskeligere å ta beslutninger på et tidlig tidspunkt. Men også at tilgangen på relevant informasjon øker muligheten for å forutsi det som skal skje og tilsvarende redusere usikkerheten. Dette er illustrert i figur 1.2. Den generelle oppfatningen er at usikkerheten vil være høyest på et tidlig stadium der prosjektideen utformes, og vil reduseres etter hvert som tiden går og en får mer informasjon. En rimelig antakelse vil derfor være at potensialet for å redusere usikkerhet og risiko vil være størst på et tidlig tidspunkt, og at en kan oppnå dette ved å øke tilgangen av relevant informasjon. Det er åpenbart slik at usikkerheten ikke kan fjernes helt bare ved å tilføre informasjon. Det er også åpenbart at effekten av evaluering på et sent tidspunkt vil være av mindre verdi for om prosjektet skal lykkes enn om evalueringen gjennomføres på et tidlig tidspunkt.

Informasjon

Usikkerhet

7LG

Figur 1.2 Usikkerhet versus informasjonstilfang i et prosjekt over tid. Generelt sett vil usikkerheten være størst på et tidlig tidspunkt og reduseres etter hvert som tiden går og tilfanget av relevant informasjon øker.

Kapittel 1 Prosjektet

Risiko assosieres av folk flest med negative utfall av en hendelse som det er knyttet usikkerhet til. Det at situasjonen er usikker medfører imidlertid at den også kan innebære muligheter. Det som er felles for begrepene usikkerhet, risiko og mulighet, er at de alle resulterer enten negativt i tap eller positivt i gevinst. Slik sett kan de brukes om hverandre. Enkelte bruker begrepet usikkerhet for å beskrive en generell tilstand der sannsynlighet og konsekvens ikke er tallfestet. Noen reserverer begrepet mulighet for et forhold som sannsynligvis vil resultere i positiv gevinst, og risiko for et forhold som sannsynligvis vil resultere i tap. Prosjekter iverksettes fordi en ønsker å utnytte de mulighetene en ser for sluttproduktet. Et prosjekt er en investering som er avhengig av at flere forutsetninger faller på plass for å lykkes. Det er vanlig å beskrive disse i seks grupper av påvirkningsfaktorer som i figur 5.1, det vil si: Økonomisk, teknisk, sosialt, politisk, institusjonelt og miljømessig.2 Kompleksiteten gjør at det er betydelig usikkerhet knyttet til prosjektet. Prosjekteieren tar dermed ofte en risiko ved å iverksette og gjennomføre prosjektet. Men muligheter og risiko er som nevnt to sider av samme sak. Ønsker en å realisere muligheter, forutsetter det normalt at en også er villig til å ta risiko. En stor utfordring for prosjekter er at en må fokusere både på muligheter og risiko gjennom prosjektets livsløp, og i de prosessene som prosjektet inngår som en del av.

Usikkerhet betegner en situasjon der utfallet av en bestemt hendelse eller aktivitet trolig vil avvike fra det som er forutsett.

Usikkerheten er størst på et tidlig tidspunkt og avtar over tid etter hvert som tilgangen på relevant informasjon øker.

Folk flest oppfatter usikkerhet først og fremst som noe negativt, og er risikoaverse heller enn risikosøkende.

Utfordringen ligger i å systematisk utforske mulighetene som ligger i en usikker situasjon, vurdert i forhold til antatt risiko.

Hvilke av disse påvirkningsfaktorene som er vesentlige vil selvsagt være forskjellige i ulike typer prosjekter.

Kapittel 1 Prosjektet

,17(51 2* (.67(51 86,..(5+(7 Operasjonell usikkerhet assosieres først og fremst med organiseringen og gjennomføringen av prosjekter, som anses å være relativt uavhengig av hvilken kontekst prosjektet opererer innenfor. Den operasjonelle usikkerheten vil være en faktor både i nyskapende forsknings- og utviklingsprosjekter og i rutineprosjekter som bygger på erfaringer fra liknende prosesser, og der det som skjer, er forholdsvis forutsigbart. Et kjennetegn ved operasjonell usikkerhet er at den reduseres etter hvert som prosjektet utvikler seg. Dette skjer både fordi tilfanget av informasjon øker og fordi prosjektledelsen får et bedre grep om prosessen de styrer. Den operasjonelle usikkerheten kan dels bedres ved systematisk, realistisk planlegging som resulterer i realiserbare mål, ved å øke tilgangen på relevant informasjon og ved å bedre styringen av prosjektet.

Usikkerhet er den kombinerte effekten av de hendelsene som forårsaker et prosjekt og alle de prosessene som forårsaker eller påvirker utfallet underveis. Hver av disse hendelsene og prosessene er mer eller mindre forutsigbare. Den kombinerte effekten av disse antas å være mindre forutsigbar. Graden av usikkerhet er derfor i stor grad et utrykk for typen av- og antallet slike prosesser som inngår.

Kontekstuell usikkerhet assosieres med prosjektets omgivelser. Usikkerheten er høy i nyskapende prosjekter som gjennomføres under ukjente forhold. Muligheten for å skaffe kunnskap om kontekstuell usikkerhet er ofte begrenset. Dette fordi den er knyttet til forhold som ligger utenfor prosjektets mandat og myndighetsområde, som for eksempel politiske prosesser eller beslutninger, samarbeid med berørte institusjoner, behov og etterspørsel i markedet, teknologisk utvikling etc. Muligheten for å redusere den kontekstuelle usikkerheten er tilsvarende begrenset. Dette også fordi en i mange tilfeller bare er i stand til å forstå usikkerheten retrospektivt − etter at konsekvensene har manifestert seg. Den kontekstuelle usikkerheten er ofte resultatet av komplekse prosesser, og informasjonsgapet opprettholdes til tross for forsøkene på å skaffe relevant informasjon. Tradisjonelt har prosjektledelsens oppmerksomhet vært rettet mot indre, operasjonelle forhold i prosjektet mer enn usikkerhet som assosieres med prosjektets omgivelser. Utfordringen her ligger først og fremst i å forstå kompleksiteten i prosjektet og samspillet med omgivelsene. Usikkerhet er åpenbart en viktig parameter i prosjektevaluering. Det er en vanlig oppfatning at suksess er nært knyttet til usikkerhet. I prosjekter legges det derfor stor 16

Kapittel 1 Prosjektet

vekt på å utforske, forstå, redusere og håndtere usikkerhet i løpet av prosessen. Dette innebærer for eksempel: 1. Å skaffe til veie og analysere så mye relevant informasjon som mulig 2. Anlegge et bredt perspektiv for å forstå de utenforliggende faktorene som påvirker prosjektet 3. Redusere ambisjonsnivået 4. Redusere planleggingsperspektivet i tid 5. Forbedre planleggingen, for eksempel å trekke inn ekspertise, sammenligne med hva som har skjedd i lignende prosjekter etc. Imidlertid er det slik at vår virkelighet er i konstant endring og derfor mer eller mindre uforutsigbar. Årsaken til dette er den innebygde dynamikken i sosiale og administrative systemer og spesielt deres selvjusterende evner. Det er derfor åpenbart grenser for hva som kan oppnås når det gjelder å redusere usikkerhet. Erfaring tilsier at detaljerte planer som er utviklet på et tidlig tidspunkt kanskje er mindre nyttige for å realisere målene enn suksessive intervensjoner for å påvirke de dynamiske prosessene underveis. Systematisk vurdering av usikkerhet på ulike tidspunkt kan derfor sees på som et alternativ eller supplement til planlegging. Det vil også være en viktig del av evaluering, både på et tidlig tidspunkt når selve prosjektkonseptet skal vurderes, og senere når gjennomføringen av prosjektet og effektene av det skal evalueres.

Operasjonell usikkerhet assosieres med gjennomføringsprosessen selv og kjennetegnes ved at: o

Relativt uavhengig av prosjektets omgivelser

Høy i innovativ prosjekter

Lav i rutineprosjekter med mange repetitive elementer

Reduseres etter hvert som prosessen gjennomføres

Kan til en viss grad reduseres ved å tilføre relevant informasjon

Kan også reduseres ved å etablere realistiske mål

♦

Kontekstuell usikkerhet assosieres med omgivelsene og kjennetegnes ved: o

Høy i prosjekter som operer i ukjente omgivelser

Ligger utenfor hva prosjektledelsen selv kan påvirke

Både årsaker og virkninger er ofte vanskelig forutsigbare

Kapittel 1 Prosjektet

3526-(.7(76 +29(',17(5(66(17(5 Prosjekter gjennomføres av prosjektledere i henhold til avtalt budsjett og fremdriftsplan. Prosjektlederens perspektiv er det som vanligvis kalles prosjektperspektivet, men ettersom det er flere parter, er det viktig å skille mellom deres forskjellige perspektiver. Interessentene er individer eller organisasjoner som er aktivt involvert i prosjektet, og de partene som måtte være positivt eller negativt berørt av prosjektet. I denne sammenheng skiller vi mellom tre sentrale interessenter: Dvs. prosjekteier, prosjektansvarlig, og brukerne. Disse er nærmere beskrevet i kapittel 1.6. Beskrivelsen er forenklet og tar ikke i betraktning at det i mange tilfeller ikke er et klart skille mellom disse tre gruppene. Prosjekteieren kan for eksempel være det offentlige i forbindelse med byggingen av et vannkraftanlegg, eller representere brukerne i et boligprosjekt bygget for et borettslag. I mange tilfeller er det ikke et skille mellom prosjekteier og prosjektansvarlig, for eksempel i et prosjekt som gjennomføres internt i en organisasjon. I andre tilfeller kan også prosjektansvarlig være en del av brukerne av prosjektets resultater.

Eksempel Prosjekter kan tidvis være utformet uten at en har tatt tilstrekkelig hensyn til interessentenes prioriteringer av behov: En undersjøisk tunnel ble bygget for å skaffe beboerne på en mindre øy forbindelse med en større øy som hadde fastlandsforbindelse. Motivet var distriktsutbygging generelt uten en nærmere begrunnelse for hva en ønsket å oppnå. Beboernes evne og vilje til å betale for den nye infrastrukturen var ikke tilstrekkelig utredet, heller ikke hvilken nytte det lokale næringslivet ville ha av tiltaket. Prosjektet var vellykket i et prosjektperspektiv, det ble bygget til avtalt tid med betydelig kostnadsinnsparing. Imidlertid viste det seg at bompengetakstene ble svært høye ettersom trafikkvolumet var lite. Finansieringsgrunnlaget var for svakt og lokale myndigheter ble sittende med en betydelig økonomisk belastning. En analyse av hvordan en skulle tolke ”distriktsutvikling” kunne ha avgrenset målsettingen til næringslivets behov og avklart at en langt rimeligere løsning hadde vært mere hensiktsmessig; nemlig å utbedre havneanlegget på øya.

Det er ikke gitt at prosjektledelsen i seg selv vil være opptatt av prosjektets mulige virkninger for brukeren og brukerne og samfunnet på sikt, med mindre dette er eksplisitt avklart i kontrakten. Det er ikke vanlig, og ikke sannsynlig om dette vil gå

Kapittel 1 Prosjektet

på bekostning av oppfølging av det som gjelder fremdriften, kostnadsstyringen og omfanget av selve leveransen. Det er heller ikke gitt at et prosjekt er vellykket i et bredt samfunnsperspektiv selv om gjennomføringen av prosjektet var vellykket. Videre kan vi ikke automatisk legge til grunn at prosjekter med store kostnadsoverskridelser og – forsinkelser eller betydelige kvalitetsmessige svakheter vil vise seg å være mislykket sett fra brukernes eller samfunnets synspunkt. Tvert om, det er mange eksempler på slike prosjekter som har vist seg å være særdeles vellykket, for eksempel operaen i Sydney som ble ferdigstilt 16 år for sent og med en kostnad omtrent 15 ganger høyere enn budsjettet. I ettertid har bygningen blitt en internasjonal attraksjon som har satt Sydney på verdenskartet og skaffet landet enorme inntekter både direkte og indirekte. Vellykkethet er generelt et spørsmål om å lykkes i alle tre perspektiver. Prosjektledelse har tradisjonelt en snever avgrensning til det som gjelder selve gjennomføringen av prosjektet. Evaluering derimot er kjennetegnet ved at en forsøker å ivareta alle tre perspektiver i én analyse.

Sentrale parter

Rolle

Fokus

Vanlige betegnelser

Bestiller

Den initierende part med interesse av effekten eller det prosjektet fører til på sikt

Samfunnsmål

Byggherre, oppdragsgiver, tiltakshaver, prosjekteier eller finansierende part

Bruker

Første ordens (direkte) brukere av prosjektets tjenester eller resultater

Effektmål

Målgruppe, kunde, klient

Leverandør

Ansvarlig for gjennom-føringen av prosjektet, kontraktsmessig eller på egne vegne

Resultatmål

Gjennomførende part, entreprenør, prosjektansvarlig eller prosjektideer

Kapittel 1 Prosjektet

,17(5(66(17(1(6 35,25,7(5,1*(5 2* 35()(5$16(5 /HYHUDQG¡UHQV SHUVSHNWLY

Leverandøren (prosjektleder) har som nevnt først og fremst sitt fokus på prosjektleveransen, med andre ord den taktiske gjennomføringen av prosjektet innenfor de strategiske rammene som prosjekteieren har lagt for gjennomføringen. At dette kalles prosjektperspektivet er til dels misvisende. Det representerer det mest avgrensede perspektivet man kan ha, og referer til det laveste nivået i prosjektets målsettingshierarki, se figur 1.3. Ta for eksempel et veiprosjekt hvor fokus er avgrenset til selve veien, og hvorvidt den blir bygget i henhold til standard, budsjett og tidsskjema. Leveransen fra et byggeprosjekt for en skole vil være tilsvarende avgrenset til selve bygningen og utrustningen av denne. Med et slikt ensidig perspektiv kan det hende at oppmerksomheten tas vekk fra mulige uheldige sidevirkninger av prosjektet, som i det lange løp kan falle negativt ut for brukerne eller samfunnet. Paradoksalt nok kan dette vise seg å bli mer kostbart for samfunnet enn en eventuell kostnadsoverskridelse ville beløpt seg til ved gjennomføringen.

Figur 1.3 Vurdering av prosjekter i ulike perspektiver. Graden av vellykkethet relateres ofte bare til selve leverandørperspektivet. Her er usikkerheten minst og sjansen for å lykkes størst. Dersom en ikke har tatt hensyn til bruker- og bestiller perspektivet i utformingen av prosjektet, er faren for å mislykkes større når prosjektet på et senere tidspunkt blir vurdert i et bredere perspektiv

Kapittel 1 Prosjektet

%UXNHUSHUVSHNWLYHW

Brukerne er mer opptatt av nytten av prosjektet sett fra deres synspunkt og mindre interessert i gjennomføringen. Deres interesse er ikke prosjektleveransen som sådan men prosjektmålet for prosjektet. Det handler om prosjektets første ordens effekter, som typisk gjelder anvendelsen av prosjektleveransen og de økonomiske aspektene ved har for brukeren. I et veibyggingsprosjekt vil brukeren nok være opptatt av kvaliteten på veien, men først og fremst av hvorvidt veien gjør det enklere og raskere å komme fra A til B, med andre ord det som har med avstand og trafikkflyt å gjøre. I et skolebyggingsprosjekt vil brukeren være mindre interessert i kvaliteten på skolebygningene og mer på læringen og undervisningen som finner sted i bygningene. Dette ligger åpenbart utenfor prosjektledelsens ansvarsområde. Brukerperspektiv er altså mer ambisiøst både når det gjelder tid og usikkerhet som illustrert i figur 1.3. Sannsynligheten for å lykkes er tilsvarende mer begrenset enn det som gjelder byggingen av skolen som sådan. 3URVMHNWHLHUV SHUVSHNWLY

Prosjekteier har vanligvis et perspektiv som er bredere enn brukerperspektivet. Samfunnet som sådan vil være opptatt av den samlede effekten av prosjektet i samfunnet. Det handler altså om realiseringen av samfunnsmålet som i praksis er en presisering av hensikten med prosjektet, med andre ord det overordnede målet og de langsiktige konsekvensene av prosjektet. I privat sektor vil prosjekteier normalt legge større vekt på verdiskapning og lønnsomhet som overordnet mål, mens en i offentlig sektor vil være opptatt av samfunnsmessig nytte. I et veiprosjekt vil en være opptatt av de positive økonomiske effektene for samfunnet, for eksempel som resultatet av redusert reisetid, mer produktiv tid, endringer i bosetting, lokalisering av næringsliv etc. I et skoleprosjekt vil det langsiktige målet være effekten av utdanningen i form av sysselsetting, produksjon av varer og tjenester i samfunnet, osv. Analysen vil med andre ord være den samme som for brukerne men nå i et bredere perspektiv. Vurderingen vil være ambisiøs ettersom tidshorisonten er forlenget og måloppnåelsen er høyere enn de andre perspektivene, se figur 1.3. Å tilbakeføre virkninger i samfunnet til et enkelt prosjekt er notorisk vanskelig, ettersom det vil være en rekke andre faktorer som også virker inn.

Kapittel 1 Prosjektet

Perspektiv

Eksempel vei

Eksempel skole

Bestiller: Samfunnsmål

Verdiskapingen som følge av bedret transport

Tjenesteytingen som følge av utdanningen

Brukerne: Effektmål

Trafikkavviklingen

Læringen

Leverandøren: Resultatmål

Veien bygget

Skolen bygget/etablert

Kapittel 1 Prosjektet

3526-(.7(7 , (7 7,'63(563(.7,9 Som nevnt vil partenes perspektiver være relatert til deres roller og ansvarsområder i samfunnet. Dette er sammenfattet i figur 1.4. Prosjekteieren har det bredeste perspektivet, dernest brukerne, mens prosjektlederen i sin tur har et bredere perspektiv enn underleverandørene. Dersom det brede perspektivet mangler på høyeste nivå kan man ikke vente at det er tilstede på lavere nivåer. Dette er uheldig fordi alle parter trenger ett samlende og forholdsvis presist bilde av prosjektstrategien som forklarer hva en ønsker å oppnå med prosjektet. Dette vil gjøre det lettere for alle parter å fremskaffe relevant informasjon for lederne på høyere nivåer.

Figur 1.4 Prosjektet er en del av en større prosess, som må vurderes i et samfunnsperspektiv

Figur 1.4 illustrerer prosjektet i et tidsperspektiv, sett i relasjon til de tre planleggingsperspektivene som er nevnt ovenfor. Ideen er at prosjektet representerer et målrettet tiltak som skal realisere et antall resultatmål. Men prosjektet vil alltid kunne sees som en tidsavgrenset del av en større prosess med et mer overordnet formål og et tidsperspektiv som går lenger enn prosjektet. Prosessen som sådan bidrar på sin side inn i en mer langsiktig samfunnsprosess, som i denne sammenhengen representerer det strategiske perspektivet både for prosjektet og for prosessen som prosjektet er en del av. Det vanlige er at realiseringen av samfunnsmålet avhenger av ikke bare én prosess, men mange, og derfor av flere prosjekter som løper mer eller mindre uavhengig av hverandre, men som samlet gir forskjellige bidrag som tilslutt gjør at det overordnede samfunnsmålet realiseres. Prosjektet planlegges gjennom en tidligfase, som er avsluttet når den endelige avgjørelsen er fattet om å finansiere prosjektet. Det realiseres i en gjennomføringsfase som er avsluttet når prosjektleveransen er levert. Deretter følger 23

Kapittel 1 Prosjektet

en driftsfase som ikke er tidsavgrenset men som starter når prosjektleveransen foreligger, dvs. når bygningene er innredet, veien er bygget osv. Som vist i figur 1.4 er det mer på sin plass å se på denne fasen som en del av den overordnede prosessen enn en del av prosjektet. Som nevnt tidligere er det viktig å skille mellom prosjektet og prosessen ettersom de har forskjellige mål og ansvaret vil være plassert på forskjellige steder i de to tilfellene. Det følger fra figur 1.4 at tidsperspektivet er forskjellig for de forskjellige partene; prosjektlederens perspektiv er kanskje tre til fire år samt det som måtte være av forpliktelser i garantitiden. Prosjekteier kan ha et mye lenger tidsperspektiv knyttet til tilbakebetalingsperioden og tiden videre. Han vil kanskje ønske å avgrense sine forpliktelser til denne perioden som i store infrastrukturprosjekter kan være mellom 15 og 20 år mens levetiden for det som er bygget kan være mye lenger. Samfunnet som sådan kan være forpliktet til å vedlikeholde det som er bygget igjennom flere generasjoner. Økonomisk sett handler tidligfasen også om organiseringen av prosjektet og hvem som skal være ansvarlig for håndtering av usikkerhet og risiko. Når prosjekteier har etablert det strategiske rammeverket for prosjektet og de overordnede betingelsene for planlegging og gjennomføring samt har identifisert en kvalifisert prosjektledelse som kan ta ansvar for gjennomføringen, da ligger det implisitt i arrangementet at han ikke ønsker å delta i detaljstyringen men overfører ansvaret for prosjektet til prosjektleder. Prosjekteier vil være mer opptatt av å sikre at prosessen utvikler seg i riktig retning. Han bør følge med i utviklingen og registrere hvilke endringer som må gjøres så tidlig som mulig for å sikre at prosjektet får den forventede effekt i et strategisk perspektiv. Ansvarsdelingen mellom prosjekteier og prosjektleder er vanligvis regulert ved hjelp av kontrakter som skal sikre en viss fleksibilitet for prosjektleder innenfor et strategisk rammeverk som ivaretar interessene til prosjekteier. I tidligfasen vil prosjektlederen først og fremst være opptatt av å få fastsatt riktig pris og tidsrammer for å kunne gjennomføre prosjektet på en tilfredsstillende måte og samtidig sikre lønnsomheten. For at dette skal skje er det viktig at overføringen av risiko fra prosjekteier til prosjektleder har en pris. En sentral del av kontrakten mellom de to partene handler om hvordan man skal dele og prissette risiko. Dette danner grunnlaget for ansvarsdelingen mellom de to partene som skal sikre at begge parter realiserer sine mål enten fullt ut eller delvis.

Kapittel 1 Prosjektet

TIDLIGFASEN

Fra det opprinnelige prosjektkonseptet ble lansert og til beslutningen om finansiering av prosjektet er vedtatt.

♦ GJENNOMFØRINGSFASEN

Fra detaljplanlegging starter og til prosjektleveransene (resultatmålene) er realisert.

♦ DRIFTSFASEN

Tilbakebetalingsperioden og frem til prosjektets resultat (bygninger, veier, dataprogrammer etc.) ikke lenger er i bruk.

Kapittel 1 Prosjektet

3526-(.7(76 87)250,1* Utgangspunktet for de som skal evaluere et prosjekt er prosjektutformingen, og strategien som prosjektet er en del av, samt de viktigste ytre pĂĽvirkningsfaktorene, det vil si den kontekstuelle usikkerheten se figur 1.5. Utformingen av et prosjekt bygger pĂĽ en sekvens av ĂĽrsaker og virkninger som starter med en mengde ressurser som skal utnyttes av prosjektet (ressursinnsatsen) med tanke pĂĽ ĂĽ produsere et antall resultatmĂĽl. En ĂĽpenbar betingelse vil vĂŚre at ressursene er tilstrekkelige for at resultatmĂĽlene skal kunne realiseres. ResultatmĂĽlene mĂĽ defineres slik at sannsynligheten for realisering er sĂĽ nĂŚr hundre prosent som mulig. I mange prosjekter viser det seg at resultatmĂĽlene i formelt vedtatte planer er hypotetiske og derfor ligger utenfor prosjektets mulighet for ĂĽ realisere dem, gitt det mandatet prosjektet har fĂĽtt og de ressursene som er tilgjengelige. Formelt sett er dermed mulighetene til ĂĽ lykkes innenfor det rammeverket som er trukket opp ikke formelt til stede. Utformingen av prosjektet skal ta hensyn til de tre planleggingsperspektivene. Det innebĂŚrer at samfunnsmĂĽlet skal avklare den langsiktige begrunnelsen for prosjektet og effektmĂĽlet skal gi en nĂ¸yaktig angivelse av den tilstanden man Ă¸nsker skal oppnĂĽs som resultat av prosjektet innenfor et gitt tidsrom. EffektmĂĽlet og samfunnsmĂĽlet er hypotetiske ettersom det er usikkerhet knyttet til realiseringen av disse og at det trolig ogsĂĽ er andre forhold som mĂĽ realiseres for at disse mĂĽlene skal oppfylles. Sannsynligheten for at dette vil skje er fĂ¸lgelig mindre enn hundre prosent. Som nevnt ovenfor skal for eksempel et veiprosjekt bidra til ĂĽ lĂ¸se et trafikalt problem. Dette skal videre fĂ¸re til at ulykkesfrekvensen reduseres, og at folk bruker mindre tid til reise og mer tid pĂĽ produktive aktiviteter eller fritid. Byggingen av en skolebygning er ment ĂĽ tilrettelegge for utdanning for individer som igjen skal fĂ¸re til et hĂ¸yere kompetansenivĂĽ i samfunnet. Veien og skolen er resultatmĂĽl, trafikkflyten og utdanningen er effektmĂĽlene, mens den produktive tidsbruken og Ă¸kningen av kompetanse er samfunnsmĂĽlene og begrunnelsen for tiltakene. I utformingen av et prosjekt er det altsĂĽ viktig at effektmĂĽlet ikke er mer ambisiĂ¸st enn at det lar seg realisere innenfor et gitt tidsrom. Det samme gjelder samfunnsmĂĽlet. Disse mĂĽlene mĂĽ angis sĂĽ presist som mulig. Prosjektet skal bare ha ett effektmĂĽl. Dette fordi en da fĂĽr en overordnet avklaring som bĂĽde gjelder planleggingen, anvendelsen av ressurser, gjennomfĂ¸ringen av prosjektet og evalueringen. I praksis ser man ofte at prosjekter har flere uavhengige mĂĽl som ofte representerer ĂĽrsak-virkningskjeder pĂĽ forskjellige ambisjonsnivĂĽ. I andre tilfeller viser det seg at samme prosjekt har flere mĂĽl som er i konflikt med hverandre. Dette gir rom for fortolkning og misforstĂĽelser slik at forskjellige parter kan ha ulik forstĂĽelse av hva som er hensikten med prosjektet. God prosjektutforming krever derfor at prosjektet bare har et sammenfattende effektmĂĽl, se figur 1.5.

Kapittel 1 Prosjektet

Figur 1.5 Prosjektstrukturen og prosjektets omgivelser. Prosjektstrukturen beskriver en logisk kjede av hendelser. Et realistisk utformet prosjekt innebærer at sannsynligheten for realisering på hvert nivå skal være tilstrekkelig høy, i det en tar med i betraktningen sannsynligheten for realiseringen av underliggende mål samt effekten av den kontekstuelle usikkerheten på det samme nivået.

Prosjektstrukturen skal gi en overordnet beskrivelse av prosjektet. Et slikt hierarki, som er strippet for detaljer, vil være avklarende for alle parter og et nyttig utgangspunkt for vurdering av helheten både når det gjelder realisme og utforming av prosjektet. Dette i kontrast til det langt mer detaljerte, men avgrensete bildet som prosjektledelsen skal forholde seg til. Det er erfaringsmessig meget viktig å etablere og analysere slike overordnede prosjekthierarkier før detaljene beskrives. Erfaringsmessig er dette ofte at dette ikke gjøres i tilstrekkelig grad. Prosjekter planlegges ofte uten at en har tilstrekkelig oversikt over brukernes prioriteringer. Samfunnsperspektivet er ofte noe som bare kommer inn i forbindelse med store offentlige investeringsprosjekter der det er formelt krav til omfattende konsekvensanalyser på et tidlig tidspunkt.

Kapittel 1 Prosjektet

SAMFUNNSMÅLET

Den langsiktige målsettingen som også gir begrunnelsen for hvorfor prosjektet ble igangsatt

♦ EFFEKTMÅLET

Første ordens effekt av prosjektet. Den tilstanden prosjektet forventes å bidra til etter at det er gjennomført

♦ RESULTATMÅLET

Prosjektleveransen. Det som er kontraktsmessig avtalt som resultat nå prosjektet er gjennomført.

♦ RESSURSER

De finansielle, materielle og arbeidskraft som er nødvendig for å realisere resultatmålet

Kapittel 1 Prosjektet

3526-(.7(76 675$7(*, De som utformer prosjekter har ofte en tendens til å være ambisiøse. En årsak kan være at ambisiøse mål kan motivasjon for de som skal gjennomføre prosjektet til å forbedre ytelsen. En annen forklaring er at ambisiøse mål bidrar til å rettferdiggjøre foreslåtte prosjekter på et tidlig stadium – uten at dette nødvendigvis forplikter senere. Dilemmaet er at sannsynligheten for å lykkes reduseres om ambisjonene øker, ettersom graden av vellykkethet er et mål på hvilke resultater en oppnår sett i forhold til ambisjonene. Planleggere kan ta utgangspunkt i et antatt budsjett, og fastsette et mål for prosjektet som står i forhold til tilgjengelige ressurser. Selv om dette er en rasjonell tilnærming, ser man ofte at det allikevel blir et misforhold mellom mål og ressurser. Målene er ofte for ambisiøse, ettersom folk har en tendens til å undervurdere kostnadene. God tilgang på ressurser er heller ikke nødvendigvis en garanti for at en lykkes. De forholdene som har kritisk innflytelse på hvorvidt prosjektet skal lykkes kan være uavhengig av ressurstilgangen, det kan for eksempel være knyttet til markedets respons, miljøets bæreevne, tilgangen på teknologi, etc. Vurderingen av hvorvidt prosjektet er realistisk vil måtte bygge på et antall slike påvirkningsfaktorer. Å komme frem til en realistisk strategi er først og fremst et spørsmål om ambisjonsnivået og at en kan beskrive et hendelsesforløp med milepæler og resultatmål. En systematisk analyse av sannsynligheten for realisering av forventet nytte på ulike ambisjonsnivåer er trolig viktigere enn den detaljerte analysen. Det krever også langt mindre ressurser og tid. Allikevel ser man at slike systematiske analyser av sannsynlighet og nytte ikke alltid gjennomføres på et tidlig tidspunkt.

Figur 1.6 Prosjektstrategien beskrevet i et såkalt logisk rammeverk for forhåndsvurdering av prosjektet. En skiller mellom prosjektet selv, prosjektets hensikt og eksterne forhold som innvirker på prosjektet

Kapittel 1 Prosjektet

Figur 1.6 viser de viktigste elementene i et prosjekt strukturert i en logisk følge, på operasjonelt, taktisk og strategisk nivå, med de viktigste elementene av kontekstuell usikkerhet som påvirker strategien knyttet til hvert nivå. En realistisk strategi må gi en beskrivelse av hovedelementene i prosjektet og de viktigste påvirkningsfaktorene. Den må ha et strategisk mål som gir begrunnelsen for prosjektet, et taktisk mål som er eksplisitt om hvilken effekt eller situasjon prosjektet er ment å bidra til, og en rekke operasjonelle mål som angir eksplisitt hva prosjektet skal produsere. De operasjonelle målene skal være faktiske i den forstanden at prosjektet forventes å realisere disse med stor sannsynlighet. De taktiske og strategiske målene er hypotetiske i den forstanden at prosjektet bare er ett av flere forhold som må være oppfylt for at disse målene skal kunne realiseres. En realistisk strategi bygger på en årsak-virkningskjede som starter i en ressursinnsats som anvendes i prosjektet for å realisere de operasjonelle målene. Ressursene må være tilstrekkelige for å sikre at disse realiseres. De operasjonelle målene må derfor defineres slik at sannsynligheten for realisering er nær 100 prosent. Dersom dette ikke er tilfellet er prosjektet ikke formelt utformet for å kunne lykkes. Prosjektet er ofte utformet med flere uavhengige mål både på taktisk og strategisk nivå, noen ganger med ulike ambisjonsnivåer. I noen tilfeller ser en at et prosjekt kan ha motstridende målsettinger. Dette skaper intern uklarhet og åpner for at ulike parter kan tolke målene forskjellig. En vellykket strategi krever at det taktiske målet ikke er ambisiøst utover det som er realistisk oppnåelig innenfor den tidsrammen som er angitt. Hvert mål må defineres presist og som enkeltstående mål. Prosjektet bør ha et samlende taktisk mål (eventuelt med underliggende delmål). Dette vil forenkle planlegging, ressursallokering, prosjektledelse og kontroll. Det samme gjelder for det strategiske målet. Prosjektets strategi spesifiserer de viktigste normative elementene i den øverste raden i matrisen i figur 1.6. Raden nedenfor angir de viktigste usikkerhetselementene som påvirker strategien og er knyttet direkte til realiseringen av de ulike nivåene i strategien. En realistisk strategi forutsetter at flest mulig av de store usikkerhetene er identifisert i tidligfasen. Matrisen sammenfatter dermed den vesentligste informasjonen som er nødvendig for den overordnede beskrivelse av strategiens grunnleggende egenskaper. En slik strategi, uten unødvendige detaljer, vil gi nyttig innsikt for alle parter som er involvert i eller berørt av strategien, og vil være et godt utgangspunkt for å vurdere realisme, samt den etterfølgende mer detaljerte utformingen av prosjektet. Rammeverket gir et mer overordnet perspektiv enn det mer detaljerte bildet en får ved hjelp av vanlige prosjektstyringsverktøy. Det egner seg derfor godt som utgangspunkt også for evaluatorer når prosjektet evalueres, se kapittel 3.1.

Kapittel 1 Prosjektet

Strategien bør bygge på en konsistent årsak-virkningskjede som starter med å angi ressursinnsatsen som skal brukes for å realisere en rekke klart definerte mål

♦

Målene må være entydige, og en må unngå motstridende mål som kan åpne for usikkerhet om prioriteringer når prosjektet gjennomføres

♦

De operasjonelle målene bør være 100 prosent oppnåelige

♦

De taktiske og strategiske målene bør ikke være ambisiøse utover det som er realistisk oppnåelig innenfor de tidsrammene som er angitt

♦

De vesentligste kontekstuelle usikkerhetselementene bør være identifisert på et tidlig tidspunkt

♦

Ingen av usikkerhetselementene bør representere en risiko som vil true realiseringen av målene i strategien

Kapittel 1 Prosjektet

9(//<..(7( 3526-(.7(5 Ex post evaluering av prosjekter handler til syvende og sist om å vurdere i hvilken grad en har lykkes på sikt. Hva som legges i begrepet vellykket vil avhenge blant annet av hvem man spør, hvilket ambisjonsnivå som var lagt til grunn og hvilket tidsperspektiv man har hatt. Det kan argumenteres for at vellykkethet kan – og bør – vurderes både i et operasjonelt, taktisk og strategisk perspektiv. • Operasjonell vellykkethet. Leveransen foreligger som avtalt - og er produsert på mest mulig kostnadseffektiv måte. • Taktisk vellykkethet. Tiltaket gir opphav til størst mulig nytte/måloppnåelse for brukerne, sidevirkninger er optimalisert – og tiltaket er formålseffektivt. • Strategisk vellykkethet. Tiltaket bidrar samlet sett til positiv velferdsutvikling over tid - og tiltaket (egentlig pakken av tiltak) som har frembrakt denne utviklingen er samfunnsøkonomisk effektiv. Det er lett å finne eksempler på prosjekter som har vært meget vellykkede i et operasjonelt perspektiv, men mislykkede i et taktisk og strategisk perspektiv. Det gjelder prosjekter der gjennomføringen har vært upåklagelig og leveransen er fremskaffet med lavere ressursbruk enn forventet – men hvor det ferdige produktet ga lite nytte for brukere og samfunn. Et prosjekt kan også være taktisk vellykket, men samtidig strategisk mislykket, eksempelvis dersom brukergruppen ikke egentlig var prioritert av storsamfunnet og/eller hvor deres behov kun ble tidsfredsstilt på kort sikt.

86,..(5+(7

Kapittel 1 Prosjektet

6WUDWHJLVN SHUVSHNWLY 6DPIXQQVPHVVLJ HIIHNW

/HYHG\NWLJKHW 7DNWLVN SHUVSHNWLY 1\WWHQ IRU EUXNHUQH 1HWWR Q\WWH

0nO RSSQnHOVH

NRQRPLVN HIIHNW

2SHUDVMRQHOW SHUVSHNWLY 3URVMHNWHWV OHYHUDQVH 5HOHYDQV

9LUNQLQJHU .YDOLWHW

7LG

.RVWQDG 7,'

Figur 1.7 Mål for vellykkethet i tre forskjellige perspektiver

Motsatt kan en finne mange eksempler på at et prosjekt som var operasjonelt mislykket (for eksempel på grunn av store kostnadsoverskridelser) likevel viser seg å være strategisk vellykket, fordi i et langsiktig perspektiv er investeringskostnaden kun en liten bit av bildet – de langsiktige netto nyttestrømmene er viktigere. Vi innser derfor at strategisk vellykkethet er det “viktigste” aspektet i en evaluering og det vi er mest interessert i å få vurdert. Det vil være viktig å unngå at det brukes for mye ressurser på evalueringen av det operasjonelle perspektivet. Dette er et vanlig problem ettersom det på dette området finnes mest og lettest tilgjengelig informasjon. Langt mer krevende er å lage et evalueringsdesign som fanger opp de viktigste effektene på taktisk og strategisk nivå. En vil ofte møte bestemte oppfatninger hos berørte om i hvilken grad prosjektet er vellykket, på hvilken måte og hva som er de sentrale problemene. Det vil være en utfordring for evaluator å ikke bli for påvirket av slike forutinntatte synspunkter når evalueringsdesignet utformes, men å kunne åpne perspektivet, for eksempel ved å studere erfaringene fra evaluering av lignende prosjekter. Dette er illustrert i Figur 1.7. En skiller her mellom selve prosjektet og to nivåer av ringvirkninger som nødvendigvis inntreffer på et senere tidspunkt, og som det er knyttet større usikkerhet til. Usikkerheten knyttet til om en lykkes i et operasjonelt perspektiv er minst og sjansen for å lykkes derfor størst. Usikkerheten når det gjelder taktisk vellykkethet er større og sjansen for å lykkes tilsvarende mindre. Størst 33

Kapittel 1 Prosjektet

usikkerhet er knyttet til realiseringen av målene i det strategiske perspektivet som er det mest langsiktige.

Hvorvidt en lykkes avhenger prosjektets ytelse og effekt sett i relasjon til ambisjonsnivået

♦

Suksess er et svært sammensatt mål som må defineres mer presist for å kunne anvendes til å gjøre sammenlikninger mellom prosjekter

♦

Sjansen for å lykkes er størst vurdert i et snevert perspektiv og i forhold til det laveste ambisjonsnivået

♦

Sjansen for å lykkes er minst vurdert i et bredt perspektiv og i forhold til det høyeste ambisjonsnivået

♦

Tidsfaktoren er viktig ved vurdering av om prosjektet er vellykket eller ikke

KAPITTEL

HVA ER EVALUERING?

Kapittel 2 Hva er evaluering?

+9$ (5 (9$/8(5,1*" Den allmenne forståelsen av ordet evaluering er å vurdere eller fastslå verdien eller resultatet av noe. Evaluering brukes på alle områder i samfunnet der en har behov for å vite om målsettinger er oppfylt, hvilke virkninger et tiltak har hatt, hvilke vanskeligheter en står overfor og om resultatene står i forhold til innsatsen. Det kan dreie seg om alt fra eksaminering av studenter til omfattende og dyptgående studier av offentlige programmer eller tiltak. I løpet av de siste årene har en sett at offentlige institusjoner så vel som næringslivet har tatt i bruk evalueringer i økende grad. Evaluering kan defineres som systematiske og analytiske studier som gjennomføres fra tid til annen for å få svar på spesielle spørsmål vedrørende resultater og gjennomføring. Det dreier seg altså om forskningsbasert, systematisk innhenting og vurdering av kunnskap, til forskjell fra det å foreta en generell vurdering som er videre og mer upresist. (Tornes 2012) Evaluering av prosjekter gjennomføres for å få svar på en rekke sentrale spørsmål som drøftet nærmere i kapittel 4. Evalueringene gjennomføres ofte av eksterne eksperter, dvs. uten tilknytning til evalueringsobjektet eller de berørte parter. Men en ser også eksempler på selvevaluering som gjennomføres av prosjektledelsen eller der representanter for prosjektet inngår i evalueringsteamet.

Vurdering av effekter Første ordens effekter

Prosjektgjennomføring og prosjektets leveranse

Andre ordens effekter

Nytten for brukerne

Tredje ordens effekter

Virkninger i samfunnet

Fjerde ordens effekter

Langsiktig netto nytte

Evalueringer er gjerne forholdsvis dyptgående analyser som vurderer og forklarer prosjektet i et bredt samfunnsperspektiv. Evaluering er ikke eksakt forskning, men heller ikke alminnelig synsing. Evaluering gjennomføres på en systematisk måte og bygger både på vitenskapelige metoder, ekspertkunnskap og sunn fornuft. Evalueringens viktigste formål er å trekke ut kunnskap og erfaring som kan føre til forbedring av fremtidig virksomhet. Gjennom grundig og uavhengig analyse skal beslutningstakere på ulike nivåer gis grunnlag for å fatte godt underbygde vedtak. Men evalueringer skal også gi mer overordnet kunnskap om virkemidler, ulike årsakssammenhenger: hva som fungerer bra, mindre bra og hvorfor vanskeligheter oppstår.

Kapittel 2 Hva er evaluering?

Evaluering er ikke noe mål i seg selv den virkelige nytten ligger i at resultater og konklusjoner blir tilbakeført til de ansvarlige parter og blir brukt til å bedre fremtidig virksomhet. (YDOXHULQJHQV RPIDQJ

Evalueringer kan ha fokus på mindre eller større deler av den prosessen som prosjektet er en del av, eller vurdere prosjektet ut fra perspektivet til en eller flere av de sentrale interessentene som drøftet i kapittel 1.5. Evalueringen er vanligvis ikke avgrenset bare til å vurdere prosjektets leveranser. Den kan også omfatte virkningsstudier utover første og annen ordens effekter av prosjektet. Evalueringen vil heller ikke være avgrenset til de positive effektene, men også ta eventuelle negative virkninger med i betraktningen. Evaluering gjennomføres på ulike nivåer, fra prosjektnivået til overordnet styrings- eller beslutningsnivå.

Evaluering av enkeltprosjekter fokuserer først og fremst på ytelse og effekter for å verifisere det som er oppnådd eller forbedre prosjektledelsen. Evaluering kan være avgrenset til et bestemt tema eller en rekke ulike temaer. Det kan også være avgrenset til spesielle temaer som krever mer inngående analyse, for eksempel forhold som kan gi indikasjoner på et tidlig tidspunkt om hvorvidt en vil lykkes eller ikke på lengre sikt.

Evalueringer på programnivå fokuserer i større grad på den samlede effekten av grupper av prosjekter eller enkelttiltak. Slike evalueringer kan forsøke å sammenligne og vurdere denne relative nytten av ulike prosjektstrategier rettet mot det samme overordnede målet, samt synergier og potensielle konflikter når det gjelder mål og virkemidler.

Evalueringer på sektor eller selskapsnivå er som regel fokusert på utvalgte overordnede problemstillinger. I tilfelle kan det være snakk om å foreta en samlet gjennomgang av eksisterende evalueringsrapporter som gjelder en bestemt type prosjekter eller programmer i en gitt sektor eller på ett bestemt temaområde. På grunnlag av slike case-studier gjennomføres deretter en sammenfattende analyse.

7R KRYHGW\SHU DY HYDOXHULQJHU

I mange tilfeller benyttes evalueringer for å vurdere gjennomføring og resultatoppnåelse, for eksempel ved avslutningen av et prosjekt. Slike evalueringer kalles summative evalueringer. I andre tilfeller er hensikten å gjøre forløpende undersøkelser for å endre prosesser etter hvert som de skjer. Dette kalles formativ evaluering. En velkjent analogi er følgende: når restaurantgjesten smaker på suppen – er det en summativ evaluering. Men når kokken smaker på suppen – er det formativt. Bruken av de to typene av evalueringer er nærmere omtalt i kapittel 2.2. (YDOXHULQJ Sn XOLNH WLGVSXQNW

Evalueringer gjennomføres på ulike tidspunkt i forhold til prosjektets gjennomføringsfase:

Kapittel 2 Hva er evaluering?

Evaluering av igangværende prosjekter kalles for underveisevaluering, og gjøres gjerne halvveis i gjennomføringsperioden eller på slutten av en bestemt prosjektfase. Underveisevaluering vil typisk fokusere på de operasjonelle aspektene, men vil også ha et bredere tidsperspektiv med tanke på å vurdere langsiktige virkninger av prosjektet.

Sluttevaluering tar sikte på å fastslå hva som er oppnådd når prosjektet er avsluttet og identifisere eventuelle behov for oppfølgingsaktiviteter.

Ex-post evaluering gjennomføres etter at prosjektet er avsluttet. Hovedformålet er å vurdere hvilken langsiktig innvirkning det har hatt eller sannsynligvis vil ha, og hvilke generelle erfaringer en kan trekke av dette.

Evalueringenes rolle på ulike stadier i prosjektsyklusen er drøftet nærmere i kapittel 2.3.

SUMMATIV EVALUERING

FORMATIV EVALUERING

HENSIKT

Finne ut hva som har skjedd

Forbedre fremtidig ytelse

VEKT PÅ

Graden av vellykkethet

Årsaker til suksess eller fiasko

EVALUATORER

Upartisk og uavhengig

Medvirkning fra involverte og/eller berørte parter

Kilde: Cracknell, 2000

Kapittel 2 Hva er evaluering?

'2.80(17(5,1* 2* 5(68/7$7)25%('5,1* En evaluering kan sees på som et verktøy for ledelsen for å avklare hva som har skjedd og hva som skal til for å forbedre fremtidig utnyttelse. Evaluatorens utfordring er å fremskaffe etterrettelig dokumentasjon som gjelder gjennomføring og effekter av prosjektet, og gi fornuftige råd på dette grunnlaget. 'RNXPHQWDVMRQ VRP PnO

Evalueringer skal fremskaffe etterrettelig informasjon, men mengden og kvaliteten av informasjonen som foreligger kan variere. En del av informasjonen som genereres i løpet av et prosjekt bygger i betydelig grad på subjektive vurderinger. Det forventes at evalueringen bidrar til å forbedre informasjonsunderlaget og redusere usikkerhet. Dette gjelder i særlig grad bruken av ressurser, styring og fremdrift, samt prosjektets leveranser. Et hovedanliggende er å produsere pålitelig informasjon. Slike evalueringer forventes derfor å være upartiske og utføres av fagfolk som er uavhengige av det prosjektet som evalueres.

Dokumentasjon som formål (summativ) Gi beslutningstakere og allmennheten faglig dokumentasjon for bruk av ressurser og resultater, samt bidra til en bedre forståelse av prosjektet, dets muligheter og begrensninger. Læring som formål (formativ) Bidra til forbedring av prosjekter ved å trekke ut, analysere og formidle erfaringer fra igangværende og avsluttede prosjekter. Evalueringen fokuserer på årsaker og forklaringer på hvorfor ulike aktiviteter lykkes eller ikke, samt å produsere informasjon som bidrar til å gjøre fremtidige prosjekter mer relevante og effektive.

Slike evalueringer er summative og vanligvis basert på et mandat som spesifiserer hvilke forhold som skal fokuseres. Mandatet er det styrende dokumentet for evalueringen og del av den formelle avtalen mellom evaluator og oppdragsgiver. I mange tilfeller er det spesifisert i mandatet at evaluator også plikter å vurdere andre forhold som ikke dekkes av mandatet dersom analysen viser at dette er nødvendig for den samlede vurderingen. Evalueringer gjennomføres ofte som et middel for å sikre ansvarliggjøring av de involverte parter. I mange tilfeller er derfor den disiplinerende effekten evalueringen kan ha for disse like viktig som den informasjonen som evalueringsteamet produserer.3

3 Ta revisors rolle som et eksempel: hovedformålet med en formell revisjon er ikke revisjonen selv, men dens disiplinerende effekt på regnskapsførsel. Revisjonsberetningen er bare et formelt verktøy i

Kapittel 2 Hva er evaluering?

(YDOXHULQJ IRU n IRUEHGUH UHVXOWDWHU

Evalueringer som gjennomføres for å trekke lærdom og forbedre ytelsen av prosjekter må være tverrfaglig og helhetlig nok til å vurdere prosjektet i perspektiv og gi innsikt for læring. Slike evalueringer er ofte tematiske. Perspektivet kan være smalt, dvs. å se på et bestemt aspekt av et prosjekt eller program – eller bredt, med fokus på en gruppe prosjekter eller et større program. Eksterne, uavhengige evaluatorer vil typisk bli brukt i denne typen evaluering. Men ettersom hensikten er å generere erfaring mer enn å ansvarlig gjøre partene, er det naturlig at disse i større grad er direkte involvert enn i evalueringer der målet er å sikre dokumentasjon. Slik bredere deltakelse er avgjørende for å sikre erfaring generert gjennom evalueringer anvendes i utformingen av policy og strategi i tiden som kommer, og i design og gjennomføring av fremtidige prosjekter. Formative evalueringer starter derfor gjerne med en prosess for å finne ut hvilke områder eller tema som vil være relevante, for eksempel ved hjelp av arbeidsgrupper med deltakelse både fra interessenter og ekstern ekspertise. Basert på anbefalingene fra slike prosesser kan mandatet for evalueringen utformes og evalueringen iverksettes. Evalueringen er i seg selv en intensiv studie som resulterer i et sluttdokument eller en forløpende prosess der evaluator vil samhandle med interessenter for å forbedre ytelse og effekt på ulike stadier i prosessen.

denne sammenhengen. Tilsvarende, en formell evaluering forventes å ha en disiplinerende effekt på ledelsen av et prosjekt både på finansierende og gjennomførende side. Det viktigste aspektet er at den kan sette en standard for rapportering som kan brukes av de involverte parter for beslutninger.

Kapittel 2 Hva er evaluering?

FORMÅL

DOKUMENTASJON OG KONTROLL

RESULTATFORBEDRING

Produsere pålitelig informasjon for å styrke transparens og ansvarlighet

Trekke lærdom for å forbedre nåværende og fremtidige prosjekter.

♦ MÅLGRUPPE

Den finansierende part, viktige beslutningstakere, offentlige myndigheter, etc.

Alle interessenter, berørte parter og allmenheten

♦ EVALUATORER

Eksterne, uavhengige team av spesialister

♦ GRUNNLAG

Datainnsamling og analyse i henhold til avtalt mandat

Tverrfaglig team av eksterne evaluatorer samt representanter for sentrale interessenter

Åpen evalueringsprosess der tema og fokusering gjøres av teamet

Kapittel 2 Hva er evaluering?

(9$/8(5,1* (7 9(5.7 < , .9$/,7(766,.5,1* Evaluering kan sees som en del av et større kvalitetssikringssystem, og komplementært til andre tiltak for å bedre kvaliteten. Tradisjonelt har det vært et instrument for grundig analyse for å sikre innsikt i kompleksiteten av prosjekter og prosesser. De organisasjonene som gjennomfører prosjekter vil ofte dele prosjektene inn i flere prosjektfaser for å bedre styring og kontroll, og etablere hensiktsmessige koplinger til den løpende driften i den utførende organisasjonen. Til sammen er prosjektfasene kjent som prosjektets livssyklus. Prosjektets livssyklus definerer begynnelsen og slutten av prosjektet og dets faser.

Figur 2.1 Ulike typer evaluering anvendt på forskjellige tidspunkt, enten i forkant, i løpet av eller etter at prosjektet er gjennomført – eller som formativ evaluering i løpet av prosjektgjennomføringen.

Mens resultatstyring er en integrert del av prosjektet, er evalueringen en ad hoc øvelse som foretas på visse stadier og for visse formål, enten under gjennomføringen for å få veiledning (underveis evaluering), på slutten for å verifisere resultater (sluttevaluering), eller noen tid etter at prosjektet er avsluttet for å avklare mer langsiktige effekter (Ex-post evaluering). I tillegg kan formativ evaluering brukes under deler av prosjektets livssyklus for å styrke prosjektledelsen. Dette er illustrert i figur 2.1: 1. Ex ante evaluering. Dette er en tidlig evaluering av prosjektkonseptet. Det gjøres for å avgjøre om prosjektet skal gjennomføres eller ikke. Perspektivet bør være bredt, mye på samme måte som med senere evalueringer, for å sikre at det er økonomisk levedyktig, relevant i forhold til brukernes behov, og vil være bærekraftig. I de største norske statlige prosjektene gjøres dette som ekstern kvalitetssikring (KS1 og KS2) 2. Formativ evaluering. Dette er en form for styringsstøtte for å generere og analysere informasjon slik at en har et grunnlag for en løpende kontroll av 42

Kapittel 2 Hva er evaluering?

resultater i forhold til budsjetter, arbeidsplaner og målsettinger. Data fra slikt arbeid er uunnværlig som grunnlag for senere evalueringer, og spesielt fordi slike data gir grunnlag for trendanalyser. 3. Underveisevaluering. Dette gjøres vanligvis for å gi styringssignaler eller som svar på forespørsel eller press fra aktører eller publikum. Årsaker kan være at det er programmert i utgangspunktet, at prosjektet går inn i en ny fase, at det anses som problematisk, at det er et behov for å analysere virkningene, etc. 4. Sluttevaluering. Dette gjøres som en formell øvelse for å dokumentere resultatoppnåelse ved prosjektets avslutning. Den fokuserer i hovedsak på prosjektleveransen målt i form av omfang, kvalitet, fremdrift og kostnader, men også i hvilken grad formelt avtalte mål er eller vil bli realisert. 5. Ex post evaluering. Dette gjøres for å kartlegge de mer langsiktige effektene av prosjektet, og i hvilken grad det har bidratt til realisering av formelt avtalte mål. Motivet kan være å trekke lærdom som kan være nyttig for lignende prosjekter i fremtiden. Slik etterevaluering kan kreve analyser med et bredt samfunnsøkonomisk perspektiv, og vil i de fleste prosjekter ikke bli gjort. I mange tilfeller kan det være gode grunner for å ikke gjøre eller utsette en evaluering, for eksempel i rutinemessige prosjekter med små avvik fra det som er forutsett, og der en har god kjennskap til mulige virkninger av prosjektene. Men alt for ofte blir dette brukt som unnskyldning for å ikke gjøre en evaluering. Tross alt har uavhengige evalueringer ofte vist seg viktig for å initiere endringer i ledelse og strategi, og oppnå bedre resultater i neste runde.

Kapittel 2 Hva er evaluering?

(; 3267 (9$/8(5,1* Erfaring viser at det meste av evalueringsvirksomheten i dag skjer i løpet av gjennomføringsfasen eller umiddelbart etter at denne er avsluttet, i figur 2.1 betegnet henholdsvis underveisevaluering og sluttevaluering. Dette er noe av et paradoks, fordi nytten av en evaluering i gjennomføringsfasen ofte vil være begrenset. Den kan bidra til å unngå eller rette opp feil under veis, det vil si å gi styringsinformasjon. En sluttevaluering gir resultatvurdering ved avslutningen av gjennomføringsfasen, det vil si den gir kontrollinformasjon, men alt for tidlig til å kunne si noe om effekten av prosjektet. Ex ante og ex post evaluering brukes derimot mer sjeldent selv om den potensielle nytten kan være stor. Ex ante evaluering skal gi styringsinformasjon om de viktigste valgene på et tidlig tidspunkt der muligheten for å påvirke er størst. Dette handler om å velge den beste tilnærmingen eller konseptuelle løsningen av alternative mulige valg, noe som er svært viktig. Ex post evaluering, som gjøres et godt stykke inn i driftsfasen, skal gi læringsinformasjon som kan bedre tilrettelegging og styring av tilsvarende tiltak i fremtiden, noe som er særdeles viktig. Næringslivet, og særlig industrien er bedre på både ex ante og ex post-evalueringer med sine henholdsvis ex ante markedsundersøkelser og ex post brukerundersøkelser. Men dette er forholdsvis avgrensete evalueringer der lønnsomhet er et overordnet mål og etterspørsel og brukertilfredshet er sentrale evalueringskriterier. I slike tilfeller foreligger det et klart økonomisk insentiv som begrunner hvorfor man bør gjøre slike undersøkelser. Insentivet i offentlige tiltak er ikke like tydelig. Formålet med tiltakene er ofte mer sammensatt og komplekst enn næringslivets mål om lønnsomhet. Samfunnsøkonomisk nytte står sentralt og individer ansvarlig gjøres ikke i samme grad i forhold til måloppnåelsen slik tilfellet er i næringslivet. De siste par tiårene har imidlertid interessen for ex post-evaluering økt, etter at internasjonal utviklingshjelp har gått foran. Det skyldes kanskje først og fremst at disse organisasjonene har begrenset mulighet for å påvirke den operative virksomheten som investeringene initierer i mottakerlandene slik at usikkerheten knyttet til gjennomføringen og utfallet er stor. Samtidig har bruken av bistandsmidler og effekten av investeringene lenge vært omdiskutert. Evalueringene er ofte store og omfattende studier, gjennomført av eksterne organisasjoner og rådgivere, kvaliteten er god og prisen er høy. En ex post-evaluering skjer per definisjon en god stund etter at tiltaket er avsluttet. Kontrollaspektet er derfor aktuelt, men først og fremst handler det om læring. I prinsippet gir ex post-evalueringer grunnlag for to typer læring. På et overordnet nivå gir de kunnskap som kan bidra til å endre eksisterende kunnskapsstrukturer. For eksempel erkjennelse som kan føre til at en foretar helt andre valg i tiden som kommer. Argyris & Schøn (1978) kalte dette “double loop learning”, eller den store læringssløyfen på norsk. I tillegg gir evalueringer kunnskap om hvordan man kan gjøre ting bedre innenfor eksisterende kunnskapsstrukturer. Denne typen læring kalles “single loop learning” eller den lille læringssløyfen, og gjelder for eksempel kunnskap som gjør at en kan bedre planleggingen av tiltak som man også har 44

Kapittel 2 Hva er evaluering?

gjennomført tidligere uten at en berører overordnete spørsmål for eksempel om hensiktsmessigheten av disse. Det som motiverer bruken av ex post-evalueringer er først og fremst at de kan bidra til “double loop learning”. En evaluering av et enkelt tiltak vil derfor sjelden være nok, her vil det være nødvendig med evaluering av flere tiltak.

Kapittel 2 Hva er evaluering?

(; $17( (9$/8(5,1* Ex ante-evaluering defineres her som en innledende, helhetlig vurdering som skal gi grunnlag for å foreta de overordnede valgene som er avgjørende for å finne den beste løsningen på et gitt problem, og sikre størst mulig nytte av tiltaket. Ofte legges det ned betydelige ressurser i detaljert planlegging av ett gitt alternativ, men uten at mulige alternative løsninger på problemet er utredet eller tilstrekkelig vurdert på et tidlig tidspunkt. En har dermed ikke en fullgod begrunnelse for at det foretrukne er det beste valget. Det er derfor en nærliggende tanke at evalueringer bør gjennomføres på et tidligere tidspunkt, ettersom muligheten en har til å påvirke prosessen øker desto tidligere en kommer inn. En ex ante-evaluering begrunnes med at en ønsker å finne en avklaring på de store spørsmålene som skal legge premissene for planleggingen. Verdensbanken innførte tidlig på 1990-tallet begrepet “Quality at Entry” (QaE) og stilte krav i organisasjonen til kvalitet og omfang av forundersøkelser (appraisals), eller det som vi i denne sammenhengen kaller ex ante-evaluering. En undersøkelse på et senere tidspunkt som omfattet mer enn 1000 investeringstiltak viste at hele 80 prosent av de tiltakene der en hadde gjort et grundig forarbeid var vellykkete mens bare 35 prosent av de med dårlig forarbeid var vellykket, Verdensbanken (1997). Dette er et sterkt signal om at denne typen evaluering kan ha stor verdi. Nytten ved ex ante-evaluering er først og fremst knyttet til hvorvidt en er i stand til å identifisere den beste løsningen på det problemet en står overfor, det vil si det strategiske valget. Dersom en står overfor flere mer eller mindre likeverdige valg vil en også vurdere hvilket av disse som er det mest kostnadseffektive. Med andre ord, hensikten med ex ante evaluering vil være å unngå at man velger dyre løsninger som senere viser seg å være ineffektive. I tillegg ønsker man å vurdere hvilke virkninger en kan forvente etter at tiltaket er gjennomført, noe som både er nyttig for beslutningen om gjennomføring, men også for evaluering underveis og ex post. Ex ante-evaluering kan også være nyttig for å studere hvilke virkninger det vil få dersom enkelte parametere endres i løpet av gjennomføringen. Systematiske sensitivitetsvurderinger gjøres i for liten grad, også i forbindelse med store og omfattende tiltak. Ett bestemt tiltak eller prosjekt representerer i prinsippet det ene av flere mulige konsepter som realiseres. I forkant kan andre konsepter ha vært vurdert, men de er valgt bort til fordel for det foretrukne. I etterkant, når prosjektet er gjennomført, evalueres det i forhold til planlagte og forventete mål og effekter, og også i forhold til sitasjonen før prosjektet ble gjennomført - men sjelden i forhold til det kontrafaktiske, det vil si hva situasjonen ville ha vært dersom det ikke hadde vært gjennomført. Et prosjekt er en intervensjon som iverksettes for å endre en tilstand fra det eksisterende til noe annet. Prosjektlederens oppgave er å gjennomføre intervensjonen, mens samfunnet er mest interessert i tilstandsendringen. Den påtenkte endringen uttrykkes på et tidlig tidspunkt som en strategi. Denne kan være mer eller mindre godt begrunnet. I hvilken grad den er realiserbar kan bare tiden vise. Effekten av tiltaket kan bare fastslås i etterkant. Den vil være et resultat ikke bare av prosjektet, men også av ukontrollerbare faktorer som virker inn underveis. 46

Kapittel 2 Hva er evaluering?

Normalt er det flere forhold enn prosjektet som virker inn og gir den effekten som observeres. Det betyr derfor samtidig at bare en del av det en observerer kan tilbakeføres til prosjektet. Beslutningen i forkant vil i de fleste tilfellene bygge på en vurdering av typen Hva hvis? (prosjekt A, B, C). Vurderingen i etterkant, når prosjektet evalueres, bør skje tilstrekkelig lenge etter at det er ferdigstilt slik at man kan vurdere effekten. Da er situasjonen avklart og fakta ligger på bordet. I en ex ante evaluering er ikke dette tilfellet.

Kapittel 2 Hva er evaluering?

(9$/8(5,1* 3c (7 69$.7 ,1)250$6-216*5811/$* Det som fremfor noe skiller ex ante-evaluering fra evaluering på et senere tidspunkt er informasjonstilfanget. Mangel på informasjon gjør at en i stor grad må basere seg på erfaring eller skjønn – eller i verste fall ren gjetning. Dette er en ulempe, men ingen hindring, ettersom det åpenbart ikke finnes noe alternativ på et tidlig tidspunkt. Kombinasjonen av fakta og godt funderte antakelser er det beste man kan fremskaffe i en tidlig fase. Det en ex-ante evaluering kan tilføre er systematisk generering og bruk av slik informasjon. Antakelsen er at dette kan gi bedre konklusjoner enn hva som vil være tilfellet ved et ennå svakere informasjonsgrunnlag. Det finnes mye litteratur på dette området, for eksempel Goodwin and Wright (1991), Bazerman (1994), Williams, Samset og Sunnevaag (2009). Ex ante evaluering skjer i den tidligste fasen av et prosjekt, det vil si på det tidspunktet der de største avgjørelsene skal tas, men samtidig da usikkerheten er størst, muligheten for påvirkning er størst, og informasjonsgrunnlaget er mest begrenset. Intuitivt vil en tenke at mangel på informasjon må være det største problemet i en slik situasjon. Til en viss grad er dette riktig, men bare til en viss grad. Det avgjørende er hvilken type informasjon en har behov for. På dette innledende tidspunktet i prosessen er det først og fremst det problemet og de behovene prosjektet er ment å bidra til å løse som må belyses. Innledningsvis har en derfor i mindre grad behov for detaljkunnskap om de alternative løsningene på problemet. Dette illustrerer noe som er et dilemma i alt for mange prosjekter. Det er nemlig slik at de fleste prosjekter oppstår som én konkret løsning på et problem. Mye av informasjonsgenereringen vil være knyttet til denne konkrete løsningen. Faktisk er det slik i mange tilfeller at mengden av konkret detaljinformasjon bidrar til å låse fast det opprinnelige konseptvalget, i den grad at dette i de fleste tilfeller også viser seg å bli det alternativet som tilslutt realiseres. I alt for få tilfeller har en identifisert og realitetsbehandlet andre mulige konsepter. Når det gjelder informasjonsbehovet ved ex ante evaluering står altså overfor noe at et paradoks. En trenger mindre av den typen informasjon som vanligvis produseres. Erfaring tilsier at i den tidligste delen av prosessen handler det om å forstå problemet er står overfor og problemets kontekst, hvilke behov og interesser de berørte parter har, for å finne et strategisk grep og vurdere muligheter og risiko. Behovet innledningsvis er derfor først og fremst helhetstenkning og det å etablere perspektivet, der intuisjon, kreativitet og fantasi kan være mer verdifullt enn eksakt informasjon. En kan derfor kanskje snu problemstillingen og hevde at mangel på informasjon i den tidligste fasen ikke bare er et problem men kan også være en styrke. For erfaring har vist at i den innledende analysen kan det være en fordel å operere mest mulig med kvalitative størrelser og bare i begrenset grad med kvantitativ informasjon. I tillegg kommer problemet med informasjonens gyldighet. Det er nokså opplagt, og erfaring bekrefter dette, at jo mer presis informasjon, desto raskere utdateres den over tid. En kan bruke et begrep som informasjonens halveringstid. Informasjon om etterspørsel i et marked i sterk utvikling kan for eksempel ha redusert sin verdi som planleggingsunderlag i løpet av dager. Gyldigheten av kvalitative vurderinger har ofte 48

Kapittel 2 Hva er evaluering?

langt bedre holdbarhet enn presis kvantitativ informasjon. Tenk for eksempel på grunnleggende oppfatninger om en brukergruppes behov. Vi vet ikke noe eksakt om hvor sterkt dette behovet er men kan være sikker på at det vil være der i lang tid fremover, og kan derfor ta det med i betraktningen i en innledende vurdering. Problemet oppstår når beslutningsprosessen druknes i detaljinformasjon på et for tidlig tidspunkt. Det kalles populært for analysis paralysis. Snur en om på resonnementet kan en si at nytten av eksakt informasjon vil være mindre jo lenger tilbake en går i tid. Dette er enda et argument for i størst mulig grad å unngå å drukne den innledende prosessen med detaljer og kvantitativ informasjon. Mangel på eksakt informasjon ex ante medfører ikke et vesentlig problem over tid. Behovet for presisjon og detaljinformasjon øker etter hvert som prosessen skrider frem, og en nærmer seg tidspunktet for detaljplanlegging og gjennomføring. Da øker også mulighetene for å fremskaffe slik informasjon. Informasjonsgrunnlaget er drøftet nærmere i kapittel 7.1.

Her må en selvsagt skille mellom mer eller mindre bestandig informasjon, som for eksempel fysiske data på den ene siden og økonomiske data på den annen.

Kapittel 2 Hva er evaluering?

+925'$1 6,.5( 1<77(1 $9 (9$/8(5,1*(5 Når alt kommer til alt er det nytten av evalueringen som er det viktige. Hva som regnes som nyttig i denne sammenhengen kan være i hvilken grad evalueringen bidrar til ny innsikt, dens innvirkning på beslutninger, eller dens relevans i å skape eller endre eksisterende policy. Utfallet av en evaluering avhenger i stor grad av måten den er utformet og gjennomført på, resultatene formidlet og anbefalingene anvendt. Noen vil vurdere evalueringen på grunnlag av evalueringsrapportens kvalitet og formidlingen av resultatene. Andre mener at det er evalueringsprosessen i seg selv som er mest nyttig: det gir muligheter for de involverte til å generere viktig informasjon, tenke gjennom mål og strategier, og få innspill i viktige saker fra eksterne fagfolk. Et annet synspunkt er at ”trusselen” for en formell evaluering ofte er mer effektiv enn evalueringen selv, fordi den kan ha en disiplinerende virkning på prosjektledelsen, på samme måte som trusselen om revisjon har en positiv effekt på regnskapsførselen i en bedrift. Generelt er det vanlig å skille mellom direkte og indirekte bruk av evalueringer. Med direkte bruk menes at beslutningstakere og andre interessenter bruker evalueringsresultatene direkte, for eksempel til å foreta umiddelbare kursendringer i prosjektet som er blitt evaluert. Med indirekte bruk menes at evalueringene påvirker tankegangen hos de impliserte på en mer generell måte, for eksempel ved å sensibilisere i forhold til visse problemer, eller indirekte påvirke policy eller prosedyrer. Åpenbart har evaluatorer et ansvar for å optimalisere den direkte nytten av sitt arbeid. Men de har også en vanskeligere oppgave med å maksimalisere den indirekte nytten, for eksempel ved å vurdere sine funn i et bredt perspektiv. For å sikre nytten av evalueringer er det en rekke tiltak som må tas av oppdragsgiver og evaluator på ulike stadier av evalueringsprosessen. For å sikre at evalueringene svarer på sentrale spørsmål kan det være nødvendig med bred deltakelse i utformingen av evalueringen. Det vil også bidra til å avklare forskjeller i verdier og perspektiver mellom interessenter og evaluatorer i utgangspunktet, som kan gjøre at en unngår konflikter når arbeidet presenteres. I forkant av, eller som en del av evalueringen kan det være nyttig å foreta en vurdering av hvordan evalueringen skal brukes. Evaluatorer og beslutningstakere bør ha en felles forståelse av hvorfor studien gjennomføres, men også hvilke kriterier som skal brukes for å vurdere nytten. Ikke minst bør en vurdere i hvilken grad evalueringen vil kunne ivareta brukernes forventninger. Det bør også foreligge en plan om hvordan resultatene av evalueringen skal formidles. De viktigste målgruppene må identifiseres. Det bør avklares hva slags oppfølgning som vil være nødvendig, seminarer og workshops skal holdes, andre tiltak for å nå et bredere publikum, etc. Dette er omtalt i kapittel 9.2. Imidlertid er det erfaringsmessig spørsmål om hvorvidt funnene er troverdige som er det avgjørende for om en evaluering blir brukt. Dette handler om informasjonens kvalitet, som i forskningssammenheng gjerne utrykkes i form av validitet og reliabilitet. Men det er også et spørsmål om valg av evaluator, den deltakende 50

Kapittel 2 Hva er evaluering?

prosessen som evalueringen innebærer, og kvaliteten på evaluators arbeid. Dette er nærmere omtalt i kapittel 8. Det er også viktig at rapporteringen er pedagogisk tilpasset brukerne. Bruken av komplekse statistiske analyser kan for eksempel representere en barriere mot forståelse for ikke-spesialister og et allment publikum. Både rapporter og muntlige presentasjoner må tilpasses de ulike målgruppene, som ofte er en blanding av spesialister, beslutningstakere, politikere og allmennheten. Se kapittel 9.3. Endelig må resultatene av evalueringen være betimelig og tilgjengelig når behovet er der. Dette er et spørsmål å velge riktig type evaluering på det riktige tidspunktet. Men også å redusere tiden det tar fra beslutning om å vurdere er tatt til mandat er formulert og avtalt, evaluatorer valgt, feltarbeid utført og rapporten er blitt produsert. Evaluator må balansere grundighet og fullstendighet i analysen med timing og tilgjengelighet av funnene.

KRAV I forhold til interessentenes behov

TILTAK

Identifisere interessentenes behov

Involvere interessentene i utformingen av evalueringen

Avklare kriterier for vurdering av nytte

♦ TILGJENGELIG PÅ RIKTIG TIDSPUNKT

Starte evalueringen på et hensiktsmessig tidspunkt

Planlegge og gjennomføre evalueringen uten forsinkelser

♦ SIKRE TROVERDIGHET OG KVALITET

Sikre kvalifiserte og erfarne evaluatorer

Etablere en kvalitetsstandard

Sikre at kvalitetsstandarden overholdes

♦ SIKRE AT EVALUERINGEN BRIR BRUKT

Planlegge hvordan evalueringen skal distribueres

Bli enige om hvordan evalueringsrapporten skal følges opp og anvendes

Kapittel 2 Hva er evaluering?

20 c 75(..( 87 (5)$5,1*(5 Ă&#x2026; trekke ut lĂŚrdom fra evalueringer krever at det til en viss grad er mulig ĂĽ generalisere pĂĽ bakgrunn av det materialet som foreligger. Generalisering handler om ĂĽ gjĂ¸re forutsigelser basert pĂĽ observerte fenomener. Dersom noe skjer ofte, forventer vi at det vil fortsette ĂĽ gjĂ¸re det i fremtiden. Dersom observasjonene er tilstrekkelig omfattende kan vi tillate oss ĂĽ gjĂ¸re spĂĽdommer om fremtidige hendelser. For eksempel, et opplĂŚringsprogram som har gitt gode resultater gang pĂĽ gang i mange ĂĽr, kan forventes ĂĽ gjĂ¸re det ogsĂĽ i nĂŚr fremtid. Imidlertid er vĂĽre antakelser basert pĂĽ statistisk sannsynlighet, og vi kan ikke forvente at generaliseringer vil vĂŚre gyldige under forskjellige forhold. For eksempel kan et opplĂŚringsprogram i en organisasjon vĂŚre en fullstendig fiasko dersom det brukes i en annen setting, for eksempel i et annet land eller en annen organisasjon. I forskning kan problemet vĂŚre om et observert fenomen kan generaliseres til en befolkning utenfor den opprinnelige studien. NĂĽr det gjelder prosjekter kan problemet vĂŚre (1) om prosjektet kan repliseres under andre forhold, og (2) om lĂŚrdom fra ett prosjekt er generelt anvendelig. 5HSOLVHUEDUKHW

Dette kan typisk dreie seg om ĂĽ sammenlikne suksessraten i prosjekter som gjennomfĂ¸res under forskjellige forhold. I den grad evalueringer av prosjekter med store likhetstrekk gir sammenlignbare resultater, viser det repliserbarhet. Det metodiske problemet ligger i ĂĽ definere viktige parametere for ĂĽ klassifisere forskjellige prosjekter og deres kontekst. Dette problemet er i seg selv formidabelt. Standardisering av parametere vil hjelpe for ĂĽ kunne gjennomfĂ¸re lignende studier. Problemet er at i de fleste tilfellene er ikke parametere standardisert. Hvorvidt lĂŚrdom fra ett prosjekt kan anvendes under andre forhold avhenger for eksempel av: 1. Typen prosjekt og kompleksiteten. I prinsippet kan samme mĂĽl oppnĂĽs pĂĽ forskjellige mĂĽter og sammenlignbarhet er viktig 2. Den kontekstuelle settingen. Samme type prosjekt vil trolig ikke kunne gjennomfĂ¸res pĂĽ samme mĂĽte under helt ulike Ă¸konomiske, geografiske, politiske eller sosiale forhold 3. Timingen. LĂŚrdom fra en periode kan vĂŚre foreldet noen ĂĽr senere pĂĽ grunn av endringer i teknologi, holdninger osv. Problemet med ĂĽ pĂĽvise generaliserbarhet er enda stĂ¸rre. Generaliseringer som gjĂ¸res selv basert pĂĽ store utvalg er ofte beskrevet ut av kontekst bĂĽde nĂĽr det gjelder tid, lokalisering og andre forhold. En kan anta at alle prosjekter er pĂĽvirket av de ytre forhold de gjennomfĂ¸res under. Problemet er at i sammenligningen av ulike prosjekter vil evaluator fokusere pĂĽ noen fĂĽ, felles kjennetegn. Dermed er det fare for at analysen skjer pĂĽ et for hĂ¸yt aggregeringsnivĂĽ hvor viktige pĂĽvirkningsfaktorer ikke kommer med i betraktningen.

Kapittel 2 Hva er evaluering?

Figur 2.2 Repliserbarhet testes innenfor et utvalg av sammenlignbare prosjekter. Å teste generaliserbarhet vil typisk måtte bygge på tematiske studier av bestemte variabler i et stort antall prosjekter

*HQHUDOLVHUEDUKHW

For å vurdere om noe er generaliserbart må en identifisere og analysere sentrale parametere i større utvalg av prosjekter. I den grad en kan dokumentere liknende effekter i en rekke ulike prosjekter, situasjoner og steder etc. vil en kunne snakke om at noe er generaliserbart. Det kan være mulig å identifisere fellestrekk i forskjellige typer prosjekter dersom utvalget er tilstrekkelig stort. Tematiske evalueringer, for eksempel, gjennomføres ofte med tanke på å finne fellestrekk i forskjellige prosjekter på tvers av sektorer etc. I slike evalueringer er viktige variabler kodet sammen med beskrivende parametere, informasjon kan samles i en database og analyseres på ulike måter. Evalueringer er systematiske studier med betydelig kvalitet. Gjennom årene representerer tilgjengelige evalueringsrapporter et vel av nyttig informasjon. Tematiske evalueringer basert på slikt materiale har vist seg å være verdifullt som grunnlag for generalisering og i å gi erfaring som kan brukes på høyeste aggregeringsnivå, for eksempel i utforming av policy.

Kapittel 2 Hva er evaluering?

REPLISERBARHET DEFINISJON

I hvilken grad evalueringer av lignende prosjekter gir tilsvarende resultater

♦ METODISKE UTFORDRINGER

Velge prosjekter som ligner

Velge de grunnleggende parameterne

Sammenligne konvergens på disaggregert nivå

♦ GENERALISERBARHET DEFINISJON

I hvilken grad lignende effekter er funnet annetsteds i andre prosjekter, etc.

♦ METODISKE UTFORDRINGER

Velge et bredt spekter av prosjekter

Velge noen viktige variabler og tilsvarende beskrivende parametere

Undersøke forholdet mellom parameterne

Kapittel 2 Hva er evaluering?

72 +29('7,/1 50,1*(5 7,/ (9$/8(5,1* I litteratur om prosjektledelse er det vanlig å trekke et skille mellom ”målstyring” og ”prosesstyring”. I det første tilfellet er planleggingen rettet mot et på forhånd bestemt formål, i sistnevnte tilfelle legges det vekt på å justere retningen underveis i lys av erfaringer. På samme måte skiller man i evalueringsfaget mellom ”målevaluering” (basert på deduktiv testing av hypoteser), og ”prosess-evaluering” (basert på induktiv forskning). (Almaas, 1990) I målorientert evaluering er hovedprinsippet å formulere hypoteser eller hovedspørsmål, som for eksempel antatte positive eller negative konsekvenser av prosjektet. Disse blir deretter testet mot observerbar virkelighet når evalueringen gjennomføres. Fordelen er at en i stor grad tar utgangspunkt i eksisterende erfaring. Dette gjør det enklere i løpet av evalueringen både å velge data og tolke resultatene. Hovedkritikken mot denne tilnærmingen er at den kan begrense fokus slik at viktige aspekter av forholdene blir oversett i analysen. Prosjektmålene vil ofte være uklare eller mangelfullt formulert, dessuten kan prosjektene ha mange uforutsette virkninger, både positive og negative, som kan bli oversett dersom evalueringen fokuserer bare på det som allerede er identifisert som de positivt forventede målene. Resultatene av en slik evaluering er derfor svært avhengig av evalueringsteamets evne til å definere rammene for undersøkelsene, slik at den kan fange opp de vesentligste konsekvensene av prosjektet.

Målevaluering: Vurdering av prosjektets virkninger sett i forhold til avtalte mål Prosessevaluering: Vurdering av hvordan prosjektet fungerer og dets konsekvenser i vid forstand

Prosessevaluering, derimot, bygger ikke på faste teorier eller hypoteser, men har en åpen tilnærming. Ved hjelp av observasjon og systematisk undersøkelse, oppstår problemstillinger som i sin tur krever ny kunnskap, og gradvis fører til ny innsikt. Prosessmodellen er ofte brukt der evaluator har lite forhåndskunnskap om det aktuelle saksområdet. Tilnærmingen er tidkrevende og krever mye av evaluator. For å unngå subjektive feiltolkninger, er det nødvendig å legge særlig vekt på valg av data, perspektiver og metoder, og for å forklare hvordan dette er gjort i detalj. Målevaluering og prosessevaluering er to fremgangsmåter som i praksis godt kan utfylle hverandre. I planlegging og gjennomføring av prosjekter kan dette gjøres ved at en systematisk revurderer og om nødvendig omformulerer prosjektet underveis dersom ny kunnskap tilsier at dette er nødvendig. En slik tilnærming krever en viss grad av fleksibilitet i prosjektledelsen, men en slik prosesstilnærming kan vise seg å være av betydelig verdi. 55

Kapittel 2 Hva er evaluering?

Eksempel: Målgruppen for et opplæringsprosjekt var en gruppe innvandrere og hensikten å hjelpe dem til å etablere egne bedrifter. Evalueringen fant at prosjektet var svært vellykket i forhold til forhåndsdefinerte mål både økonomisk og sosialt. Det viste seg imidlertid at prosjektet hadde skapt betydelige konflikter i lokalsamfunnet ettersom det bare fokuserte på én gruppe, og resulterte i visse negative økonomiske effekter for andre. Evalueringens mandat var avgrenset til å se på måloppnåelsen for målgruppen, og teamet valgte derfor å gå ut over mandatet og benytte en prosessorientert tilnærming for å kartlegge og vurdere andre konsekvenser av prosjektet.

Et prosjekt er per definisjon et planlagt tiltak som igangsettes for å oppnå bestemte endringer innenfor et gitt tidsrom ved bruk av spesifiserte ressurser. Omfanget av prosjektet er altså begrenset, noe som gjør det relativt enkelt å fokusere evalueringen. Ikke minst er det tilfelle dersom målene som prosjektet skal vurderes mot er klart uttrykt og kvantifiserbare. Prosjektets vellykkethet vurderes vanligvis i et forholdsvis begrenset perspektiv. Det viktigste spørsmålet er om prosjektets leveranse er oppnådd kvantitativt og kvalitativt innenfor tidsrammen og vedtatt budsjett. Det er imidlertid vanlig at prosjektevalueringer går lenger og forsøker å vurdere prosjektet også i forhold til forutsette og utilsiktede virkninger i samfunnet. Det er derfor viktig å skille klart mellom hva prosjektet formelt ventes å produsere og hva en på sikt ønsker å oppnå. Det første gjelder prosjektgjennomføringen og ansvarliggjøringen av de medvirkende partene, mens det andre handler om å trekke lærdom som kan brukes i utformingen av fremtidige prosjekter. I mange tilfeller er formelt avtalte mål urealistiske, til og med fraværende. I slike tilfeller må evalueringen baseres på hva som realistisk kan forventes med de tilgjengelige ressursene, snarere enn feilaktig definerte mål, for å gi prosjektet en riktig vurdering. I evalueringer kan både mål- og prosessevaluering kombineres ved at en utvider perspektivet utover underveis. Dette er nærmere drøftet i kapittel 4. Denne håndboken handler først og fremst om målorientert evaluering men legger opp til at målevaluering og prosessevaluering kan kombineres.

Kapittel 2 Hva er evaluering?

)250c/ 2* )2.86(5,1* $9 (9$/8(5,1*(5 De som forbereder evalueringsmandatet må ha en klar ide om hva hensikten med øvelsen er. Dette vil være avgjørende for hvilket detaljerings- og presisjonsnivå som velges, og dermed også valg av metode, utvalgsstørrelser, teamsammensetting, involvering av interessenter, osv. Generelt sett er formålet med evalueringen tredelt: den skal bidra til kontroll, effektiv styring og læring. I noen tilfeller skal evalueringen dekke alle disse områdene, i andre tilfeller bare ett formål, for eksempel kontrollaspektet. I så fall vil evalueringen kunne sammenlignes med regnskapsrevisjon. Fokus vil være på hvilke utgifter man har hatt i forhold til budsjett, fremdrift i forhold til planer, effekt i forhold til mål og standarder, etc. Dersom fokus er på styringsaspektet, vil perspektivet være bredere. En ser på ytelse, organisatoriske problemstillinger, prosesser, osv. Dersom formålet er læring vil en måtte fokusere enda bredere og ha et mer åpent mandat for å få en dypere forståelse av årsaker og virkninger, prestasjoner sett i forhold til erfaringer med lignende prosjekter, osv. Det er ofte nødvendig å studere grupper av flere prosjekter samtidig for å trekke lærdom for fremtiden.

Eksempler:

Dersom formålet er kontroll, er det viktig for evalueringsteamet å være uavhengig av finansierende og gjennomførende part. Videre vil det være krav om detaljering og presisjon, spesielt for det som gjelder bruken av ressurser.

Ledelse står i fokus vil det ofte være behov for spesialkunnskap, og evalueringsmandat bør angi i hvilken grad alternative strategier også skal være med i vurderingen. Prosjektledelsens taktiske valg vil ofte bli vurdert i detalj.

Der læringsaspektet er spesielt viktig, vil evalueringsteamet måtte være tverrfaglig. Her legges det vekt på å forstå prosjektets konsekvenser i vid forstand, som i noen tilfeller kan kreve at en gjennomfører en bred samfunnsmessig analyse.

Evaluering blir brukt for å skaffe kunnskap på forskjellige administrative nivåer. For den finansierende part eller for en organisasjon med ansvar for en portefølje av prosjekter, er koordineringen av ressurser sentralt. De enkelte prosjektene må derfor sees i lys av overordnet policy eller strategi. På nasjonalt nivå for å kunne trekke læring på grunnlag av erfaring, vil det være nyttig å analysere flere prosjekter innenfor samme sektor og også på tvers av landegrensene (sektorevaluering). I evalueringen av enkeltprosjekter stiller en mellom strategisk, taktisk og operasjonelt nivå. På strategisk nivå vil en være opptatt av de langsiktige konsekvensene av 57

Kapittel 2 Hva er evaluering?

prosjektet, se kapittel 1.6. I en underveisevaluering vil en typisk være opptatt av prosjektets strategiske fokus, i hvilken grad prosjektet er relevant i forhold til overordnede mål og behov, hvorvidt ytre forhold gjør at strategien bør endres, etc. Dette vil være spørsmål som hovedsakelig vil ha betydning for den finansierende part. På taktisk nivå handler det om å vurdere prosjekt i forhold til effektmålet og realiseringen av dette. Mandatet vil være mer begrenset og legge vekt på ressursbruken og prosjektets formålseffektivitet. Bestilleren av slike evalueringer er den som har bestilt prosjektet eller har det overordnede lederansvaret for prosjektet.

Figur 2.3 Tre hovedformål med evalueringer

På operasjonelt nivå avgrenses fokus til resultatoppnåelsen sett i forhold til tidsplaner og budsjetter. Dette gjøres tradisjonelt også i form av regelmessige, ofte årlige prosjektgjennomganger, og er en del av gjennomførende parts styringssystem og ideer.

Kapittel 2 Hva er evaluering?

.9$/,7(7 , (9$/8(5,1* Ulike interessenter vil ofte bedømme kvaliteten av evalueringer forskjellig. Noen av de mest brukte kriteriene er kredibilitet, upartiskhet og uavhengighet, samt kostnadseffektivitet. Disse er kort beskrevet nedenfor. Kvaliteten er nærmere beskrevet i kapittel 8. .UHGLELOLWHW

Hvorvidt resultatene av en evaluering oppfattes som troverdige vil i stor grad avhengige av evaluators kompetanse og graden av åpenhet i evalueringsprosessen. Det er avgjørende at evalueringen ikke bare rapporterer positive aspekter men også negative. Det er behov for riktig type kompetanse og tilstrekkelig kvalifiserte evaluatorer. I komplekse evalueringer kan det være nødvendig med kompetanse på flere ulike felt. En måte å sikre faglig kompetanse på er å bruke en anbudsprosess, forutsatt at markedet er tilstrekkelig stort til å kunne sikre en viss grad av kompetanse hos tilbyderne. Troverdighet krever også åpenhet i evalueringsprosessen. Dette gjelder både for planleggingen og gjennomføringen av evalueringen, samt ved å gjøre resultatene allment tilgjengelige. Interessenter og informanter trenger å vite hvorfor og hvordan evalueringen er gjennomført, hvordan informasjonen vil være tilgjengelig og hvordan resultatene skal brukes. 8SDUWLVNKHW RJ XDYKHQJLJKHW

Habilitet bidrar til troverdighet, og spesielt til å unngå skjevheter i grunnlagsinformasjon, analyser og konklusjoner. Uavhengighet gir legitimitet til evalueringer og reduserer muligheten for interessekonflikter, noe som kan oppstå dersom politikere og ledere er ansvarlige for å evaluere sine egne aktiviteter. Evalueringsprosessen bør derfor være upartisk og uavhengig i forhold til de prosessene som gjelder policyutforming, gjennomføring og ledelse av prosjektet. Kravet til habilitet vil også gjelde for alle ledd i evalueringsprosessen, inkludert planlegging av evalueringsprogram, utforming av mandat, utvalget, og godkjenningen av evalueringsteamet. Involvering av interne medarbeidere som ressurspersoner i en evaluering vil normalt allikevel ikke skape et problem i forhold til kravet om upartiskhet og uavhengighet, ettersom evalueringsteamet selv består av eksterne og uavhengige medlemmer, og evalueringsrapporten er utarbeidet av evalueringsteamet. Involvering av interne medarbeidere vil være viktig for å fremskaffe nyttig informasjon. Samtidig vil det bidra til kommunikasjon og øke sjansen for at konklusjonene og anbefalingene fra evalueringen aksepteres og tas til følge. .RVWQDGVHIIHNWLYLWHW

Det som rettferdiggjør bruken av evalueringer er at de kan ha en positiv effekt på styringen av prosjektet, og resultere i betydelige kostnadsbesparelser og økt ytelse. Et viktig aspekt er at evalueringen representerer en uavhengig og systematisk vurdering av prosjektets ytelse og effekt. 59

Kapittel 2 Hva er evaluering?

Kostnaden med evalueringer er vanligvis svært begrenset i forhold til prosjektets eller programmets samlete budsjett. Allikevel har det vist seg at evalueringer ofte har vært for kostbare og tidkrevende i forhold til den reelle bruken og nytten. Det er også en risiko for at evalueringer blir brukt for å bremse beslutningsprosesser og rettferdiggjøre passivitet. Som et prinsipp bør nytten av evalueringer være større enn kostnadene. Både kostnader og nytte kan maksimeres ved å fokusere evalueringene, velge godt kvalifiserte evaluatorer og fornuftige metodevalg og tilnærminger

KREDIBILITET

Riktig type og tilstrekkelig med ekspertise

Transparent evalueringsprosess

♦ UPARTISKHET

Uavhengig av bestiller og gjennomførende part

Upartiske vurderinger

♦ KOSTNADS EFFEKTIVITET

Kostnad I forhold til budsjett

Kostnad I forhold til bruk

Kostnad I forhold til potensiell nytte/innsparing

Kapittel 2 Hva er evaluering?

985'(5,1* $9 (9$/8(5%$5+(7 Før en foretar beslutning om å evaluere, er det behov for å avklare om dette er hensiktsmessig og gjennomførbart – med andre ord foreta en evaluering av evaluerbarheten. I hovedsak er dette en undersøkelse av sammenheng mellom midler og mål for å finne ut om evalueringen er mulig. Samtidig må en vurdere forventet nytte i forhold til oppdragsgivers behov for informasjon og gjennomførbarhet og kostnader for å møte disse behovene. Det vil også være nyttig å vurdere om det er støtte for evalueringen blant prosjektets interessenter, gjør forholdene slik at det er mulig å gjennomføre evalueringen.

Figur 2.4 Vurdering av evaluerbarhet

Omfang av en slik vurdering vil avhengige av prosjektets størrelse og hva evalueringen vil koste. Behovet for evalueringen må vurderes ettersom den representerer en ekstrakostnad i prosjektet. Der det er snakk om store prosjekter eller programmer kan det være nyttig og kostnadseffektivt å foreta en ekstern vurdering av evaluerbarhet som gjøres av uavhengige konsulenter. Vurdering av evaluerbarhet bygger i stor grad på intervjuer og observasjon for å få et bilde av prosjektet og en forståelse av de spørsmålene som er sentrale i en eventuell evaluering. Fremgangsmåten i en slik prosess kan være følgende: $YNODUH SURVMHNWHWV KHQVLNW

Dette inkluderer en vurdering av prosjektmodellen slik den er beskrevet eller forstått av bestilleren og de som er ansvarlige for gjennomføringen av prosjektet. Det handler om å vurdere om målene er tydelig definert, realistiske, tilstrekkelig logiske til å kunne bli testet. En må avdekke eventuell uenighet blant aktørene og uklarheter i prosjektets strategi. En må også se prosjektet i samarbeid med andre relaterte aktiviteter, institusjoner eller prosjekter.

Kapittel 2 Hva er evaluering?

En gjennomgang av eksisterende dokumentasjon og intervju med relevante interessenter kan gi slik informasjon. Testing av prosjektets strategi er nærmere beskrevet i kapittel 1.8 og 1.9. Resultatet av en slik øvelse er for det første å få avklart hvilken prosjektmodell en skal legge til grunn for evalueringen, og for det andre et sett med indikatorer som de ansvarlige kan enes om og bruke i evalueringen. 3URVMHNWHWV RPJLYHOVHU

Dette gjelder vurderingen av hvordan prosjektet fungerer sett i relasjon til intensjonene. Det handler om ressursbruken og aktivitetene som kan observeres ved for eksempel besøk i felten og gi en viss pekepinn på sannsynligheten for at prosjektmålene vil bli nådd. I en etterevaluering vil man måtte vurdere prosjektet i sin sosiale og økonomiske kontekst for å vurdere om observerte virkninger kan tilbakeføres som et resultat av prosjektet. Mer om dette i kapittel 6.3. Videre er det aktuelt om det lar seg gjøre å måle prosjektets ytelse i forhold til avtalte mål, ved hjelp av nærmere definerte indikatorer. Spørsmålet blir om relevante data er tilgjengelig og oppnåelig til rimelig pris, og om det foreligger fremdriftsrapportering som kan gi grunnleggende data for evalueringen. )RUDQNULQJHQ DY HYDOXHULQJHQ

Informasjonen fra de to foregående trinnene kan brukes i forhold til oppdragsgiveren for å klargjøre prosjektbeskrivelsen og evalueringsplanen. Hensikten vil være å avklare om prosjektet har realistiske og målbare prosjektmål, avtale sentrale indikatorer som skal brukes, og hvorvidt alle interessenter er enige om opplegget for evalueringen. En slik vurdering av evaluerbarhet kan konkludere med at utgangspunktet for evalueringen er realistisk og akseptert og at arbeidet kan fortsette. Men vurderingen kan også identifisere feil i prosjektets strategiske rammeverket eller annet som kan være til hinder for en meningsfull evaluering. For eksempel, som ofte er tilfellet, kan formelt avtalte mål være urealistisk ambisiøse. I så fall vil prosjektet rent formelt måtte vurderes som mislykket. I slike tilfeller kan det være nødvendig å revurdere formelt avtalte mål og velge andre indikatorer for å måle virkningene av prosjektet. En vurdering av evaluerbarheten på et tidlig tidspunkt kan i seg selv føre til betydelige endringer og nyttig tilbakemelding til både oppdragsgiver og de prosjektansvarlige.

Knut Samset

www.fagbokforlaget.no

Evaluering av prosjekter – vurdering av SUKSESS

Hvem skal ut?

Knut Samset

Evaluering av prosjekter

Vurdering av

SUKSESS

ISBN 978-82-450-1748-9

Knut Samset er professor i prosjektledelse ved Norges teknisk-naturvitenskapelige universitet, NTNU

omsl Evaluering av prosjekter 13 mm rygg.indd 1

02.12.2014 12:26:42