EwaluacjaProjektów

Program Leonardo da Vinci

Ewaluacja Projekt贸w Poradnik dla wnioskodawc贸w

www.leonardo.org.pl

Spis treÊci

I

II

III IV

Wst´p

5

Podstawowe informacje o ewaluacji

6

1 Rola ewaluacji

6

2 Geneza ewaluacji

6

3 Podstawowe rodzaje ewaluacji

7

4 Etapy procesu ewaluacyjnego

8

5 Podstawowe metody badaƒ ewaluacyjnych

11

6 Metody oceny

13

7 Powiàzanie monitoringu i ewaluacji

14

Strategia ewaluacji projektów Leonardo da Vinci

15

1 Cele ewaluacji projektów Leonardo da Vinci

15

2 KorzyÊci z dobrze zaplanowanej i przeprowadzonej ewaluacji

19

3 Kiedy powinniÊmy prowadziç ewaluacj´ projektu?

19

4 Planowanie ewaluacji

24

5 Co ma byç przedmiotem ewaluacji?

25

6 Jak przeprowadziç ewaluacj´?

26

7 Kto ma prowadziç ewaluacj´?

27

Ewaluacja ex ante zarzàdzania projektem

29

1 Zarzàdzanie projektem

29

2 Analiza zaplanowanego sposobu zarzàdzania projektem

35

Ewaluacja szkolenia/sta˝u

36

1 Cel ewaluacji szkolenia/sta˝u

36

2 Metodologia badania ewaluacyjnego

37

3 Podsumowanie wyników badania

40

Ewaluacja Projektów Programu Leonardo da Vinci

Od redakcji Z przyjemnoÊcià przedstawiamy Paƒstwu drugà czeÊç poradnika dla wnioskodawców p.t. „Ewaluacja projektów programu Leonardo da Vinci”, która uzupe∏nia cz´Êç pierwszà, poÊwi´conà poszczególnym fazom budowania partnerstwa i planowania projektu.

Mamy nadziej´, ˝e informacje zawarte w niniejszej cz´Êci poradnika pozwolà Paƒstwu usystematyzowaç wiedz´ o najcz´Êciej stosowanych metodach ewaluacyjnych oraz sk∏onià do Êwiadomego ich u˝ywania w procesie zarzàdzania wszystkimi rodzajami projektów programu Leonardo da Vinci (mobilnoÊci, partnerskimi, transferu i rozwoju innowacji).

Poznajàc warsztat pracy ewaluatorów ∏atwiej b´dzie Paƒstwu przygotowaç dobry wniosek o dofinansowanie, a potem, w przypadku zatwierdzenia projektu, na bie˝àco kontrolowaç post´p prac i jakoÊç rezultatów. B´dà Paƒstwo mogli tak˝e lepiej zbadaç d∏ugoterminowe efekty projektu po jego zakoƒczeniu i trafniej oceniç przydatnoÊç ju˝ istniejàcych rozwiàzaƒ w danej dziedzinie jako punktu odniesienia dla kolejnych projektów, które Paƒstwo planujà. ˚yczymy wielu pomys∏ów na wartoÊciowe przedsi´wzi´cia i zapraszamy do kontaktu z nami we wszystkich sprawach zwiàzanych z uczestnictwem w Programie Leonardo da Vinci.

Zespó∏ Programu Leonardo da Vinci leonardo@frse.org.pl

4

Wst´p Kilkuletnia ocena sk∏adanych wniosków wskazuje na coraz wi´ksze zrozumienie przez wnioskodawców zasad programu Leonardo da Vinci. JakoÊç propozycji projektów jest coraz wy˝sza. W dalszym ciàgu jednak istniejà s∏abe punkty, do których nale˝y m.in. sposób przedstawienia ewaluacji i monitoringu. Wynika to zapewne z niezrozumienia roli ewaluacji.

Cz´sto traktowana jest ona jako biurokratyczne utrudnienie dla promotorów, zwiàzane z wytycznymi programu Leonardo da Vinci, a nie jak proces, który wspomaga realizacj´ projektu.

Ewaluacja jest integralnà cz´Êcià projektu. Jej podstawowym zadaniem jest u˝ytecznoÊç.

Robimy jà po to, by zmierzyç post´py w realizacji projektu i skutecznoÊç prowadzonych dzia∏aƒ, zastanowiç si´, czy nie nale˝y dokonaç zmian w sposobie realizacji, zbadaç efektywnoÊç wykorzystania Êrodków. Dzi´ki ewaluacji mo˝emy zidentyfikowaç osiàgni´cia oraz s∏aboÊci projektu i wykorzystaç t´ wiedz´ w przysz∏oÊci.

Rezultaty ewaluacji mogà byç wykorzystane do poprawy organizacji i zarzàdzania, podejmowania decyzji, poprawy planowania, upowszechnienia rezultatów i promocji projektu, pokazania wiarygodnoÊci realizatorów projektu. Bez ewaluacji nie mo˝na zapewniç, ˝e projekt wykorzystuje przyznane fundusze z najlepszym efektem ani, ˝e spe∏nia potrzeby beneficjentów.

Celem niniejszego opracowania jest pomoc promotorom projektów w przygotowaniu si´ do tego zadania, poczynajàc od przedstawienia podstawowych informacji o ewaluacji, poprzez pomoc w zaplanowaniu, przeprowadzeniu i wykorzystaniu jej wyników. Pokazana jest te˝ u˝ytecznoÊç ewaluacji w przygotowaniu i zarzàdzaniu projektem.

TreÊç poradnika opracowana zosta∏a w oparciu o dokumenty programowe LdV oraz stosowane podstawowe zasady metodologiczne.

Ze wzgl´du na ró˝norodnoÊç projektów Leonarda da Vinci poradnik nie podaje konkretnych, jasno okreÊlonych wytycznych i rozwiàzaƒ, ale przedstawia w miar´ elastyczny materia∏, który nale˝y braç pod uwag´ w zale˝noÊci od specyfiki projektu. Poradnik winien byç traktowany jako przewodnik, który promotor zaadaptuje do potrzeb swojego projektu.

Wybór metodologii zale˝y od tego, czego si´ chcemy dowiedzieç. Wszystkie dzia∏ania powinny byç prowadzone w kontekÊcie celów projektu. OkreÊlone w wniosku zg∏oszeniowym cele powinny wskazaç, co projekt ma osiàgnàç.

Mamy nadziej´, ˝e niniejsze opracowanie pomo˝e wnioskodawcom: r zrozumieç cel i znaczenie ewaluacji, r poznaç terminologi´ stosowanà w ewaluacji, r zaplanowaç i zrealizowaç plan pracy, r wykorzystaç odpowiednie do potrzeb projektu narz´dzia i techniki ewaluacji, r rozwinàç praktyczne umiej´tnoÊci ewaluacji i monitoringu swojego projektu, r wykorzystaç narz´dzia i techniki w zarzàdzaniu projektem.

Informacje podane w poradniku mogà nie byç wystarczajàce dla niektórych promotorów i pewnie si´gnà oni po pomoc ewaluatorów zewn´trznych. Wiedza ta jednak z pewnoÊcià pomo˝e im w zrozumieniu podstawowych zagadnieƒ ewaluacji i wyborze odpowiedniego ewaluatora.

5

I Podstawowe informacje o ewaluacji

Istnieje wiele definicji ewaluacji w zale˝noÊci od zakresu obj´tej nià tematyki, zastosowanej metodologii, czy te˝ wykorzystania jej wyników. Wi´kszoÊç z nich sprowadza si´ do stwierdzenia, ˝e ewaluacja jest systematycznym badaniem wartoÊci lub cech konkretnego programu, projektu czy dzia∏ania, w oparciu o okreÊlone kryteria. Kryteriami najcz´Êciej stosowanymi sà: zgodnoÊç z potrzebami (kraju, sektora, beneficjentów), skutecznoÊç, efektywnoÊç, oddzia∏ywanie, trwa∏oÊç efektów.

Ewaluacja jest badaniem majàcym zawsze jakiÊ cel. Najogólniej jej celem jest okreÊlenie skutecznoÊci i efektywnoÊci ewaluowanego projektu, zrozumienie, jak on funkcjonuje, usprawnienie dzia∏aƒ. Jednym z najwa˝niejszych celów jest potrzeba zapewnienia wi´kszej przejrzystoÊci dzia∏aƒ i zwi´kszenia odpowiedzialnoÊci podmiotów zaanga˝owanych w programowanie i wdra˝anie projektów finansowanych ze Êrodków publicznych.

Semantycznie ewaluacja to „oszacowanie wartoÊci”. Termin ten odpowiada polskiemu s∏owu „ocena”, jednak definicje ewaluacji programów, a tak˝e jej praktyka, podkreÊlajà jej odmiennoÊç od oceny. Ewaluacja jest procesem, ocena jest tylko jednym z elementów tego procesu.

U˝ycie terminu „ocena” koncentruje uwag´ wy∏àcznie na jednym elemencie, przypisujàc mu cechy ca∏ego procesu, natomiast ewaluacja nie jest pojedynczym dzia∏aniem, ale dziedzinà wiedzy.

Ewaluacja bada program/projekt i zjawiska pojawiajàce si´ jako jego konsekwencje, ocenia struktur´ dzia∏aƒ, ich logik´ i wartoÊç. Jest tak˝e procesem uczenia si´.

I.1

Rola ewaluacji Badania roli ewaluacji w ró˝nych krajach oraz jej ewolucja pokazujà, ˝e istniejà ró˝ne podejÊcia do wykorzystania ewaluacji jako niezale˝nego narz´dzia pozwalajàcego na popraw´ jakoÊci badanego dzia∏ania. Zasadniczà rolà ewaluacji jest wspomaganie konkretnych odbiorców w konkretnej sytuacji, wywo∏ywanie pozytywnych zmian, podnoszenie jakoÊci i skutecznoÊci programów publicznych.

I.2

Geneza ewaluacji Praktyki ewaluacyjne sà niemal tak stare jak ludzkoÊç i zwiàzane sà z rozwojem cywilizacji.

Ka˝da wprowadzana zmiana poprzedzana jest Êwiadomà lub nieÊwiadomà ocenà ponoszonego nak∏adu pracy i uzyskiwanych efektów i porównaniem ich z korzyÊciami wynikajàcymi z nowych dzia∏aƒ. Mo˝na wi´c powiedzieç, ˝e ewaluacja jest codziennà, racjonalnà ludzkà czynnoÊcià, która nie wymaga argumentacji.

Ewaluacja w formie ustrukturyzowanej, jakà znamy dzisiaj, wywodzi si´ ze Stanów Zjednoczonych.

Na prze∏omie XIX i XX wieku, w dobie dynamicznego rozwoju nauk spo∏ecznych, w tym psychologii i ekonomii, oraz rozwoju przemys∏u pojawi∏a si´ potrzeba badania skutecznoÊci programów edukacyjnych oraz efektywnoÊci pracy. Wyniki badaƒ wykorzystywane by∏y przy reformowaniu szkolnictwa oraz organizacji pracy w przemyÊle.

Prekursorem ewaluacji w Europie jest Wielka Brytania. Powszechnie zacz´to tam stosowaç ewaluacj´ w latach 80. ubieg∏ego wieku. Do zapotrzebowania na badania ewaluacyjne przyczyni∏y si´ radykalne zmiany w gospodarce wprowadzone przez Margaret Thatcher.

6

I

Podstawowe informacje o ewaluacji

W tym samym czasie ewaluacja pojawi∏a si´ w instytucjach i politykach wspólnotowych. Jej celem by∏o zapewnienie przejrzystoÊci dzia∏aƒ instytucji unijnych, zapewnienie ich racjonalnoÊci, jakoÊci, sprawnoÊci, poszanowania wartoÊci pieni´dzy podatnika. Od 2000 roku ka˝de dzia∏anie, które ma wp∏yw na bud˝et UE, musi byç poddane ewaluacji.

W Polsce ewaluacja pojawi∏a si´ w czasie realizacji unijnych funduszy przedakcesyjnych, g∏ównie programów PHARE. Sposób prowadzenia ewaluacji jest w zasadzie narzucony przez Komisj´ Europejskà i jest mocno sformalizowany. Obowiàzujà jasno okreÊlone wytyczne co do zagadnieƒ, jakie powinna poruszaç, kryteriów oraz celów, jakie ma spe∏niaç. Zasady te dotyczà tak˝e projektów realizowanych w ramach programu Leonardo da Vinci.

Niniejszy rozdzia∏ jest próbà przedstawienia podstaw teoretycznych ewaluacji, które mogà byç pomocne w prowadzeniu ewaluacji projektów Leonardo da Vinci. Ze wzgl´du na to, ˝e projekty Leonardo da Vinci realizowane sà w mi´dzynarodowym partnerstwie, a w ró˝nych krajach i programach stosowane sà ró˝ne nazwy okreÊlajàce te same elementy, podstawowe okreÊlenia przyj´te w tym poradniku podane sà tak˝e w j´zyku angielskim, po to by terminologia mog∏a byç jednoznacznie przez wszystkich rozumiana.

I.3 P o d s t a w o w e

rodzaje ewaluacji

Klasyfikacji rodzajów ewaluacji mo˝na dokonaç, u˝ywajàc ró˝nych kryteriów. Najcz´Êciej stosuje si´ podzia∏ ze wzgl´du na:

1 2 3 4 1

przedmiot ewaluacji cel ewaluacji moment podj´cia badania organizacj´ badania Podzia∏ ze wzgl´du na przedmiot ewaluacji: r Ewaluacja programu r Ewaluacja projektów r Ewaluacja polityki r Ewaluacja tematyczna r Metaewaluacja

2

Podzia∏ ze wzgl´du na cel: r Ewaluacja formatywna Jej celem jest ocena formy i procesu wdra˝ania. Koncentruje si´ na tym, jak poprawiç p∏ynnoÊç wdra˝ania programu lub projektu i podnieÊç jego ostatecznà jakoÊç. r Ewaluacja podsumowujàca Ma dokonaç ca∏oÊciowej oceny danej interwencji najcz´Êciej po jej zakoƒczeniu, to jest okreÊliç efekty zak∏adane i uboczne.

3

Podzia∏ ze wzgl´du na moment prowadzenia ewaluacji: r Ewaluacja wst´pna ( ang. ex ante ) prowadzona jest przed rozpocz´ciem interwencji. Jej celem jest stworzenie podstaw przygotowania i uzasadnienia programu. Ma zweryfikowaç za∏o˝enia projektu, czy oczekiwane oddzia∏ywanie jest realistyczne, oszacowaç rezultaty.

7

Ewaluacja Projektów Programu Leonardo da Vinci

r Ewaluacja Êródokresowa/Êredniookresowa (ang. mid-term evaluation) przeprowadzana jest w po∏owie trwania danego programu. K∏adzie nacisk na ocen´ dotychczasowego sposobu realizacji programu – g∏ównie sposobu zarzàdzania. Weryfikuje kierunek oraz aktualnoÊç za∏o˝eƒ strategii, identyfikuje pierwsze efekty, jak równie˝ proponuje ewentualne bie˝àce korekty. r Ewaluacja ciàg∏a/bie˝àca (ang. on going evaluation) przeprowadzana jest w trakcie realizacji programu/projektu. Ma zapewniç wsparcie dla zarzàdzania programem. Jej celem jest dog∏´bna analiza pytaƒ, kwestii i problemów, które pojawiajà si´ w trakcie realizacji programu, a tak˝e zaproponowanie konkretnych rozwiàzaƒ. Ma wzmacniaç relacje mi´dzy uczestnikami programu i przyczyniaç si´ do gromadzenia doÊwiadczeƒ. r Ewaluacja koƒcowa/pe∏na ( ang. ex post evaluation) jest wykonywana po zakoƒczeniu programu/projektu. Skupia si´ na ocenie rezultatów i d∏ugookresowych efektów programu, w tym trwa∏oÊci uzyskanych pozytywnych zmian i zidentyfikowaniu ewentualnych efektów ubocznych (zarówno pozytywnych, jak i negatywnych), przyczynia si´ do dyskusji na temat racjonalnoÊci przysz∏ych analogicznych programów.

4

Podzia∏ ze wzgl´du na organizacj´ badania: r Ewaluacja wewn´trzna. Prowadzona jest przez osoby z instytucji odpowiedzialnej za wdra˝anie analizowanego dzia∏ania. r Ewaluacja zewn´trzna. Zlecana jest przez instytucj´ prowadzàcà projekt/program niezale˝nym ekspertom.

Poszczególne typy ewaluacji mogà byç po∏àczone. Cz´sto np. ewaluacje wst´pne majà charakter formatywny, zorientowane sà na decyzje. Ewaluacje koƒcowe sà podsumowujàce, ewaluacje Êredniookresowe i bie˝àce majà charakter formatywny. Ewaluacje tematyczne sà elementami ewaluacji Êredniookresowej lub jeszcze cz´Êciej bie˝àcej. Ewaluacje zewn´trzne dotyczà najcz´Êciej ewaluacji koƒcowych.

I.4 E t a p y

procesu ewaluacyjnego

Proces ewaluacji sk∏ada si´ z nast´pujàcych etapów:

4.1 4.2 4.3 4.4 4.5

4.1

8

Planowanie Projektowanie Realizacja Raportowanie Wykorzystanie wyników ewaluacji Planowanie ewaluacji Planujàc ewaluacj´, nale˝y wziàç pod uwag´ nast´pujàce kwestie: r OkreÊlenie celów. Ogólne okreÊlenie, jakimi kwestiami ma si´ zajàç ewaluacja; r Zakres ewaluacji. Co jest przedmiotem badania, jaki jest przedzia∏ czasowy, który ma objàç ewaluacja; r Moment badania ewaluacyjnego; r OkreÊlenie odbiorców ewaluacji, czyli grupy osób i instytucji, do których b´dà kierowane wyniki badania ewaluacyjnego, np. Narodowa Agencja Programu (NA), beneficjenci, lokalna spo∏ecznoÊç, partnerzy. Kràg odbiorców uwarunkowany jest celem i rodzajem ewaluacji;

I

Podstawowe informacje o ewaluacji

r Identyfikacja dost´pnych danych wyjÊciowych; r Rozwiàzanie kwestii instytucjonalnych – wyznaczenie osób bezpoÊrednio odpowiedzialnych za projekt, realizacj´ i nadzór nad ewaluacjà.

Planujàc ewaluacj´, nale˝y pami´taç, ˝e jej celem nie jest jedynie opisanie istniejàcego stanu, ale tak˝e przeprowadzenie osàdu wartoÊci na podstawie wymienionych wczeÊniej kryteriów ewaluacji.

4.2

Kryterium

Opis

Przyk∏adowe pytania

Zastosowanie

TrafnoÊç (ang. Relevance)

Bada adekwatnoÊç celów i zastosowanych metod programu/projektu do problemów, które projekt mia∏ poruszyç

Czy cele programu/projektu odpowiadajà zidentyfikowanym potrzebom? Czy obrana strategia jest spójna wewn´trznie?

Ewaluacja wst´pna (ex ante), Êródokresowa (mid term), ciàg∏a (on going)

SkutecznoÊç (ang. Effectiveness)

Bada stopieƒ realizacji zak∏adanych celów, skutecznoÊç u˝ytych metod, zaanga˝owanych instytucji oraz wp∏yw czynników zewn´trznych na ostateczne efekty

Na ile zak∏adane cele zosta∏y osiàgni´te?

Jak silny by∏ wp∏yw czynników zewn´trznych?

Jakie problemy napotka∏ program?

Czy wybrane instrumenty i rozwiàzania sà/by∏y odpowiednie?

Ewaluacja wst´pna (ex ante), Êródokresowa (mid term), ciàg∏a (on going), koƒcowa (ex post)

EfektywnoÊç (ang. Efficiency)

Bada relacje mi´dzy nak∏adami, kosztami, zasobami (finansowymi, ludzkimi, administracyjnymi) a osiàgni´tymi efektami danej interwencji

Czy podobne efekty mo˝na osiàgnàç przy wykorzystaniu innych instrumentów? Czy podobne efekty mo˝na osiàgnàç przy wykorzystaniu ni˝szych nak∏adów finansowych?

Ewaluacja wst´pna (ex ante), Êródokresowa (mid term), ciàg∏a (on going), koƒcowa (ex post)

U˝ytecznoÊç (ang. Utility)

Jest swoistym powtórzeniem kryterium trafnoÊci.

Stawia bowiem analogiczne pytania, ale w innym momencie czasowym (w trakcie lub po zakoƒczeniu realizacji programu)

Czy program spe∏ni∏ oczekiwania beneficjentów?

Na ile zak∏adane i nieoczekiwane rezultaty by∏y satysfakcjonujàce dla beneficjentów?

Czy zrealizowana inicjatywa pobudzi∏a inne dzia∏ania?

Ewaluacja ciàg∏a (on going), koƒcowa (ex post)

Projektowanie ewaluacji Na tym etapie uÊciÊlone sà decyzje z etapu planowania i powstaje konceptualizacja badania. Polega to na sprecyzowaniu oczekiwaƒ, postawieniu szczegó∏owych pytaƒ ewaluacyjnych oraz wymagaƒ niezb´dnych do prowadzenia ewaluacji.

Na proces ten sk∏ada si´: r okreÊlenie, a raczej uszczegó∏owienie przedmiotu ewaluacji r sformu∏owanie listy pytaƒ szczegó∏owych r kodyfikowanie pytaƒ w formie zakresu zadaƒ, wymagaƒ i procedur prowadzenia dobrego badania.

9

Ewaluacja Projektów Programu Leonardo da Vinci

4.3

Realizacja ewaluacji Badanie ewaluacyjne mo˝na podzieliç na 4 etapy. Przedstawia je poni˝sza tabela.

Etapy realizacji badania ewaluacyjnego Etap

Cel

Opis

Strukturalizacja

Wybór i okreÊlenie kryteriów i elementów, które majà byç poddane ewaluacji

Wybór ten jest rozstrzygni´ty ju˝ na etapie planowania, ale nale˝y wróciç do niego na poczàtku badania po to, by pewne rzeczy uÊciÊliç, dok∏adniej sprecyzowaç

Zbieranie danych

Zebranie materia∏ów niezb´dnych do analizy

Punktem wyjÊcia jest zebranie dokumentów dotyczàcych danego programu/projektu, (z monitoringu, dokumentów programowych, wyników wczeÊniejszych badaƒ).

Pozosta∏e najcz´Êciej dane uzyskane sà z wywiadów, badaƒ ankietowych, obserwacji, studiów przypadków

Analiza

Interpretacja zebranych danych, oszacowanie efektów programu; Zestawienie i porównanie danych

Analiza w∏aÊciwa, czyli weryfikacja hipotez, analiza przyczynowo-skutkowa oraz oszacowanie efektów zarówno tych zamierzonych, jak i niezamierzonych

Ocena

Ocena efektów programu w odniesieniu do uprzednio sformu∏owanych pytaƒ ewaluacyjnych

Analiza stopnia osiàgni´cia zak∏adanych celów, analiza kosztów – korzyÊci, panel ekspertów

Realizacja badania koƒczy si´ sformu∏owaniem wniosków i rekomendacji.

4.4

Raportowanie Raport z ewaluacji jest podstawowà formà poinformowania o jej wynikach. JakoÊç raportu oraz sposób jego upowszechnienia decydujà o skutecznoÊci i u˝ytecznoÊci ewaluacji, czyli o tym, czy ewaluacja spe∏ni∏a swojà rol´, czy by∏a spe∏nieniem wymogów administracyjnych.

Struktura raportu ewaluacyjnego musi byç dostosowana do potrzeb instytucji zlecajàcej badanie, tym niemniej mo˝na wskazaç elementy, które winny znaleêç si´ w ka˝dym raporcie.

Zestawiono je w poni˝szej tabeli.

Sta∏e elementy raportu ewaluacyjnego

10

Lp.

Element

Charakterystyka

1

Przedmiot badania Kontekst ewaluacji

Opis przedmiotu badania i okolicznoÊci towarzyszàcych badaniu

2

Procedura badawcza

Omówienie koncepcji ewaluacji, jej zakresu i zastosowanej metodologii

3

Wyniki badaƒ

Prezentacja zebranego materia∏u i kontekstu badanych problemów (informacja o zebranych danych, interpretacja danych, wyniki)

4

Wnioski z ewaluacji

Podsumowanie badania z uwzgl´dnieniem specyfiki danego dzia∏ania, pokazujàc zarówno zalety, jak i s∏aboÊci

5

Rekomendacje

Przedstawienie mo˝liwych do wykonania dzia∏aƒ, wynikajàcych z doÊwiadczenia uzyskanego podczas ewaluacji

I

Podstawowe informacje o ewaluacji

Grupa odbiorców ewaluacji mo˝e byç zró˝nicowana i dlatego te˝ formy raportu mogà byç bardzo ró˝ne, dostosowane do potrzeb odbiorcy. np.: r r r r r

4.5

druk, publikacja elektroniczna, prezentacja multimedialna, ustna prezentacja, seminarium.

Wykorzystanie wyników ewaluacji Dzia∏ania te powinny byç przedmiotem rozwa˝aƒ ju˝ na etapie projektowania ewaluacji.

Nale˝y pomyÊleç o strategii informacyjnej zwiàzanej z upowszechnie niem rezultatów w zale˝noÊci od potencjalnych odbiorców. Jej podstawowym elementem jest, do kogo i po co raport ewaluacyjny ma dotrzeç. Najprostszà formà jest sporzàdzenie listy potencjalnych odbiorców oraz podj´cie decyzji o sposobie przekazania im raportu.

I.5 Podstawowe metody badaƒ ewaluacyjnych Podczas realizacji ewaluacji najcz´Êciej stosuje si´ kilka metod badawczych. DoÊwiadczeni ewaluatorzy uwa˝ajà, ˝e najlepsze rezultaty uzyskiwane sà przez ∏àczenie metod iloÊciowych i jakoÊciowych. Pozwala to na uzupe∏nienie informacji zdobytych jednà metodà – innymi. Ró˝norodnoÊç technik analizy i gromadzenia informacji, zwana triangulacjà, pozwala lepiej poznaç i zrozumieç badany obiekt oraz pozwala na dokonywanie odniesieƒ i porównaƒ. Triangulacja to zarówno ró˝norodnoÊç stosowanych metod, jak i wykorzystywanie informacji z ró˝nych êróde∏, od ró˝nych grup respondentów. Pozwala to na poznanie punktu widzenia wielu ró˝nych grup i daje szerszy materia∏ do oceny i wnioskowania. Zbierane informacje mo˝emy podzieliç na dane pierwotne i wtórne oraz dane iloÊciowe i jakoÊciowe.

Sà to kategorie roz∏àczne, tak wi´c mogà istnieç na przyk∏ad iloÊciowe i jakoÊciowe dane pierwotne.

r Dane pierwotne Uzyskiwane sà bezpoÊrednio ze êród∏a ich pochodzenia i zbierane sà na potrzeby prowadzonej ewaluacji. Nale˝à do nich wywiady, kwestionariusze, zogniskowane wywiady grupowe, studia przypadków.

r Dane wtórne Zosta∏y wczeÊniej zgromadzone i najcz´Êciej sà ju˝ przetworzone. Sà to wszystkie dane dost´pne w chwili rozpocz´cia badania (np. dokumenty programowe, raporty z wczeÊniejszych ewaluacji, raporty z monitoringu, statystyki prowadzone przez ró˝ne urz´dy itp.).

r Dane iloÊciowe Zebrane dane dotyczà informacji liczbowych. Dane iloÊciowe podlegajà analizie statystycznej. Wnioskowanie statystyczne umo˝liwia weryfikowanie stawianych hipotez w oparciu o posiadane dane.

r Dane jakoÊciowe Dane jakoÊciowe nie sà wyra˝ane w liczbach, dotyczà opisu, poznania i zrozumienia badanych zjawisk. Dane jakoÊciowe sà niezb´dne do w∏aÊciwej interpretacji informacji liczbowych. JakoÊciowy charakter badaƒ k∏adzie nacisk na procesy i znaczenia, które nie podlegajà Êcis∏ym rygorom tak jak w pomiarze iloÊciowym.

11

Ewaluacja Projektów Programu Leonardo da Vinci

Poni˝ej przedstawione sà podstawowe metody zbierania danych i metody ich analizy, które mogà byç zaadaptowane do ewaluacji projektów LdV. Nale˝à do nich: analiza dokumentów, wywiady indywidualne, kwestionariusze, zogniskowane wywiady grupowe, obserwacja, techniki grupowe.

r Analiza dokumentów Wszelkiego rodzaju dokumenty wewn´trzne i zewn´trzne, wytyczne, raporty, dane administracyjne, dostarczajà informacji na temat formalnych aspektów danego dzia∏ania.

Pozwalajà na poznanie za∏o˝eƒ danego przedsi´wzi´cia i osiàgni´tych wyników. Dostarczajà informacji o planowanych lub realizowanych dzia∏aniach i ich rezultatach. Mimo ró˝norodnoÊci informacji, które mo˝na uzyskaç, metoda ta stwarza ryzyko zbyt uproszczonej interpretacji danych i pochopnych uogólnieƒ. Niektóre dane umieszczone w dokumentach mogà byç „jednowymiarowe”, prezentujàc np. punkt widzenia realizatora projektu. Powinny byç one weryfikowane poprzez informacje uzyskane z innych êróde∏.

r Wywiady indywidualne Jest to metoda stosowana we wszystkich rodzajach i na wszystkich etapach ewaluacji. Jej celem jest uzyskanie informacji jakoÊciowej, w szczególnoÊci opinii osób zaanga˝owanych w dany program/projekt.

Formy wywiadu mogà byç ró˝ne, poczynajàc od nieformalnej rozmowy, poprzez wywiad przeprowadzony w oparciu o dyspozycje do wywiadu (wywiad cz´Êciowo ustrukturyzowany) do najbardziej formalnej formy, która polega na przygotowaniu skategoryzowanej listy pytaƒ, a pytania zadawane sà w takiej samej formie i w takiej samej kolejnoÊci wszystkim respondentom, (wywiad ustrukturyzowany). Wywiad taki stosuje si´, by zmniejszyç ró˝nice w pytaniach zadawanych ró˝nym osobom, uzyskujàc przez to wi´kszà porównywalnoÊç odpowiedzi.

Wywiad pozwala ewaluatorowi na poznanie wszystkich aspektów badanego przedsi´wzi´cia. Mo˝e poruszaç skomplikowane i szczegó∏owe kwestie, a jednoczeÊnie daje rozmówcy swobod´ wyra˝ania opinii w∏asnym j´zykiem i poruszania tematów wa˝nych z jego punktu widzenia.

S∏abà stronà tej metody jest czasoch∏onnoÊç i wysoki koszt, a tak˝e doÊç czasoch∏onna i doÊç skomplikowana analiza. Najcz´Êciej stosowana jest w ma∏ych projektach, obejmujàcych niewielkà grup´ respondentów.

r Kwestionariusze Metoda ta pozwala na obj´cie badaniem du˝ej grupy respondentów, a jej realizacja i analiza sà stosunkowo ∏atwe.

Metoda ta wymaga jednak bardzo starannego przygotowania wystandaryzowanego kwestionariusza, który powinien zawieraç jasno sformu∏owane, precyzyjne i jednoznacznie brzmiàce pytania. Im kwestionariusz jest bardziej wystandaryzowany, tym wi´cej jest w nim pytaƒ zamkni´tych, na które respondenci odpowiadajà, dokonujàc wyboru spoÊród dost´pnych odpowiedzi. Mniej wystandaryzowany kwestionariusz pozostawia respondentowi wi´kszà swobod´ udzielania odpowiedzi, gdy˝ jest w nim wi´cej pytaƒ otwartych.

Wadà tej metody jest jej ma∏a elastycznoÊç. Niektóre wa˝ne kwestie mogà zostaç pomini´te, gdy˝ w ankiecie mo˝e nie byç pytania, których dotyczà.

Metoda ta jest szczególnie przydatna w ewaluacji ex post i mid-term, gdy˝ jest wa˝nym narz´dziem do poznania rezultatów i wp∏ywu programu/projektu.

12

I

Podstawowe informacje o ewaluacji

r Zogniskowane wywiady grupowe (tzw. grupy fokusowe) Metoda ta ma form´ ustrukturyzowanej dyskusji, prowadzonej przez moderatora, którym jest najcz´Êciej ewaluator. Uczestnikami dyskusji sà przedstawiciele grup zaanga˝owanych w realizacj´ programu/projektu (realizatorzy, koordynatorzy, beneficjenci, partnerzy spo∏eczni) w celu wzajemnej wymiany i konfrontacji opinii. Ma ona charakter uniwersalny i mo˝e byç wykorzystywana we wszystkich rodzajach ewaluacji i na ka˝dym jej etapie.

r

Obserwacja Obserwacja jest metodà zbierania danych poprzez uczestniczenie w czasie realizacji programu.

Pozwala to na lepsze zrozumienie kontekstu, w jakim realizowane sà dzia∏ania. Ewaluator poprzez bezpoÊrednie zetkni´cie si´ z realizacjà programu/projektu mo˝e osobiÊcie przekonaç si´ jak program funkcjonuje. Ewaluator mo˝e dostrzec zjawiska, które nie sà zauwa˝ane przez uczestników projektu, lub kwestie dra˝liwe i konfliktowe, o których nie chcieliby oni mówiç.

Zjawisk tych nie mo˝na by zbadaç jedynie przy zastosowaniu ankiet i wywiadów.

r Techniki grupowe Sà to techniki u˝ywane najcz´Êciej podczas szkoleƒ i spotkaƒ do zbierania informacji zwrotnych od uczestników. Ich zaletà jest ∏atwoÊç przygotowania i ma∏a czasoch∏onnoÊç.

Metody te sà stosowane cz´sto przy prowadzeniu ewaluacji dotyczàcej przebiegu szkoleƒ.

I.6 Metody oceny W koƒcowej fazie procesu ewaluacji stosuje si´ ró˝norodne metody, których celem jest ocenianie efektów programu w odniesieniu do okreÊlonych kryteriów.

Najcz´Êciej stosowane to:

r Panel ekspertów Metoda ta polega na wykorzystaniu wiedzy szeregu niezale˝nych specjalistów w dziedzinie obj´tej badaniem, którzy w oparciu o dost´pne dokumenty i dane oceniajà efekty programu/projektu w kontekÊcie okreÊlonego kryterium ewaluacyjnego. Metoda ta jest przydatna we wszystkich typach ewaluacji z wyjàtkiem projektów innowacyjnych.

r Benchmarking Benchmarking jest ocenianiem efektów programu/projektu poprzez porównanie ich z efektami podobnych dzia∏aƒ, które zosta∏y uznane i mogà s∏u˝yç jako przyk∏ad. W procesie porównania identyfikowane sà silne i s∏abe strony programu/projektu oraz poszukiwane sà nowe rozwiàzania, które mogà podnieÊç jakoÊç osiàganych celów. Metoda ta jest wykorzystywana g∏ównie w ewaluacji ex-post. Mo˝na jà stosowaç tak˝e w przygotowywaniu programów/projektów do realizacji

r Analiza SWOT Analiza SWOT to analiza silnych (strenghts) i s∏abych (weaknesses) stron danego przedsi´wzi´cia oraz szans (opportunities) i zagro˝eƒ (threats), jakie wynikajà z czynników zewn´trznych.

Silne i s∏abe strony zostajà skonfrontowane z czynnikami, które sà poza kontrolà osób odpowiedzialnych za realizacj´ przedsi´wzi´cia, a które w pozytywny (szanse) lub negatywny (zagro˝enia) sposób mogà wp∏ywaç na wdra˝anie programu/projektu. Wa˝nà sprawà jest wydzielenie czynników, które mogà wp∏ywaç na rozwijanie silnych stron 13

Ewaluacja Projektów Programu Leonardo da Vinci

projektu, na eliminowanie lub ograniczanie stron s∏abych, wykorzystywanie istniejàcych mo˝liwoÊci i pojawiajàcych si´ szans oraz unikni´cie przewidywanych zagro˝eƒ i niebezpieczeƒstw.

Zastosowanie analizy SWOT ma szczególne znaczenie w ewaluacji ex ante, gdy˝ pozwala na lepsze zaplanowanie programu/projektu.

r Analiza kosztów i korzyÊci Celem tej analizy jest zbadanie, w jakim stopniu realizacja programu jest po˝àdana z punktu widzenia potrzeb beneficjentów, sektora, kraju. Analizuje pozytywne i negatywne efekty programu (tak˝e te potencjalne), przypisujàc im wartoÊç finansowà. Jest stosowana g∏ównie w ewaluacji ex ante.

r Modele ekonometryczne Modele makroekonomiczne wykorzystywane sà do oszacowania wp∏ywu pomocy na funkcjonowanie ca∏ej gospodarki. Sà stosowane w ewaluacji ex ante i ex post du˝ych programów, obejmujàcych swoim zasi´giem obszar regionu lub ca∏ego kraju.

I.7 Powiàzanie monitoringu i ewaluacji Monitoring i ewaluacja stanowià powiàzanà grup´ zadaƒ i tworzà wspólny element realizacji projektu.

Monitoring jest ciàg∏ym procesem systematycznego zbierania i analizowania iloÊciowych i jakoÊciowych informacji na temat wdra˝ania projektu w aspekcie finansowym i rzeczowym.

Ma na celu badanie zgodnoÊci realizacji projektu z jego za∏o˝eniami. Monitoring zbiera i rejestruje „twarde” informacje, takie jak liczb´ i status beneficjentów bioràcych udzia∏ w projekcie, liczb´ modu∏ów szkoleniowych, godziny pracy personelu, stan realizacji projektu. Monitoring nie jest jednak jednoznaczny z ewaluacjà.

Dane pochodzàce z monitoringu s∏u˝à do oceny prawid∏owoÊci realizacji projektu, wykorzystywane sà w ewaluacji on going i do podejmowania w razie potrzeby dzia∏aƒ korygujàcych. Mogà te˝ byç wykorzystane w ewaluacji koƒcowej projektu i spe∏niaç nast´pujàce zadania: r r r r

zapewniç w∏aÊciwe i przejrzyste zarzàdzanie projektem, generowaç wskaêniki obrazujàce stopieƒ realizacji projektu, zawieraç dane finansowe zwiàzane z realizacjà projektu, zawieraç dane pochodzàce z ankietowania beneficjentów i innych uczestników projektu.

Mo˝na uwa˝aç, ˝e monitoring jest pierwotnym narz´dziem raportowania.

Sprawozdanie z monitoringu jest dokumentem przedstawiajàcym: r aktualny stan i przebieg realizacji projektu, r post´p w realizacji planu merytorycznego, r wykorzystanie Êrodków finansowych oraz prognozy na nast´pny okres sprawozdawczy.

Zebrane dane same nie Êwiadczà o wartoÊci projektu. Muszà byç interpretowane. Mo˝na wi´c potraktowaç monitoring jako zalà˝ek i po˝yteczny wk∏ad do ewaluacji, która ma znacznie szerszy zakres. Ewaluacja wykorzystuje dane z monitoringu, by odpowiedzieç na pytanie, co si´ wydarzy∏o, jak to si´ wydarzy∏o i czy osiàgni´to za∏o˝one w projekcie cele.

Ewaluacja bierze tak˝e pod uwag´ inne dzia∏ania, które nie mogà byç mierzone, liczone, traktowane jako „twarde” fakty, np. poprawa w∏asnego wizerunku, nabranie pewnoÊci siebie, zrozumienie kultury innego kraju itp.

14

ewaluacji projektów II Strategia Leonardo da Vinci

II.1

Cele ewaluacji projektów Leonardo da Vinci Program Leonardo da Vinci zainicjowany zosta∏ w 1994 roku, a jego druga faza realizowana by∏a w latach 2000-2006. Obecnie realizowana, kolejna faza w ramach programu „Uczenie si´ przez ca∏e ˝ycie” zaplanowana jest na lata 2007-2013.

Na poczàtku programu zwracano uwag´ na jakoÊç raportu koƒcowego i sprawne zarzàdzanie projektem. W ostatnich latach coraz cz´Êciej k∏adzie si´ nacisk na jakoÊç projektów i ich rezultaty. Oznacza to, ˝e ewaluacja projektów sta∏a si´ wa˝nym elementem ich realizacji. Podstawà do jej przeprowadzenia sà wytyczne zawarte w Decyzji Rady i Parlamentu Europejskiego, ustanawiajàcej program „Uczenie si´ przez ca∏e ˝ycie”, a jej ramy okreÊlone sà w „Zaproszeniu do sk∏adania wniosków” i „Ogólnym przewodniku dla wnioskodawców” 1. Dotyczà one zagadnieƒ, które ewaluacja powinna poruszaç, kryteriów, jakie stosuje, oraz celów, jakie ma spe∏niaç. Wynika to z konstrukcji projektów programu Leonardo da Vinci. KoniecznoÊç ewaluacji wynika z wytycznych, natomiast jej potrzeba pojawia si´ z ch´ci poznania wiedzy na temat rozwoju projektu, mo˝liwoÊci refleksji na temat dzia∏aƒ projektu, osiàgni´ç, mo˝liwoÊci wykorzystania doÊwiadczeƒ z realizacji.

Podstawowym celem ewaluacji projektu jest potrzeba zbadania stopnia osiàgni´cia celów programu LdV, identyfikacji s∏abych stron projektu oraz wyciàgni´cia wniosków na przysz∏oÊç.

Badanie ewaluacyjne powinno koncentrowaç si´ przede wszystkim na: kryteriach trafnoÊci i spójnoÊci projektu, poprawnoÊci struktury logicznej projektu, w∏aÊciwym doborze wskaêników pomiaru osiàgni´ç projektu.

Przedstawione w poprzednim rozdziale ogólne informacje na temat ewaluacji powinny byç pomocnym elementem dla promotorów w opracowaniu odpowiedniej dla projektu metodologii oraz podj´cia kroków s∏u˝àcych ocenie swoich dzia∏aƒ, a tak˝e oceny wspólnych dzia∏aƒ realizowanych w grupie partnerskiej.

Kilkuletnia ocena wniosków LdV MobilnoÊç sk∏adanych do NA pozwala na postawienie tezy, ˝e promotorzy nie przywiàzujà du˝ej wagi do zagadnienia ewaluacji, uwa˝ajàc, ˝e nie ma ona zasadniczego znaczenia dla realizacji projektu. Niniejszy rozdzia∏ ma na celu wskazanie na korzyÊci, które mo˝e przynieÊç ewaluacja. Zwrócono w nim uwag´ na te elementy procesu ewaluacji, które sà najbardziej istotne dla osiàgni´cia zamierzonych celów projektu, oraz na te, które w dotychczasowych wnioskach by∏y najs∏abiej przygotowane.

Zaprezentowano tak˝e fragmenty niektórych wniosków, gdzie promotorzy w sposób jasny i konkretny pokazali, jak bioràc pod uwag´ cele i zasady programu LdV oraz potrzeby beneficjentów mo˝na przygotowaç dobry projekt, który jest ∏atwo „ocenny”, czyli zawiera informacje, które mo˝na poddaç ewaluacji. Mamy nadziej´, ˝e publikacja stanie si´ tak˝e zaczàtkiem dyskusji na temat, jak sformalizowane zasady ewaluacji mogà byç prze∏o˝one na dzia∏ania praktyczne, wykorzystane w projektach Leonardo da Vinci.

1 Dokumenty te mo˝na znaleêç na stronach internetowych Narodowej Agencji Programu i Komisji Europejskiej Http://ec.europa.eu/education/programmes/IIp/index_en.html za wyjàtkiem formularza wniosku, który dost´pny jest na stronach internetowych Narodowej Agencji: www.leonardo.org.pl.

15

Ewaluacja Projektów Programu Leonardo da Vinci

Przygotowujàc ewaluacj´, nale˝y skoncentrowaç si´ na starannym opracowaniu procesu ewaluacyjnego, nast´pnie na systematycznym Êledzeniu i ocenie prowadzonych dzia∏aƒ i rezultatów projektu. Pozwoli to na zbadanie, czy i w jakim zakresie osiàgni´te b´dà zaplanowane cele projektu.

Podstawowym warunkiem do takiej oceny jest jasne okreÊlenie celów projektu, pokazujàce ich zgodnoÊç z celami programu Leonardo da Vinci i odnoszàce si´ do sformu∏owanych priorytetów wspólnotowych i krajowych.

Cele szczegó∏owe programu Leonardo da Vinci na lata 2007-2013 okreÊlone w artykule 25.1.

Decyzji ustanawiajàcej program „Uczenie si´ przez ca∏e ˝ycie” sà nast´pujàce: „Wspieranie uczestników kszta∏cenia i doskonalenia zawodowego w zdobywaniu i wykorzystaniu wiedzy, umiej´tnoÊci i kwalifikacji majàcych na celu u∏atwienie osobistego rozwoju; zwi´kszenie szans na zatrudnienie w Polsce i na europejskim rynku pracy.

Wspieranie udoskonalenia jakoÊci i innowacyjnoÊci w systemach, instytucjach i praktykach w dziedzinie kszta∏cenia i szkolenia zawodowego.

Zwi´kszanie atrakcyjnoÊci kszta∏cenia i szkolenia zawodowego, mobilnoÊci dla pracodawców i uczestników indywidualnych oraz u∏atwianie mobilnoÊci pracujàcych praktykantów”.

Cele operacyjne programu Leonardo da Vinci okreÊlone w artykule 25.2. Decyzji ustanawiajàcej program „Uczenie si´ przez ca∏e ˝ycie” brzmià: „Poprawa pod wzgl´dem iloÊciowym i jakoÊciowym ogólnoeuropejskiej mobilnoÊci osób bioràcych udzia∏ w poczàtkowym etapie szkolenia i kszta∏cenia zawodowego oraz w kszta∏ceniu ustawicznym, tak by zwi´kszyç liczb´ sta˝y w przedsi´biorstwach do co najmniej 80.000 rocznie do koƒca okresu trwania programu.

Poprawa pod wzgl´dem iloÊciowym i jakoÊciowym wspó∏pracy pomi´dzy instytucjami lub organizacjami oferujàcymi mo˝liwoÊci kszta∏cenia, przedsi´biorstwami, partnerami spo∏ecznymi i innymi w∏aÊciwymi podmiotami w Europie.

U∏atwianie rozwoju innowacyjnych praktyk w dziedzinie szkolenia i kszta∏cenia zawodowego na poziomie innym ni˝ szkolnictwo wy˝sze oraz przenoszenia ich z jednego paƒstwa uczestniczàcego w programie do innych.

Poprawa stopnia przejrzystoÊci i uznawania kwalifikacji oraz kompetencji, w tym nabytych w drodze kszta∏cenia pozaformalnego i nieformalnego.

Zach´canie do nauki nowo˝ytnych j´zyków obcych.

Wspieranie tworzenia innowacyjnych, opartych na nowych technologiach treÊci nauczania, us∏ug, metodologii uczenia si´/nauczania oraz praktyk w zakresie uczenia si´ przez ca∏e ˝ycie”.

W programie Leonardo da Vinci k∏adzie si´ du˝y nacisk na osiàganie celów jakoÊciowych, nie tracàc z pola widzenia zaplanowanych w projekcie produktów i rezultatów. Bioràc pod uwag´ jakoÊç wype∏nianych wniosków projektów mobilnoÊci, wydaje si´, ˝e poj´cia celów, rezultatów i produktów wymagajà bli˝szego wyjaÊnienia. NajproÊciej wyjaÊnia to logika 16

II

Strategia ewaluacji projektów Leonardo da Vinci

interwencji projektu, która ukazuje wewn´trzny zwiàzek przyczynowo-skutkowy mi´dzy prowadzonymi w projekcie dzia∏aniami i fizycznie mierzalnymi ich rezultatami. Te z kolei majà wp∏yw na osiàgni´cie celu projektu. Osiàgni´cie tego celu ma wprost przyczyniç si´ do zdobycie celu ogólnego programu.

Mechanizm ten mo˝na przedstawiç w poni˝szy sposób:

Dzia∏ania VProdukty VRezultaty VCele projektu V Cele programu

r Dzia∏ania (activities) w projekcie sà codziennoÊcià niewymagajàcà bli˝szego okreÊlenia, nale˝y zwróciç jednak uwag´, czy mogà one doprowadziç do zamierzonego celu.

r Produkty (outputs) projektu sà to wszystkie przedmioty materialne powsta∏e w trakcie realizacji projektu z zasobów przeznaczonych na dany projekt, tj. Êrodków finansowych oraz zasobów ludzkich, materialnych i organizacyjnych. Produkty sà odzwierciedleniem post´pu w realizacji danego dzia∏ania. Sà mierzone w jednostkach fizycznych (np. liczba szkoleƒ, liczba osób, które otrzyma∏y nowe kwalifikacje).

r Rezultaty

(results) sà bezpoÊrednimi efektami zrealizowanych dzia∏aƒ. Powinny byç osiàgni´te w czasie trwania projektu i przyczyniajà si´ do osiàgni´cia celów szczegó∏owych, a poprzez nie celów ogólnych programu. Rezultaty dostarczajà informacji o zmianach, jakie nastàpi∏y w wyniku wdro˝enia projektu. Sà mierzone w jednostkach fizycznych (lepsza znajomoÊç j´zyka obcego, zapoznanie si´ z nowymi technologiami, opracowanie materia∏ów dydaktycznych) lub jednostkach finansowych (zmniejszenie kosztów pracy, obni˝enie ceny Êwiadczonej us∏ugi).

Rezultaty mogà byç zamierzone (zak∏adane w projekcie) lub niezamierzone (nieplanowane w projekcie).

Rozró˝niamy tak˝e rezultaty twarde i mi´kkie. r Rezultaty twarde sà to jasno zdefiniowane, policzalne korzyÊci, które osiàgnà∏ beneficjent projektu (np. zdobycie nowych kwalifikacji, uzyskanie mi´dzynarodowego certyfikatu).

Rezultaty te sà ∏atwo rozpoznawalne i mierzalne. r Rezultaty mi´kkie stanowià stadium przejÊciowe na drodze do osiàgni´cia rezultatów twardych. Mo˝na do nich zaliczyç: popraw´ umiej´tnoÊci, wzrost pewnoÊci siebie, umiej´tnoÊç pracy w zespole, popraw´ umiej´tnoÊci komunikacyjnych. Istnieje du˝a trudnoÊç w ich zdefiniowaniu oraz pomiarze, pomimo to mogà stanowiç g∏ówne rezultaty.

Pomiar ich ma szczególne znaczenie w ewaluacji projektów realizowanych w ramach programu Leonardo da Vinci.

r Cel szczegó∏owy (specific objective) projektu to fizyczny, bezpoÊredni wp∏yw zrealizowanych dzia∏aƒ/uzyskanych rezultatów na bezpoÊrednich beneficjentów, osiàgany po zakoƒczeniu realizacji projektu. Miarà (wskaênikiem) osiàgni´cia celu projektu jest informacja o zmianach, jakie nastàpi∏y w wyniku wdro˝enia projektu u bezpoÊrednich beneficjentów pomocy. Wskaêniki osiàgni´cia celu szczegó∏owego mierzy si´ przewa˝nie jako wyraz zmiany stanu negatywnego na lepszy w porównaniu ze stanem bazowym np. w %.

r Przez cele

ogólne (overall objectives) projektu rozumie si´ d∏ugofalowe konsekwencje zrealizowanego przedsi´wzi´cia dla bezpoÊrednich adresatów po zakoƒczeniu projektu, a tak˝e poÊrednie konsekwencje dla innych adresatów.

Cele ogólne odnoszà si´ do konsekwencji danego projektu wykraczajàcych poza natychmiastowe efekty dla bezpoÊrednich beneficjentów, np. wp∏yw projektu na sytuacj´ spo∏eczno-gospodarczà 17

Ewaluacja Projektów Programu Leonardo da Vinci

w pewnym okresie od zakoƒczenia jego realizacji, innowacyjnoÊç w treÊciach nauczania lub programach praktyk, wzrost poziomu poczucia bezpieczeƒstwa, wzrost aktywnoÊci spo∏ecznoekonomicznej.

Wp∏yw (outcome, impact) jest efektem zrealizowanego projektu w d∏u˝szej perspektywie czasowej. Szacowanie wp∏ywu dostarcza informacji o zmianach, jakie nastàpi∏y wskutek wdro˝enia projektu. Wp∏yw odnosi si´ równie˝ do rezultatów i osiàgni´cia celów ca∏ego programu.

Dobre zrozumienie celów programu Leonardo da Vinci obrazuje wniosek projektu zaakceptowanego w przesz∏oÊci do realizacji: „Projekt realizuje jeden z celów Europejskiej Strategii Zatrudnienia, jakim jest równoÊç szans w zakresie dost´pu do pracy. Cz∏onkostwo Polski w Unii Europejskiej stawia przed naszym paƒstwem znaczàce wyzwania modernizacyjne. Sà one nast´pstwem koniecznoÊci przyj´cia dorobku prawnego wspólnoty i wysokich standardów realizacyjnych. Zgodnie z obowiàzujàcym w Polsce i Unii Europejskiej prawem ˝ywnoÊciowym wszystkie przedsi´biorstwa dzia∏ajàce w szeroko rozumianej bran˝y spo˝ywczej sà zobowiàzane wdro˝yç i stosowaç system Analizy i Zagro˝eƒ Krytycznych Punktów Kontroli HACCP. Prawodawstwo wymaga tak˝e stosowania standardów GMP (Dobrej Praktyki Produkcyjnej) oraz HGP (Dobrej Praktyki Higienicznej).

Projekt stwarza m∏odzie˝y mo˝liwoÊç zapoznania si´ z europejskimi standardami pracy w krajach, w których obowiàzujà one ju˝ od wielu lat. Niweluje jednoczeÊnie przeszkody zwiàzane z mobilnoÊcià zawodowà, którymi sà s∏aba znajomoÊç j´zyków obcych i brak przejrzystoÊci kwalifikacji. Projekt odpowiada równie˝ na potrzeby krajowe zawarte w strategii województwa, a zwiàzane z podniesieniem poziomu jakoÊci i efektywnoÊci kszta∏cenia”.

Cele innego projektu zosta∏y zdefiniowane w nast´pujàcy sposób: „Wprowadzenie innowacji w zakresie nauczania j´zyka obcego dla potrzeb zawodowych na kierunku…

Udoskonalenie procesu nauczania pod kàtem przydatnoÊci dla absolwentów podejmujàcych prac´ w ró˝nych krajach UE. Wymiana doÊwiadczeƒ w zakresie programu nauczania, metodyki nauczania, rozk∏adu materia∏u wniesie nowe spojrzenie na programy j´zykowe realizowane w naszym kraju.

W projekcie wezmà udzia∏ lektorzy j´zyka angielskiego prowadzàcy zaj´cia na kierunku... G∏ówny cel to rozwój zawodowy beneficjentów poprzez poznanie nowych metod kszta∏cenia nowych technik nauczania na ww. kierunku. Istnieje potrzeba dopasowania sposobu prowadzenia lektoratów na tym kierunku do tendencji ogólnoeuropejskich: nauczania j´zyka obcego dla konkretnych zawodów w celu podniesienia konkurencyjnoÊci naszych absolwentów na mi´dzynarodowym rynku pracy oraz zwi´kszenia ich mobilnoÊci. Oczekuje si´, ˝e wymiana doÊwiadczeƒ lektorów j´zyków zaowocuje wprowadzeniem nowych metod na lektoratach wszystkich tych uczelni, pozwoli te˝ na nawiàzanie kontaktów mi´dzy ich wyk∏adowcami i m∏odzie˝à, poznawanie i przenikanie si´ ró˝nych kultur.

18

II

Strategia ewaluacji projektów Leonardo da Vinci

Z dostosowania metod nauczania na uczelni w kraju do europejskich standardów skorzysta m∏odzie˝ na niej studiujàca – w du˝ym procencie osoby z ma∏ych miejscowoÊci i zaniedbanych kulturowo obszarów. Zwi´kszy to ich szanse na pomyÊlnà karier´ zawodowà.

Porównanie procesu kszta∏cenia i programów przyczyni si´ do wykreowania nowych pomys∏ów.

Analiza programów nauczania pozwoli na nawiàzanie wspó∏pracy i realizacj´ wymiany studentów i nauczycieli, w tym do projektów badawczych”.

z dobrze zaplanowanej II.2 KorzyÊci i przeprowadzonej ewaluacji Osiàgni´cie za∏o˝onych celów projektu nie jest zadaniem ∏atwym. Idea programu zak∏ada, ˝e ka˝dy projekt powinien przyczyniç si´ do podniesienia jakoÊci szkolenia i kszta∏cenia zawodowego w Europie. Mo˝liwe jest to poprzez uzyskanie wysokiej jakoÊci rezultatów projektu. Systematyczna, dobrze zaplanowana i prowadzona ewaluacja jest wa˝nym narz´dziem pomagajàcym w: r zaplanowaniu projektu, r w monitorowaniu projektu (przez Promotora i NA), r w identyfikacji s∏abych i mocnych stron projektu, zarówno w zakresie organizacji, jak i rezultatów projektu, r w opracowaniu raportów okresowych i koƒcowego, r w wykorzystaniu rezultatów oraz unikni´ciu b∏´dów przy realizacji przysz∏ych projektów, r w zaplanowaniu strategii upowszechnienia rezultatów.

Ewaluacja mo˝e byç prowadzona w bardzo ró˝norodny sposób, w zale˝noÊci od rodzaju projektu, okreÊlonego celu, czasu, zakresu badania. Nie ma jednej gotowej recepty dla wszystkich ewaluacji. Ka˝dy projekt jest inny, niepowtarzalny, a wi´c i ewaluacja wymaga indywidualnego podejÊcia. Tym niemniej muszà byç spe∏nione podstawowe zasady odnoszàce si´ do wszystkich typów ewaluacji. Nale˝à do nich: planowanie ewaluacji, zbieranie i analiza danych oraz ich interpretacja w celu okreÊlenia osiàgni´ç projektu lub jego s∏abych punktów.

Promotor zanim podejmie decyzje o ewaluacji, powinien rozwa˝yç nast´pujàce kwestie: r Dlaczego i kiedy musi byç prowadzona ewaluacja?

(To powinno byç rozwa˝one, zanim partnerzy projektu zdecydujà si´ na wspó∏prac´) r Co ma byç przedmiotem ewaluacji? Proces, program, wybrany obszar? r W jaki sposób i przez kogo b´dzie przeprowadzona ewaluacja?

II.3 Kiedy powinniÊmy prowadziç ewaluacj´ projektu?

Ewaluacja projektów Leonardo da Vinci powinna odbywaç si´ przed rozpocz´ciem dzia∏aƒ (ex ante) w trakcie realizacji projektu (ocena bie˝àca – on going) i po zakoƒczeniu (ex post).

Z za∏o˝enia ewaluacja ex ante prowadzona jest przez Narodowà Agencj´ Programu i ma na celu selekcj´ wybranych do realizacji projektów.

19

Ewaluacja Projektów Programu Leonardo da Vinci

By mieç pewnoÊç, ˝e wniosek zostanie zaakceptowany do realizacji, promotorzy powinni rozpoczàç planowanie ewaluacji niemal równoczeÊnie z podj´ciem prac nad realizacjà projektu.

Prowadzona przez promotora ewaluacja ex ante mo˝e pomóc w planowaniu i projektowaniu wniosku i mo˝e ustaliç etapy ewaluacji w czasie trwania ca∏ego cyklu projektu. Powinna byç zakoƒczona przed z∏o˝eniem wniosku do Narodowej Agencji Programu.

Nale˝y pami´taç, ˝e wniosek nadajàcy si´ do oceny powinien jasno i konkretnie odnosiç si´ do potrzeb, na które odpowiada program. Cele projektu muszà byç zasadne, realistyczne i spójne ze wszystkimi elementami projektu. Promotor musi przekonaç NA, ˝e jest w stanie ten projekt zrealizowaç. Dokumentami pomocnymi b´dà wytyczne zawarte we wniosku oraz „Przewodniku dla wnioskodawców”. Nale˝y bardzo uwa˝nie przeÊledziç kryteria jakoÊciowe zawarte we wniosku i w oparciu o nie oceniç jakoÊç przygotowanej propozycji. Mo˝na to zrobiç, wykorzystujàc np. analiz´ SWOT lub list´ kontrolnà do oceny jakoÊci projektu. W obu przypadkach oprócz klasycznych wymiarów ewaluacji takich jak trafnoÊç, skutecznoÊç, efektywnoÊç, u˝ytecznoÊç, trwa∏oÊç nale˝y koncentrowaç si´ na procesie, ocenie metod realizacji dzia∏aƒ, mo˝liwoÊci w∏àczenia zaproponowanych dzia∏aƒ do polityki regionalnej lub krajowej, sposobie upowszechnienia dobrych praktyk. Mo˝na tu kierowaç si´ wskazówkami odnoszàcymi si´ do ewaluacji ex post, zadajàc sobie pytanie, czy tak zaplanowane dzia∏ania przyniosà zamierzone rezultaty i czy wniosek zawiera konkretne informacje b´dàce podstawà do oceny. Cennà pomocà jest przeczytanie i ocena wniosku przez osoby, które b´dà zaanga˝owane w realizacj´ projektu, ale nie bra∏y czynnego udzia∏u w jego przygotowaniu.

Ewaluacja bie˝àca ma na celu Êledzenie rozwoju poszczególnych etapów projektu i pomoc w jego lepszej realizacji. Polega na systematycznej ocenie poszczególnych faz projektu lub okreÊlonych zadaƒ. Pozornie zajmuje ona du˝o czasu, ale nale˝y pami´taç, ˝e jeÊli jest prowadzona systematycznie, daje gotowy materia∏ do ewaluacji koƒcowej. Materia∏ do ewaluacji ∏atwiej jest zebraç „na goràco”, gdy˝ pod koniec projektu o wielu rzeczach si´ nie pami´ta.

Prowadzàc ewaluacj´ bie˝àcà projektu, nale˝y wziàç pod uwag´ nast´pujàce aspekty:

1 2 3 4 5

Zarzàdzanie projektem, jego struktur´ i planowanie, T∏o projektu i sytuacj´ wyjÊciowà, Zadeklarowane cele projektu, Sposób osiàgni´cia za∏o˝onych celów, Feedback – informacje zwrotne na temat poszczególnych etapów realizacji projektu.

1

Zarzàdzanie projektem, jego struktura i planowanie Zarzàdzanie i struktura projektu to podstawowy aspekt, który winien byç poddawany ocenie wst´pnej, bie˝àcej i koƒcowej. Powinna ona dotyczyç nast´pujàcych elementów: r Planowanie poszczególnych etapów, r Etapy procesu zarzàdzania, ∏àcznie z „pakietami roboczymi”, r Zaplanowany harmonogram, r Podzia∏ zadaƒ,

20

II

Strategia ewaluacji projektów Leonardo da Vinci

r Podzia∏ odpowiedzialnoÊci, r Monitorowanie post´pów: a. wykonanie zadaƒ, b. wykonanie bud˝etu, r Upowszechnianie informacji.

Podstawowe pytania ewaluacyjne, jakie mo˝na postawiç, to: r Czy zaplanowany sposób zarzàdzania i struktura projektu sprawdzajà si´ w dzia∏aniu? r Czy sà efektywne? r Czy sà ekonomicznie uzasadnione?

Sposób zarzàdzania ma zasadniczy wp∏yw na skutecznoÊç i efektywnoÊç projektu, dlatego zagadnienie to b´dzie szerzej omówione w dalszej cz´Êci opracowania.

2

T∏o projektu i sytuacja wyjÊciowa Z punktu widzenia ewaluacji opis sytuacji wyjÊciowej jest materia∏em bazowym, w oparciu o który mo˝na zmierzyç rezultaty projektu. Powinna ona byç jasno i przekonywajàco opisana w propozycji projektu, bàdê w momencie jego rozpoczynania, po to by póêniej mo˝na by∏o okreÊliç osiàgni´cia projektu.

Z punktu widzenia ewaluacji wa˝ne pytania dotyczà takich kwestii jak: r W jaki sposób okreÊlono sytuacj´ wyjÊciowà? r Czy wszyscy partnerzy projektu byli z nià zapoznani? r Jakie aspekty projektu by∏y brane pod uwag´ w opisie sytuacji wyjÊciowej (grupy docelowe, treÊci szkolenia, innowacyjne metody szkolenia)?

W jednym ze zrealizowanych ju˝ projektów w taki sposób opisano sytuacj´ wyjÊciowà, a tak˝e potrzeby beneficjentów: „M∏odzie˝ koƒczàca nauk´ w szkole zalicza si´ do grup defaworyzowanych na rynku pracy. Wià˝e si´ to z niewielkà iloÊcià doÊwiadczenia zawodowego m∏odych pracowników wchodzàcych na rynek pracy oraz brakiem funduszy na dokszta∏canie zawodowe. Pracodawcy ˝àdajà bowiem okazania si´ doÊwiadczeniem w bran˝y, cz´sto nawet w bran˝ach zbli˝onych. Z tego faktu wynika zalecenie o potrzebie wzmocnienia kszta∏cenia praktycznego w okresie nauki szkolnej oraz wykorzystania funduszy unijnych na dzia∏alnoÊç edukacyjnà przez ca∏e ˝ycie. Programy nauczania, zw∏aszcza w szko∏ach samorzàdowych oraz paƒstwowych zawierajà niewielkie iloÊci zaj´ç praktycznych: zaj´cia warsztatowe w jednym roku nauki oraz czterotygodniowà praktyk´. Wi´ksza iloÊç zaj´ç praktycznych nie mo˝e byç brana pod uwag´ ze wzgl´dów programowo-finansowych. W tej sytuacji bardzo dobrym wyjÊciem jest uczestnictwo uczniów w sta˝ach zagranicznych, przede wszystkim zaÊ w projekcie Leonardo da Vinci. Uczeƒ zyskuje tu dodatkowà praktyk´, co jest jego wartoÊcià dodanà i zwi´ksza szans´ na uzyskanie zatrudnienia, gdy˝ w wi´kszym stopniu spe∏nia oczekiwania potencjalnego pracodawcy. Wdra˝a si´ te˝ do kszta∏cenia przez ca∏e ˝ycie. Uzyskuje równie˝ wiele innych korzyÊci, takich jak: europejski wymiar swojego kszta∏cenia, trening w zakresie stosowania zawodowego j´zyka obcego, certyfikat Europass-Mobility. Powy˝sze korzyÊci chocia˝ w pewnym stopniu poprawià sytuacj´ m∏odego pracownika na rynku pracy i zwi´kszà jego szanse na zdobycie zatrudnienia”.

21

Ewaluacja Projektów Programu Leonardo da Vinci

3

Zadeklarowane cele projektu W propozycji wniosku cele projektu w wyraêny sposób muszà si´ odnosiç do celów i priorytetów programu Leonardo da Vinci oraz okreÊlonych priorytetów narodowych. Im bardziej konkretnie sà te cele opisane, tym projekt jest ∏atwiejszy do ewaluacji.

Ewaluacja bie˝àca powinna polegaç nie tylko na Êledzeniu realizacji okreÊlonych dzia∏aƒ, ale przede wszystkim na tym, czy te dzia∏ania zmierzajà do osiàgni´cia zamierzonych celów.

Takie podejÊcie zwi´ksza szanse na to, ˝e projekt b´dzie w sposób skuteczny zmierza∏ w okreÊlonym kierunku. Ewaluacja bie˝àca pozwala na wychwycenie niekorzystnych sytuacji i dokonanie zmian w projekcie, jeÊli nie zmierza on do uzyskania za∏o˝onych rezultatów.

OczywiÊcie w niektórych przypadkach wymaga to zmiany umowy z Narodowà Agencjà Programu. By móc to uczyniç, nale˝y mieç poparte faktami uzasadnienie. Najcz´Êciej dyskwalifikowane wnioski to te, w których zaznaczono kilka celów projektu, które w rzeczywistoÊci nie sà adekwatne do potrzeb beneficjentów oraz w ogóle nie ma do nich odniesienia w treÊci wniosku. O wartoÊci wniosku nie Êwiadczy liczba okreÊlonych celów.

Pytania ewaluacyjne dotyczàce celów projektu mogà dotyczyç np. tego: r Czy cele projektu przedstawione we wniosku opisane by∏y w sposób jasny, pozwalajàcy na okreÊlenie dzia∏aƒ, poprzez które mogà byç osiàgni´te? r Czy wszyscy partnerzy projektu jednakowo rozumieli cele projektu? r Czy realizujàc projekt, partnerzy brali pod uwag´ odpowiednie kryteria jakoÊci, warunkujàce osiàgni´cie zamierzonych celów? r Jakie sugestie lub po˝yteczne wnioski mo˝na wykorzystaç w przysz∏oÊci przy okreÊlaniu celów projektu?

4

Sposób osiàgni´cia za∏o˝onych celów Po opisaniu sytuacji wyjÊciowej i celów projektu nale˝y rozwa˝yç, w jaki sposób mo˝na doprowadziç do zamierzonych zmian. OczywiÊcie jest to przedstawione w propozycji wniosku, ewaluacja bie˝àca ma jednak za zadanie systematyczne badanie, czy zaplanowane dzia∏ania i metody sà stosowane, czy sprawdzajà si´ w praktyce, jakie mo˝na podjàç dzia∏ania usprawniajàce.

Pomocne w tym mogà byç poni˝sze przyk∏adowe pytania ewaluacyjne: r Na jakim etapie realizacji jest projekt? r Czy etap ten jest realizowany w zaplanowanym czasie? r Jak metody pracy przedstawione we wniosku realizowane sà w praktyce? r Czy zaplanowane dzia∏ania sà odpowiednie do osiàgni´cia celów projektu? JeÊli nie, to dlaczego i jakie zmiany powinny byç dokonane? r Którzy partnerzy sà w∏àczeni w realizacj´ projektu? r Jakie by∏y ich role i zadania w projekcie? Czy opisane by∏y w sposób dok∏adny i przejrzysty? r Czy wype∏niali w∏aÊciwie swoje zadania? r JeÊli nie, kto si´ nie wywiàzywa∏ ze swoich zobowiàzaƒ i dlaczego? r Czy zadania, których si´ podj´li, by∏y odpowiednie do ich kompetencji? r Czy by∏y realistyczne? r Jaki by∏ stosunek partnerów do ich zaanga˝owania w projekcie? r Jaka by∏a atmosfera w grupie partnerskiej? r Czy komunikacja pomi´dzy wszystkimi uczestnikami projektu by∏a efektywna? r JeÊli nie, to dlaczego?

22

II

Strategia ewaluacji projektów Leonardo da Vinci

r Czy bariery j´zykowe utrudnia∏y komunikacj´ mi´dzy uczestnikami projektu? r Jakie rozwiàzania zastosowano, by pokonaç bariery j´zykowe? r Jak mo˝na ulepszyç prac´, by uzyskaç lepsze efekty?

Poni˝ej przedstawiony jest przyk∏ad ewaluacji bie˝àcej badajàcej sposób osiàgania zamierzonych celów projektu. Zgodnie z wytycznymi w formularzu wniosku przedstawiono procedur´ oraz metody ewaluacji. „Za ewaluacj´ projektu odpowiedzialni b´dà: mened˝er projektu oraz przedstawiciele instytucji przyjmujàcych. Pozwoli to na zidentyfikowanie i ocen´ celów przedsi´wzi´cia, sposobu jego realizacji oraz zamierzenia na przysz∏oÊç. Umo˝liwi to zidentyfikowanie ewentualnej koniecznoÊci modyfikacji w przyj´tym programie sta˝u oraz zwi´kszy efektywnoÊç realizacji priorytetów projektu.

Ewaluacja skoncentrowana b´dzie na jakoÊciowym oszacowaniu realizacji przyj´tych celów projektu.

Bie˝àca ocena przedsi´wzi´cia b´dzie polega∏a na kontroli nast´pujàcych obszarów: r rekrutacja beneficjentów, r przygotowanie j´zykowo-kulturowo-pedagogiczne, r organizacja sta˝u, r zgodnoÊç przebiegu sta˝u z przyj´tym programem, r post´py beneficjentów, r realizacja i osiàganie za∏o˝onych celów, r wydatki finansowe, r promocja i upowszechnianie rezultatów.

Podstawowymi metodami i narz´dziami ewaluacyjnymi b´dà: raporty beneficjentów i opiekunów, spotkania ewaluacyjne podczas realizacji sta˝u, obserwacje, ankiety dla beneficjentów i ich rodziców.

Ankiety przygotowane zostanà przez mened˝era i koordynatora projektu.

Podczas realizacji sta˝u Promotor b´dzie utrzymywa∏ sta∏à ∏àcznoÊç z Partnerami za poÊrednictwem poczty elektronicznej oraz ∏àczy telefonicznych”.

Jakkolwiek zaprezentowana strategia nie jest modelowa, pozwala jednak przypuszczaç, ˝e by∏a odpowiednia dla potrzeb opisanego projektu i spe∏ni∏a swoje za∏o˝enia.

5

Feedback – informacje zwrotne na temat poszczególnych etapów realizacji projektu W projektach partnerskich, jakimi sà projekty Leonardo da Vinci, dzielenie si´ uzyskanymi informacjami, obserwacjami, sugestiami i problemami na temat przebiegu realizacji projektu jest niezb´dne, gdy˝ przyczynia si´ do lepszej jakoÊci produktów i osiàgni´cia rezultatów projektu. Ma du˝y wp∏yw na zwi´kszenie zaanga˝owania partnerów w realizacj´ projektu lub wprowadzenie w nim zmian.

Zebrane informacje sà bardzo dobrym tematem na spotkania wykonawców projektu. Nie zawsze proponuje si´ na nich wprowadzenie zmian, ale dyskusja nad przebiegiem projektu jest wyrazem odpowiedzialnoÊci za jego realizacj´.

23

Ewaluacja Projektów Programu Leonardo da Vinci

Oto przyk∏adowe pytania ewaluacyjne: r Czy przewidziano w propozycji wniosku spotkania informacyjne nt. realizacji poszczególnych etapów projektu? r Czy odnosi∏y si´ one do procesu i programu merytorycznego, czy tylko do jednego elementu? r Czy odby∏o si´ do tej pory jakieÊ spotkanie? JeÊli tak, jakà mia∏o form´, i kto bra∏ w nim udzia∏? r Czy w wyniku tego wprowadzono jakieÊ zmiany? r Czy by∏y one konstruktywne? r Czy w wyraêny sposób prowadzà do poprawy zarówno sposobu realizacji projektu, jak i rezultatów? r Czy i w jaki sposób spotkanie informacyjne wp∏yn´∏o na wspó∏prac´ partnerów?

Ewaluacja ex post – po zakoƒczeniu projektu Ewaluacja koƒcowa projektu w du˝ej mierze powinna wykorzystywaç wyniki ewaluacji bie˝àcej, gdy˝ zawierajà one szereg odpowiedzi na pytania ewaluacyjne stawiane w ewaluacji koƒcowej. Pozwolà one na przeprowadzenie ewaluacji koƒcowej w stosunkowo szybkim czasie. Odpowiedzi na zadane na wczeÊniejszych etapach projektu pytania dotyczy∏y g∏ównie przebiegu realizacji projektu, udzia∏u partnerów i sposobu osiàgania zamierzonych celów.

Prowadzàc ewaluacj´ koƒcowà, nale˝y poÊwi´ciç tak˝e uwag´ rezultatom wynikajàcym z realizacji programu szkoleniowego.

Celem ewaluacji koƒcowej jest wyciàgni´cie wniosków na temat zaplanowania, realizacji i stopnia osiàgni´cia za∏o˝onych rezultatów projektu w Êwietle zaplanowanych celów. Sà one podstawà do opracowania raportu koƒcowego i materia∏ów informacyjnych na temat rezultatów projektu oraz stopnia osiàgni´cia zamierzonych celów. Przeprowadzenie tylko ewaluacji koƒcowej nie spe∏nia wszystkich celów ewaluacji projektu Leonardo da Vinci, gdy˝ nie ma ona wp∏ywu na popraw´ jakoÊci realizowanego projektu, a wnioski i rekomendacje nie zawsze mogà byç wykorzystane w przysz∏oÊci.

II.4 Planowanie ewaluacji Przyst´pujàc do planowania ewaluacji, nale˝y wziàç pod uwag´ nast´pujàce kwestie wynikajàce z samej definicji i roli ewaluacji: r PrzydatnoÊç ewaluacji, rozumianà jako jej u˝ytecznoÊç dla beneficjentów projektu; r WykonalnoÊç ewaluacji, uwzgl´dniajàcà ramy czasowe oraz ograniczenia finansowe, a tak˝e wynikajàcy z nich zakres i szczegó∏owoÊç prowadzonych analiz; r EtycznoÊç realizacji badania, odnoszàcà si´ przede wszystkim do sposobu uzyskiwania i wykorzystywania informacji oraz obiektywizmu ewaluatora; r PoprawnoÊç metodologiczna – prowadzenie badania wed∏ug przyj´tych zasad, które zapewnià wysokà jakoÊç i wiarygodnoÊç uzyskanych wyników.

Ogólne zasady planowania ewaluacji zosta∏y omówione w poprzednim rozdziale.

Jedno z pierwszych pytaƒ, które nale˝y zadaç sobie przy planowaniu ewaluacji, brzmi: po co jà przeprowadzamy? Odpowiedê na nie pozwoli na okreÊlenie celów ewaluacji.

Odbiorcami ewaluacji projektu sà przede wszystkim sami jego realizatorzy. Wyniki ewaluacji b´dà te˝ interesowaç Narodowà Agencj´ Programu, inne instytucje i organizacje. Raport z ewaluacji b´dzie te˝ cennym êród∏em informacji w ewaluacjach prowadzonych przez NA.

24

II

Strategia ewaluacji projektów Leonardo da Vinci

II.5 Co ma byç przedmiotem ewaluacji?

Decyzja, co ma byç poddane ewaluacji, w du˝ej mierze zale˝y od charakteru i rozmiaru projektu. Wybór przedmiotu ewaluacji zale˝y od problemów, które powinny zostaç zbadane.

Ka˝dy projekt powinien posiadaç w∏asnà, dostosowanà do potrzeb strategi´ ewaluacji.

Projekty mobilnoÊci Leonardo da Vinci zazwyczaj nie majà z∏o˝onego charakteru i z zasady wszystkie aspekty zwiàzane z ich realizacjà mogà byç obj´te ewaluacjà. Gdy nie jest to mo˝liwe, nale˝y skupiç si´ na ewaluacji wybranego obszaru (np. osiàgni´cie za∏o˝onych celów). Dwa najwa˝niejsze elementy projektu, które winny byç uwzgl´dnione w ka˝dej ewaluacji, to:

r Produkty (output) – co zosta∏o zrobione; r Proces (process) – w jaki sposób to osiàgni´to.

Ewaluacja tych dwóch elementów pozwoli na pe∏ne zrozumienie projektu i jego osiàgni´ç lub niepowodzeƒ.

Tak jak wspomniano powy˝ej, promotor decyduje o wyborze obszarów ewaluacji. Pomocne w tym mogà byç kryteria, którymi kieruje si´ Narodowa Agencja Programu przy ocenie wniosków. Odzwierciedlajà one struktur´ i format formularza wniosku, w którym jest wiele rad i wskazówek. Skupienie uwagi na najistotniejszych kwestiach zawartych w formularzu b´dzie podstawà do sformu∏owania pytaƒ badawczych. Formu∏ujàc pytanie badawcze, nale˝y zadaç sobie pytanie, co wykonaliÊmy i w jaki sposób? Sformu∏owanie okreÊlonych pytaƒ pociàga za sobà koniecznoÊç doboru odpowiednich metod badawczych. Zale˝à one w du˝ej mierze od potrzeb konkretnego projektu i w taki sposób nale˝y patrzeç na metodologi´.

W wielu wnioskach ma∏ych projektów przedstawiona jest niemal akademicka metodologia prowadzenia ewaluacji, ale z takiego wniosku mo˝na sàdziç, ˝e promotor nie poÊwi´ci∏ ewaluacji wiele troski, po prostu przepisa∏ podr´cznikowe zasady, które nie by∏y dostosowane do potrzeb projektu. Cz´sto ewaluacj´ planujà firmy konsultingowe, które nie znajà specyfiki projektu. Pomimo ˝e metodologia jest bardzo poprawna, ewaluacja taka nie b´dzie u˝yteczna.

Taki projekt nie uzyska pozytywnej oceny.

Poni˝ej przedstawiony jest przyk∏ad ewaluacji uwzgl´dniajàcej najwa˝niejsze elementy projektu: „Ewaluacja projektu odbywaç si´ b´dzie na wszystkich jego etapach, a poprowadzà jà osoby wyznaczone z beneficjentów oraz opiekunów obydwu organizacji. Tak szeroka reprezentacja zajmujàca si´ dzia∏aniem oraz d∏ugi czas jej trwania podyktowane sà wa˝noÊcià kwestii ewaluacji i jej du˝ego wp∏ywu na jakoÊç koƒcowego efektu prac. Ca∏oÊç prac koordynowa∏ b´dzie promotor projektu. Ocenie ewaluacyjnej podlega∏y b´dà nast´pujàce elementy: jakoÊç i efekty przygotowania beneficjentów do sta˝u, trafnoÊç procesu upowszechniania projektu, zgodnoÊç tematyki sta˝u z uprzednio zawartà umowà, przyrost wiedzy beneficjentów, wartoÊç dodana, jakoÊç i ocena zaj´ç, organizacja transportu i warunków pobytu na sta˝u. Sposób prowadzenia ewaluacji uzale˝niony b´dzie od rodzaju ewaluowanej cechy. B´dzie to zatem kontrola przeprowadzonych dzia∏aƒ przygotowania pedagogicznego, kulturowego i j´zykowego, zbieranie trwa∏ych efektów (wycinki gazet, taÊmy z nagraniami) procesu upowszechniania, porównanie tematyki faktycznie odbytych zaj´ç z tematykà okreÊlonà umowà, rozmowa z beneficjentami na tematy merytoryczne sta˝u,

25

Ewaluacja Projektów Programu Leonardo da Vinci

okreÊlenie tematów, które zostanà przez uczniów wskazane jako zupe∏na nowoÊç.

Uczestnicy zostanà zobligowani do wype∏nienia kwestionariusza ankiety, w której opiszà swe ogólne wra˝enia z pobytu na sta˝u, organizacj´ partnera, korzyÊci, jakie wynieÊli z uczestnictwa, oraz w∏asne propozycje zmian i ulepszeƒ. Rezultaty oceny ewaluacyjnej b´dà wykorzystane przy organizacji nast´pnych wyjazdów sta˝owych”.

II.6 Jak przeprowadziç ewaluacj´?

Po okreÊleniu celu ewaluacji i jej zakresu mo˝na rozpoczàç kolejne etapy, których w∏aÊciwe zrealizowanie gwarantuje jej jakoÊç i u˝ytecznoÊç. Etapy te, jak ju˝ podano we wczeÊniejszym rozdziale, to: r projektowanie, czyli sformu∏owanie koncepcji badania, r gromadzenie i analiza danych, r ocena.

Wybór metod nale˝y do promotora, ale w du˝ej mierze zale˝y od rodzaju sformu∏owanych pytaƒ ewaluacyjnych. Podane w poradniku podstawowe informacje metodologiczne powinny byç pomocne w dokonaniu tego wyboru.

Nale˝y tak˝e pami´taç o obowiàzujàcych kryteriach, którymi (jak ju˝ opisano) sà:

r TrafnoÊç ocena stopnia, w jakim przyj´te cele projektu odpowiadajà rzeczywistym potrzebom i oczekiwaniom beneficjentów;

r EfektywnoÊç r ocena, czy poszczególni partnerzy wykonujà zadania zgodne z ich rolà i kompetencjami oraz czy robià to we w∏aÊciwy sposób; r ocena, czy realizowane dzia∏ania sà prowadzone w optymalny sposób, tzn. czy ich koszty (finansowe, czasowe) równowa˝à korzyÊci z nich p∏ynàce;

r SkutecznoÊç r ocena roli poszczególnych partnerów w osiàganiu za∏o˝onych celów projektu; r ocena stopnia, w jakim zosta∏y osiàgni´te cele projektu, zdefiniowane na etapie planowania;

r Oddzia∏ywanie/wp∏yw ocena, czy i w jakim stopniu realizacja projektu b´dzie mog∏a oddzia∏ywaç na otoczenie i wywo∏ywaç w nim zmiany;

r Trwa∏oÊç

efektów

r ocena, czy zapoczàtkowana wspó∏praca stron b´dzie kontynuowana po zakoƒczeniu realizacji projektu; r diagnoza, czy udzia∏ w projekcie przyniesie beneficjentom rezultat w postaci trwa∏ej zmiany.

26

II

Strategia ewaluacji projektów Leonardo da Vinci

II.7 Kto ma prowadziç ewaluacj´?

W projektach Leonardo da Vinci stosowane sà zarówno ewaluacje wewn´trzne, jak i ewaluacje zewn´trzne.

Wi´kszoÊç ewaluacji prowadzona jest przez promotorów projektów lub partnerów, cz´sto przy pomocy ewaluatorów zewn´trznych.

Decyzja o tym, kto ma prowadziç ewaluacj´, powinna byç oparta na analizie szeregu czynników, takich jak: kompetencje realizatorów projektu w zakresie prowadzenia ewaluacji, z∏o˝onoÊç projektu, Êrodki finansowe.

Je˝eli promotor zdecyduje si´ na prowadzenie ewaluacji wewn´trznej, to powinien wyznaczyç do tego zespó∏, który b´dzie mia∏ odpowiedni czas i Êrodki do przeprowadzenia ewaluacji. Osoby te powinny znaç podstawowe metody badawcze i umieç Êledziç post´py projektu w stosunku do wyznaczonych celów, a tak˝e prezentowaç je w odpowiedniej formie. Wa˝ne jest, by ewaluatorzy nie zarzàdzali projektem, gdy˝ pozwoli to na wi´kszà obiektywnoÊç i niezale˝noÊç ewaluacji. Jest to proste w du˝ych organizacjach czy placówkach edukacyjnych. Oddzielenie tych ról w ma∏ych organizacjach cz´sto nie jest mo˝liwe.

W takich wypadkach nale˝y rozwa˝yç mo˝liwoÊç zlecenia ewaluacji osobie z zewnàtrz lub powierzenia takiej osobie tej cz´Êci zadaƒ, które sà trudne dla realizatorów projektu np. analiza i interpretacja danych. Za ewaluacjà wewn´trznà w projektach Leonardo da Vinci przemawia w du˝ej mierze fakt, ˝e z beneficjentami w czasie sta˝u przebywajà opiekunowie, którzy mogà Êledziç na bie˝àco post´py projektu i obserwowaç osiàgane rezultaty, a tak˝e w przysz∏oÊci – majàc kontakt z beneficjentami – Êledziç korzyÊci, jakie przyniós∏ im projekt.

Przeprowadzenie ewaluacji w wielu przypadkach powierzane jest partnerom projektu lub organizacjom poÊredniczàcym. Majà oni cz´sto doÊwiadczenie w ewaluacji projektów LdV i mogà jà wykonaç poprawnie, w takich wypadkach niezb´dna jest jednak Êcis∏a wspó∏praca promotora projektu, który zna potrzeby beneficjentów i jest najbardziej zainteresowany wykorzystaniem wyników ewaluacji. Cz´sto ewaluacje prowadzone przez organizacje poÊredniczàce sà poprawne, ale bardzo schematyczne, nie dajàce wielu korzyÊci i konkretnych wniosków oraz rekomendacji.

Niezale˝nie od tego, czy ewaluacj´ prowadzi organizacja promotora, czy nawet bardziej znajàcego metody i techniki ewaluacji partnera projektu, ewaluacja taka zawsze obarczona jest ryzykiem subiektywizmu. Ewaluacja partnerska, przy dobrym podziale zadaƒ i komunikacji mi´dzy partnerami, powinna przynieÊç zadowalajàce rezultaty. Dobrym rozwiàzaniem jest powo∏anie grupy doradczej, sk∏adajàcej si´ z partnerów spo∏ecznych i bran˝y, którzy zapewnià wi´kszy obiektywizm i cz´sto lepszy poziom ewaluacji. OczywiÊcie pomoc w zakresie ewaluacji oraz w innych sprawach zwiàzanych z realizacjà projektu zawsze mo˝na uzyskaç w Narodowej Agencji Programu.

Je˝eli promotor decyduje si´ na zaanga˝owanie ewaluatora zewn´trznego, to powinien przede wszystkim poznaç jego kompetencje i doÊwiadczenie w ewaluacji projektów, a tak˝e przekazaç wszystkie informacje na temat projektu, tak by ewaluator móg∏ zrozumieç cele projektu i dokonaç ewaluacji, która spe∏ni zak∏adanà w projekcie rol´. Dotyczy to okreÊlenia celu ewaluacji i jej zakresu, czasu przeprowadzenia (wst´pna, bie˝àca, koƒcowa), wyboru najlepszych metod uzyskania informacji, oczekiwanych rezultatów.

Nale˝y tak˝e ustaliç z ewaluatorem, jakie dokumenty informacyjne zostanà mu przekazywane, kto b´dzie w∏àczony w proces ewaluacji, kto b´dzie odbiorcà wyników badania ewaluacyjnego.

27

Ewaluacja Projektów Programu Leonardo da Vinci

Sucho brzmiàce fakty na temat ewaluacji, a zw∏aszcza technik i metod badawczych, nabierajà rumieƒców w trakcie jej starannego realizowania i dostosowywania do potrzeb planowanego projektu. W trakcie jednej z dyskusji nad strategià ewaluacji projektów porównano projekt do edukacyjnej wycieczki autokarem, której plan i program nakreÊli∏ na mapie kierownik wycieczki, zaznaczajàc na niej wszystkie wa˝ne punkty oraz zadania i czynnoÊci, które w czasie podró˝y wykonywaç b´dà zarówno uczestnicy, jak i opiekunowie.

Ewaluacjà okreÊlono spotkanie informacyjne (ewaluacja ex ante), na którym rodzice uczestników zadawali pytania, czy ta wycieczka jest dobrze przygotowana, jakie sà warunki uczestnictwa, jaki jest stopieƒ trudnoÊci, jak zapewniono warunki bezpieczeƒstwa, czy kierowca jest odpowiednio doÊwiadczony, ilu b´dzie opiekunów i wreszcie jakie korzyÊci przyniesie uczniom ta wycieczka i ile to b´dzie kosztowaç. Po powrocie powtórne zebranie pozwoli na „ewaluacj´ koƒcowà” przy udziale wszystkich zaanga˝owanych stron i wyciàgni´cie wniosków. Patrzàc na ewaluacj´ w ten sposób, w∏àczajàc w nià wszystkich uczestników projektu, pokazujàc jej u˝ytecznoÊç, mo˝na jà potraktowaç jako przygod´ edukacyjnà.

28

ex ante III Ewaluacja zarzàdzania projektem Ewaluacja jest nieroz∏àcznà cz´Êcià procesu zarzàdzania projektem. Prowadzona powinna byç na wszystkich etapach zarzàdzania projektem. Na ka˝dym z nich spe∏nia jednak innà funkcj´.

Celem ewaluacji ex ante zarzàdzania projektem jest optymalizacja sprawnoÊci i jakoÊci dzia∏ania poprzez weryfikacj´ zaplanowanego sposobu wdra˝ania projektu na ka˝dym etapie jego realizacji. W wi´kszoÊci zg∏oszonych wniosków projektów programu Leonardo da Vinci mo˝na zauwa˝yç przekonanie, ˝e do sukcesu projektu wystarczà wiedza techniczna i pe∏ne zaanga˝owanie bli˝ej nieokreÊlonych realizatorów. Choç zarzàdzanie intuicyjne mo˝e wydawaç si´ proste, nie jest to najbardziej efektywne podejÊcie do zarzàdzania projektami. Dzieje si´ tak dlatego, ˝e projektów cz´sto nie mo˝na zaplanowaç i zrealizowaç „na ostatnià chwil´”. Prowadziç to mo˝e do niepotrzebnego stresu, licznych zmian, konfliktów i wi´kszego prawdopodobieƒstwa niepowodzenia.

JeÊli projekt jest niewielki i prosty, mo˝na post´powaç bardzo nieformalnie i planowaç intuicyjnie. PodejÊcie ad hoc jest cz´sto odpowiednie. Plan mo˝e byç wyra˝ony jako prosta lista dzia∏aƒ. Gdy uczestnicy projektu sà nieliczni i dobrze si´ znajà, komunikacja oraz kontrola sà ∏atwe, nie potrzeba formalnych kontraktów i uzgodnieƒ.

Projekty takie mogà byç z sukcesem realizowane przez osoby majàce niewielkie doÊwiadczenie w zarzàdzaniu projektami.

Im projekt jest wi´kszy, bardziej skomplikowany, tym wi´ksza jest potrzeba formalnoÊci.

FormalnoÊç powoduje dyscyplin´, czyli pisemne umowy, regularnà, oficjalnà komunikacj´, wyraêny podzia∏ zadaƒ i odpowiedzialnoÊci. Zarzàdzajàc du˝ym projektem, nale˝y przewidzieç odpowiednià iloÊç czasu na koordynacj´ i kontrol´.

Bez wzgl´du na to, czy projekt jest ma∏y czy z∏o˝ony, nale˝y pami´taç, ˝e jest to praca wykonywana z myÊlà o realizacji celu w ograniczonym czasie i przy okreÊlonych kosztach. Warto wi´c zadbaç o to, by przed z∏o˝eniem do Narodowej Agencji Programu wniosek móg∏ byç oceniony w oparciu o okreÊlone kryteria programu i okreÊlone zasady oraz techniki planowania projektu. Sposób zarzàdzania jest jednym z kluczowych elementów projektu i dlatego nale˝y poÊwi´ciç mu wi´cej uwagi.

III.1

Zarzàdzanie projektem Projektem zarzàdza si´ od momentu zapoczàtkowania – kiedy ktoÊ og∏asza ide´, która pewnego dnia mo˝e staç si´ projektem – do momentu zamkni´cia, czyli zakoƒczenia projektu.

Zarzàdzanie projektem to stosowanie okreÊlonych zasad oraz technik do planowania i kontrolowania prac nad projektem. Nie ma gotowych recept, których przestrzeganie gwarantowa∏oby dobry wynik. Potrzebna jest umiej´tnoÊç dostosowywania stopnia i stylu zarzàdzania do specyfiki projektu i bie˝àcej sytuacji. Celem niniejszego rozdzia∏u nie jest przedstawienie sposobu i konkretnych narz´dzi do zarzàdzania projektami. PoÊwi´cona temu by∏a poprzednia publikacja FRSE. Celem niniejszego opracowania jest zwrócenie uwagi na metody zarzàdzania projektem z punktu widzenia ewaluacji i opisanie podstawowych zasad, które warto zastosowaç, aby przedstawiony wniosek móg∏ byç pozytywnie oceniony.

29

Ewaluacja Projektów Programu Leonardo da Vinci

Wi´kszoÊcià projektów Leonardo da Vinci zarzàdzajà osoby w pewnym sensie „przypadkowe,” które zdecydowa∏y si´ na realizacj´ projektu obok innej dzia∏alnoÊci podstawowej. Najcz´Êciej promotorzy czy koordynatorzy projektu majà doÊwiadczenie w realizacji projektów edukacyjnych, sà z natury dobrymi koordynatorami i majà du˝e zdolnoÊci komunikacyjne. Bardzo cz´sto wykonujà Êwietnà prac´, mimo ˝e nie zostali przeszkoleni w dziedzinie zarzàdzania projektami. Wynika to stàd, ˝e prawid∏owe zarzàdzanie jest w du˝ej mierze pochodnà zdrowego rozsàdku. Nale˝y sàdziç, ˝e wyniki ich pracy by∏yby lepsze, gdyby posiadali tak˝e wiedz´ w zakresie zarzàdzania projektami.

Czym jest zarzàdzanie projektem?

Jest to zastosowanie szerokiej gamy umiej´tnoÊci do prawid∏owego zainicjowania, zaplanowania, realizacji, kontrolowania i zamkni´cia projektu.

Podstawowe umiej´tnoÊci zarzàdzania to opisywanie i uzgadnianie celów i wymagaƒ projektu, tworzenie planu, harmonogramu i szacowanie. Do tego dochodzi radzenie sobie z ryzykiem i niepewnoÊcià, zarzàdzanie jakoÊcià, komunikacja, zarzàdzanie w∏asnym czasem i wspó∏praca z innymi. Przy tym wszystkim nale˝y pami´taç, ˝e osiàgni´cie rezultatów i za∏o˝onych celów musi si´ odbyç w ograniczonym czasie i przy okreÊlonych kosztach.

W niniejszej publikacji termin rezultat oznacza bezpoÊredni i natychmiastowy efekt zrealizowanych dzia∏aƒ. Rezultaty dostarczajà informacji o zmianach, jakie nastàpi∏y w wyniku wdro˝enia projektu. W uzasadnieniu projektu podstawowà wartoÊç projektu stanowi przedstawienie sposobu wykorzystania rezultatu.

Aby umieÊciç projekt i zarzàdzanie projektem w praktycznym kontekÊcie, warto spojrzeç na nie z perspektywy systemowej. Perspektywa ta zak∏ada, ˝e wszystko odbywa si´ w systemie wp∏ywajàcych na siebie nawzajem ludzi, organizacji, obiektów i procesów. Zmiana dzia∏ania w jednym punkcie projektu mo˝e wp∏ywaç na inne jego cz´Êci. Specyfika projektów Leonardo da Vinci, zw∏aszcza realizowanych z nieznanym partnerem, powoduje szereg niewiadomych, które mogà wp∏ywaç na efekty. Im lepiej mo˝na przewidzieç efekt zmian, tym wi´kszà zyskuje si´ kontrol´ nad prowadzeniem projektu w okreÊlonym kierunku. Nikt jednak nie mo˝e przewidzieç wp∏ywu jakiegoÊ dzia∏ania ze stuprocentowà dok∏adnoÊcià.

Kluczowe zasady zarzàdzania projektami W projektach Leonardo da Vinci kluczowym, jeÊli nie najwa˝niejszym, czynnikiem sukcesu jest efektywna komunikacja pomi´dzy wszystkimi uczestnikami projektu. Komunikacja wp∏ywa na wszystkie aspekty zarzàdzania. Ka˝dy projekt wymaga Êwiadomie zaplanowanego procesu komunikacji z jasno zdefiniowanymi oczekiwaniami, rolami i obowiàzkami.

Proste fakty bywajà zniekszta∏cane lub przeoczane, dopóki nie spowodujà powa˝nych konfliktów albo b∏´dów. Ci, którzy zak∏adajà, ˝e osiàgni´to porozumienie w kwestii definicji celów, programu merytorycznego, odpowiedzialnoÊci albo w innych wa˝nych sprawach, mogà si´ póêniej przekonaç, ˝e zgoda by∏a tylko pozorna. Bardzo cz´sto przyczynà tego sà bariery j´zykowe.

Komunikacja pozostaje niezwykle istotna podczas planowania projektu, kiedy negocjuje si´ z partnerami i szczegó∏owo opisuje zarówno oczekiwany rezultat, jak i metod´ realizacji projektu. Komunikacja w fazie wst´pnej i fazie planowania skupia si´ na tym, dlaczego nale˝y zrealizowaç projekt, jaki b´dzie jego wp∏yw, kto b´dzie w niego zaanga˝owany, jaki b´dzie podzia∏ w∏adzy i odpowiedzialnoÊci, jak b´dà zorganizowani uczestnicy, jakich procedur b´dà przestrzegaç, ile b´dzie kosztowa∏ projekt, jak d∏ugo b´dzie realizowany oraz jaki jest poziom ryzyka i niepewnoÊci.

30

III

Ewaluacja ex ante zarzàdzania projektem

Znaczna cz´Êç komunikacji ma charakter nieformalny i ustny, ale materia∏y pisemne sà niezb´dne do dokumentowania problemów, wniosków i planów dzia∏ania. Zebrania powinny byç dobrze zaplanowane, a ich wyniki udokumentowane. Pisemna dokumentacja powinna byç ograniczona do minimum, ale kluczowe informacje muszà byç okreÊlone na piÊmie.

W projekcie mo˝na u˝ywaç zarówno poczty e-mail i nieformalnych pism, jak i formalnej dokumentacji w postaci standardowych formularzy i szablonów. IloÊç i forma dokumentacji zale˝à od wymogów formalnych programu, natury projektu i jego Êrodowiska.

Podczas realizacji i monitorowania projektu oraz aktualizowania planu nale˝y gromadziç, podsumowywaç i rozpowszechniaç dane, które z odpowiednià szczegó∏owoÊcià informujà o post´pach projektu (albo o braku post´pów). Dok∏adnoÊç i rzetelnoÊç tych informacji majà kluczowe znaczenie dla osób, które prowadzà ewaluacj´ projektu i kierujà projektem.

Kiedy projekt jest zamykany, komunikacja pozwala si´ upewniç, ˝e rezultat jest do przyj´cia. Komunikacja w fazie zamykania gwarantuje te˝, ˝e odpowiedzialnoÊç za rezultat b´dzie przypisana w∏aÊciwym osobom i ˝e nabyta wiedza zostanie przekazana wszystkim zainteresowanym stronom.

Podstawy powodzenia projektów Istnieje sta∏y zbiór zasad, które stanowià fundament udanych projektów. Stosuje si´ je w fazie inicjowania, planowania, realizacji, kontrolowania i zamykania projektu. Poszczególne zasady wzajemnie si´ przenikajà.

Centralnym elementem tej strategii jest zasada realistycznego podejÊcia, które zale˝y od efektywnego planowania. Pozwala to na efektywniejsze kszta∏towanie oczekiwaƒ.

Przygotowujàc wniosek, nale˝y opracowaç „realistyczny” plan, którego mo˝na b´dzie u˝ywaç jako miernika post´pów i zmian projektu. Nierealistyczne planowanie prowadzi do niemo˝noÊci wype∏nienia zobowiàzaƒ. Dobry plan pozwala oceniç, czy cele projektu da si´ zrealizowaç w terminie i bez przekraczania kosztów przy dost´pnych zasobach oraz zak∏adanym sposobie realizacji projektu.

Kolejne podstawowe zasady, z których wywodzà si´ wszystkie inne, to obiektywnoÊç oraz zarzàdzanie sytuacyjne. Sta∏e ulepszanie dotyczy zarzàdzania projektami tak jak ka˝dego innego dzia∏ania, poniewa˝ pozwala eliminowaç niedociàgni´cia i w praktyczny sposób dà˝yç do perfekcji.

Efektywne planowanie Planowanie jest najbardziej centralnym i krytycznym aspektem zarzàdzania projektem.

Przygotowuje scen´, na której b´dzie si´ rozgrywa∏ projekt. Podczas planowania komunikacja, wspó∏praca i budowanie zespo∏u ∏àczà si´ z zarzàdzaniem ryzykiem i niepewnoÊcià. Gotowy plan b´dzie punktem odniesienia, s∏u˝àcym do kierowania projektem, monitorowania jego realizacji oraz ewaluacji. Planowanie zaczyna si´ w momencie podj´cia decyzji o realizacji projektu i przystàpienia do opracowania wniosku.

Zdarzajà si´ wnioski, w których pomija si´ plan projektu lub przedstawia w bardzo lakonicznej formie, nienadajàcej si´ do oceny. Planowanie jest cz´Êcià prawdziwej pracy.

Plan powinien zawieraç definicj´ rezultatu, okreÊlaç sposób realizacji projektu oraz szacunkowy koszt, czas i zasoby.

31

Ewaluacja Projektów Programu Leonardo da Vinci

Planowanie sk∏ada si´ z nast´pujàcych etapów:

r Identyfikacja celów i wymagaƒ r OkreÊlenie standardów i procedur u˝ywanych w projekcie r Identyfikacja i opis dzia∏aƒ r Szacowanie i przydzia∏ pracy r Optymalizacja r Aktualizowanie planu Rozdzia∏ ten nie opisuje, jak wykonuje si´ ka˝dy z tych etapów planowania. Przedstawia tylko kluczowe zasady planowania, wa˝ne z punktu widzenia ewaluacji projektu.

Etapy planowania nie sà realizowane w prostej sekwencji. Na rezultat ka˝dego etapu wp∏ywajà rezultaty poprzednich etapów. Dzia∏a to równie˝ w drugà stron´. Na przyk∏ad, choç trzeba oszacowaç iloÊç pracy, aby utworzyç harmonogram, to tworzenie harmonogramu i przydzielanie zasobów mo˝e wymusiç zmiany w szacunkach i celach.

Optymalizowanie planu mo˝e wymagaç korekty celów i wymagaƒ. Ju˝ na etapie tworzenia planu pracy b´dzie wiadomo, ˝e niektóre zaznaczone we wniosku cele projektu sà przewidziane zbyt szeroko i nie b´dà mog∏y byç zrealizowane, gdy˝ nie przewidziano okreÊlonych dla ich realizacji wymagaƒ. Np. je˝eli jednym z celów projektu jest „poprawa pod wzgl´dem iloÊciowym i jakoÊciowym wspó∏pracy pomi´dzy instytucjami lub organizacjami oferujàcymi mo˝liwoÊci kszta∏cenia, przedsi´biorstwami, partnerami spo∏ecznymi i innymi w∏aÊciwymi podmiotami w Europie”, a uczestnikami sta˝u zagranicznego sà uczniowie, którzy jadà bez opiekunów merytorycznych sta˝u, trudno b´dzie osiàgnàç zak∏adany cel. Byç mo˝e po analizie nale˝y z niego zrezygnowaç lub zaplanowaç odpowiednie dzia∏ania.

r Identyfikacja

celów i wymagaƒ

Planowanie zaczyna si´ od jasnej definicji celów i wymagaƒ, z którymi zgodzà si´ wszystkie zaanga˝owane osoby. Trzeba pogodziç si´ z tym, ˝e cz´sto nie da si´ zdefiniowaç wymagaƒ w taki sposób, aby nie zmieni∏y si´ one w trakcie projektu. To jedna z przyczyn, dla których tak istotne jest akceptowanie i kontrolowanie zmian.

r OkreÊlenie standardów i procedur u˝ywanych w projekcie Chodzi tu o upewnienie si´, ˝e standardy i procedury sà przystosowane do potrzeb projektu i zaakceptowane przez grup´ partnerskà. Nale˝y unikaç biurokracji, a jednoczeÊnie narzuciç elastycznà i praktycznà struktur´. Partnerzy, aby uniknàç nieporozumieƒ i konfliktów podczas projektu. muszà uzgodniç mi´dzy sobà metody komunikacji, przydzia∏u pracy, rozwiàzywania problemów, uwzgl´dniania zmian i kontroli jakoÊci.

r Identyfikacja

i opis dzia∏aƒ oraz ich rezultatów

G∏ównà zasadà jest tu zidentyfikowanie wszystkich prac na ró˝nych poziomach szczegó∏owoÊci i opisanie ich w kategoriach serii rezultatów czy te˝ wyników.

Najcz´Êciej jest to lista zadaƒ, która okreÊla najwa˝niejsze prace, a nast´pnie dzieli je na czynnoÊci, zadania i etapy.

JeÊli zaplanowane rezultaty sà konkretne, to mo˝na oceniç ich kompletnoÊç oraz prawid∏owoÊç. Subiektywne opinie wnioskodawcy na temat tego, czy jakieÊ zadanie b´dzie wykonane czy nie, nie dajà podstaw do oceny projektu.

32

III

Ewaluacja ex ante zarzàdzania projektem

r Szacowanie i przydzia∏ pracy Realizm w planowaniu projektu polega na szacowaniu prac w taki sposób, aby istnia∏o du˝e prawdopodobieƒstwo, ˝e rezultat zostanie osiàgni´ty w wyznaczonym terminie i przy wykorzystaniu posiadanych zasobów.

Planowanie wymaga realistycznej oceny, czy rzeczywiÊcie wszystkie zaplanowane dzia∏ania b´dà byç mog∏y zrealizowane we w∏aÊciwy sposób i w odpowiednim czasie.

Nie nale˝y zak∏adaç, ˝e osoby przyjmujàce beneficjentów, które majà swojà podstawowà prac´, poÊwi´cà ca∏y swój czas naszemu projektowi. Dlatego zw∏aszcza w projektach mobilnoÊci nale˝y zwróciç szczególnà uwag´ na dobre zaplanowanie i nadzór merytoryczny nad przebiegiem sta˝u. Firmy poÊredniczàce, których g∏ównà dzia∏alnoÊcià jest organizacja sta˝y, dbajà o technicznà stron´ sta˝u, pomijajàc inne elementy, które majà du˝y wp∏yw na osiàgni´cie zaplanowanych celów. Cz´sto nie majà odpowiedniego przygotowania merytorycznego, by podjàç niektóre obowiàzki.

Planowanie nie koƒczy si´, dopóki projekt nie zostanie sfinalizowany. Plan powinien dok∏adnie odzwierciedlaç prac´, która musi byç wykonana. Jest to punkt odniesienia, dzi´ki któremu mo˝na ustaliç, czy projekt spe∏nia oczekiwania i co trzeba zrobiç, aby wszystko toczy∏o si´ zwyk∏ym torem.

Zarzàdzanie relacjami Ludzie stanowià najbardziej krytyczny element projektu i najtrudniej si´ nimi zarzàdza.

Relacje mi´dzyludzkie sà skomplikowane. W projektach bywajà jeszcze bardziej z∏o˝one, bo uczestnicy projektu wspó∏pracujà ze sobà tylko tymczasowo. Relacje komplikujà si´, kiedy uczestnicy projektu pochodzà z ró˝nych organizacji i ró˝nych kultur.

W projektach Leonardo da Vinci w coraz wi´kszym stopniu zarówno promotorzy, jak i partnerzy majà umiej´tnoÊci i doÊwiadczenia dostosowane do potrzeb projektu. We wnioskach, gdzie partnerzy ju˝ realizowali wspólnie projekty, widaç jasno zdefiniowane role, obowiàzki i odpowiedzialnoÊç. Wyznaczenie i uzgodnienie ról oraz obowiàzków pozwala zredukowaç niepewnoÊç, koniecznoÊç przeróbek i prawdopodobieƒstwo przeoczenia niektórych spraw. Ma to szczególne znaczenie, gdy partner nie jest znany i niesprawdzony we wspó∏pracy.

Ludêmi nale˝y zarzàdzaç za pomocà „umów”. Umowa nie musi byç legalnie wià˝àca, ale powinna byç sporzàdzona na piÊmie. W zale˝noÊci od potrzeb projektu mo˝e to byç wiadomoÊç e-mail albo formalny dokument okreÊlajàcy role i obowiàzki. Umowa stwierdza, co ma byç wykonane, w jakim terminie, przez kogo i na jakich warunkach.

Osobista odpowiedzialnoÊç oznacza, ˝e kiedy praca zostanie przydzielona, jej wykonywanie jest raportowane w sposób jasny i regularnie, nic nie pozostaje ukryte. Je˝eli zaistniejà jakieÊ problemy, pozwoli to na obiektywnà analizà przyczyn i ich skutków. Przyk∏adem takiej umowy, poza tymi, które sà formalnie wymagane w programie, mo˝e byç umowa z opiekunami beneficjentów. Umowa, taka opisana w formularzu wniosku, jest podstawà do oceny sposobu opieki nad beneficjentamii jednoczeÊnie informacjà dla beneficjentów dajàcà im wi´ksze poczucie bezpieczeƒstwa w odmiennych Êrodowiskowo warunkach.

Ludzie majà ró˝ne osobowoÊci. Konflikty interpersonalne mo˝na ∏agodziç za pomocà otwartej komunikacji przez ca∏y czas trwania projektu. Dla beneficjentów niezwykle wa˝ne do kszta∏towania relacji w mi´dzynarodowym Êrodowisku jest dobrze zaplanowane i zrealizowane przygotowanie kulturowe, j´zykowe i pedagogiczne. AdekwatnoÊç i jakoÊç tego przygotowania majà du˝e znaczenie z punktu widzenia ewaluacji.

33

Ewaluacja Projektów Programu Leonardo da Vinci

Kszta∏towanie oczekiwaƒ Sukces projektu cz´sto definiuje si´ jako stopieƒ, w jakim zosta∏y spe∏nione oczekiwania wszystkich uczestników projektu.

Ka˝dy powinien wiedzieç, czego ma si´ spodziewaç po projekcie. Co ma byç osiàgni´te, kiedy i za ile. Im wi´cej otwartej i szczerej komunikacji dotyczàcej rzeczywistych potrzeb uczestników projektu oraz prawdopodobieƒstwa ich zaspokojenia, tym lepiej.

Wniosek powinien byç przygotowany z takà szczegó∏owoÊcià, aby mo˝na by∏o oceniç, jakie rezultaty spe∏nià wyznaczone cele i czy wykonawcy i beneficjenci projektu dobrze rozumiejà cele projektu i programu.

Rozpoznanie i zaakceptowanie niepewnoÊci — zarzàdzanie ryzykiem Nie mo˝na przewidzieç rezultatów projektu ze stuprocentowà dok∏adnoÊcià. JeÊli chcemy zwi´kszyç prawdopodobieƒstwo sukcesu naszych projektów, musimy oceniç stopieƒ niepewnoÊci i odpowiednio si´ do tego przygotowaç.

Efektywne planowanie projektu uwzgl´dnia ryzyko i niepewnoÊç. Oznacza to, ˝e w planie trzeba uwzgl´dniç zdarzenia, które mogà zak∏óciç projekt, przeanalizowaç prawdopodobieƒstwo ich wystàpienia, przewidzieç ich wp∏yw i zdefiniowaç odpowiednie reakcje. Projekty majà charakter dynamiczny, wi´c z ryzykiem trzeba sobie radziç przez ca∏y czas trwania projektu. Dobrym punktem wyjÊcia jest stale aktualizowana lista kontrolna spraw, które cz´sto si´ udajà.

Dobre planowanie powinno przewidzieç rezerwy na szacowanie, monitorowanie i wprowadzanie oczekiwanych zmian. Zawsze konieczne sà jakieÊ zmiany. Wszystkie zmiany winny byç kontrolowane. Ka˝da zmiana musi zostaç udokumentowana, uzasadniona i zaakceptowana przez upowa˝nionà osob´. Zasady te powinny byç ustalone w ramach ustaleƒ obowiàzków i odpowiedzialnoÊci partnerów. W niektórych wypadkach zmiany muszà byç zaakceptowane przez Narodowà Agencj´ Programu.

Sta∏e ulepszanie zarzàdzania projektami Proces zarzàdzania projektami, podobnie jak wszystkie inne procesy zarzàdzania, powinien byç stale ulepszany.

Organizacje „uczà si´” podobnie jak ludzie. Zarzàdzanie projektem wià˝e si´ z procesem edukacyjnym. Ka˝dy wykonany projekt to okazja do nauczenia si´, jak mo˝na efektywniej zrealizowaç nast´pny projekt. Nale˝y regularnie oceniaç realizacj´ dzia∏aƒ podczas trwania projektu oraz po jego zakoƒczeniu. Trzeba publikowaç wyniki, aby informowaç innych o pu∏apkach i o zalecanych praktykach. Realistyczny plan upowszechnienia projektu jest wa˝nym elementem ewaluacji.

34

III

III.2

Ewaluacja ex ante zarzàdzania projektem

Analiza zaplanowanego sposobu zarzàdzania projektem Przedstawione powy˝ej aspekty zarzàdzania projektem powinny byç pomocne do dokonania oceny sporzàdzonego wniosku oraz omówienia i uzgodnienia z partnerami potrzeby i mo˝liwoÊci wprowadzenia zmian.

Ocen´ t´ mo˝na zrobiç, wykorzystujàc np. analiz´ SWOT lub list´ kontrolnà do oceny jakoÊci projektu. Lista kontrolna mo˝e byç zbudowana na podstawie poszczególnych sekcji formularza wniosku zg∏oszeniowego. Lista uzgodnionych zmian powinna byç dostarczona ka˝demu z partnerów. Po akceptacji zmian przez partnerów nale˝y dokonaç korekty sposobu zarzàdzania.

Poni˝ej podane sà przyk∏adowe pytania, na które nale˝y znaleêç odpowiedzi, dokonujàc oceny ex ante: r Czy przedstawiony sposób zarzàdzania projektem jest dobrze przemyÊlany? r Czy definiuje g∏ówne decyzje, informacje i odpowiedzialnoÊci na ka˝dym etapie? r Czy poÊwi´cono w nim dostatecznie du˝o troski sprawom zarzàdzania? r Czy etapy projektu sà progresywne ? r Czy kierownik projektu ma odpowiednie doÊwiadczenie w zarzàdzaniu projektem? r Czy zespó∏ posiada odpowiednie kompetencje do realizacji projektu? r Czy cele projektu sà jednakowo rozumiane przez zespó∏ realizujàcy projekt? r Czy struktura zadaniowa jest dostosowana do potrzeb projektu? r Czy istnieje odpowiednio opracowany plan pracy? r Czy istnieje harmonogram zadaƒ? r Czy bud˝et projektu wype∏niono starannie? r Czy kalkulacja bud˝etowa odzwierciedla koszty przewidzianych w ramach projektu dzia∏aƒ? r Czy przewidywane rezultaty projektu sà w∏aÊciwie opisane? r Czy plan upowszechniania rezultatów projektu jest konkretny i skierowany do w∏aÊciwych odbiorców?

Materia∏em, w oparciu o który promotor mo˝e opracowaç odpowiednie dla projektu pytania ewaluacyjne oraz kontrolnà list´ jakoÊci projektu, mo˝e te˝ byç formularz wniosku zg∏oszeniowego dla konkretnej akcji programu LdV.

35

IV Ewaluacja szkolenia/sta˝u IV.1 Cel ewaluacji szkolenia/sta˝u Ewaluacja projektu szkoleniowego jest procesem mierzenia zmian, jakie zasz∏y od poczàtku realizacji szkolenia a˝ do skutecznego zastosowania nowo pozyskanej wiedzy i umiej´tnoÊci.

Realizacja szkolenia czy sta˝u jest kluczowym elementem programu Leonardo da Vinci.

Ewaluacja tego elementu projektu pozwoli na uzyskanie odpowiedzi, czy projekt osiàgnà∏ zamierzone cele. W projektach Leonardo da Vinci wiedza ta mo˝e byç wykorzystana w zale˝noÊci od rodzaju projektu w dalszej nauce szkolnej,w karierze zawodowej i spo∏ecznej uczestników, w miejscu pracy.

Celem ewaluacji szkoleƒ/sta˝u b´dzie zbadanie: r czy efektywnie zarzàdzano przyznanymi Êrodkami na realizacj´ programu szkolenia/sta˝u, r czy dany program szkoleniowy zakoƒczy∏ si´ sukcesem, r jakie sà osiàgni´cia programu szkoleniowego, r jaki jest poziom satysfakcji uczestników szkolenia, r jakie sà osiàgni´cia uczestników w obszarze nowo nabytej wiedzy i umiej´tnoÊci, r jak oceniono organizacj´ szkolenia/sta˝u, r jak uczestnicy planujà wykorzystaç zdobytà wiedz´ i doÊwiadczenia.

Ju˝ na etapie projektowania i planowania dzia∏aƒ szkoleniowych nale˝y równolegle myÊleç o sposobie oceny spodziewanych rezultatów.

Proces ewaluacji musi si´ rozpoczàç, zanim jeszcze zacznie si´ szkolenie/sta˝. Musi byç powiàzany z analizà potrzeb szkoleniowych beneficjentów, bran˝y czy regionu. Promotor okreÊlajàc potrzeby szkoleniowe beneficjentów oraz formu∏ujàc cele szkoleniowe projektu, powinien jednoczeÊnie zastanowiç si´, w jaki sposób mo˝na b´dzie oceniç stopieƒ realizacji programu szkoleniowego i osiàgni´cia za∏o˝onych celów. W wielu wnioskach podane sà ogólne informacje, co beneficjenci osiàgnà w wyniku realizacji sta˝u, ale nie ma ˝adnych konkretnych informacji, w jaki sposób to osiàgnà i jak b´dzie dokonana ocena rezultatów szkolenia/sta˝u.

Istotnà sprawà jest, by zarówno w proces planowania, jak i realizacji szkolenia zaanga˝owani byli wszyscy uczestnicy projektu: r promotor/koordynator r partnerzy merytoryczni, w tym organizacje bran˝owe r partnerzy poÊredniczàcy r uczestnicy szkolenia.

Je˝eli partnerem projektu jest organizacja poÊredniczàca, to udzia∏ partnera merytorycznego w planowaniu i realizacji projektu jest niezb´dny.

Planowanie szkoleƒ na zasadach partnerskich przyczyni si´ znacznie do: r trafniejszego doboru programów szkoleniowych, r zaanga˝owania i przychylnoÊci osób kluczowych dla sukcesu przedsi´wzi´cia, r podwy˝szenia wiarygodnoÊci dzia∏aƒ promotorów przy jednoczesnym odcià˝eniu ich z cz´Êci pracy.

36

IV

Ewaluacja szkolenia/sta˝u

IV.2 Metodologia badania ewaluacyjnego Planowanie, projektowanie i przeprowadzenie ewaluacji powinno si´ rozpoczynaç od oceny celów projektu oraz dzia∏aƒ s∏u˝àcych do ich realizacji, wynikajàcych z tego obszarów kompetencji i odpowiedzialnoÊci ka˝dego uczestnika projektu.

Warto przypomnieç, ˝e cel szkolenia jest jasno sprecyzowanym stanem odzwierciedlajàcym potrzeby beneficjentów i innych partnerów w kontekÊcie europejskim, krajowym, regionalnym lub bran˝owym.

Proponowanym podejÊciem mo˝e byç zastosowanie zasady SMART: S (sprecyzowany) – ka˝dy cel musi byç jasno okreÊlony M (mierzalny) – stopieƒ realizacji ka˝dego z wyznaczonych celów musi byç mo˝liwy do zmierzenia A (ambitny) – dla osiàgni´cia wyznaczonych celów musi byç poniesiony pewien wysi∏ek R (realny) – cele muszà byç mo˝liwe do zrealizowania T (terminowy) – realizacja celów musi byç okreÊlona w czasie.

Efektywna ewaluacja powinna zbadaç nast´pujàce kwestie: r Do jakiego stopnia zidentyfikowane potrzeby i cele projektu zosta∏y osiàgni´te? r Do jakiego stopnia cele beneficjentów zosta∏y osiàgni´te? r Czego szczególnie nauczyli si´ beneficjenci, bàdê o jakie elementy wzbogacili swojà wiedz´? r Jak majà zamiar wykorzystaç t´ wiedz´ po zakoƒczeniu szkolenia/sta˝u? r Kto jest odpowiedzialny za uznanie rezultatów szkolenia (walidacja, certyfikacja)? r Jak zaplanowane jest upowszechnienie rezultatów szkolenia/sta˝u?

Przewa˝ajàca wi´kszoÊç systemów ewaluacji szkoleƒ bazuje na modelu stworzonym przez D. Kirkpatricka i jego syna J. Kirkpatricka. Model ten umo˝liwia przeprowadzenie sekwencyjnej ewaluacji szkoleƒ w jej ró˝nych aspektach. Wyznaczajà go cztery poziomy czy inaczej mówiàc obszary ewaluacji. Ka˝dy kolejny poziom dostarcza wi´cej informacji ni˝ poprzedni, jest jednak bardziej pracoch∏onny i skomplikowany. Model ten znajduje tak˝e zastosowanie w ewaluacji projektów Leonardo da Vinci. Jednak nie wszystkie poziomy mogà mieç zastosowanie w ewaluacji projektów mobilnoÊciowych. Zale˝y to od celów projektu, czasu jego trwania i mo˝liwoÊci realizacji przez promotorów.

Poni˝ej przedstawiono zastosowanie poszczególnych poziomów ewaluacji szkoleƒ.

r Poziom

I. Ocena reakcji

Celem ewaluacji na tym poziomie jest zbadanie reakcji uczestników na program. Poziom oceny reakcji s∏u˝y sprawdzeniu stopnia zadowolenia uczestników szkolenia.

Jest to pierwszy krok do oceny efektywnoÊci szkolenia poprzez zbadanie, czy uczestnicy wyra˝ajà si´ o nim pozytywnie. Niezadowolenie uczestników z przebiegu szkolenia (program, warunki, osoby prowadzàce szkolenie, atmosfera i styl prowadzenia zaj´ç) przek∏ada si´ zwykle na ich motywacj´ do uczenia si´ oraz odbiór przekazywanej wiedzy i umiej´tnoÊci.

Najcz´Êciej stosowanym narz´dziem do oceny reakcji sà ankiety wype∏niane na zakoƒczenie szkolenia. Ka˝da organizacja tworzy w∏asny formularz oceny.

37

Ewaluacja Projektów Programu Leonardo da Vinci

Aby mieç jak najpe∏niejszà ocen´ reakcji uczestników, nale˝y: r okreÊliç, czego chcemy si´ dowiedzieç (np. reakcje dotyczàce programu szkolenia, przebiegu praktyk itp.), r zaprojektowaç ankiet´ tak, aby mo˝na by∏o zliczaç reakcje, r uzyskaç od uczestników pisemne komentarze i opinie, r ustaliç akceptowalny poziom Êredniej oceny, r dokonaç pomiaru reakcji i w razie nieosiàgni´cia akceptowalnego poziomu podjàç odpowiednie dzia∏ania, r w razie potrzeby poinformowaç zainteresowane osoby o odnotowanych reakcjach.

1 2 3

4 5 6 7

Pomiar reakcji jest wa˝ny, gdy˝ zainteresowanie, uwaga oraz motywacja uczestników sà bezpoÊrednio zwiàzane z procesem przyswajania wiedzy.

Ewaluacja programu szkoleniowego na poziomie I daje mo˝liwoÊç wniesienia ewentualnych poprawek i niezb´dnych modyfikacji do programu.

Ocena na podstawie ankiety ewaluacyjnej powinna odpowiedzieç na pytanie: W jaki sposób mo˝na dany program szkoleniowy udoskonaliç? Pomocne w tym mogà byç pytania szczegó∏owe takie jak: W jakim stopniu treÊç programu szkoleniowego odpowiada potrzebom jego uczestników?

Czy szkolenie/sta˝ prowadzi kadra wykwalifikowana do prowadzenia tego typu zaj´ç?

Czy podczas szkolenia wykorzystywane sà najefektywniejsze metody podtrzymywania zainteresowania, kszta∏towania w∏aÊciwych postaw, przekazywania wiedzy oraz doskonalenia umiej´tnoÊci?

Czy miejsce, w którym jest organizowane szkolenie, jest odpowiednie?

Czy plan zaj´ç odpowiada uczestnikom projektu?

Czy program szkoleniowy by∏ dobrze koordynowany?

Co jeszcze mo˝na zrobiç w celu zwi´kszenia efektywnoÊci programu szkoleniowego?

Dok∏adna analiza odpowiedzi uzyskanych na powy˝sze pytania umo˝liwi zidentyfikowanie sposobów oraz Êrodków prowadzàcych do podniesienia efektywnoÊci ocenianego programu.

Ocena poziomu I podejmowana jest zazwyczaj z chwilà ukoƒczenia danego szkolenia po wype∏nieniu przez uczestnika ankiety oceny. W niektórych przypadkach badanie takie ma zastosowanie w ewaluacji bie˝àcej projektu.

Trzeba pami´taç, ˝e ta cz´Êç ewaluacji odnosi si´ wy∏àcznie do opinii beneficjenta na temat atmosfery szkolenia, roli prowadzàcych szkolenie/sta˝ i oceny ich wiedzy. OczywiÊcie, pozytywna ocena szkolenia przez uczestnika warunkuje poprawne przyswojenie wiedzy i dalsze jej wykorzystanie w praktyce.

r Poziom

II. Ocena wiedzy

Ten poziom badania ma okreÊliç, jakà wiedz´, umiej´tnoÊci i postawy zdobyli uczestnicy szkolenia/sta˝u.

Ocena procesu uczenia si´ jest trudniejsza i bardziej pracoch∏onna ni˝ ocena reakcji. Jej przeprowadzenie jest istotne, zw∏aszcza w kontekÊcie oceny poziomu III (oceny zmiany zachowaƒ), czyli wykorzystania nabytej wiedzy i umiej´tnoÊci w praktyce.

Ocena procesu uczenia si´ zwiàzana jest z odpowiedzià na nast´pujàce pytania: r Jaka wiedza zosta∏a przyswojona? r Jakie umiej´tnoÊci zosta∏y nabyte lub usprawnione? r Które postawy zosta∏y zmienione?

38

IV

Ewaluacja szkolenia/sta˝u

Aby dokonaç oceny procesu uczenia si´, mo˝na: r stworzyç grup´ kontrolnà (jeÊli to celowe), która nie bra∏a udzia∏u w szkoleniu; – po porównaniu tej grupy z grupà uczestniczàcà w szkoleniu/sta˝u mo˝na zauwa˝yç ró˝nic´ pokazujàcà efekty projektu; r oceniç wiedz´, umiej´tnoÊci i/lub postawy zarówno przed, jak i po szkoleniu/sta˝u – ró˝nice wskazujà na osiàgni´te efekty uczenia si´; r dla pomiaru poziomu wiedzy i postaw mo˝na zastosowaç test pisemny; r w celu pomiaru umiej´tnoÊci mo˝na przeprowadziç test wykonania, czyli poprosiç uczestnika o wykonanie zadania adekwatnego do przekazanej wiedzy i dokonaç obserwacji nabytych umiej´tnoÊci; r wykorzystaç wyniki przeprowadzonej oceny w celu podj´cia odpowiednich dzia∏aƒ np. dla zaproponowanie innych form szkolenia.

Dane powinny byç zebrane od jak najwi´kszej liczby uczestników, poniewa˝ tylko pe∏ne informacje dajà mo˝liwoÊç poprawnego wnioskowania na temat efektów programu szkoleniowego. Zwykle przyjmuje si´, ˝e testy wiedzy powinny byç wykonane przed i po szkoleniu, ale w uzasadnionych przypadkach mo˝na ograniczyç si´ do post-testów. Dotyczy to zw∏aszcza projektów innowacyjnych, nowych zagadnieƒ.

Na tym etapie nale˝y tak˝e uwzgl´dniç doÊwiadczenie osób prowadzàcych szkolenia/sta˝ i poprosiç ich o ocen´ wiedzy i umiej´tnoÊci, które nabyli uczestnicy.

Wyniki ewaluacji efektów szkolenia na poziomie II powinny zostaç podsumowane i uwzgl´dnione na spotkaniach informacyjnych partnerów projektu.

Bardzo wa˝ne jest równie˝, aby informacja zwrotna o wynikach dotar∏a do badanych uczestników szkoleƒ. Pomaga ona korygowaç b∏´dy i wzmocniç dodatkowo skutecznoÊç ewentualnych dalszych projektów.

r Poziom III. Ocena zachowaƒ Trzeci etap procesu ewaluacji szkoleƒ analizuje stopieƒ wykorzystania w praktyce pozyskanej wiedzy i umiej´tnoÊci. Jest on bardziej skomplikowany ni˝ ocena poziomu I i II z kilku powodów: r uczestnicy szkolenia nie sà w stanie zmieniç swojego zachowania, dopóki nie pojawi si´ mo˝liwoÊç wykorzystania tego, czego si´ nauczyli, r nie zawsze mo˝na dok∏adnie okreÊliç moment, w którym wystàpi zmiana zachowania, r uczestnik szkolenia mo˝e spróbowaç zastosowaç nabytà wiedz´ i umiej´tnoÊci, ale mo˝e stwierdziç, ˝e nie ma warunków do jej zastosowania.

Inaczej wi´c b´dzie przebiega∏o badanie uczestników sta˝u, którzy sà uczniami, a inaczej osób pracujàcych lub poszukujàcych pracy.

Aby przeprowadziç ocen´ zachowaƒ, warto zastosowaç nast´pujàce zasady: r stworzyç grup´ kontrolnà (jeÊli to celowe), r poczekaç na moment pojawienia si´ zmian w zachowaniu – ocen´ zachowaƒ powinno si´ przeprowadzaç po kilku tygodniach (nawet miesiàcach), od momentu kiedy uczestnicy zacznà stosowaç nowe metody, r w miar´ mo˝liwoÊci dokonaç oceny zachowaƒ przed i po szkoleniu, r przes∏aç ankiety lub przeprowadziç wywiady z uczestnikami szkolenia, ich prze∏o˝onymi i innymi osobami, które majà okazj´ obserwowaç ich zachowania r powtarzaç proces oceny zachowaƒ w odpowiednich odst´pach czasu – widaç wtedy, jak g∏´boko i trwale dokonujà si´ zmiany zachowaƒ, r porównaç poniesione koszty z uzyskanymi korzyÊciami.

39

Ewaluacja Projektów Programu Leonardo da Vinci

W praktyce podstawowym narz´dziem do badania zachowaƒ sà ankiety. Du˝à popularnoÊcià cieszà si´ obserwacje w rzeczywistych warunkach. Jest to dobra metoda w projektach Leonardo da Vinci, gdy opiekunowie beneficjentów, mogà kontynuowaç badanie np. w czasie dalszej nauki szkolnej lub miejscu pracy. Inne bardziej z∏o˝one techniki badawcze to na przyk∏ad organizowanie grup fokusowych.

Zmiana w zachowaniu nie jest ostatecznym rezultatem. Jest ona raczej Êrodkiem prowadzàcym do celu, do wyników, które majà szans´ zaistnieç dzi´ki nowemu zachowaniu.

r Poziom IV. Ocena wyników OkreÊlenie osiàgni´cia oczekiwanych celów dzi´ki szkoleniu/sta˝owi to najtrudniejszy etap ze wszystkich poziomów oceny efektywnoÊci. Nie zawsze znajduje zastosowanie w ewaluacji projektów Leonardo da Vinci. Przyk∏adem jest projekt dla absolwentów wy˝szej uczelni, z którymi kontakt kilka miesi´cy po ukoƒczeniu sta˝u jest bardzo trudny. W programie mo˝e nie byç Êrodków finansowych lub kadrowych na przeprowadzenie takiego badania.

Oceniajàc szkolenie na poziomie IV, oczekujemy odpowiedzi na pytania typu: Ilu uczestników szkolenia znalaz∏o zatrudnienie?; O ile zwi´kszy∏a si´ liczba konsumentów w restauracji dzi´ki przeszkoleniu pracowników?

Niestety, bardzo trudno jednoznacznie oceniç, czy pozytywne zmiany sà wynikiem szkolenia czy innych czynników. Rzadko udaje si´ wskazaç, które wyniki sà bezpoÊrednim efektem szkolenia. Poniewa˝ jednak wymierne wyniki sà bardzo wa˝ne, aby oceniç je jak najdok∏adniej, warto stosowaç si´ do nast´pujàcych wskazówek: r wykorzystaç grup´ kontrolnà (jeÊli to celowe). Zastosowanie grupy kontrolnej na tym poziome jest wyjàtkowo uzasadnione, gdy˝ podlega ona tym samym ewentualnym bodêcom zak∏ócajàcym w szkole lub Êrodowisku pracy, co grupa przeszkolona r poczekaç na pojawienie si´ wyników; r w miar´ mo˝liwoÊci dokonaç oceny przed szkoleniem i po szkoleniu; r powtarzaç proces oceny w odpowiednich odst´pach czasu; r porównaç koszty z korzyÊciami.

Okres realizacji projektów Leonardo da Vinci stwarza mo˝liwoÊç oceny efektów szkolenia kilka miesi´cy od jego zakoƒczenia, warto wi´c tak zaplanowaç projekt, by móc wykonaç badanie na wszystkich mo˝liwych etapach. W praktyce bardzo rzadko si´ to udaje. Ewaluacje na tym poziomie prawie nie sà mo˝liwe do realizacji w placówkach edukacyjnych, czasami sà robione przez ró˝ne organizacje np. hufce pracy. Mo˝liwe sà tak˝e do realizacji w zak∏adach pracy i w urz´dach np. pracy. Etap ten brany jest te˝ pod uwag´ w ewaluacjach prowadzonych przez Narodowà Agencj´ Programu.

IV.3 Podsumowanie wyników badania Ocena efektywnoÊci szkoleƒ na wszystkich czterech poziomach koƒczy etap zbierania danych na potrzeby ewaluacji wg modelu D. Kirkpatricka2. Otrzymane dane powinny zostaç poddane rzetelnej ocenie, na podstawie której opracowane b´dà wnioski i rekomendacje.

Realizacja tego zadania sprawia najwi´ksze trudnoÊci promotorom projektów Leonardo da Vinci, gdy˝ nie zawsze posiadajà wystarczajàcà wiedz´ metodologicznà do przeprowadzenia badania. Podany w poprzednich rozdzia∏ach zarys metodologii badania ewaluacyjnego powinien daç wystarczajàcà wiedz´ do ewaluacji ma∏ych projektów, wi´ksze projekty 2 D.L. Kirkpatrick „Ocena efektywnoÊci szkoleƒ”, Studio Emka2001

40

IV

Ewaluacja szkolenia/sta˝u

wymagajà zaanga˝owania osób o wi´kszym doÊwiadczeniu badawczym. W praktyce najwi´kszà trudnoÊç sprawia ustalenie, na których poziomach mo˝liwa jest i uzasadniona do realizacji ocena efektywnoÊci szkoleƒ. Zale˝y to od specyfiki szkolenia/sta˝u, zdefiniowanych potrzeb i celów. Je˝eli celem projektu jest np. poznanie przez beneficjentów nowych rozwiàzaƒ organizacyjnych, wystarczajàce jest badanie na poziomie II. JeÊli jednak celem projektu jest np. umiej´tnoÊç pracy w zespole, poprawa zdolnoÊci komunikacyjnych czy wzrost aspiracji zawodowych, by zmierzyç stopieƒ osiàgni´cia tego celu, niezb´dne jest badanie na poziomie III lub IV. Tak wi´c, planujàc i realizujàc projekt, nale˝y mieç ca∏y czas na uwadze jego logik´ i spójnoÊç oraz – o ile to mo˝liwe – wykorzystywaç doÊwiadczenia z poprzednich projektów.

Dane o wynikach ewaluacji, wnioski i rekomendacje dotyczàce realizacji szkoleƒ powinny byç cz´Êcià ewaluacji ca∏ego projektu i s∏u˝yç promotorowi oraz pozosta∏ym partnerom.

41

Publikacja sfinansowana z funduszy Komisji Europejskiej w ramach Programu „Uczenie si´ przez ca∏e ˝ycie”

Wydawca:

Fundacja Rozwoju Systemu Edukacji Narodowa Agencja Programu „Uczenie si´ przez ca∏e ˝ycie” Program Leonardo da Vinci ul. Mokotowska 43 00-551 Warszawa tel: 022 - 622 37 12 fax: 022 - 622 37 10 www.leonardo.org.pl

Tekst El˝bieta Bednarek Zespó∏ Redakcyjny Anna At∏as Zast´pca Dyrektora Programu „Uczenie si´ przez ca∏e ˝ycie”

Agnieszka Paw∏owiec

ISBN 978-83-87716-04-2/2