Meningsskabende undervisningsevaluering

MENINGSSKABENDE

UNDERVISNINGSEVALUERING

Rapporten er udarbejdet af: Tanja Miller Trine Lolk Haslam Gitte Orlowitz Helle Schjoldager Forskningsbibliotekarer Louise Naomi Vetner Kristine Hinrichsen Layout Kommunikationsmedarbejder Yvonne Miller, UCN Januar 2009

Forord Som et led i handleplansarbejde i forbindelse med udviklingsplaner i UCN er der nedsat en projektgruppe i regi af Nationalt Videncenter for Evaluering i Praksis, CEPRA. Formålet med projektgruppens arbejde er at skabe et grundlag for politik for undervisningsevaluering og komme med udkast til politik for undervisningsevaluering.

Resultater af arbejdet foreligger i denne rapport.

Projektgruppens medlemmer: Videncenterleder Tanja Miller, CEPRA (projektansvarlig) Lektor Susanne Dau, Sygeplejerskeuddannelsen Lektor Jakob Frandsen, Læreruddannelsen, EV og CEPRA Udviklingskonsulent Trine Lolk Haslam, CEPRA Lektor Helle Højbo Schjoldager, Læreruddannelsen, EV og CEPRA Lektor Anne Mette Støvring, Ergoterapeutuddannelsen Studiekoordinator Gitte Orlowitz, Pædagoguddannelsen (tovholder) God læselyst Med venlig hilsen Tanja Miller Videncenterleder ph.d.

Indhold Forord Resume

1

1. Indledning og problemformulering

2

1.1 Metodiske overvejelser

3

1.2 Analysestrategi

6

2. Empirisk viden om den gode undervisning

7

2.1 Hvad er god undervisning?

7

2.2 FĂŚlles kriterier for god undervisning

7

2.3 SĂŚrlige kriterier for de enkelte uddannelser

7

3. Forskningsviden om den gode undervisning

11

4. Forskningsviden om systemer til undervisningsevaluering

13

4.1 Bidrag til politikken

15

5. Kvalitetsikring og akkreditering

16

6. Evalueringskapacitet

18

7. Politik for undervisningen i UCN

21

7.1 FormĂĽlet med undervisningsevaluering i UCN

21

7.2 Procedure for undervisningsevaluering i UCN

22

7.3 Organisering af undervisningsevaluering i UCN

23

7.4 Evalueringskapacitet i UCN

24

7.5 SammenhĂŚng mellem undervisningsevaluering og kvalitetssikring

24

Litteraturliste

25

Resume Rapporten er resultatet af teoretisk og empirisk undersøgelse af undervisningsevaluering i forbindelse med fusionsproces i professionshøjskolen University College Nordjylland. Temaerne i undersøgelsen drejer sig om uddannelsesspecifikke evalueringskulturer der i fremtiden skal matche udfordringerne til nye formelle krav til kvalitetssikring og akkreditering. Uddannelsesspecifikke kvalitetskriterier for den gode undervisning er sammenholdt med forskningsviden og med dette afsæt formuleres politikken for undervisningsevaluering. En væsentlig pointe i rapporten er at professionalisering af undervisningsevaluering indebærer systematisk arbejde med opbygning af evalueringskapacitet gennem involvering af undervisere og studerende. Rapportens konklusion foreligger som forslag til politik for undervisningsevaluering i UCN.

1

1. Indledning og problemformulering Nærværende rapport er et resultat af arbejdet med udviklingsplanens krav til undervisningsevaluering. Derfor skal denne rapport læses som et argument for projektgruppens forslag til politik for undervisningsevaluering i UCN, som er fremsendt til direktionen til drøftelse og eventuel vedtagelse.

Politikken for undervisningsevaluering styrer dernæst udarbejdelse af en strategi for implementering af principperne i situerede praksisser. Målet er at skabe en frugtbar evalueringskultur med fokus på meningsfulde undervisningsevalueringsprocedurer og samarbejdsprocesser, der kan anvendes til kvalitetsudvikling internt og kvalitetssikring eksternt.

Undervisningsevaluering og resultaterne heraf er af interesse for den enkelte uddannelse, men også interessant for UCN som institution i lyset af såvel interne som eksterne interesser. Projektgruppen har som mål for arbejdet at formulere en politik, der kan danne afsæt for en strategi, der opleves som meningsfuld og lærerig af deltagerne. Derfor er begrebet evalueringskapacitet (Krogstrup 2007) valgt som nøglebegreb, da eksistensen af evalueringskapacitet de ønskede forbindelser mellem undervisningsevaluering, akkreditering og kvalitetssikring.

Denne dobbelthed i fokus afspejler sig i problemformuleringen:

Hvordan kan politikken for undervisningsevaluering i UCN udformes således at den imødekommer eksterne krav i akkrediteringsbekendtgørelse og anerkender forskellighed i uddannelsesspecifikke kulturer på baggrund af empiriske data og faglig viden om den gode undervisning og evaluering?

2

1.1 Metodiske overvejelser Undervisningsevaluering er ikke et entydigt begreb (Danmarks Evalueringsinstitut 2008), hvorfor der rejser sig en række principielle metodiske spørgsmål til, hvordan en politik på området kan basere sig på konkrete evalueringsfaglige analyser.

Undersøgelsen gør brug af forskellige datamængder, der spiller sammen og understøtter og udfordrer hinanden.

1.

2.

3.

4.

5.

Dokumentanalyse.

Kvantitativ kortlægning af status med hensyn til aktuel institutionaliseret evalueringspraksis.

Kvalitativ undersøgelse på grunduddannelser og EV. Litteraturstudier på baggrund af review af ”den gode undervisning”.

Litteraturstudier på baggrund af review af ”den gode undervisningsevaluering”.

Metodisk er der tale om triangulering, hvor hver datamængde og hver delanalyse tænkes sammen med andre på tilsvarende niveau med henblik på at styrke validitet af analyseresultaterne.

Projektgruppen arbejder med kvalificerede og situerede kvalitetsmål, hvorfor det grundlæggende evalueringsfaglige fokus i politikken er målopfyldelseevaluering (Krogstrup 2007) i en tilrettet udgave. Kvalitetskriterier udgør kriterier for den kvalitet, der tilstræbes i ydelsen, og graden af målopfyldelse vurderes ved opgørelse af afstande mellem den ønskede og den vurderede tilstand. Kvalitetskriterier fungerer som snorhøjde, der danner et fikspunkt. Det evalueringsfaglige udgangspunkt er således målopfyldelse som evalueringsmodel. En evalueringsmodel er et princip eller et hovedspørgsmål, der styrer en evaluering. Samtidig vejleder modellen i, hvordan man kan træffe valg om fokus, metode til dataindsamling, evaluators rolle, respondenter og endelig validitet.

Indsats

Vurdering af indsats af deltagerne.

Fokus på proces og produkt

Figur 1: Cirkulær undervisningsevaluering

Resultater

Opgørelse af forskelle mellem mål og indsats.

Reflektioner over forskelle i forhold til kontekst

3

Mål

Studieordninger Uddannelsesmål Lokale mål

Undersøgelsen betjener sig grundlæggende af metodiske greb fra grounded theory research (Chiovitti 2003).

Valget beror på problemformuleringens sigte på at anerkende forskellighed i de uddannelsesspecifikke kulturer, da generelle forskningsresultater om den gode undervisning ikke kan stå alene, men netop udfordres ved hjælp af specifikke situerede undersøgelser. Metoden er induktiv, og analyser af udsagn fra et udvalg af respondenter i kulturen kan derfor relateres til fund, der beror på review og litteraturstudier. Endelig udgør review og litteraturstudier af metaevalueringer af undervisningsevalueringssystemer den tredje datamængde i trianguleringstrekanten. Denne del suppleres af empirisk undersøgelse af status qua angående undervisningsevaluering på de forskellige uddannelser. Undersøgelsen udformes således, at centrale bestemmelser i UCN´s formelle grundlag kan imødekommes og således, at resultaterne af undersøgelsen kan relateres til de samme centrale bestemmelser.

Det afgørende i grounded theory er, at teoretiske studier ikke har forrang for empiriske, og fund herfra i analysen derfor kan udfordre, styrke eller negligere teoretiske fund. Det ultimative er, at fund i empiriske undersøgelser fører til nytænkning af teori og under alle omstændigheder reducerer afstande mellem teori og praksis.

Figur 2: Triangulering Uddannelser Deltagere Den gode undervisning

Undervisnings evaluering, UCN

Litteratur Undervisnings evaluering

Litteratur Den gode undervisning

4

Akkrediteringsbestemmelser indeholder krav til systematik i kvalitetsarbejdet og indeholder specifikke krav til UCN. Projektgruppen har gennemført en analyse af akkrediteringsbekendtgørelsen med henblik på udformning af den empiriske og litteraturbaserede undersøgelse og har efterfølgende relateret fundene herfra til bekendt-gørelsen med henblik på udformning af politik for undervisningsevaluering i UCN. Projektgruppen har – med inspiration fra grounded theory - indhentet oplysninger fra samtlige uddannelser i UCN samt EV med henblik på kortlægning af eksisterende praksis for undervisningsevaluering i perioden 2007-2008. Som metode til kortlægning er udarbejdet et spørgeskema, som er sendt til samtlige studiechefer og chefen for EV. Statusopgørelsen, der er anvendt som udgangspunkt for udvikling af fælles politik og strategi på området, har samtidig bidraget til et overordnet kendskab til organisationens aktuelle evalueringskapacitet.

Forskelle og ligheder i de uddannelsesspecifikke kulturers forståelse af ”god undervisning” er indfanget ved hjælp af konsensuskonferencer. Konsensuskonferencen er valgt som processkabelon, da den er egnet til at tilvejebringe et alsidigt beslutningsgrundlag for stillingtagen til kontroversielle emner og begreber.

(Pedersen, Jacobsen og Kousholt 2000). Intentionen var at afholde konsensuskonference på hver enkelt uddannelse med deltagelse af fire undervisere og fire studerende tilknyttet den pågældende uddannelse. På fysioterapeut-, radiografuddannelsen samt NAKU viste det sig imidlertid ikke muligt at samle tilslutning til gennemførelse. Udvælgelseskriteriet for deltagelse i konsensuskonference har været ”først-til-mølleprincippet”. Alle konsensuskonferencer er gennemført ud fra følgende design: 1.

2.

3.

4.

5.

6.

Indledning.

Plenumdrøftelse: Hvad er god undervisning?

Aktøropdelt gruppeopgave (henholdsvis undervisere og studerende): Opstil 8 uprioriterede kriterier for god undervisning.

Plenum: Præsentation af de opstillede, men uprioriterede kriterier.

Aktøropdelt gruppeopgave (henholdsvis undervisere og studerende): Opstil 8 prioriterede kriterier for god undervisning.

Plenum: Præsentation af de prioriterede kriterier. Fælles drøftelse frem mod konsensus: Kriterier for god undervisning.

Litteraturstudierne er gennemført ifølge videnskabelige kriterier for sådanne, når der er tale om review.

Forskningsbibliotekarer ved UCN har gennem systematiske internationale søgninger fundet relevante review og resumeer med afsæt i problemformuleringens temaer. Den meget store datamængde er reduceret 5

ved anvendelse af relevanskriterier i forhold til problemformuleringen. Forskningsbibliotekarerne har efterfølgende skaffet de udpegede publikationer.

Litteraturstudier om den gode undervisning og metaevalueringer er således sammensat at overblik tilvejebragt gennem læsning af resumeer og analyser af udvalgte tekster. Formålet med reviewet i forhold til besvarelse af problemformulering er gennem videnskabelig viden om den gode undervisning og fund fra evalueringer af undervisningsevalueringssystemer forholdt til analyser i forhold til empiriske fund at kunne udpege væsentlige områder for politikken for undervisningsevaluering for UCN.

1.2 Analysestrategi Analysestrategien er formuleret med afsæt i to hovedspørgsmål, som afspejler to måder, hvorpå spørgsmålene i problemformuleringen besvares.

Det drejer sig empiriske data fra konsensuskonferencerne med vægt på deltagernes konsensus om den gode undervisning, hvor analysen efterfølgende er foretaget efter principper i meningskondensering (Kvale 1997).

Som grundlag for konsensuskonferencerne og efterfølgende analyser heraf er der anvendt følgende definition af undervisning: Undervisning, der skaber læring hos den lærende i forhold til uddannelsens formål og indholdsbeskrivelse.

De teoretiske studier er analyseret ved søgning efter udsagn, som præsenterer paradigmeskiftet inden for læring og undervisning samt moderne organisationsteori. I denne del af undersøgelsen er vægten lagt både den gode undervisning og den gode undervisningsevaluering.

Den samlede analyse er lavet ved på hermeneutisk vis at sammenholde og diskutere fund fra de forskellige dele af undersøgelsen for at forholde dette til kravene i professionshøjskoleloven og akkrediteringsbekendtgørelsen. Politikken er udformet således, at også implementeringen er medtænkt, da evalueringskapacitet her anvendes som forbindelse mellem processer og produkter.

6

2. Empirisk viden om den gode undervisning 2.1 Hvad er god undervisning?

I det følgende fremstilles resultaterne fra undersøgelserne af den gode undervisning i UCN. Først fremdrages de fundne fælles kriterier for god undervisning i UCN. Derefter fremstilles den undersøgte uddannelse ud fra en optik om at udlede det særegne, der kendetegner den pågældende uddannelses særlige kriterier for god undervisning.

2.2 Fælles kriterier for god undervisning På baggrund af undersøgelsen kan opstilles følgende fælles kriterier for god undervisning i UCN i prioriteret rækkefølge: 1.

2.

3.

4.

5.

6.

7.

8.

Gensidigt engagement.

Sammenhæng mellem teori og praksis.

Et godt læringsmiljø.

Dialogorientering og medinddragelse af studerende.

Undersøgende og refleksive læreprocesser.

Tydelig rammesætning og progression i undervisningen.

Variation i valg af undervisnings-, arbejds- og organisationsformer.

Personlighed og humor som karakteristika for underviseren.

2.3 Særlige kriterier for de enkelte uddannelser Jordemoderuddannelsen På jordemoderuddannelsen nåede deltagerne frem til tre fælles prioriterede kriterier for god undervisning, hvilket var det laveste antal i undersøgelsen. De tre valgte prioriterede kriterier var: 1.

2.

3.

Relevans og med synligt fagspecifikt mål Engagement fra begge sider Tilrettelæggelse – læsestof og undervisning

Set i forhold til de fælles kriterier ses det, at jordemoderuddannelsen har en særlig vægtning af kriterium nummer 6 om tydelig tilrettelæggelse af undervisningen, da både nummer 1 og 2 omhandler dette. Engagement vægtes ligeledes højt på jordemoderuddannelsen, hvilket også var tilfældet i de fælles kriterier. Vi 7

mener, set med baggrund i undersøgelsen, at uddannelsen har et særligt fokus på det fagfaglige i undervisningen, hvilket derfor skal tænkes ind i forbindelse med undervisningsevaluering af uddannelsen.

Ergoterapeutuddannelsen På ergoterapeutuddannelsen nåede deltagerne frem til fem fælles prioriterede kriterier for god undervisning: 1. Underviseren som faglig kompetent rollemodel (indsigt i fag og profession samt formidlingsmæssig kompetence).

2. Tydelighed/klarhed omkring undervisningens retning.

3. Praksisnær undervisning (undervisning med eksempler fra praksis, hvor kriteriet for det ”gode” eksempel er, at eksemplet bidrager til den studerendes forståelse af undervisningens ind- hold).

4. En undervisning, hvor der ”trækkes tråde” (i betydningen: hvor underviseren ”trækker tråde mellem fagene og tråde mellem teori og praksis vha. eksempler”).

5. Gode fysiske rammer.

Det særlige ved ergoterapeutuddannelsen er vægtningen af sammenhængen mellem teori og praksis, som kan siges at være kriterier indeholdt i punkt 1, 2 og 4. Uddannelsens fokus på praksis understreges af kriteriet om underviseren som rollemodel, der fremsættes som det vigtigste kriterium for god undervisning.

Sidstnævnte kriterium optræder kun på ergoterapeutuddannelsen. Vi mener derfor, at praksis-synlighed i undervisningen må ses som et væsentligt kriterium i ergoterapeutuddannelsen og at dette må gives et særligt fokus i forbindelse med undervisningsevaluering. Uddannelsen har ligeledes et kriterium om gode fysiske rammer, som ikke optræder hos de andre adspurgte uddannelser.

Sygeplejerskeuddannelsen På sygeplejerskeuddannelsen nåede deltagerne frem til 3 fælles prioriterede kriterier og 4 fælles uprioriterede kriterier for god undervisning: 1.

2.

3.

4.

Personligt og fagligt engagement – koblet med faglighed, engagement/ ansvarlighed.

Respekt og anerkendelse – herunder tryghed, nærhed, distance, ydmyghed, atmosfære, tone og individualitet.

Dialog og medinddragelse.

Eksemplarisk meningsskabende læring.

8

5.

6.

7.

Personlighed – herunder humor.

Fleksibilitet/spontanitet.

Problemorienteret undervisning.

Kriterierne for god undervisning på sygeplejerskeuddannelsen er karakteriseret ved en stor bredde af forhold, der afgør om undervisningen er god. Det særlige ved uddannelsen ses med den høje prioritering af kriteriet om bestemte værdier i relationelle forhold i punkt 2. Uddannelsen værdilægger således bestemte relationelle værdier, som derfor må medtænkes i arbejdet med undervisningsevaluering.

Læreruddannelsen Læreruddannelsen var den uddannelse, der nåede frem til flest fælles prioriterede kriterier for god undervisning: 1.

2.

3.

4.

5.

6.

7.

8.

Gensidigt engagement.

Skabe et godt læringsrum.

Planlægning og struktur – mål og mening.

Sammenhæng mellem teori og praksis.

Interaktion.

Mulighed for undersøgelse og fordybelse i relevant stof.

Lærerpersonlighed – humor.

Vekselvirkning/ kreativ metodik.

Der er stor bredde i de angivne kriterier hvilket betyder, at der er mange forhold, som afgør om undervisningen kan vurderes som god. Det særlige ved uddannelsen er prioriteringen af interaktion i undervisning og tydelig rammesætning, som tillægges stor betydning i forståelsen af flere af de angivne kriterier. Dette må derfor tænkes ind i arbejdet med undervisningsevaluering på uddannelsen.

Pædagoguddannelsen På pædagoguddannelsen nåede deltagerne frem til 6 fælles prioriterede kriterier for god undervisning: 1.

2.

3.

4.

Skabe muligheder for kompetenceudviklende undervisning - fagligt og personligt.

Deltagelse/engagement – samtale/dialog.

Kobling mellem teori og praksis.

Konstruktive forstyrrelser.

9

5.

6.

Variation i undervisningsformer.

Tværfagligt samarbejde.

Der angives flere forhold som kriterier for god undervisning på pædagoguddannelsen. Kriterierne har en særlig vægtning, der handler om de studerendes muligheder for udvikling og herunder følgelig interaktion. Udviklingsmuligheder for de studerende og interaktion i undervisning bør derfor have en særlig opmærksomhed i arbejdet med undervisningsevaluering på uddannelsen. Uddannelsen angiver tværfagligt samarbejde som et kriterium for god undervisning, hvilket skal bemærkes, da det er den eneste uddannelse af de adspurgte, som angiver dette kriterium.

Efter- og videreuddannelsen Kriterierne for god undervisning i efter – og videreuddannelsen blev formuleret således: 1.

2.

3.

4.

5.

6.

Motivation – motivationelle forhold, herunder optagethed af stoffet og skabe mening i forhold til liv/arbejdsliv/praksis.

Nærvær i interaktionen mellem de studerende, lærerne og stoffet og møde de studerende hvor de er.

Skabe rum for gensidig læring og undren – facilitere læreprocesser, være en del af undervisningen og sparre med hinanden.

Reflekterende – udfordre forforståelser i forhold til at skabe refleksion hos studerende – dele usik- kerhed.

Forventningsafklaring.

Holde af at lære nyt.

Kriterierne for god undervisning i efter - og videreuddannelsen indeholder en vifte af forhold, som kendetegner den gode undervisning. Det særlige ved efter – og videreuddannelsen er kriterier om relevans og professionsorientering, som prioriteres som væsentlige kriterier for god undervisning. Dette bør derfor medtænkes i afdelingens arbejde med undervisningsevaluering.

10

3. Forskningsviden om den gode undervisning Forskningsviden om den gode undervisning ser på faktorer såsom elevens baggrund, lærerkompetencer i forhold til elevers læring – herunder relationskompetence, ledelseskompetence og didaktisk kompetence, undervisningens betydning og skolekulturens betydning (Helmke et al 2008). Forskningen inddeler sig desuden i forskning om god undervisning på folkeskoleområdet, på de mellemlange videregående uddannelser og på de lange videregående uddannelser.

God undervisning på folkeskoleområdet er det område, der findes mest litteratur om. Hilbert Meyer udpeger 10 kendetegn, der har betydning for elevens udbytte af undervisningen (Meyer 2005; 2006); klar strukturering af undervisningen, en betydelig ægte mængde læretid, læringsfremmende arbejdsklima, indholdsmæssig klarhed, meningsdannende kommunikation, metodemangfoldighed, individuelle hensyn, intelligent træning, transparente præstationsforventninger og stimulerende læringsmiljø. Der afgørende for god undervisning er her ikke de enkelte kendetegn for sig, men hvordan disse kommer i spil med hinanden i praksis. Flere af disse 10 faktorer er også nævnt under de fælles kriterier for god undervisning, der var resultatet af den empiriske undersøgelse på UCN. Ses der tillige på de uddannelsesspecifikke kriterier, bliver alle Meyers kriterier nævnt mere eller mindre direkte - nogle dog oftere end andre. Selvom UCN’s uddannelser hører under MVU-området, bekræfter forskningen på dette område den empiriske viden, der er indsamlet via konsensuskonferencerne.

God undervisning på de lange videregående uddannelser fokuserer i højere grad end litteraturen på folkeskoleområdet på den studerendes egen del i læringen. Biggs 4 vigtigste hovedingredienser for undervisningens kvalitet er: En velstruktureret vidensbase, en hensigtsmæssig motiverende kontekst, den lærendes egenaktivitet – herunder samarbejde med andre og indsigt i egen læreproces (Helmke et al 2008). Især de to første kriterier findes i de empiriske resultater for de forskellige uddannelser, da UCN’s studerende og undervisere tilstræber/efterspørger kobling til praksis samt gensidig motivation og engagement. Den lærendes egenaktivitet og indsigt i egen læreproces siges der ikke meget om direkte i empirien, men flere taler om dialog, medinddragelse og engagement, der konnoterer deltagelse fra begge sider.

God undervisning på de mellemlange videregående uddannelser er der ikke meget tilgængelig litteratur om. Et kandidatspeciale om ”Meningsfuld undervisning i den teoretiske del af sygeplejerskeuddannelsen” (Knudsen 2008) peger dog på, at det, der har betydning, er: 1) Lærerens rolle i klasseværelset (herunder engagement/lærerpersonlighed, levende/motiverende undervisning, lærerens autoritet, disciplin, tryg stemning) og 2) Undervisningsform, indhold og udbytte(herunder meningsskabende undervisning, de studerende er forberedte, samtale/dialog, ligeværdighed, sammenhæng mellem teori og praksis – best prac11

tice fortællinger, tydeligt hvad der skal ske hvornår, afvekslende undervisningsformer). Samtlige af disse punkter er repræsenteret i både de generelle og uddannelsesspecifikke kriterier for god undervisning og harmonerer således godt med den undersøgelse der er foretaget på UCN. Især passer den med de kriterier, der blev fundet på sygeplejerskeuddannelsen. Dog er det tydeligt, at der er uddannelsesspecifikke forskelle til trods for lighederne.

Undersøgelsen af god undervisning viser, at der eksisterer fælles kriterier for god undervisning i uddannelserne i UCN. De opstillede kriterier for god undervisning i UCN er ikke identiske med kriterierne fra den empiriske forskning fra andre uddannelsesområder, men kan siges at indeholde flere fælles kriterier. Undersøgelsen viste ligeledes, at kriterierne for god undervisning er knyttet til den uddannelsesmæssige kontekst. Det betyder, at der indenfor uddannelserne i UCN er stor variation mellem uddannelserne om, hvad der kendetegner god undervisning og hvilke didaktiske elementer, som prioriteres.

Konsekvensen i forhold til formulering af politik er • at undervisningsevaluering både knyttes til generelle kriterier for god undervisning og til uddan-

nelsesspecifikke kriterier for god undervisning • at etablere dialog mellem underviser og studerende om undervisningsevaluering • at anvende evaluering til at udvikle kvaliteten af undervisningen • at igangsætte udviklingsarbejde inden for undervisningsevaluering

12

4. Forskningsviden om systemer til undervisningsevaluering Litteraturstudier på området har resulteret i en kategorisering i tre hovedkategorier. Kategorierne er fremkommet ved anvendelse af relevanskriterier i forhold til problemformuleringen.

1.

2.

3.

Metaevalueringer, der diskuter design og indhold.

Metaevalueringer, der diskuterer kultur og mening.

Metaevalueringer, der diskuterer forholdet mellem gode undervisere og god undervisning.

Fælles for metaevalueringerne i forskningen er, at genstandsfeltet defineres som videregående uddannelser. I international forskning defineres uddannelsesområder mere flydende, end vi kender til det i Danmark.

På den baggrund kan det retfærdiggøres at anvende fund fra internationale metaevalueringer i relation til uddannelser ved professionshøjskolerne.

Metaevalueringer, der diskuterer design og indhold, beskæftiger sig hovedsageligt med validitet, relevans og implementeringsvanskeligheder. Formålet med undervisningsevaluering er at styrke kvaliteten af undervisningen. Derfor bliver det centralt at diskutere, hvilke aktiviteter i uddannelsen der rubriceres under begrebet undervisning. Udredningen bekræfter, at der hersker stor usikkerhed om afgrænsning af begrebet undervisning. Paradigmeskifte i læringsteori med konsekvenser for didaktik i bredeste forstand er en af grundene hertil. Dertil kommer, at identitetsudvikling i det postmoderne samfund med vægt på basal tillid, kompetencer i at vælge og omstillingsparathed på den ene side og generering af lærende og stærkt udviklingsorienterede uddannelsesinstitutioner på den anden side danner et spændingsfelt. Moderne uddannelsesinstitutioner er underlagt økonomiske styringsredskaber, der måles på effektivitet og low cost.

Undervisningsbegrebet omfatter under disse vilkår i høj grad andre aktiviteter end traditionelle møder mellem undervisere og studerende i nøje afgrænsede lokaler og tidsrum.

I Australien (Mclnnis, Griffin, James, Coates 2001) er der på landsplan som en konsekvens heraf indført nye retningslinjer for undervisningsevaluering og udarbejdet nye spørgeskemaer. Udviklingsarbejdet hviler på kvantitative og kvalitative undersøgelser af den oprindelige udgave af Cource Experience Questionnaire (CEQ) i anvendelse. Irske og spanske universiteter er inspireret af dette arbejde som organisatorisk udspiller sig i regi af Assessment & Evaluation in Higher Education . Definitionen af den gode undervisning i denne kontekst lyder: Quality teaching is that which facilitates quality learning among students (March & Roche, 1994, Biggs, 1999). Den oprindelige udgave af CEQ indeholder følgende hovedtemaer: god undervisning, klare mål, passende arbejdsbyrde, udvikling af almene kompetencer, generel tilfredshed, passende opgaver. På baggrund af de nye vilkår og udfordringer i uddannelsessystemet tilføjes i 2004 fem nye temaer, som anta13

ges at dække hele læringsscenen. Disse er uddannelsesstedets evne til 1) at understøtte de studerende læring 2) at udnytte læringsressourcer 3) at skabe læringsfællesskaber/læringsmiljø 4) at understøtte metalæring eller lære at lære 5) at understøtte motivation til yderligere læring.

Der kan i forlængelse heraf også henvises til spanske universiteters erfaringer med undervisningsevaluering.

Her arbejder man med ” Model of the Educational Situation”. Den grundlæggende metode i denne model er, at undervisere og studerende i et nøje timet system udtaler sig om de samme temaer. Den generede viden fremkommer som forskelle i vurderingerne fra de to respondentgrupper. Undervisningsevalueringer følger logikken i en læreproces og udføres derfor flere gange hen over et semester (Betoret, Tomás, 2003).

De spanske erfaringer bekræfter udvidelsen af temaer i en undervisningsevaluering, endskønt det spanske uddannelsessystem har valgt egne løsninger.

Metaevalueringer, der diskuterer kultur og mening, har naturligvis et andet fokus. Den mest generelle metodiske kritik drejer sig om, at undervisningsevaluering er for fokuseret på underviseren frem for på undervisningen (Leth, Søndergård 2007, Saroyn, Amundsen 2001). En masterafhandling (Holt, Orlowitz 2008) omhandlende undervisningsevaluering i en pædagoguddannelse viser at undervisernes og de studerende forhold til evaluering er flertydigt og ikke i særlig grad opfattes som meningsfuld. Afhandlingen anviser organisatorisk arbejde med opbygning af evalueringskapacitet som et bud på skabelse af meningsfuld undervisningsevaluering. Som modvægt til Mcdonalisering genintroduceres begrebet professionelt skøn (Miller 2008). I en dansk kontekst er det videnskabeligt undersøgt, hvordan undervisere oplever undervisningsevalueringer og vurderer udbyttet heraf, som bidrag til kvalitetsudvikling i MVU området (Moldt 2008). Her viser det sig, at en forudsætning, for at resultaterne af undervisningsevaluering kan bidrage positivt, er, at der arbejdes med uddannelsens kultur og ejerskab i forhold til evalueringsresultaterne. Desuden at kundemetaforen i forbindelse med omtale af studerende vurderes som en blokering af seriøs evaluering med læring som formål. Ansvarsfordelingen mellem underviser og lærende bliver fordrejet og utydelig. Undersøgelsen viser også, at ledelsen er central for håndtering af evalueringsprocedurer og konstruktiv anvendelse af evalueringsviden. Dette peger på løsninger, der tager højde for forskellighed, og på løsninger, hvor processuelle vinkler på undervisningsevaluering er en del af politikken.

Metaevalueringer, der diskuterer forholdet mellem gode undervisere og god undervisning, repræsenteres gennem forskning, der ligger i periferien af evalueringsforskningen, men til gengæld i hjertet af pædagogisk forskning (Jackson 2006). Derfor skal der i denne rapport blot peges på, at der i det videre arbejde med at finde konkrete evalueringsdesign i UCN er megen inspiration at hente i materialet.

14

4.1 Bidrag til politikken Litteraturstudierne afspejler sig i politikken ved: • En forståelse af undervisningsbegrebet, der omfatter andre aktiviteter end de traditionelle.

• Respekt for forskellighed i uddannelseskulturer, når undervisningsevalueringen udformes.

• Opmærksomhed på ejerskab til evalueringsresultater for alle aktørgrupper.

• Vægtlægning af processuelle forholds betydning – herunder ledelse.

• Udformning af undervisningsevalueringens spørgsmål i situerede praksisfællesskaber –

afstemt med UCN´s forpligtelser i forbindelse med akkrediteringsbekendtgørelsen.

• Opmærksomhed på kadence, hyppighed og omfang

15

5. Kvalitetssikring og akkreditering Kvalitetssikring er en del af evalueringslandskabet i professionshøjskolen. I loven om professionshøjskolen står der: § 7. Professionshøjskolen skal have et system til kvalitetssikring og resultatvurdering af uddannelse, udviklingsarbejde og videncenterfunktion og er forpligtet til at informere herom. https://www.retsinformation.dk/Forms/R0710.aspx?id=121828#Kap8) Kvalitetssikring og resultatvurdering af uddannelse kan linkes til undervisningsevaluering med afsæt i tematiseringerne i akkrediteringsbestemmelserne, men kvalitetssikring og resultatvurderinger omfatter den samlede virksomhed og vil derfor kun få indirekte betydning for politikken og strategien. Dette bekræfter for os, at UCN over tid skal arbejde frem mod at skabe sin egen kvalitetsmodel, der på forskellige niveauer kan styre og samordne evalueringsresultater.

Resultaterne af analyse af akkrediteringsbekendtgørelsen viser, at denne bekendtgørelse stiller vidtrækkende krav til vurdering af outcome af uddannelserne. Det vil sige, at UCN for også i fremtiden at kunne regne med retten til at udbyde nuværende og kommende uddannelser med fordel kunne arbejde med opbygning af egen kvalitetsmodel. En kvalitetsmodel kan reducere kompleksitet i datamængder og pege på fælles procedurer og rutiner, der systematisk indsamler og skaber viden om uddannelsernes kvalitet. Akkrediteringsbekendtgørelsen er opdelt i tre kategorier: 1.

2.

3.

Relevans.

Vidensgrundlag.

Indhold og organisering.

Relevans angår uddannelsens relevans. Dette vurderes på baggrund af antal dimittender, der finder beskæfttigelse eller videreuddanner sig på baggrund af eksamensbeviset (output). Vurderingen sker ved sammenligning af dimittender fra tilsvarende eller beslægtede uddannelser, hvorfor resultaterne herfra peger på en kvalitetsdimension i eget udbud. Outcome vurderes tillige ved inddragelse af aftagerne af dimittenderne.

For politikken for undervisningsevaluering betyder det, at systematikken tilstræbes med hensyn til temaer som er centrale for professionen og timing tilpasses udarbejdelse af procedurer for relevanskriteriet.

16

Vidensgrundlaget angår kvaliteten af udbuddet forstået som vurdering af kvaliteten af udbuddets vidensgrundlag. Centralt står her forskningsbaseret og ny viden, hvilket bl.a. kan sikres gennem praksisstilknytning. Udviklingsviden som resultater af udviklingsprojekter i samarbejde med praksis indgår ligeledes med stor vægt. For kvalificering af professionsudøvelsen, som er målet med uddannelsen, stilles der krav til, at ny forskningsbaseret viden indgår i uddannelsen.

For politikken for undervisningsevaluering betyder det, at temaerne i undervisningsevalueringen følger resultaterne fra review af metaevalueringerne. En vigtig pointe er her, at der i forskellige sammenhænge i uddannelsesforløbet anvendes forskellige vidensgrundlag.

Indhold og organisering angår klarhed over hvilke mål, der er formuleret for uddannelsen, og hvorvidt disse optræder i regi af den danske kvalifikationsramme for videregående uddannelser. Det peger også på om mål og udbuddets elementer passer sammen. Desuden lægges der vægt på at de fysiske rammer og materielle ressourcer passer til målene for læringsudbyttet.

For politikken for undervisningsevaluering betyder det, at temaerne i undervisningsevalueringen følger resultaterne fra litteraturstudier af metaevalueringerne, der netop udpeger forhold uden for den egentlige

17

6. Evalueringskapacitet undervisning som væsentlige for læringsudbyttet.

Evalueringskapacitet drejer sig om en institutions samlede kapacitet til planlægning og gennemførelse af evalueringer samt organisationens kapacitet med hensyn til anvendelse af evalueringsviden. Baggrundsfiguren er således en forestilling om den lærende organisation. Projektgruppen har som tidligere nævnt gennemført en kortlægning af status med hensyn til omfanget og arten af systematiske undervisningsevalueringstiltag.

Spørgeskemaundersøgelsen viser, at samtlige uddannelser i UCN arbejder med evaluering af undervisning.

Undersøgelsen viser ligeledes, at flere uddannelser arbejder med andre beslægtede former for evaluering, eksempelvis underviserevaluering. De anvendte typer af evalueringsformer varierer fra logbog over fokusgruppeinterview til spørgeskema. Undersøgelsen viser endvidere, at den metode, der hovedsagelig angives som anvendt til evaluering, er programmet SurveyXact - her dog med undtagelse af læreruddannelsen og Natur- og Kulturformidleruddannelsen.

Undersøgelsen viser samtidig, at der er forskelle at spore mellem uddannelserne og især mellem de to søjler i UCN. Forskellene viser sig på følgende områder: 1) planlægning af evaluering og evalueringsfokus, 2) ansvarsplacering, 3) systematik, 4) inddragelse af studerende, 5) sammenhæng mellem undervisning og evaluering, 6) metoder og 7) evaluering som metode til kvalitetsudvikling af uddannelse.

Som konsekvens af de registrerede forskelle vil politikken for undervisningsevaluering indeholde ensartede krav til arbejdet med evaluering med respekt for den enkelte uddannelses forståelse af meningsskabende undervisningsevaluering Projektgruppen konstaterer, at en udbygning af evalueringskapaciteten i regi af professionshøjskolen med nye krav til kvalitetssikring og akkreditering både er ønskelig og nyttig.

Som nævnt i indledningen beror projektgruppens arbejde på den antagelse, at undervisningsevaluering designes med afsæt i målopfyldelseevaluering.

18

Skal resultater af undervisningsevalueringer derimod indgå i strategien for kvalitetssikring, må der tænkes videre i retning af performanceevaluering, hvor også outcome vurderes.

Figur 3: Lisbeth Binderup Evalueringsnyt august 2008

Mål

Input

Indsats

Output

Outcome

Relateres dette til definitionen af opbygningen af evalueringskapacitet - opbygning af evalueringskapacitet er det intenderede arbejde for kontinuerligt at skabe og opretholde organisatoriske processer, som gør kvalificerede evalueringer og deres anvendelse til rutine (Krogstrup 2007 s.197) – betyder det for politikken for undervisningsevaluering, at det implicerer ideer til, med hvilket formål en sådan opbygning skal finde sted.

Opbygning af evalueringskapacitet forudsætter tilstedeværelsen af fx en bevidsthed om, at evalueringer er nyttige rutiner og et gode for institutionen.

Vores empiriske studier tyder på, at UCN ikke p.t. har en kultur, der er kendetegnet ved respekt og engagement i rutiner for undervisningsevaluering, hvilket fx viser sig ved projektgruppens vanskeligheder med at finde respondenter. Andre tegn på dette er forholdsvis lave svarprocenter og manglende strukturer, der fastholder og anvender evalueringsviden. Konklusionen er, at der skal skabes en evalueringskultur, hvorfor politikken opfordrer til at beslutte en strategi, der tager højde for dette forhold. Evalueringskapacitet er i sin kerne sociale processer, hvorfor opbygningen heraf er at arbejde systematisk med sociale processer (Krogstrup 2007). Denne pointe afspejler sig i projektgruppens forslag til politik i form af forslag til organisatorisk placering af ansvar for arbejde med undervisningsevaluering.

Linket til kravene om kvalitetssikring og akkrediteringsbekendtgørelsen kan skabes gennem samordning af resultater fra undervisningsevaluering med evalueringsviden skabt i regi af akkrediteringsbekendtgørelsen, da det antages at en kvalitetsmodel for UCN i fremtiden vil kunne samordne og koordinere indsatsen for kvalitetsudvikling.

Udfordringer består i at genbruge, samordne eller koordinere resultater fra undervisningsevalueringer, således at output kan relateres til outcome og aftager- og brugertilfredshed. Af centrale temaer kan nævnes: antallet af dimittender, der finder beskæftigelse inden for professionen eller med videreuddannelse, kvaliteten af praksistilknytning, kvaliteten af uddannelsens base og anvendelse af udviklingsviden og forskningsviden, 19

forholdet mellem mål for uddannelsen og læringsudbyttet, organisering af uddannelse i forhold til mål og læringsudbytte, undervisernes faglige og pædagogiske kompetencer, kvaliteten af praktik i forhold til uddannelsens mål og uddannelsens faciliteter til at understøtte de studerende læring.

Akkrediteringsbekendtgørelsen rammer nogle af de områder i uddannelserne, som projektgruppen via litteraturstudier og empirisk kortlægning af status ser som vigtige led i strategien for udformning af undervisningsevaluering. Projektgruppen peger på vigtigheden af, at der konkret tages hånd om de mange aktiviteter, som studerende i regi af uddannelsen foretager sig med henblik på tilegnelse af professionskompetencer – ikke blot for at udvikle kvaliteten af uddannelserne, men også for at opfylde kravene til akkreditering.

Det må dog fremhæves, at det internt på den enkelte uddannelsesretning og for den samlede virksomhed er vigtigt at fokusere på opbygning af evalueringskapacitet, da resultatvurderinger ifølge forskningen risikerer at fremstå som løsrevne og fremmede for aktørerne i uddannelserne (Kemper, Leung, 2008).

20

7. Politik for undervisningsevaluering i UCN Undervisningsevaluering i UCN skal: •

tilgodese eksterne krav og forventninger formuleret i akkrediteringsbekendtgørelsen,

•

udformes med respekt for forskellighed i uddannelsesspecifikke kulturer,

•

udformes med afsæt i forskningsbaseret viden om den gode undervisning,

•

indeholde retningslinjer for, hvordan UCN´s samlede evalueringskapacitet kan fremmes og vedlige holdes.

Det er et krav, at alle professionshøjskoler etablerer og implementerer et system for kvalitetssikring og kvalitetsudvikling. Evalueringer skal indgå i kvalitetsarbejdet i UCN med det formål at indfange og dokumentere god undervisning. Alle læringsarenaer skal evalueres, således at både den organiserede undervisning og det selvstændige studiearbejde evalueres.

Undersøgelsen af god undervisning i UCN viser de enkelte uddannelsers kvalitetskriterier for god undervisning. Undersøgelsens resultater viser, at der er såvel fællesstræk som forskelle i forhold til professionsuddannelserne samt EV. En politik for evaluering af undervisningen skal derfor indeholde både en fælles del for alle uddannelser i UCN og dele, der er specifikke i forhold til de enkelte uddannelser.

Undersøgelsen af forskning om god undervisning og systemer til undervisningsevaluering viser, at der både nationalt og internationalt er mangel på forskningsviden inden for MVU området. Der skal derfor etableres udviklingsarbejde inden for de nævnte områder i UCN.

7.1 Formålet med undervisningsevaluering i UCN

Formålet er at udvikle kvaliteten af undervisningen og de studerendes læring med sigte på professionsudøvelse. Evalueringen af undervisning skal bruges til at sikre og udvikle kvaliteten af undervisning og til at evaluere og udvikle hele uddannelsen. Det skal tilstræbes, at arbejdet med undervisningsevaluering bliver brugbart og meningsfyldt for medarbejdere og studerende.

21

7.2 Procedure for undervisningsevaluering i UCN

I uddannelsesbekendtgørelse om akkreditering stilles der krav om systematisk og kontinuerligt kvalitetsarbejde af udbuddets aktiviteter og resultater. Kvalitetsudvikling inden for aktiviteten undervisning skal foregå via undervisningsevaluering.

Undervisningsevaluering skal leve op til kravene i akkrediteringsbekendtgørelsen ved: • at der systematisk gennemføres undervisningsevaluering for at kvalitetssikre og udvikle uddannelsen – hvor der med systematisk menes, at de valgte metoder i undervisningsevalueringen tilstræber kriteriet om validitet, •

at eksterne og interne interessenter inddrages i undervisningsevalueringen, og at uddannelsen regelmæssigt og systematisk sikrer sig studerendes vurdering af uddannelsen – hvor der med regelmæssigt menes, at uddannelsen med bestemt definerede tidsintervaller foretager undervisningsevaluering,

•

at uddannelsen anvender evalueringsviden fra undervisningsevalueringen til at udvikle aktiviteter og resultater.

Undersøgelsen af god undervisning i UCN viser, at kvalitetskriterierne afhænger af den uddannelsesmæssige kontekst og kultur. I arbejdet med undervisningsevaluering opsættes derfor kvalitetskriterier på de enkelte uddannelser, som • definerer den gode undervisning, •

giver retning i udarbejdelsen af undersøgelsesspørgsmål, design og metode for undervisningsevaluering,

•

fungerer som kriterier for analyse af undervisningsevaluering,

•

giver muligheder for kvalitetssikring og -udvikling af både undervisning og uddannelse.

Undervisningsevaluering organiseres med inddragelse af studerende og relevante råd og udvalg.

Forskningsviden om god undervisning indenfor MVU området er mangelfuld. Resultaterne af undersøgelsen af den gode undervisning i UCN viser de kvalitetskriterier, som tillægges betydning inden for professionsuddannelser i UCN. 22

I arbejdet med undervisningsevaluering etableres derfor: • et forum for videndeling mellem uddannelserne i UCN, • et forum for opsamling af viden og videnformidling.

7.3 Organisering af undervisningsevaluering i UCN

Forudsætningen for at undervisningsevaluering kan fungere som kvalitetssikring og – udvikling af undervisning i UCN er, at evaluering tillægges betydning i kulturen, og at de fornødne ressourcer gives til opgaverne med undervisningsevaluering.

Tilvejebringelsen af begge forudsætninger er ledelsesopgaver i arbejdet med at få etableret undervisningsevaluering i UCN. Udarbejdelse af kvalitetskriterier, evalueringsspørgsmål, design og metode finder sted i et samarbejde mellem undervisere, studerende, studiechefen og efter- og videreuddannelseschefen. Studiechefen og efter- og videreuddannelseschefen har ansvar for planlægning, gennemførelse og udvikling af undervisningsevaluering.

Ved starten af hvert studieår planlægger studiechefen i samarbejde med undervisere hvilke fokusområder og semestre, der skal evalueres. Der udarbejdes en turnusplan for uddannelsens undervisningsevaluering.

De enkelte undervisere planlægger og koordinerer evalueringerne, således at der undgås for mange og krydsende evalueringer. Undervisningsevalueringen planlægges og gennemføres som en integreret del af undervisningen.

Resultaterne af undervisningsevalueringer, som er rettet mod hele uddannelsen, fremlægges af studiechefen i uddannelsesrådet, der drøfter muligheder og konsekvenser for uddannelsen. Studiechefen har efterfølgende ansvaret for opfølgning af undervisningsevaluering og implementering af konkrete initiativer som følge heraf.

Resultaterne af undervisningsevalueringer, som er rettet mod afgrænsede dele af undervisningen, præsenteres og drøftes i relevante fora på foranledning af studiechefen.

I forbindelse med etableringen af politik for undervisningsevaluering i UCN etableres et tværgående kompetenceteam, som har til opgave at dele viden om undervisningsevaluering med henblik på udvikling af området. Kompetenceteamet består af undervisere, som har særlige kompetencer inden for undervisningsevaluering. Videnscenter CEPRA har teamlederrollen i kompetenceteamet og har til opgave at koordinere og udvikle arbejdet med undervisningsevaluering i UCN. 23

Der etableres en kvalitetsenhed i UCN, som bl.a. har til opgave at indsamle og formidle resultater af undervisningsevaluering til relevante interne og eksterne interessenter – herunder også direktionen.

7.4 Evalueringskapacitet i UCN

Som led i implementering af politikken for undervisningsevaluering skal der arbejdes med evalueringskapacitet. Evalueringskapacitet rummer organisationens samlede kompetencer med hensyn til evaluering som aktivitet samt anvendelse af evalueringsviden. Desuden rummer begrebet processuel viden om evaluering. Politikken indeholder initiativer, der skal: • kortlægge organisationens samlede evalueringskapacitet, •

opkvalificere medarbejderes og lederes evalueringsfaglighed,

•

tage højde for medarbejdergruppers forskellige lokalaftaler og engagement i evaluering samt an- vendelse af evalueringsviden,

•

udvikle ejerskab til evaluering i alle evalueringsprocessernes faser,

•

systematisk monitorere udviklingen af organisationens evalueringskapacitet.

7.5 Sammenhæng mellem undervisningsevaluering og kvalitetssikring i UCN

Som led i politikken for undervisningsevaluering skal der tages hensyn til UCN´s kvalitetssikringssystem.

Der skal: • oprettes fora, hvor udviklingskoordinatorer ved anvendelse af evalueringsviden udpeger indsatsom råder for udvikling, •

udvikles en kvalitetsmodel, som indeholder procedurer og resultater. Kvalitetetsmodellen skal adressere relevante besluttende myndigheder i organisationen, samtidig med at der leves op til krav fra akkreditering,

•

evalueres og udvikles på evalueringsstandarder og anvendelse af resultaterne.

24

Litteraturliste BEK 684 bilag 3 Betoret Fernando, Tomás Adela (2003): Evaluation of University Teaching/Learning Process for the Improvement og Quality in Higher Education. Assessment & Evaluation in Higher Education, Vol 28, No 2, 2003.

Biggs, J. (1999): Teaching for Quality Learning at University: What the Students Does. Open University Press and Society for Research into Higher Education., London.

Byrne Marann, Flood Barbara: Assessing the Teaching Quality of Accounting Programmes: an evaluation of Cource Experience Questionnaire. Assessment & Evaluation in Higher Education, Vol 28, No 2, 2003.

Chiovitti R. F. og N. Piran (2003): Rigour and grounded theory research. I: Journal of Advanced Nursing, 44(4), 427435. Blackwell Publishing Ltd. Dahler-Larsen, Peter (2007): Evalueringskultur – et begreb bliver til. Syddansk Universitetsforlag Danmarks Evalueringsinstitut (2008): Undervisningsevaluering. Fem spørgsmål. Fem råd. Fem metoder. EVA Helmke, Andreas et al (2008): Hvad ved vi om god undervisning. Dafolo.

Jackson, Michael (2006): ”Serving time”: the relation of good and bad teaching”. Quality Assurance in Education.

Vol. 14 no 4 pp 385- 397. Australia.

Holt H., Orlowitz G.(2009): Strategisk ledelse af evalueringskultur. CEPRAstriben nr.4. Januar 2009 Kemper, Leung, (2008): Establishing the validity and reliability of course evaluation Questionnaires. Assessment & Evaluation in Higher Education. Vol 33, No 4, August 2008. pp 341 – 353.

Krogstrup, Hanne Kathrine (2007): Evalueringsmodeller. Academica.

Kvale, Steinar (1997): Interview. En introduktion til det kvalitative forskningsinterview. Hans Reitzels Forlag.

25

Leth Hanne, Søndergård Louise (2007): Undervisningsevaluering som redskab til kvalitetsudvikling af undervisningen. Dansk Universitetspædagogisk Netværk.

Lisbeth Binderup (2008): Hvad med ledelse? Evalueringsnyt august 2008 March & Roche (1994): The Use of Students Evaluation of University Teaching to Improve Teaching Effectiveness. Australian Government Publishing Service. Canberra.

Mclnnis, Griffin, James, Coates (2001): Development of the Course Experience Questionnaire (CEQ). Faculty of Education. The University of Melbourne. Department of Education. Australia.

Miller, Tanja ( 2008): Professionsuddannelser med hang til kvalitet og skøn. I ”Udvikling på tværs” UCL. Moldt, Christian (2008): Fra meningsløs til meningsfuld evaluering – om kvalitetsmåling i undervisningssektoren. Evalueringsnyt nr. 20. august 2008.

Pedersen, Flemming Kragh, Anne Krøjer Jacobsen og Henrik Breiner Kousholt (2000): Sunde projekter: Håndbog i projektarbejde og kvalitetssikring på sundhedsfremmeområdet”. Nordjyllands Amt. Saroyn, Amundsen (2001): Evaluating University Teaching: time to take stock. Assessment & Evaluation in Higher Education.Vol. 26, No 4. https://www.retsinformation.dk/Forms/R0710.aspx?id=121828#Kap8) CEPRA, Sohngårdsholmsvej 51 A, 9000 Aalborg opbevarer artikler og litteraturoversigter der er anvendt til review af forskningsviden i to samlinger. Materialet stilles til rådighed for interesserede.

1.

2.

Materiale angående metaevalueringer Materiale angående den gode undervisning

26