Vurdering av språkferdiheter by Fagbokforlaget

En målsetning med boken er å øke bevisstheten om at språkprøver kan bli misbrukt. Like viktig som kvaliteten på prøver, er at prøveresultatene brukes på en riktig og rettferdig måte. Forfatterne fokuserer på hvordan språkprøver brukes i opplæring og utdanning av barn og voksne, i arbeidsmarkedet og i integreringsfeltet.

Cecilie Hamnes Carlsen er professor i andrespråkslingvistikk ved Høgskulen på Vestlandet. Hun har doktorgrad i vurdering av språkferdigheter og har i en årrekke jobbet med utvikling av norskprøver for voksne innvandrere. Hun har også jobbet med utvikling av prøver for barn og unge innlærere.

Eli Moe har bakgrunn som lektor i videregående skole. Hun har i mange år arbeidet med språkprøver for ulike aldersgrupper. Ved Institutt for fremmedspråk, Universitetet i Bergen, leder hun arbeidet med nasjonale prøver i engelsk for 5. og 8. trinn, og hos Kompetanse Norge arbeider hun med prøver i norsk for voksne innvandrere.

Vurdering av språkferdigheter

Boken presenterer norsk og internasjonal forskning på feltet og passer som pensumbok på ulike språkemner, særlig innenfor feltet andrespråkslæring og -undervisning.

Cecilie Hamnes Carlsen & Eli Moe

Denne boken gir en innføring i vurdering av språkferdigheter. Målgruppen er lærere, lærerstudenter, prøveutviklere og språkforskere som ønsker å lære mer om de faglige prinsippene som ligger til grunn for utvikling og bruk av språkprøver. Sentrale begreper knyttes til praksis: Hvordan kan man lage en god prøve? Hvordan man kan sikre en riktig og rettferdig bedømming? Boken inneholder eksempler fra ulike typer språkprøver i Norge.

Vurdering av språkferdigheter

Cecilie Hamnes Carlsen & Eli Moe ISBN 978-82-450-2509-5

,!7II2E5-acfajf!

Vurdering av sprĂĽkferdigheter

Cecilie Hamnes Carlsen & Eli Moe

Vurdering av sprĂĽkferdigheter

Copyright © 2019 by Vigmostad & Bjørke AS All Rights Reserved 1. utgave / 1. opplag 2019 ISBN: 978-82-450-2509-5 Grafisk produksjon: John Grieg, Bergen Omslagsdesign ved forlaget Omslagsillustrasjon: Harold Lopez Sats: Type-it AS, Trondheim Spørsmål om denne boken kan rettes til: Fagbokforlaget Kanalveien 51 5068 Bergen Tlf.: 55 38 88 00 Faks: 55 38 88 01 e-post: fagbokforlaget@fagbokforlaget.no www.fagbokforlaget.no Materialet er vernet etter åndsverkloven. Uten uttrykkelig samtykke er eksemplarfremstilling bare tillatt når det er hjemlet i lov eller avtale med Kopinor.

Forord Vi har båret på ideen om å skrive en innføringsbok i vurdering av språkferdigheter i over ti år. Med fulle stillinger knyttet til utvikling av prøver i norsk for voksne innvandrere og nasjonale prøver i engelsk, har det vært vanskelig å finne tid. Vi er derfor både lettet og fornøyde med at vi endelig har fått realisert bokplanene. Dette er den første innføringsboken i vurdering av språkferdigheter for språklærere og -studenter på norsk, og så vidt vi vet, finnes det heller ingen tilsvarende bok på svensk eller dansk. Forfatterne har de siste 13 årene forelest om vurdering av språkferdigheter ved Institutt for lingvistiske, litterære og estetiske studier ved Universitetet i Bergen, der undervisningsmodulen Testing og vurdering av språkferdigheter inngår som obligatorisk del av årsstudiet i norsk som andrespråk. Per 2019 har flere hundre studenter i norsk som andrespråk, så vel som en del fremmedspråkstudenter og lærere i voksenopplæringen, tatt dette kurset. Studentene har i alle år meldt tilbake et ønske om en lærebok på norsk. Denne innføringsboken dekker temaene vi foreleser over i undervisningsmodulen, men kan også leses uten at man følger undervisningen. Vi har hatt flere viktige støttespillere i arbeidet med denne boken. Den første takken går til studentene våre for nyttige innspill og kommentarer til et tidligere utkast av boken høsten 2018. Takk for spennende diskusjoner om testkvalitet, testetikk, bruk og misbruk av prøveresultater i samfunnet! En stor takk rettes til Lisbeth Salomonsen von Mehren i Kompetanse Norge for månedlige bokmøter i hammocken på Skjold, for kvalifiserte kommentarer, for hjemmebakst og for viktige diskusjoner. Takk også til Reidun Oanæs Andersen, vår foregangskvinne og første leder i Norsk språktest, for lesing av hele manuskriptet og for troen på at dette kunne bli bra.

Vurdering aV språkferdigheter

En særlig takk går også til fagfelle Marte Monsen ved Høgskolen i Innlandet for at hun påpekte hva boken manglet, men også (og kanskje særlig) for ros av dens styrker. Og ikke minst, tusen takk til May Helene Solberg, vår redaktør i Fagbokforlaget, for gode og konstruktive kommentarer til smått og stort i prosessen. Og takk til Harold Lopez for den fine illustrasjonen til forsiden! Til sist vil vi rette en takk til kollegene våre ved Kompetanse Norge, Universitetet i Bergen og Høgskulen på Vestlandet, så vel som til våre internasjonale kolleger i testorganisasjonene ALTE (Association of Language Testers in Europe) og EALTA (European Association of Language Testing and Assessment) for engasjerte og engasjerende diskusjoner om språk, språklæring, språkvurdering, flerspråklighet, samfunn, integrering og så mye mer. Uten inspirasjon fra samtaler med dere hadde arbeidslivet ikke vært det samme. Bergen i februar 2019 Cecilie Hamnes Carlsen og Eli Moe

Innhold Introduksjon ............................................................................................ Trenger vi en bok om vurdering av språkferdigheter? ......................................... Hvem er boken skrevet for? .......................................................................... Hvorfor har vi valgt disse prøvene som eksempler? ........................................... Testing eller vurdering? ................................................................................ Innhold i boken ..........................................................................................

13 13 15 17 18 19

Kapittel 1

Hva er språktesting? ................................................................................. Språktesting – mellom usikkerhet og tydelighet ............................................... Kritisk språktesting ..................................................................................... Måling, testing og vurdering ......................................................................... Språktestingens mål og grensedisipliner ......................................................... Språktestingen profesjonaliseres – en kort faghistorie........................................ Den førvitenskapelige retningen................................................................ Den psykometrisk-strukturalistiske retningen .............................................. Den psykolingvistisk-sosiolingvistiske retningen........................................... Språktesting i dag – den kommunikative retningen ............................................ Språktesting i Norge.................................................................................... Oppsummering ..........................................................................................

23 24 25 28 31 34 34 35 36 37 37 38

Kapittel 2

Ulike typer prøver og vurdering ................................................................. Standardiserte prøver .................................................................................. Klassifisering av prøver med utgangspunkt i formål ........................................... Frittstående ferdighetsprøver.................................................................... Oppnåelsesprøver .................................................................................. Diagnostiske prøver og kartleggingsprøver ................................................. Plasseringsprøver ................................................................................... Fremgangsprøver ................................................................................... Egnethetsprøver ....................................................................................

39 39 40 41 41 42 42 42 43

innhold

Andre måter å klassifisere prøver på ............................................................... Summativ, formativ og læringsorientert vurdering ........................................ High-stakes- og low-stakes-prøver ............................................................... Fagspesifikke språkprøver ........................................................................ Tolkning av prøveresultater....................................................................... Objektivt rettede og subjektivt vurderte prøver ............................................ Objektivt rettede prøver....................................................................... Subjektivt vurderte prøver .................................................................... Noen eksempler på prøver og vurderingsmateriell i Norge ................................. Norskprøver for voksne innvandrere........................................................... Nasjonale prøver .................................................................................... Kartleggingsprøver ................................................................................. Kartleggingsverktøy for minoritetsspråklige barn og unge ............................. Kartleggingsmateriell. Språkkompetanse i grunnleggende norsk ................ Vestlandsverktøyet – vurderingsverktøy for minoritetsspråklige elever i vgs. .... Oppsummering ..........................................................................................

43 43 44 44 45 46 46 47 48 48 51 55 56 58 62 63

Kapittel 3

Kommunikativ kompetanse og kommunikative språkprøver ....................... Kommunikativ kompetanse: Utvikling av begrepet ............................................ Begrepet lanseres ............................................................................................... Kommunikativ kompetanse i andrespråkssammenheng ................................ Kommunikativ kompetanse i testsammenheng ............................................ Kommunikative språktester .......................................................................... Oppsummering ..........................................................................................

65 65 66 67 68 75 76

Kapittel 4

Det felles europeiske rammeverket for språk .............................................. Standardisering av måleenheter .................................................................... Rammeverkets bakgrunn og formål................................................................ Innhold og språksyn .................................................................................... Rammeverkets nivåbeskrivelser..................................................................... Bruk av Rammeverket .................................................................................. Rammeverket og undervisning.................................................................. Rammeverket og vurdering ...................................................................... Bruk av Rammeverket i samfunnet ............................................................. Rammeverket og opptak til høyere utdanning .......................................... Rammeverket og arbeidsmarkedet ........................................................ Rammeverket og integreringspolitikk..................................................... Kritikk av Rammeverket ...............................................................................

79 79 81 82 84 88 89 91 94 94 96 96 97

innhold

Kritikk av innhold og oppbygging ....................................................................... Kritikk av hvordan Rammeverket blir brukt .................................................. Videreutvikling av Rammeverket.................................................................... Språkspesifikke nivåbeskrivelser og empirisk validering ................................. Tilpasning til tegnspråk ...................................................................................... Tilpasning til barn og unge ....................................................................... Companion Volume 2018 .......................................................................... Oppsummering ..........................................................................................

98 99 100 101 102 102 103 106

Kapittel 5

Validitet ................................................................................................... 109 Bachman og Palmer: Test usefulness ......................................................................... Reliabilitet ............................................................................................. Validitet .............................................................................................................. Autentisitet......................................................................................................... Konsekvenser og washback ...................................................................... Praktisk gjennomførbarhet ................................................................................. Messicks definisjon av konstruktvaliditet ......................................................... Substansaspektet ................................................................................... Strukturaspektet..................................................................................... Innholdsaspektet .................................................................................... Generaliserbarhetsaspektet...................................................................... Det eksterne aspektet.............................................................................. Konsekvensaspektet ........................................................................................... Hva kan svekke validiteten? .......................................................................... Konstruktunderrepresentasjon.................................................................. Konstruktirrelevant varians ....................................................................... Validitet og rettferdighet .............................................................................. Rettferdighet som fairness og rettferdighet som justice ................................... Bias og DIF (differential item functioning) ...................................................... Testutviklernes etiske ansvar ......................................................................... Oppsummering ......................................................................................................

110 110 112 113 114 115 116 117 117 118 118 118 119 119 119 120 120 120 122 124 126

Kapittel 6

Validering ................................................................................................ 127 Ulike metoder for validering .................................................................................... Weirs syn på validering ............................................................................ Kanes syn på validering ...................................................................................... Validering av lese- og lytteprøver ............................................................................. Pilotering ..............................................................................................

128 128 130 132 132

innhold

Standardsetting ..................................................................................... Elevsentrerte metoder ......................................................................... Testsentrerte metoder ......................................................................... Validering av prøver i muntlig og skriftlig produksjon ......................................... Validering av tolkning og bruk av prøveresultater .............................................. Oppsummering ..........................................................................................

132 133 133 134 138 139

Kapittel 7

Washback og læringsorientert vurdering.................................................... 141 Washback ................................................................................................. Vurdering av læring og vurdering for læring ..................................................... Tilbakemeldinger man lærer av ..................................................................... Feedbackmodellen ................................................................................. Læringsorientert vurdering ..................................................................................... Oppsummering ......................................................................................................

141 144 145 147 151 154

Kapittel 8

Måling av reseptive ferdigheter ................................................................. 155 Lesing ....................................................................................................... Kognitive og sosiokulturelle teorier ............................................................ Grabe og Jiangs modell for lesing........................................................................ Khalifa og Weirs modell for lesing .............................................................. Lesing på et andrespråk ...................................................................................... Lytting ..................................................................................................................... Lytting på et andrespråk........................................................................... Fra overordnet teori til konstrukt for lese- og lytteprøver ..................................... PISA – lesekonstrukt ........................................................................................... Norskprøven – lesekonstrukt ..................................................................... Læringsstøttende prøver i engelsk for Vg1 – lyttekonstrukt ............................. Måling av lese- og lytteferdigheter ................................................................. Operasjonalisering av konstruktet.............................................................. Utviklingsprosessen ................................................................................ Eksempler på lese- og lytteoppgaver .............................................................. Flervalgsoppgaver .................................................................................. Kortsvarsoppgaver ............................................................................................. Lukeoppgaver .................................................................................................... Utfordringer med å måle reseptive ferdigheter ........................................................ Lærernes oppgave ...................................................................................... Oppsummering ..........................................................................................

155 156 157 158 160 161 162 163 165 166 166 167 167 169 171 172 174 174 175 176 177

innhold

Kapittel 9

Måling av produktive språkferdigheter ...................................................... 179 Produktive språkferdigheter ......................................................................... Kjennetegn ved skriftlig produksjon ............................................................... Hva er en god tekst? ................................................................................ Kulturspesifikke tekstidealer og interkulturell retorikk ................................... Kjennetegn ved muntlig produksjon og interaksjon ........................................... Hvorfor og hvordan skiller muntlig produksjon seg fra skriftlig produksjon? ........... Muntlig språkbruk inngår som oftest i en samtale ......................................... Muntlig språkbruk skjer under tidspress ..................................................... Muntlig språkbruk er preget av variasjon ............................................................ Måling av muntlig og skriftlig produksjon ................................................................ Prøveprosessen ...................................................................................... Konstruktet ........................................................................................... Oppgaver for skriftlig produksjon .............................................................. Oppgaver for muntlig produksjon .............................................................. Vurdering – hvordan sikre pålitelig sensorbasert vurdering? ............................... Vurderingskriterier og vurderingsskjema .................................................... Sensoropplæring .................................................................................... Typesvar ............................................................................................... Oppsummering ..........................................................................................

179 181 182 183 186 187 187 189 191 192 192 194 194 196 199 200 205 207 207

Kapittel 10

Rettferdighet – passer prøven for gruppen? ............................................... 209 Hvem skal prøven passe for? ......................................................................... Voksne innlærere med lite eller ingen skolebakgrunn .................................... Innlærere på høyt nivå ............................................................................. Unge innlærere ...................................................................................... Innlærere med spesielle behov .................................................................. Nedsatt hørsel ................................................................................... Nedsatt syn ....................................................................................... Andre fysiske skader og handikap .......................................................... Kognitive og emosjonelle utfordringer.................................................... Dysleksi og læringsvansker .................................................................. Traumer og bekymringer ..................................................................... Oppsummering ..........................................................................................

210 210 214 217 222 223 224 225 226 226 228 229

innhold

Kapittel 11

Testetikk – bruk og misbruk av språkprøver ................................................ 231 En prøves betydning for enkeltindivider og samfunn ......................................... Språkkrav og høyere utdanning ..................................................................... Korrelasjonsundersøkelsen 2006 ............................................................... Hva er nødvendige og tilstrekkelige ferdigheter? .......................................... Rettferdig omregning av norskresultater til 1–6-skalaen................................. Språkkrav og arbeidsmarkedet ...................................................................... Språkkrav og regulering av innvandring .......................................................... Språkkrav og statsborgerskap ................................................................... Språkkrav og permanent opphold.............................................................. Oppsummering ..........................................................................................

232 233 234 236 238 240 243 244 246 247

Kapittel 12

Digitale språkprøver ................................................................................. 249 Digitalisering av lytte- og leseprøver ............................................................... Adaptive prøver ...................................................................................... Fordeler med adaptive prøver ............................................................... Utfordringer med adaptive prøver ......................................................... Flerstegsprøver .................................................................................. Oppgavetyper........................................................................................ Pilotering .............................................................................................. Automatisk skåring av oppgaver ................................................................ Automatisk generering av data ........................................................................... Digitalisering av prøver i skriftlig og muntlig produksjon .................................... Digitale prøver i skriftlig produksjon ........................................................... Fordeler ............................................................................................ Utfordringer .......................................................................................... Digitale prøver i muntlig produksjon og interaksjon ...................................... Fordeler ............................................................................................ Utfordringer ...................................................................................... Digitale muligheter for tilrettelegging ............................................................. Digitalisering av prøvesystem........................................................................ Forfattermodul ....................................................................................... Universell utforming................................................................................ Oppsummering ..........................................................................................

250 250 250 251 252 253 254 256 257 257 257 259 262 263 263 265 266 268 268 269 270

Referanseliste ........................................................................................... 271 Stikkord .................................................................................................... 293

Introduksjon Denne boken handler om vurdering av språkferdigheter. Den handler om hva språkferdigheter er, og hvordan de kan måles. Den handler om språkprøver, om hva som kjennetegner en god prøve, og om bruk og misbruk av prøver og prøveresultater. Den handler om konteksten en språkprøve settes inn i, om bakgrunnen for at prøver blir innført, og om konsekvensene prøven har, både for samfunnet og for den enkelte. Den handler om testetikk. Den handler om at prøver kan åpne dører til studier, arbeid og samfunnsdeltakelse, men også om at prøver kan stenge dører. Den handler om rettferdighet og urettferdighet og om hvordan de som utvikler språkprøver, kan legge til rette for at alle kandidater får vist sine ferdigheter på prøven.

Trenger vi en bok om vurdering av språkferdigheter? Vi har skrevet denne boken av flere grunner. For det første ønsker vi at boken skal bidra til å øke kunnskapen om hva som kjennetegner en god prøve, slik at de som utvikler eller bruker språkprøver, kan forholde seg kritisk og reflektert til vurderingsverktøyet. I tillegg ønsker vi at boken skal bidra til større bevissthet rundt etiske problemstillinger i forbindelse med innføring og bruk av prøver, både i en opplæringssituasjon og ellers i samfunnet. Vi trenger en mer kunnskapsbasert diskusjon om vurdering, og med lang erfaring i å utvikle og kvalitetssikre språkprøver for barn og voksne i grunnskolen, videregående skole og voksenopplæringen mener vi at vi kan bidra med noen faglige innsikter og erfaringer som kan være nyttige for andre. Måling og vurdering av språkferdigheter er et tema som stadig blir mer aktuelt. Dagens Norge er et sammensatt og mangfoldig språksamfunn. Vi har

Vurdering aV språkferdigheter

to offisielle skriftspråk (nynorsk og bokmål), et stort antall ulike talemålsvarianter (dialekter og sosiolekter), urfolkspråk (ulike samiske språk), nasjonale minoritetsspråk (kvensk, romanes og romani), tegnspråk, nabospråk (dansk og svensk) og langt over hundre forskjellige innvandrerspråk (Engen & Kulbrandstad, 2004). Norge er et flerspråklig samfunn i den forstand at en rekke ulike språk eksisterer side om side. I tillegg kan vi si at det norske samfunnet er flerspråklig fordi de aller fleste innbyggerne er flerspråklige og kan veksle mellom å bruke flere språk (Weinreich, 1953). Engelsk har vært et obligatorisk fag i grunnskolen siden sekstitallet, og selv om det ikke finnes noen fullstendig oversikt over engelskferdighetene i befolkningen, tør vi påstå at det bare er et fåtall av innbyggerne som overhodet ikke har noen ferdigheter i engelsk. I tillegg velger 77 prosent av elevene i ungdomsskolen et nytt fremmedspråk i 8. klasse (spansk, tysk, fransk o.a.) (Fremmedspråkssenteret, 2018). Antallet minoritetsspråklige elever i grunnskolen og videregående opplæring har økt betraktelig siden midten av 1990-tallet: Ca. 16 prosent av elevene i grunnskolen er minoritetsspråklige (innvandrere eller norskfødte barn av innvandrere), nesten alle fortsetter til videregående utdanning, og norskfødte med innvandrerforeldre går videre til høyere utdanning i større grad enn i befolkningen for øvrig (SSB, 2016). Voksne innvandrere utgjør i dag en betydelig andel av befolkningen i Norge, og det store flertallet av dem lærer norsk. For alle som er omfattet av introduksjonsloven (flyktninger, familiegjenforente og andre som har fått innvilget asyl etter utlendingsloven), er norskopplæring del av det obligatoriske introduksjonsprogrammet. Vel 41 000 voksne innvandrere fulgte denne opplæringen i 2017 (IMDi, 2017). Språklæring og språkundervisning berører altså de aller fleste innbyggerne i Norge på en eller annen måte, på et eller annet tidspunkt i livet. I tilknytning til dette har samfunnet behov for å vurdere hvor gode språkferdigheter en språkinnlærer har. I skolesammenheng trenger vi verktøy for å vurdere språkferdigheter, både minoritetsspråklige elevers norskferdigheter og elevenes ferdigheter i fremmedspråk (engelsk, tysk, fransk osv.). I tillegg trenger ulike instanser i samfunnet verktøy for å vurdere om en person har gode nok ferdigheter i norsk til å utføre visse oppgaver, som å følge studier på norsk eller utføre ulike arbeidsoppgaver på en forsvarlig måte. Krav om norskferdigheter for opptak til høyere utdanning er regulert av universitets- og høgskoleloven, mens krav om språkferdigheter for ulike jobber stilles både på nasjonalt, regionalt og lokalt nivå (Haugsvær,

introduksjon 15

2018; Carlsen mfl., 2019). 1. januar 2017 ble dessuten krav om språkferdigheter et vilkår for permanent opphold og statsborgerskap, som en del av regjeringen Høyre/FrPs innstramminger av innvandringslovgivningen (statsborgerloven). Denne boken handler om vurdering av andre- og fremmedspråksferdigheter.1 Den legger altså særlig vekt på vurdering av språkferdigheter hos barn, unge og voksne som har lært et språk i tillegg til morsmålet, enten fordi de har et annet morsmål enn norsk, eller fordi de har lært engelsk eller andre språk senere i livet. Vi kunne også ha inkludert vurdering av morsmålskompetanse (norsk og ulike minoritetsspråk), men vi måtte gjøre en avgrensning og har derfor valgt å ikke omtale dette i særlig detalj. Mange av kapitlene vil imidlertid ha overføringsverdi til vurdering av morsmål og vurdering av andre ferdigheter, for prinsippene for hva som kjennetegner en god prøve er langt på vei generelle og faguavhengige.

Hvem er boken skrevet for? Denne boken har flere målgrupper. Den henvender seg primært til lærere og lærerstudenter i norsk som andrespråk (for barn, unge og voksne) og til lærere og lærerstudenter i fremmedspråk som engelsk, fransk, tysk og spansk. Samtidig mener vi at mange av temaene vi behandler, som kjennetegn ved en god prøve, hvordan man kan sikre pålitelig sensur av muntlig og skriftlig produksjon, og hvordan underveisvurdering kan bidra til læring, også vil være høyst relevante for lærere i morsmålsfaget norsk og i andre fag i skolen. Etter opplæringsloven har elever i grunnskolen og videregående opplæring rett til både underveisvurdering og sluttvurdering. Det å vurdere elevenes ferdigheter for å gi nyttige og læringsfremmende tilbakemeldinger og for å sette standpunktkarakter eller eksamenskarakter er derfor en integrert og naturlig del av læreryrket. Samtidig viser resultater fra nasjonale og internasjonale lærerundersøkelser at mange lærere opplever at de har mangelfulle kunnskaper om måling og vurdering, og at dette er et emne de har behov for kompetanseheving i (Hasselgreen mfl., 2004; Green, 2013; Taylor, 2013). I rapporten Utbytte av videreutdanning konkluderes det blant annet med at elevvurdering er et av områdene færrest lærere opplever å ha tilstrekkelig kompetanse i (Oxford Research, 2011, s. 43). Vurdering av språkferdigheter tematiseres i liten grad i lærerutdanningen. 1

For en definisjon av fremmedspråk og andrespråk, se kapittel 1.

Vurdering aV språkferdigheter

Dette understrekes også av internasjonale forskere, blant andre Alderson og Bachman (2006, s. x), som konkluderer med at de fleste språklærere for unge elever har lite eller ingen formell utdanning i vurdering av språkferdigheter. En annen viktig målgruppe for boken er de som utvikler språkprøver, enten de lager kartleggingsverktøy i norsk for minoritetsspråklige, kartleggingsverktøy for leseferdigheter for skolen, eksamener, underveisvurderinger eller frittstående ferdighetsprøver. Det er en rekke miljøer som driver med prøveutvikling, enten på fulltid (som ansatte ved Kompetanse Norge, Norsk språktest og de som utvikler nasjonale prøver) eller som en del av jobben, slik tilfellet er for de som lager avsluttende eksamener for norskkurs ved universitetene (for eksempel Trinn 3-eksamen) og avgangseksamener for grunnskolen og videregående skole. Vi tror denne boken vil være nyttig som en innføring for prøveutviklere, men vi må understreke at den ikke vil gi et tilstrekkelig grunnlag for å jobbe faglig med alle sider av utvikling og kvalitetssikring av prøver. Den inneholder for eksempel ikke mye stoff om hvilke statistiske metoder som kan brukes for å undersøke oppgavenes vanskegrad, sensorenighet og så videre, så her vil det være nødvendig å supplere med annen faglitteratur.2 En siste målgruppe vi håper å nå med denne boken, er arbeidsgivere, politikere og beslutningstakere, altså de som har myndighet til å innføre prøver, stille språkkrav i ulike sammenhenger eller bruke prøveresultater for ulike formål. Vi mener det er svært viktig at de som skal bruke et prøveresultat som grunnlag for viktige beslutninger, har kunnskap om vurdering. Det er avgjørende at de vet at det ikke er et 1:1-forhold mellom en ferdighet og et prøveresultat, at et prøveresultat alltid vil være påvirket av andre faktorer enn ferdigheten vi ønsker at prøven skal måle, at sensorbasert vurdering aldri er fullstendig pålitelig, og at man derfor alltid bør være forsiktig med å basere viktige avgjørelser på prøveresultat alene. I forbindelse med ansettelser har vi de senere årene sett en rekke eksempler på at det stilles språkkrav (ofte knyttet til nivåene i Rammeverket (Europarådet, 2001)) som er så strenge at de bryter med diskrimineringsloven og vil kunne stenge arbeidsmarkedet for innvandrere som sannsynligvis kunne ha fungert utmerket i jobben. Det er dårlig integreringspolitikk og lite bærekraftig i et samfunnsøkonomisk perspektiv. Språkkrav for permanent opphold og statsborgerskap er en sak for seg, og 2 Se for eksempel Bachman (1990, 2005).

introduksjon 17

også her mener vi det er ytterst viktig at politikere baserer seg på kunnskap om konsekvensene av slike krav for integrering, og ikke blindt følger etter politikkutformingen i andre land.

Hvorfor har vi valgt disse prøvene som eksempler? Denne boken handler som sagt om vurdering av språkferdigheter, og vi kommer inn på både underveisvurdering, kartleggingsverktøy, nasjonale prøver, sluttprøver, frittstående ferdighetsprøver for voksne m.m. Det har vært viktig for oss å trekke inn ulike prøver for at boken skal være relevant for de ulike lesergruppene vi henvender oss til. Samtidig har vi ikke etterstrebet å gi en fullstendig oversikt over alle prøver som brukes for å vurdere språkferdigheter i Norge. En viktig bakgrunn for eksemplene i boken er at vi har ønsket å vise til prøver som er utviklet i henhold til testteori og faglige krav til en god prøve, med andre ord prøver som måler det samme fra avvikling til avvikling, som er oppbygd over samme mal fra gang til gang, og som følger faglige prinsipper for å sikre at den sensorbaserte vurderingen blir pålitelig. Følgelig er det en rekke eksempler på prøver som er utviklet i henhold til faglige standarder, såkalte standardiserte prøver. En ikke-standardisert prøve kan vanskelig eksemplifisere prøvekvaliteter, fordi man ikke har noen garanti for at prøven vil måle det samme, på samme måte og med samme vanskegrad ved neste prøvegjennomføring. Dette kan være greit nok for prøver som ikke har store konsekvenser for de som tar den (slik som en lekseprøve, som først og fremst skal gi tilbakemelding til læreren om hvorvidt elevene har lært det som er blitt gjennomgått). Men for prøver som får store konsekvenser, såkalte high-stakes-prøver, må det stilles strengere krav til kvalitet, og slike prøver må utvikles i henhold til testteori og retningslinjer for prøvekvalitet. Vi har jobbet med utviklingen av Norskprøve 2, Norskprøve 3 og Test i norsk – høyere nivå («Bergenstesten») for Norsk språktest (Universitetet i Bergen / Folkeuniversitetet), Norskprøven (Kompetanse Norge) og Nasjonale prøver i engelsk (Universitetet i Bergen / Utdanningsdirektoratet). Det er derfor naturlig at flere eksempler hentes fra de prøvene vi kjenner godt. En liten merknad til slutt: Å trekke inn konkrete læreplaner, undervisningsopplegg, prøver og prøveutviklere innebærer en risiko, siden dette ikke er

Vurdering aV språkferdigheter

uforanderlige og konstante størrelser. Noe av det vi skriver om prøvers innhold og gjennomføring, læreplaner og så videre, vil uten tvil endres med tiden, slik at en del av de konkrete eksemplene etter hvert kan bli utdaterte. Vi er fullt klar over denne risikoen, men de konkrete eksemplene er så viktige i en innføringsbok som denne at vi likevel har valgt å inkludere dem.

Testing eller vurdering? Bokens tittel, Vurdering av språkferdigheter, er nøye overveid. Vi vurderte også Måling og vurdering av språkferdigheter, Testing av språkferdigheter, Testing og vurdering av språkferdigheter osv., for som vi skal vise i kapittel 1, er disse termene langt på vei – men ikke helt – synonyme. Vurdering er overordnet og omfatter måling og testing. Vurdering omfatter også ikke-standardiserte prøver, som lekseprøver og underveisvurderinger som læreren selv utvikler. Måling er vurdering i henhold til faste prosedyrer og innebærer en kvantifisering av resultater (omgjøring av resultater til numeriske verdier). Testing er måling ved hjelp av en prøve som er laget for å samle inn bestemte typer språkferdigheter. Vi sa nettopp at boken primært konsentrerer seg om utvikling av prøver etter faste prosedyrer og testfaglige prinsipper, og i mindre grad om vurdering som ikke er utviklet i henhold til slike prinsipper. Ville det ikke da være riktigere å kalle boken Testing av språkferdigheter? For oss er begrepene prøve og test synonyme. Når vi har valgt å kalle boken Vurdering av språkferdigheter, er det fordi ordet «testing» i Norge ofte assosieres med storskala, objektivt rettede prøver som utelukkende består av flervalgsoppgaver, og som ikke er utviklet med tanke på pedagogiske konsekvenser, rettferdig bruk, like muligheter osv. Det er ikke slik at en prøve har positive konsekvenser fordi vi omtaler den som et kartleggingsverktøy, mens den har negative konsekvenser fordi vi kaller den en test. Vi håper at boken vil bidra til en bedre forståelse av hva som kjennetegner en god prøve eller test. I dette inngår hensynet til at prøven skal virke positivt tilbake på undervisning og læring, pålitelig og rettferdig vurdering, etisk bruk av prøveresultater, og at prøven skal legge til rette for at alle kandidater, også de med spesielle behov, får muligheter til å vise hva de kan. Språktesting er et fagfelt hvor innlæreren og språkinnlæring er i sentrum, hvor hensynet til kandidaten er sentralt, og hvor de etiske sidene av bruken av prøveresultater står høyt på den faglige agendaen.

Vurdering av språkferdigheter

Boken presenterer norsk og internasjonal forskning på feltet og passer som pensumbok på ulike språkemner, særlig innenfor feltet andrespråkslæring og -undervisning.

Cecilie Hamnes Carlsen & Eli Moe

Vurdering av språkferdigheter

Cecilie Hamnes Carlsen & Eli Moe ISBN 978-82-450-2509-5

,!7II2E5-acfajf!