Spørgeskema design - en praktisk guide til bedre svar by Analysegruppen A/S

Johnny Heinmann

SpĂ¸rgeskema design

En praktisk guide Til bedre svar

”There is an almost limitless body of desirable and useful information that can be gathered only by asking people questions” Floyd J. Fowler, Jr.

Spørgeskema design – en praktisk guide til bedre svar © 2007 Johnny Heinmann. Udgivet af Analysegruppen A/S, Østergade 7, 8600 Silkeborg. Fotografisk, mekanisk eller anden gengivelse af dette materiale, eller dele heraf, er ikke tilladt i følge lov om ophavsret.

Indholdsfortegnelse Indledning ................................................................................. 3 Hvad vil du gerne vide?......................................................... 4 Dataindsamlingsmetode ....................................................... 5 Hvilken metode skal man vælge?............................................ 5

Spørgeskema design ............................................................. 8 Overvej rapporten ........................................................................ 8 Anonymt eller ”med navn”?...................................................... 8 Spørgsmålenes rækkefølge ...................................................... 9 Længde........................................................................................... 9 ”Til slut nogle få oplysninger til statistisk brug” .............. 10 Interviewerens rolle................................................................... 10

Åbne og lukkede spørgsmål .............................................. 12 Åbne spørgsmål ......................................................................... 12 Lukkede spørgsmål................................................................... 12 Uddybninger................................................................................ 13 Hold det simpelt ......................................................................... 13 Stil ét spørgsmål ad gangen ................................................... 14 Svargrupper................................................................................. 14 Ordvalg ......................................................................................... 14 Ledende spørgsmål................................................................... 15 ”Ved ikke / ingen mening” ....................................................... 15 Negative formuleringer............................................................. 16

Skalaer og kategorier........................................................... 17 Skala værdier .............................................................................. 17 Mere om skalaer ......................................................................... 18 Antal kategorier .......................................................................... 19 Enighedsskala ............................................................................ 19

Måling af betydning .............................................................. 20 Kvalitetskort ................................................................................ 20 Prioritering af indsatsområder ............................................... 21

Test i praksis .......................................................................... 23 Tjekliste.................................................................................... 24 Litteraturliste .......................................................................... 25

“Well-designed questionnaires take time to put together, but their payoff is enormous. People are willing to respond to attractive questionnaires, so no response error is minimized; and they are able to do so accurately, so measurement error is less of a problem as well” Priscilla Salant og Don A. Dillman

Indledning Ved første øjekast ligner udarbejdelsen af spørgeskemaet et oplagt ”gør-det-selv”-projekt; grundlæggende handler det jo om at formulere de spørgsmål, man gerne vil have besvaret og er man i tvivl om, hvordan et spørgeskema skal se ud, kan man søge inspiration i de mange der i forvejen findes. Det ser nemt ud, men der er mange faldgruber som det kan være svært at styre uden om, hvis man ingen eller kun lidt erfaring har med området. Forkert grebet an kan analysen ende med at blive af tvivlsom kvalitet og i bedste fald spild af tid og ressourcer. Værre endnu kan det ende med forkerte konklusioner og beslutninger. De, der designer spørgeskemaer, har et særligt ansvar for at sikre, at spørgsmålene – og ikke mindst svarmulighederne - er præcise, relevante, dækkende og gennemtænkte; at spørgsmålene kommer i en logisk rækkefølge og at respondenten føler fremskridt efterhånden som de besvares. Respondenternes tid er kostbar, ligesom vores egen, og det er respektløst at spilde den ved at spørge om noget, der ikke er vigtigt, eller som man selv burde vide i forvejen. Spørgeskemaet skal gøres overkommeligt ved at prioritere dét, der er vigtigst og udelade resten. Det er vores erfaring, at de fleste er villige til at hjælpe med at besvare spørgsmål, hvis de samtidig oplever, at de dermed bidrager til noget fornuftigt. Spørgeskema design er en kunst – ikke en videnskab. Hensigten med dette hæfte er ikke at præsentere en facitliste for, hvordan spørgeskemaer skal udarbejdes. Det ville være useriøst, for der er mange måder at ”komme til Rom” på. Hensigten er at give læseren et indblik i, hvordan vi tænker på bureauet, når vi designer spørgeskemaer. Vi håber, at vores erfaringer kan inspirere og bidrage til bedre og mere effektive undersøgelser til gavn for alle parter: Kunden, respondenten og bureauet. Johnny Heinmann

Hvad vil du gerne vide? Forudsætningen for at stille de rigtige spørgsmål, er, at man har et klart billede af hvilken information man ønsker. Inden man kaster sig ud i opgaven med at designe spørgeskemaet, er det vigtigt at gøre sig klart, hvad det er man gerne vil vide og er i stand til at beskrive det i klare sætninger - Ikke som de endelige spørgsmål, der skal stilles til respondenterne, men som punkter på en liste, der efterfølgende kan prioriteres efter deres vigtighed.

Dataindsamlingsmetode Når analysens formål er afklaret, skal der tages stilling til, hvilken dataindsamlingsmetode der bedst egner sig til at løse den forestående opgave. Der er nemlig stor forskel på, om man designer et spørgeskema til dataindsamling via telefon, Internet, postalt eller personligt; Papir- og internetbaserede spørgeskemaer skrives for øjet; Telefon spørgeskemaer skrives for øret. I et telefoninterview hører respondenten kun ordene og er helt upåvirket af, hvordan spørgeskemaet ser ud. Omvendt danner respondenter sig som regel et førstehåndsindtryk af et spørgeskema allerede inden de har nogen idé om, hvad det går ud på; Layout, billeder, format, farver, typografi og punktstørrelse er i høj grad med til at skabe et indtryk af spørgeskemaet som indbydende og appetitligt eller kedeligt og uinteressant. Hvor spørgeskemaer til papir og internet er visuelle, afhænger telefoninterviews af, hvad man hører. Face-to-face interviews kan udnytte alle former for kommunikation. Den metode, der måske vil fungere perfekt i én sammenhæng, vil måske slet ikke fungere i en anden. Som det fremgår af skemaet på næste side, har hver metode sine fordele og ulemper i relation til spørgemuligheder, svarprocenter, omkostninger mv. Generelt kan det siges, at telefon- og personlige interviews er velegnede til åbne spørgsmål, hvor respondenten med egne ord formulerer sine svar, men også til lukkede spørgsmål, hvor svarmulighederne er defineret på forhånd. Dataindsamling via Internet eller fodpost egner sig mest til lukkede spørgsmål.

Hvilken metode skal man vælge? Hvis målgruppen er relativt begrænset i antal og det er specifikke personer der ønskes deltagelse fra, bør man vælge en metode, der er kendetegnet ved en høj svarprocent som f.eks. telefoninterviews. Telefonen er også et hurtigt medie, hvis opgaven er underlagt en stram deadline. Er målgruppen stor, spørgsmålene lukkede og opgaven low-budget, kan det tale for at anvende Internettet eller papirbaserede spørgeskemaer til dataindsamlingen.

Men husk, ingen regler uden undtagelser! F.eks. vil medarbejderanalyser typisk ikke blive udført telefonisk, selvom målgruppen både er begrænset i antal og hver eneste besvarelse er vigtig. Hensynet til anonymitet gør, at sådanne undersøgelser bedst udføres af en neutral 3. part, som sender et papirbaseret spørgeskema og/eller et link til spørgeskemaet som medarbejderen kan udfylde på internettet. Bureauet står som garant for 100% anonymitet i forhold til arbejdsgiveren. Svarprocenten i den type undersøgelser plejer at være relativt høj.

Brev

Face-to-face

Telefon

Internet

Fordele

Giver respondenten tid til at tænke over tingene. Skemaet kan udfyldes, når det passer personen bedst. Metoden er velegnet til lukkede spørgsmål (kryds-af-felter), dvs. kvantitative undersøgelser. Man undgår ”interviewer-skævhed” (besvarelsen påvirkes ikke af intervieweres forskellige måder at opfatte den samme ting på).

Kan etablere en tillidsfuld atmosfære. Komplicerede aspekter kan belyses og uddybes; gode muligheder for at gå ind bag svarene. Mulighed for at fremvise materialer (plancher, brochurer, vareprøver o.lign.) Intervieweren kan gøre egne observationer om karakteristika ved respondenten og dennes virksomhed

Det kan være en billig metode, hvis målgruppen er stor. Derfor bruges den tit på konsument markedet.

Høj svarprocent – 90 % er ikke ualmindeligt.

Kombinerer telefonens hastighed med brevets mulighed for at overveje svarene grundigt.

Det går hurtigt. Man kan på kort tid nå hele landet, ja, hele verden rundt.

Skemaet kan udfyldes 24/7, præcis når det passer vedkommende.

Fremragende dækning i befolkningen via fastnet og mobil.

Velegnet til målgrupper med Internet adgang.

Respons og resultater kan følges online i real-time.

Spørgsmål stilles 100% ens hver gang.

Det er to-vejs-kommunikation, hvilket giver mulighed for straks at få uddybet uklare svar. Man kan ”høre”, hvis respondenten ikke er med, og gøre noget ved det.

Billigt at udsende invitationer og modtage besvarelser.

Interviewforløbet styres ved at indsætte regler, så respondenten ubemærket dirigeres igennem skemaet afhængigt af dennes besvarelser.

Interviewprocessen kan kontrolleres og korrigeres mens arbejdet står på.

Der kan vises billeder og bruges multimedia.

Respons og resultater kan følges online i real-time.

Kan bruges til at afdække såvel kvalitative som kvantitative data.

Ulemper Spørgeskemaet får ofte lov til at ligge længe, inden det bliver udfyldt. Tit kan det være nødvendigt at rykke, skriftligt og/eller telefonisk, og således reduceres den økonomiske gevinst ved metoden hurtigt. Metoden er kendetegnet ved lav svarprocent. Man kan ikke løbende korrigere og forbedre spørgeskemaet, efter det er sendt ud. Man ved ikke, hvem der har udfyldt skemaet (direktøren kan have sat sekretæren til det).

Ulemper Det er tidskrævende, og derfor relativt dyrt. En interviewer kan vanskeligt gennemføre mere end nogle få interviews per dag. Kvaliteten er meget afhængig af interviewerens kompetence og evne til at gå i dybden med spørgsmålene. Det er vanskeligt at kontrollere kvaliteten.

Ulemper

Der kan ikke fremvises materialer.

Svarprocenten er ofte kritisk lav.

Egner sig ikke til vurdering af mange parametre i forhold til hinanden.

Det er én-vejs-kommunikation, hvorfor der ikke er mulighed for at bede om uddybninger eller afklare misforståelser. Egner sig derfor ikke til kvalitative analyser.

Kategorierne og parametrene kan være svære at overskue via telefonen, Intervieweren kan påvirke svarene ved at afvige fra manuskriptet eller have en forkert attitude, ligesom der kan ske misforståelser i begge ender.

Åbne spørgsmål besvares ofte med énstavelsesord, som ikke giver mening. E-mail invitationer, der ikke når frem, fordi de fanges af spam-filtre. Risiko for at "drukne" i stigende mængder e-mails.

Det er én-vejs-kommunikation – åbne spørgsmål besvares ofte med enkelt ord, som uden en efterfølgende uddybning er værdiløse.

Man kan ikke være sikker på, hvem der svarer. E-mail invitationen kan være forwarded til en anden. Ingen eller meget ringe mulighed for at slå forkerte eller manglende email adresser op..

Respondenten kan se alle spørgsmålene før besvarelsen påbegyndes – man kan ikke ”styre” interviewsituationen.

Spørgeskema design Når der er taget stilling til, hvilken metode, der skal bruges til dataindsamlingen, er det tid til at designe spørgeskemaet. Benyt en logisk rækkefølge i måden spørgsmålene stilles på – start gerne med nogle lette spørgsmål, som ”varmer” respondenten op og bringer tankerne ind på det rigtige spor. Derfra gælder det om at fastholde interessen med relevante, involverende spørgsmål som lader respondenten føle, at det går fremad. Skab et godt flow, en glidende overgang fra det ene område til det næste. Sørg hele tiden for at respondenten véd, hvad der forventes af ham/hende. Tip! Hvis der er udført foranalyser eller på anden måde indsamlet relevant information, der kan bruges i forbindelse med den forestående opgave, er det oplagt at bruge dette materiale i design fasen.

Overvej rapporten Allerede når spørgeskemaet er på skitseplanet, anbefales det at overveje, hvordan man ønsker at den endelige rapport skal se ud, herunder hvordan besvarelserne skal behandles og præsenteres. Hvis man starter ”baglæns” i forløbet med at gennemtænke rapporten, kan det også inspirere og bidrage til udviklingen af spørgeskemaet; det kan være en hjælp til at identificere svage spørgsmål og uhensigtsmæssige svarkategorier.

Anonymt eller ”med navn”? Overvej om respondenterne skal deltage anonymt, med navn eller om det skal være valgfrit. Om det ene eller det andet koncept vælges kan have indflydelse på den type spørgsmål der kan stilles og sandhedsværdien i de svar, der modtages. I en anonym undersøgelse kan det nogle gange være lettere at komme ”tættere” på, hvis der er spørgsmål, der kræver det. Ulempen er selvfølgelig, at man ikke kender afsenderen af besvarelsen og derfor ikke kan følge op med forbedringer mv. i forhold til den enkelte, som det kan være relevant at gøre f.eks. som opfølgning på kundeanalyser. Fordelen ved at garantere anonymitet kan være en højere svarprocent, især hvis emnet er ”personligt” eller på anden måde følsomt. Medarbejderanalyser bør altid foregå anonymt og gennemføres af en ekstern 3. part, der kan garantere, at anonymitetsløftet overholdes. I

kundeanalyser vil det typisk være valgfrit om respondenten ønsker at lade besvarelsen gå videre med navn på.

Spørgsmålenes rækkefølge Det er sjældent, at der kun stilles ét spørgsmål om et emne. Som regel stilles flere, og dermed opstår der en risiko for at svarene på spørgsmål senere i forløbet kan være påvirket både af de tidligere spørgsmål og af respondentens egne svar på dem. Mennesker vil gerne opfattes som sammenhængende og troværdige, så har en respondent på et tidligere spørgsmål svaret ”A” vil han eller hun være tilbøjelig til at fastholde kursen og svare ”B” til det næste, selvom de måske ville have svaret anderledes, hvis spørgsmålet havde stået alene. Rækkefølgen af spørgsmål betyder noget.

Længde Jo svagere relationen er mellem opdragsgiver og respondent og jo mindre interessant respondenten finder emnet, jo vigtigere er det at spørgeskemaet er kort og præcist. Jeg blev for nylig ringet op af et analysebureau, der ville gennemføre et interview om vores brug af mobiltelefoni. Der var ingen relation mellem dem, der havde bestilt undersøgelsen og os, og mobiltelefoni er ikke just et høj-interesse område for undertegnede. Men OK, jeg var villig til at give det et par minutter. ”For en ordens skyld skal jeg oplyse, at det tager ca. 18 minutter” sagde den stakkels interviewer. I min hovedregning blev 18 minutter hurtigt til 25, så der kom ikke noget interview ud af det. Hvem har tid til den slags? En klassisk fejl er, at spørgeskema forfatteren overvurderer respondenternes interesse i det emne, der er målet for undersøgelsen, og dermed også de øvre grænser for, hvor lang tid respondenterne er villige til at investere i sagen. Et spørgeskemas længde bør være balanceret i forhold til den interesse og relevans emnet og evt. opdragsgiveren har for respondenten. Dette er bl.a. baggrunden for, at de fleste kundeanalyser opnår meget høje svarprocenter og engageret deltagelse fra respondenterne; Der er en fælles interesse i at leverandøren betjener sine kunder bedst muligt. Ved at deltage opnår respondenterne bl.a. indflydelse på, hvordan samarbejdet fremover vil udvikle sig og det er i alles interesse. Især virksomheder, der sjældent udfører analyser, har en tendens til at ville undersøge ”alt” i én og samme omgang. Lad være med det! Spørgeskemaet bliver for langt og undersøgelsen for bred, hvilket skader svarprocenten og kvaliteten. Det er bedre at begrænse

undersøgelsen og fokusere målrettet på nogle enkelte vigtige områder. Husk, at der altid kan følges op med nye, mindre analyser, hvis der f.eks. er behov for en mere detaljeret forklaring og uddybning af mulige indsatsområder eller andet.

”Til slut nogle få oplysninger til statistisk brug” Hvis spørgeskemaet omfatter demografiske spørgsmål, anbefales det at lade disse komme til sidst. I starten af interviewet gælder det om at involvere respondenten i processen og det egner den type spørgsmål sig ikke til.

Interviewerens rolle Det hjælper ingenting at have udarbejdet verdens bedste spørgeskema, hvis intervieweren ikke er klædt ordentligt på til at løfte opgaven engageret og professionelt. Hvis det er face-to-face eller telefoninterviews, så sørg for at intervieweren er oprigtigt interesseret i svarene! Når vi udfører telefoninterviews på bureauet oplever vi af og til respondenter, der i starten af samtalen tilkendegiver, at de har travlt og gerne vil have interviewet overstået hurtigt, så de kan komme videre. I den slags situationer forsøger vi at lave en aftale om et andet tidspunkt at gennemføre interviewet på, men det er ikke altid, det er muligt og ofte viser det sig, at respondenten efter få minutter er så involveret i samtalen, at tiden ikke længere synes at udgøre et problem. Tingene går op i en højere enhed når intervieweren og spørgeskemaet fungerer optimalt og det lykkedes at involvere respondenten og give ham eller hende en god fornemmelse af at bidrage til noget meningsfyldt.

”Som man råber i skoven…” I forbindelse med et Tv-indslag i programmet Dags Dato havde analyseinstituttet Megafon udført en meningsmåling, der skulle vise om danskerne ville stemme JA eller NEJ til ØMU-samarbejdet: "Danmark deltager ikke i ØMU-samarbejdet om den fælles valuta Euroen. Mener du, at Danmark skal holde fast ved denne undtagelse, eller skal vi deltage i samarbejdet om den fælles mønt?" Resultatet af målingen blev JA 50 %, NEJ 38 % og VED IKKE 12 %. Under almindelige omstændigheder ville dette resultat i medierne blive videreformidlet som "Flertallet af danskerne ville stemme NEJ til Euroen, hvis der var valg nu". Men Dags Dato havde denne gang valgt at gribe sagen an fra en ny vinkel og i stedet sætte fokus på meningsmålingernes validitet. Analyseinstituttet var blevet bedt om at gennemføre yderligere en meningsmåling, præcis som den første, men med en anden formulering af spørgsmålet, der kom til at lyde som følger: "Mener du, at Danmark skal tiltræde EU's Økonomiske Monetære Union og erstatte den danske krone med Euroen?" Adspurgt på denne måde, blev resultatet af meningsmålingen nu et fuldstændig dødt løb mellem JA og NEJ siden: JA 44 %, NEJ 44 %, VED IKKE 12 %. Forskellen i disse resultater viser, hvor stor betydning formuleringen af spørgsmål i en analyse kan have for udfaldet. For det, der i disse meningsmålinger blev spurgt om, var jo grundlæggende set det samme! Det er altså ikke tilstrækkeligt at sikre, at man har valgt den rigtige målgruppe for målingen; den rigtige metode og periode for gennemførelse. Formuleringen af spørgsmålene; ordvalget og rækkefølgen spørgsmålene stilles i, skal også vurderes kritisk og testes i praksis inden de store konklusioner drages og videreformidles til den danske befolkning. Svarene bliver kun så gode som spørgsmålene tillader. “A classic example of this which has been discussed by a number of writers is a survey experiment conducted by The Roper Public Opinion Research Center in 1940 in which respondents were asked either: “Do you think the US should allow public speeches against democracy?” or “Do you think the US should forbid public speeches against democracy?” Whereas 62 % said “No” to the first question, only 46% said “yes” to the second”. William Foddy

Åbne og lukkede spørgsmål Hvorvidt spørgeskemaet overvejende skal bygges op med lukkede eller åbne spørgsmål afhænger bl.a. af den valgte dataindsamlingsmetode og formålet med undersøgelsen.

Åbne spørgsmål Åbne spørgsmål tillader respondenterne at udtrykke, hvad de virkelig tænker uden at blive påvirket af forslag fra intervieweren eller spørgeskemaet. Det giver ofte gode, eftertænksomme svar med megen dybde. Hvis intervieweren og spørgeskema designeren har gjort et godt job kan det være fantastisk lærerigt og inspirerende at studere de åbne udsagn og forsøge at ”fange” den logik, de tankeprocesser og prioriteringer, der ligger i mange af svarene. I foranalyse sammenhænge bruges åbne spørgsmål bl.a. til at identificere relevante måleparametre og etablere de ”rigtige” forudbestemte kategorier til lukkede spørgsmål. Åbne udsagn giver tillige konkret viden om respondenternes ordforråd, som er vigtigt i forbindelse med det senere analysearbejde. Prisen man betaler for kvaliteten i de åbne spørgsmål, er, at det efterfølgende er vanskeligt at tabulere og analysere svarene på en struktureret og objektiv måde. Det er svært at vægte de enkelte udsagn i forhold til hinanden og inddele dem i grupper: Et kort svar kan f.eks. fokusere på ét punkt, som er meget vigtigt for én respondent, mens et andet svar måske omhandler 2 eller 3 punkter, hvoraf ingen af dem er virkeligt vigtige for respondenten. Det er mere krævende for respondenten at besvare et åbent spørgsmål, for der er ingen hjælp at hente i form af ”genkendelse” af en svarkategori, som kan vælges fra en liste. Ved et åbent spørgsmål skal respondenten selv finde svaret i hukommelsen og derefter formulere sin mening i ord.

Lukkede spørgsmål Lukkede spørgsmål er lette for respondenter at besvare. Opgaven med at genkende et passende svar blandt de muligheder, der serveres for én, lever helt op til den gyldne regel om, at et spørgeskema skal være så let som muligt at besvare for respondenten.

En stor fordel ved de lukkede spørgsmål er desuden, at de er lette at efterbehandle og analysere, da svarene kan sammenlignes på en meningsfyldt måde. Lukkede spørgsmål er velegnet til anvendelse i alle dataindsamlingsmetoder. Problemet med de forudbestemte svargrupper kan være, at de er tilbøjelige til at få respondenter til at afgive svar de ikke ville have afgivet, hvis de skulle finde dem selv. De lukkede spørgsmål ”låser” respondenterne i muligheder der er forudbestemte, og det kan ikke undgå at påvirke svarene, især hvis kategorierne er ”frit opfundet” af forfatteren og ikke er et resultat af en egentlig kvalitativ foranalyse.

Uddybninger Åbne spørgsmål kan bruges som opfølgning på lukkede, f.eks. til at bede om en uddybning af områder, hvor respondenten har svaret på en bestemt måde. Der følges simpelthen op med et ”Hvorfor?” eller ”Hvorfor ikke?”. Dette skal bruges med omtanke, for det vil normalt ikke være hensigtsmæssigt at bede om uddybninger efter hvert eneste spørgsmål - Interviewet ville simpelthen blive for langt. Man bliver derfor nødt til at prioritere, hvor man vil bruge uddybninger og kun bruge dem dér, hvor det er allermest nødvendigt. Hvor mange uddybninger, der kan blive plads til, bestemmes af spørgeskemaets samlede længde, relationen mellem respondent og opdragsgiver samt respondentens interesse i det pågældende emne.

Hold det simpelt Ofte læser respondenter ikke lange introduktioner, retningslinier og spørgsmål i deres helhed; De læser tilstrækkeligt til, at de tror, de ved, hvad der bliver spurgt om og springer så resten over. For telefon- og face-to-face interviews gælder, at respondenten måske lytter opmærksomt i begyndelsen for så at lade tankerne vandre, når han eller hun begynder at kede sig. Derfor bør alle dele af spørgeskemaet være så kort og koncist som muligt og stadig opfylde formålet med undersøgelsen. Respondenten bør være i stand til let at udføre den forespurgte opgave. Hvis beregninger er nødvendige, bør spørgsmålene brydes ned i separate, overkommelige emner for respondenten. Så kan man selv udføre beregningerne bagefter. En generel regel er i øvrigt, aldrig

at spørge om noget, man selv kan finde ud af på anden måde og måske endda med større nøjagtighed. Det kan ikke siges for ofte: Spørgeskemaer skal gøres lette at besvare!

Stil ét spørgsmål ad gangen Et spørgsmål i et spørgeskema, der forleden passerede mit skrivebord, lød således: “Hvordan vurderer du leveringssikkerheden og servicen fra dit lokale el-selskab?” Sådanne ”to-i-et” spørgsmål forårsager problemer, for hvordan skal der svares, hvis leveringssikkerheden er god og servicen dårlig? Det ville det være bedre at spørge: 1. Hvordan vurderer du leveringssikkerheden fra dit lokale elselskab? 2. Hvordan vurderer du servicen fra dit lokale el-selskab?

Svargrupper Svargrupperne til et lukket spørgsmål kan være ligeså vigtige som selve spørgsmålet, for de er med til at give respondenten et billede af, hvilken type svar, der forventes. Det er meget vigtigt, at svargrupper er tilstrækkeligt dækkende, således at respondenterne ikke har problemer med at finde en gruppe, der repræsenterer deres svar. Foranalyser, herunder fokusgrupper, er velegnede til at identificere og formulere de rigtige svargrupper.

Ordvalg Ordvalget bør være sådan, at alle respondenter forstår meningen med et spørgsmål og sådan, at alle respondenter har den samme forståelse af, hvad den mening er. De ord, der benyttes i spørgsmålene skal være så præcise som muligt. Et spørgsmål som ”Hvor køber du oftest børnetøj?” mangler en klar referenceramme: Skal der svares ud fra, hvor man foretrækker at købe børnetøj eller ud fra, hvor man købte børnetøj sidste gang? Skal man lave en hurtig hovedregning og svare med det sted, hvor man flest gange har købt børnetøj inden for det sidste halve års tid? Eller skal man svare ud fra, hvor man har til hensigt at handle de kommende gange? Gælder spørgsmålet alene respondentens indkøb eller også de indkøb af børnetøj som dennes kone eller mand foretager? Hvad vil det sige, at indkøbene er ”ofte”? Er én gang i kvartalet nok? Skal det være Spørgeskema design – en praktisk guide til bedre svar © 2007 Johnny Heinmann, www.analysegruppen.dk 14

en gang om ugen? Svaret er ”Ja!” – ligesom man af spørgsmålet selv kan udlede, hvad det betyder, så gælder det samme for svaret. I stedet for at bruge et ord som “ofte” bør spørgsmålet være præcist: “I den forløbne uge”, “inden for de seneste 90 dage” eller “den sidste gang du købte…”. Et spørgsmål bør formuleres så alle respondenter besvarer det samme spørgsmål.

Ledende spørgsmål Det kan være vanskeligt at formulere fuldstændigt neutrale spørgsmål og udsagn, men man skal bestræbe sig herpå. I stedet for at spørge f.eks.: ”Hvor tilfreds er du med… ” så spørg hellere: ”Hvor tilfreds eller utilfreds er du med…”

”Ved ikke / ingen mening” Det er veldokumenteret, at mange respondenter svarer på de fleste spørgsmål, selv når de ved meget lidt eller ingenting om emnet. Undersøgelser1 har vist, at det kan dreje sig om helt op til 1/3 af respondenterne. Respondenter bør have mulighed for at svare ”ved ikke/ingen mening”, da man ellers risikerer at mange svarer på noget, de ikke ved noget om. Hvordan kan man f.eks. vurdere en virksomheds reklamationsbehandling, hvis man aldrig har haft en reklamationssag? I en Internet undersøgelse, jeg for nylig deltog i, blev jeg bedt om at afgive et svar på én side, inden jeg kunne få lov til at gå videre til den næste. Jeg vidste ikke, hvad jeg skulle svare, for ingen af svarkategorierne dækkede det faktum, at jeg absolut intet vidste om det emne, spørgsmålet drejede sig om! Jeg forsøgte at ihærdigt at klikke videre, men fik en meddelelse om, at jeg først skulle markere mit svar. Det gjorde jeg så – men det var helt tilfældigt – og bestemt ikke et udtryk for, hvordan jeg burde have svaret. Tip! Hvis respondenter tvinges til at afgive forkerte svar eller vælge svar, der ikke passer på dem, kan det skabe irritation og forkerte beslutningsgrundlag. Hvis det er vigtigt at få præcise data, er det derfor en god idé at inkludere “Ved ikke/ingen mening” blandt svarmulighederne.

Earl Naumann og Kathleen Giel i ”Customer Satisfaction Measurement and Management” 1995

Negative formuleringer Undgå at bruge negative formuleringer som f.eks. ”Angiv hvor enig eller uenig du er i følgende udsagn: Ledelsen skulle ikke være så usamarbejdsvillige i forhold til fagforeningen”. Formulér i stedet sætningen således: ”… Ledelsen skulle være samarbejdsvillige i forhold til fagforeningen”.

The following is an example of ”blab-blab” questions: ”Should our country be more active in world affairs” Such a question means little more than the question ”Should our bla be more bla in bla”. What is conveyed by the word “country” in this instance – our government as a whole, the State Department, our commercial firms, our industrialists, or what? “More active?” In what way? How active is your country now? “World affairs?” Oh brother! These are the kind of terms that have to be defined explicitly before philosophers can begin to discuss them. Payne

Skalaer og kategorier Interval skalaer og kategorier er nemme at bruge for respondenten, de er nemme at designe og efterfølgende behandle rapportmæssigt. Det er dog let at komme til at fordreje besvarelser ved at bruge ledende kategorier eller udsagn. Sammen med en indkøbshåndbog, vi modtog fra et af de store teleselskaber, fulgte et spørgeskema, hvor et af spørgsmålene bl.a. lød: ”Sammenlignet med andre indkøbshåndbøger, hvordan bedømmer De ___ ?” Svarmulighederne der fulgte var: ”Virkelig god, god og mindre god”. Det ”neutrale” midtpunkt her var altså ”God” og selv, hvis man nu bedømmer produktet som ”Virkelig dårligt” (der burde være modvægten til ”Virkelig god”), så er den lavest mulige rating altså kun ”Mindre god”.

Skala værdier Modpolerne på en skala skal være klare, passende og nemme at huske. Her følger nogle eksempler på meget benyttede skalaer: Meget tilfreds 10 9 8 7 6 5 4 3 2 1 Meget utilfreds Meget dårligt 5 4 3 2 1 Meget godt Helt enig 5 4 3 2 1 Helt uenig Skalaer og kategorier kan være balancerede eller ubalancerede, således at et ulige antal giver et neutralt midtpunkt, og et lige antal ikke gør. Her er et eksempel, hvor der benyttes fire kategorier (ubalanceret):

Som det fremgår, er der intet neutralt midtpunkt (f.eks. ”Både/og” eller ”Hverken/eller”), ligesom der mangler en ”Ved ikke / Ingen mening” kategori. Jeg antager, at ræsonnementet bag dette er, at alle (hvis de gør sig lidt umage, og det forsøger man at motivere dem til på denne måde) bør kunne svare på om de er tilfredse eller utilfredse. Altså et forsøg på at fremprovokere en stillingtagen i stedet for at vælge den bløde ”leverpostej” i den neutrale midte eller den uforpligtende ”Ved ikke / Ingen mening” rubrik. Men hvor skal man sætte sit kryds, hvis man f.eks. både har gode og dårlige oplevelser og faktisk hverken er tilfreds eller utilfreds (det manglende ”hverken/eller” i midten)? Hvor skal man sætte sit kryds, hvis man aldrig har prøvet at ringe og spørge selskabet til råds? Skal man gætte? Jeg kender ikke svaret på disse spørgsmål, men ved, hvor irriteret jeg selv bliver, hvis jeg ikke får lov til at afgive sandfærdige svar. Derfor anbefaler jeg næsten altid brugen af både ”Ved ikke / Ingen mening” samt et neutralt midtpunkt.

Opgave: Kig igen på illustrationen side 17. Der er I alt tre overtrædelser af gyldne regler I dette 2 hæfte. Kan du finde de to andre? Svaret finder du nederst på denne side .

Mere om skalaer Det er ikke uden betydning, i hvilken rækkefølge skala parametre placeres, da vurderingerne af de første spørgsmål kan smitte af på de efterfølgende: Respondenten overvejer måske endepunkterne ved det første spørgsmål og vurderer det til ”5” på en 10-punkt skala. Derefter kan det ske, at de følgende spørgsmål ikke vurderes i forhold til endepunkterne, men i forhold til den foregående vurdering: Respondenten vurderede det foregående spørgsmål til ”5” og eftersom han eller hun synes, at det aktuelle punkt er lidt bedre, bliver det derfor vurderet til ”6”. Når svarkategorier præsenteres, så respondenterne kan læse dem selv, er der en tendens til, at de vælger en mulighed tidligt på listen. Når mulighederne læses højt, er der en tendens til, at respondenterne vælger den sidste mulighed de hører.

Spørgsmålet ”Hvor tilfreds er du med…” burde være ”Hvor tilfreds eller utilfreds er du med…” og der stilles to spørgsmål i ét ”Kompetent og faglig” samt ”Jævnlige og relevante”.

Fordi mennesker i den vestlige del af verden læser fra venstre mod højre, og fordi der er en tendens til at vurdere alt positivt, er der nogle, der lader skalaer starte ”negativt” (venstre side) og slutte ”positivt” (højre side). Baggrunden er, at respondenten – efter at have læst udsagnet – følger skalaen fra venstre mod højre og stopper ved den første værdi, der forekommer at repræsentere hans eller hendes vurdering.

Antal kategorier Når en respondent har et begrænset antal svarkategorier til rådighed, vil den der kommer tættest på blive valgt, også selvom den måske ikke i virkeligheden repræsenterer respondentens opfattelse. Derfor giver et større antal svarkategorier respondenten bedre mulighed for at svare mere præcist. På den anden side, når antallet af kategorier stiger, stiger også tiden, der skal afsættes til hvert spørgsmål. Det betyder, at interviewtiden for det samme antal spørgsmål stiger lidt, hvilket i nogle tilfælde kan være et problem. Et meget anvendt antal kategorier for telefoninterviews er fire eller fem. Et større antal svarkategorier, gentaget igen og igen, bliver monotont for respondenten, som måske mister interessen hurtigere og viser tegn på træthed. Hvis respondenten kører træt undervejs er det tvivlsomt om et større antal svarkategorier bidrager til at give de nuancer i svarene, som var hensigten da spørgeskemaet blev designet.

Enighedsskala Vær opmærksom på, at “Helt enig” i et svagt udsagn kan være det samme som “Overvejende enig” i et stærkt udsagn. F.eks. ville ”Hvor enig eller uenig er du i den følgende påstand: Store Danske leverer altid til tiden” være et stærkt udsagn, mens ”Store Danske leverer som regel til tiden” ville være et svagt udsagn.

Måling af betydning Vores erfaring er, at den relative vigtighed af parametre har en tendens til at forblive stabil over tid og at de forskelle, der kan registreres i målinger fra år til år, nok snarere skyldes forskelle i målgruppe udtræk (sampling) end egentlige ændringer i respondenternes holdninger. Typisk er respondenterne tilbageholdende med at vurdere noget som helst som uvigtigt, hvorfor svarene drejes til den vigtige side af skalaen, hvilket resulterer i små, ofte statistisk ubetydelige differencer. Men på den anden side er det vel meget naturligt, for hvis et område ikke er vigtigt, hvorfor så overhovedet spørge om det!

Kvalitetskort Det er udbredt at måle såvel betydning som tilfredshed eller præstation på en dobbeltskala og derefter placere disse i et kvalitetskort, som f.eks. dette: 90,00

Overkill

Styrker B1

A7 C2

A2 A3

80,00

Svagheder

C3 B3

70,00

A6 Trusler

60,00

50,00 50,00

Over denne linje: Overpræsteret Under denne linje: A4 Underpræsteret

60,00

70,00 Gns. Betydning

80,00 Gns. Tilfredshed

90,00 Optimal-linje

Lidt forenklet bruges det til at konkludere: ”hvis Præstationen vurderes som 3 og Betydningen som 4, så underpræsterer vi” og omvendt, ”hvis Præstationen er 4 og Betydningen 3, så overpræsterer vi”. ”Det optimale er at betydning og præstation vurderes med samme værdi”.

100,00

En SWOT matrix er en udmærket måde at vise resultater på, men vi anbefaler at betydning estimeres, ikke at der direkte spørges til den. Præstation og betydning er to forskellige ting og det er vores erfaring at de mest korrekte resultater opnås når betydningen estimeres i en statistisk model, der er designet til formålet. Sammenligninger mellem beregnede effekter og adspurgt betydning viser klart og entydigt, at adspurgt betydning generelt er højere end beregnet effekt, og at der ikke statistisk kan påvises en sammenhæng mellem de to.

Prioritering af indsatsområder Kombineret med ”vurdering” er ”betydning/effekt” et stærkt prioriteringsværktøj i tilfredshedsmålinger.

Vurdering

Prioriteringen af indsatsområder har historisk set gennemgået flere faser som beskrevet nedenfor:

Muligheder

Vurdering Vurderingen anvendes som prioritering, hvor lave vurderinger ses som potentielle forbedringsområder.

Adspurgt betydning Betydning stilles som spørgsmål ligesom vurdering og lave vurderinger skal have høje betydninger for at kunne anses som potentielle forbedringsområder.

Beregnet betydning / effekt I stedet for at spørge til betydning beregnes denne statistisk som indsatsområdets effekt på et resultatområde, der typisk er samlet tilfredshed, loyalitet, etc.

Segmenteret beregnet betydning / effekt Ved store målinger kan der forekomme forskellige segmenter af respondenter, hvor der er forskelle mellem effekter. Her anvendes flere modeller til at beregne effekterne for indsatsområderne på flere niveauer.

Styrker

Tilpas

Oprethold

6,3 3

5,8

6 7 12 11

5,3 8

13 9

4,8

4,3

3,8

Primær indsats

Sekundær indsats

Trusler

Svagheder 3,3

Vurdering

Lav

Høj

Effekt

Muligheder

Styrker

Tilpas

Oprethold

6,3 3

5,8

6 7 12 11

5,3 8

13 9

4,8

4,3

3,8

Primær indsats

Sekundær indsats

Trusler

Svagheder 3,3

Lav

Effekt

Høj

Generelt anbefales det at anvende beregnet effekt, da adspurgt betydning lider af flere alvorlige bias, der kan give forkerte resultater og samtidig gør spørgeskemaet længere end nødvendigt. Ved anvendelse af beregnede effekter er det essentielt, at anvende de korrekte metoder for at opnå korrekte resultater. Metoderne varierer naturligvis afhængig af undersøgelsens opbygning. Det er vigtigt i den forbindelse at tage sin analysepartner med på råd, da der er mange faldgruber.

”The fact that respondents answer a question is not, in itself, proof that the question has worked as the researcher intended it to work. It appears that respondents do their level best to answer all questions that are put to them – even those they have trouble interpreting” Belson

Test i praksis Mange spørgeskemaer ville fungere bedre og ville give meget mere præcise resultater, hvis målgruppen havde været involveret i arbejdet, f.eks. gennem fokusgrupper og dybde interviews. Har man fravalgt dette, bør man som minimum sikre, at spørgeskemaet testes inden egentlig ibrugtagning. Når en telefonanalyse igangsættes, bør de første interviews bruges til at tjekke kvaliteten af spørgeskemaet. : a. Er interviewerne nødt til at gentage nogle spørgsmål? b. Hvilke spørgsmål er de underligste for intervieweren at læse op? Er der et bestemt spørgsmål intervieweren har særlige vanskeligheder med? c. Misforstår respondenterne et eller flere spørgsmål? d. Er der ord eller sætninger som intervieweren bliver nødt til at definere, forklare eller give eksempler på, for at respondenterne forstår dem? e. Er der bestemte områder i spørgeskemaet som det er hårdt at komme igennem? f. Er der afsnit i spørgeskemaet, hvor intervieweren føler, at respondenterne gerne ville have haft muligheden for at sige mere? I test fasen bør intervieweren holde særligt øje med symptomer på respondent træthed, tab af interesse, korte svar eller et stigende antal ”Ved ikke” svar. En anden metode, der kan bruges til at sikre høj kvalitet i et telefonspørgeskema går ud på først at gennemføre interviewet ”helt normalt”, og derefter stille 3-4 ekstra test spørgsmål for om muligt at finde forbedringspunkter. Fremgangsmåden kunne f.eks. være, at intervieweren først oplæser det originale spørgsmål igen og derefter spørger, hvordan det blev opfattet. Var det let eller svært at besvare? Hvor nøjagtigt var svaret? Etc. Spørgeskemaer, beregnet for Internet og papir, kan testes ved en intern ”generalprøve” og – når den er vel overstået - på et mindre, tilfældigt udsnit af målgruppen. Tip! Test spørgeskemaet inden det for alvor tages i brug. Det kan se nok så genialt ud i forfatterens hoved, men det er ikke nogen sikkerhed for, at det også fungerer i det virkelige liv.

Tjekliste -

Formålet med undersøgelsen er klart defineret. Det er afklaret, både hvilken information, der ønskes og grundene til at ønske denne information. Spørgeskemaet er designet, så det passer til den dataindsamlings-metode, der anvendes. Spørgeskemaet er designet, så det virker indbydende og motiverer folk til at deltage (Internet og papir) Respondenterne har viden nok til at give kvalificerede svar. Der bruges ”filtre”, hvor det er nødvendigt for at sikre, at spørgsmålene er relevante for respondenterne. Respondenten oplyses om, hvilken type svar, der efterspørges. Respondenten oplyses om baggrunden for at stille spørgsmålene. Respondenten oplyses om, hvad der vil ske med den information, der afgives. Hvert spørgsmål giver den ønskede information. Spørgsmålet og svarkategorierne er formuleret neutralt og balanceret. Der stilles ikke to eller flere spørgsmål i ét. Respondenterne vil forstå alle ord, der benyttes. Der benyttes ikke ord, der har flere betydninger. Spørgsmålet er formuleret så simpelt som muligt. Spørgsmålet er så kort som muligt. Spørgsmålet er specifikt. Spørgsmålet er ikke formuleret negativt. Spørgsmålet er sat ind i den rigtige sammenhæng i spørgeskemaet. Spørgsmålet kan besvares korrekt og på en forståelig måde. Svarkategorierne er komplette og dækkende. Der er taget stilling til om ”Ved ikke / ingen mening” kategorien skal benyttes og der eksisterer gode argumenter, hvis den fravælges! Uddybninger til lukkede spørgsmål benyttes kun, hvor det er allermest nødvendigt. Rækkefølgen af spørgsmål er logisk og der er et godt ”flow” i spørgeskemaet.

Litteraturliste Bill Gillham: Developing A Questionnaire (2000) ISBN: 0-8264-4795-3 Earl Naumann og Kathleen Giel: Customer Satisfaction Measurement and Management (1995) ISBN: 0-538-84439-6 Floyd J. Fowler, Jr.: Improving Survey Questions, Design and Evaluation (1995) ISBN: 0-8039-4582-5 Priscilla Salant og Don A. Dillman: How To Conduct Your Own Survey (1994) ISBN: 0-471-01273-4 William Foddy: Constructing Questions For Interviews And Questionnaires (1993) ISBN: 0-521-46733-0 Endvidere har Max Schmeling fra Innometric bidraget til afsnittet “Måling af betydning”.

Åbne workshops Analysegruppen afholder hver måned en åben workshop under overskriften "Tag din analyse under armen". Workshoppen ledes af en erfaren projektleder fra Analysegruppen, som bidrager til udbyttet med gode råd og sparring, men ellers er det deltagerne selv, der deler deres erfaringer med hinanden. Det foregår på den måde, at hver deltager på skift fremlægger sit projekt og de dele af det, som der ønskes sparring omkring. Problemstillingerne kan f.eks. dreje sig om metodevalg, validitet, spørgeskema, rapport eller noget helt andet! Som overskriften antyder er der tale om en workshop med en praktisk og uhøjtidelig tilgang til tingene. Det er ikke et statistik seminar!

Fordelen ved de åbne workshops er, at deltagerne - udover sparring omkring det helt konkrete projekt - også får indblik i de øvrige deltageres problemstillinger og mulige løsninger. Uanset om dit projekt er 100% gør-det-selv eller du har samarbejdet med et bureau undervejs, så er du velkommen på workshoppen!

Når vi har modtaget din tilmelding sender vi ca. 10 dage før workshoppen en bekræftelse samt lidt praktisk information og nogle yderligere spørgsmål om dit projekt. Samtidig får du en deltagerliste, så du på forhånd kan se, hvilke andre virksomheder der er tilmeldt. Der behandles maksimalt seks projekter på en workshop. Kalender, priser og tilmelding på www.analysegruppen.dk.

Professionel assistance Analysegruppen tilbyder også assistance til virksomheder, der har valgt at udføre hele eller dele af analysearbejdet selv. Måske står du med en konkret problemstilling, du mangler hjælp til at få løst; Måske er du kørt fast og har brug for hjælp til at finde tilbage på sporet igen; Det kan også være at du simpelthen mangler ekstra ressourcer så du kan nå at blive færdig med din rapport inden deadline! Vi kan bl.a. hjælpe dig med dine gør-det-selv projekter på følgende områder: • Projekt design (kom rigtigt fra start med dit projekt ved at planlægge det optimalt) • Metodevalg og målgruppeudvælgelse • Spørgeskema design • Model til estimering af betydning • Loyalitetsdrivere • Loyalitetsprofil • Markedskort • Kundetilfredshedens indflydelse på bundlinjen • Rapport design og udarbejdelse af rapport Kontakt os og få et uforpligtende tilbud på assistance til dit projekt.