7164 367 4

Att skapa index Metodutveckling och test baserat på Öppna jämförelser

Upplysningar om rapportens innehåll lämnas på Sveriges Kommuner och Landsting av Lena Eckerström Tel 08-452 70 00 Beställning av rapporten Tel 020-31 32 30, Fax 020-32 32 40 eller från vår hemsida www.skl.se/publikationer © Sveriges Kommuner och Landsting Grafisk form och produktion ETC ISBN 978-91-7164-367-4 Sveriges Kommuner och Landsting 118 82 Stockholm, Besök Hornsgatan 20 info@skl.se, www.skl.se

Att skapa index Metodutveckling och test baserat på Öppna jämförelser lars witell, karlstads universitet mattias elg, linköpings universitet

4 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Tid för index?

Olika former av jämförelser får allt större betydelse för uppföljning och styrning av vården. Det gemensamma arbete som Sveriges Kommuner och Landsting och Socialstyrelsen genomför på området har rönt stort massmedialt och professionellt intresse och används av flera aktörer som en viktig komponent för att driva på verksamhetsutvecklingen. Det stora intresset och breda användningsområdet driver utvecklingen mot att allt fler indikatorer inkluderas samt att data gärna bör redovisas på sjukhusnivå. Trenden att inkludera allt fler indikatorer i olika jämförelser kommer inom allt fler områden. Detta ses förnärvarande som en önskvärd utveckling då en ökad bredd i jämförelserna förbättrar användbarheten och nyttan. Baksidan är att den samlade jämförelsebilden av landstingens sammantagna resultat blir svår att överblicka. I ljuset av denna utvecklingstrend har flera aktörer efterfrågat en sammanfattande bild av landstingens utvecklingsläge, i form av t ex ett index.

Att skapa index som är tillförlitliga och samtidigt så pedagogiskt uppbyggda att var och en kan tolka, förstå och bedöma rimligheten i dem är en mycket svår uppgift. Det finns därför ett allmänt intresse i att beskriva de metodproblem, möjliga lösningar och arbetssätt som är viktiga att tänka på när index skall konstrueras.

Utifrån det stora allmänintresset beslutade Sveriges Kommuner och Landsting och Socialstyrelsen att låta genomföra en problematiserande och resonerande studie i syfte att ta fram ett förslag på en lämplig metodgång för att utveckla index likväl som att problematisera vilka kritiska val och dilemman som man behöver ta hänsyn till när ett index ska utvecklas. Arbetet ska ses som en förstudie där erfarenheter, resonemang och slutsatser är viktiga ingångar i en skarp diskussion om och hur ett index baserat på Öppna jämförelser ska utvecklas. Arbetet syftar i dagsläget inte till att utveckla ett nationellt index även om arbetet, genom att dra nytta av Öppna jämförelser som fall, tydliggör vilka möjligheter och brister ett index baserat på dagens Öppna jämförelser har.

Denna rapport är framtagen inom Socialstyrelsens och Sveriges Kommuner och Landstings gemensamma uppdrag Öppna jämförelser för att analysera och pröva olika metoder för rangordning utifrån Öppna jämförelser. Styrgruppen för Öppna jämförelser har varit beställare och ansvariga för rapportens tillkomst.

Uppdraget att ta fram en problematiserande och resonerande metodrapport om hur index kan utvecklas har genomförts av Mattias Elg och Lars Witell i samverkan med Jesper Olsson och Lena Eckerström på Sveriges Kommuner och Landsting. För innehållet i rapporten svarar författarna Mattias Elg och Lars Witell.

Vår förhoppning är att denna skrift ska vara ett inspirerande inslag till stöd för en initierad och nyanserad diskussion om hur redovisning av kvalitetsindikatorer inom svensk hälso- och sjukvård kan utvecklas.

Roger Molin Bitr avdelningschef Sveriges Kommuner och Landsting

Mona Heurgren Enhetschef Socialstyrelsen

6 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Förord

De första indikatorbaserade, mångdimensionella Öppna jämförelserna publicerades under 2006. Publiceringen var resultatet av ett samarbete mellan Sveriges Kommuner och Landsting och Socialstyrelsen. En ny publicering genomfördes i oktober 2007. Denna typ av jämförelser är viktiga. De visar medborgare och patienter vad vården åstadkommer med sina resurser och hjälper oss att svara på om förändringar leder till förbättringar. De visar de behandlingsmetoder som är mest effektiva och vilka som inte borde användas och de visar på goda exempel att sprida till hela vården. Ytterst syftar de till att åstadkomma såväl nöjda och tillfredsställda patienter och medarbetare, som kliniska resultat av högsta klass. Öppna jämförelser ska ses som en del i ett långsiktigt förbättringsarbete för att skapa God Vård. De indikatorer som finns i Öppna jämförelser är tänkta att fungera som en drivkraft i förbättringsarbetet.

Efterfrågan på denna typ av nationella och jämförbara data är redan nu hög och man ser att ett allt större intresse växer fram, inte bara inom landstingens vårdverksamheter, utan även inom kommunala verksamheter. Ju mer data som finns på den nationella nivån, desto större blir kraven på högre upplösning i data. För landstingens del handlar det till exempel om att komplettera data på landstingsnivå med möjligheter att bryta ner data till klinik- och sjukhusnivå.

Det handlar också om att skapa en bättre översikt och möjlighet till att göra övergripande analyser av vårdens resultat. Ett sätt är att arbeta med övergripande index som tar hänsyn till prestationer i underliggande dimensioner.

Den här rapporten är ett försök att pröva om Öppna jämförelser kan användas för att skapa sådana index. Med rapporten vill vi också skapa en metodbas för skapande av index så att man inom det enskilda landstinget kan göra sina egna analyser.

Förord 7

Om författarna Lars Witell, Docent vid Centrum för Tjänsteforskning (CTF), Karlstads universitet. Lars har de senaste åren bedrivit forskning kring kundtillfredsställelse, kundorientering och offensiv kvalitetsutveckling. Lars har bedrivit forskning relaterat till det amerikanska kundtillfredsställelseindexet (ACSI) i samarbete med National Quality Research Center vid University of Michigan. Han har även varit involverad i arbetet kring svenskt kvalitetsindex och arbetat med forskning relaterat till olika index och utvecklingsverktyg i samarbete med SIQ. Mattias Elg, Docent vid avdelningen för kvalitetsteknik, Institutionen för ekonomisk och industriell utveckling på Linköpings universitet. Mattias forskar kring mätetalsbaserad styrning och strategiskt förbättringsarbete. Han har erfarenhet från både industriella verksamheter och forskning kring hälso- och sjukvårdens utveckling. Mattias har under de senaste fem åren utbildat läkare, sjuksköterskor, vårdadministratörer och civilingenjörer i tillämpad och analy­ tisk statistik. Han har bred erfarenhet av statistiska tillämpningar inom hälsooch sjukvård och industrin och har bland annat arbetat med valideringar av väntetidsdatabasen, utvärderat flödesmodellen och tillämpningar av statistisk processtyrning i vården.

Innehåll

Förord

6

Att skapa index från Öppna jämförelser: en sammanfattning

10

Inledning

16

Att skapa index

18

Att skapa ett index från Öppna jämförelser

29

Övergripande index

76

Slutsatser

79

Referenser

87

10 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Sammanfattning

Varför är det intressant att skapa index? Öppna jämförelser kan ses som en del i ett långsiktigt förbättringsarbete för att skapa god vård. De indikatorer som finns i Öppna jämförelser är tänkt att fungera som en drivkraft i förbättringsarbetet.

I och med att nationella data blir allt mer tillgängliga och att data dessutom i högre grad blir tillgängligt med en högre upplösning ökar den totala mängden data drastiskt. Både avseende nya indikatorer som är viktiga för verksamhetens styrning, likväl som högre upplösning. När verksamheter efterhand för in och använder flera mått av olika slag blir det svårare att överblicka läget. Över­gripande index som sammanfogar de olika variablerna blir då en lösning.

Index gör det möjligt att göra jämförelser mellan olika verksamheter och de kan användas för att representera relativt komplexa fenomen. Det finns dock en hel del risker med att föra in index. Diskussioner kan riktas fel. Om indexen är dåligt konstruerade eller dåligt presenterade skapar man, i stället för en bra utveckling, tvivel och skepticism. Den ”stora bilden” som indexen ger kan ge ledande företrädare möjlighet att dra förenklade slutsatser eller göra ”politiska inspel”.

Föreliggande arbete har haft som syfte att undersöka möjligheter att skapa ett index baserat på data från Öppna jämförelser samt testa ett antal olika angreppssätt och alternativ. Ett annat syfte är att ge en metodmässig beskrivning av hur index kan skapas. Det är med andra ord inte enbart resultatet av data från Öppna jämförelser som har stått i fokus, utan det viktiga har varit att visa på olika metoder och alternativa angreppssätt. De analyser, resonemang och presentation av data som exemplifieras med data från ”Öppna jämförelser 2006” ser vi som relevant för andra typer av index. Man kan med fördel se dessa avsnitt som exempel på hur resonemang och metodik inom området kan tillämpas.

Att skapa index från Öppna jämförelser: en sammanfattning 11

Utgångspunkter för att skapa index För att designa och konstruera ett index kring ett visst fenomen är det flera aspekter som måste hanteras. I föreliggande arbete har vi utgått från nedanstående:

• Utgångspunkter för indexet. Den teoretiska grunden som är central för

indexet måste väljas med omsorg och utgå från vad man vill åstadkomma genom tillämpningen av indexet.

• Dataselektion. Urval av variabler och indikatorer måste ske utifrån syftet med indexet. Här ställs designern inför beslut om huruvida variabeln är representativ och tillförlitlig.

• Statistisk analys. Vilka analyser av data ska göras i termer av aggregering av data, statistiska vikter samt samgruppering av variabler.

• Missing data. Hur hanteras ”missing data”? I stort sett alla dataset saknar

av olika skäl mätpunkter. Man måste därför ha metoder för hur man ska hantera ”missing data”.

• Normalisering. För att bygga ett övergripande index måste samtliga vari-

abler vara jämförbara. Ofta måste man då standardisera för att göra dem analoga.

• Viktning. Ska samtliga variabler/indikatorer ha samma vikt eller ska det

ske någon form av viktning mellan dem? Hur ska i så fall denna viktning gå till?

• Aggregering. Till vilken nivå ska data aggregeras? Detta hänger mycket ihop med utgångspunkterna för det övergripande indexets syfte.

• Robusthet och känslighet. Designern bör säkerställa robustheten och känsligheten i indexet. Vad händer vid olika viktningsprinciper? Vad sker då vi exkluderar variabler från det övergripande indexet och när vi tillämpar olika metoder för hantering av ”missing data”?

• Kopplingar till andra variabler/index. Går det att länka data från indexet

till andra typer av data. Om det finns andra insatser som innebär att indexet kan kopplas till dessa bör man överväga hur indexet kan skapas så att det blir kompatibelt.

• Visualisering. Presentationsformen av indexet är av central betydelse. Vem är det som ska använda indexet och för vilka syften?

• Transparens. Designern bör säkerställa möjligheten att användaren kan

förstå hur indexet är uppbyggt. Det är dessutom av central betydelse att nedbrytning kan göras. Spårbarhet kan göras på flera sätt genom att visa beräkningar tillbaka till ursprungsdata.

12 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Principer för att skapa index från Öppna jämförelser Alla index som skapas i denna rapport följer en grundläggande princip.

Dessutom så visas och testas ett antal alternativ, val och möjligheter som finns vid beräkningen av index. Totalt så beräknas: • Ett övergripande index (Minimera) • Ett index för perspektivet medicinska resultat (Minimera) • Ett index för perspektivet patienterfarenheter (Maximera) • Ett index för perspektivet tillgänglighet (Maximera) • Ett index för perspektivet kostnader (Minimera) Totalt innebär det att utifrån de 57 indikatorer som ingår i ”Öppna jämförelser 2006” så har vi skapat 5 index som ska spegla landstingens verksamhet. Inom området Medicinska resultat beräknades också 10 delindex. Metodiken för indexen går översiktligt till på följande sätt:

• Ett val görs vilka av indikatorerna inom ett område som ska ingå i indexet.

Utgångspunkten har varit att varje index ska bestå av så många indikatorer som möjligt. I vissa fall har de varit olämpligt av teoretiska skäl eller på grund av mycket missing data att låta en indikator ingå i ett index.

• Index har skapats genom att de först standardiserats med Rescalingmetoden så att de transformeras till en skala [0, 1].

• Därefter säkerställer vi att alla indikatorer som ska ingå i indexet har

samma önskvärda riktning. Bland de indikatorer som finns med i Öppna jämförelser så finns det tre olika typer: (1) de som ska maximeras, (2) de som ska minimeras och (3) de som ska ha ett visst värde.

• Beräkning av index sker vanligtvis genom att ta medelvärdet av de utvalda indikatorerna. Detta ger ett index som är på en skala [0, 1] och som ska minimeras eller maximeras.

I vissa fall har ovanstående metod inte varit lämplig eller så har det funnits andra alternativ som varit mer lämpliga eller intressanta att testa. I dessa fall har det beräknats alternativa index. Exempelvis har det funnits alternativa vikter, olika urval av indikatorer, olika varianter av standardiseringar o.s.v. Alla dessa alternativ redovisas där de har testats.

Det övergripande indexet ska spegla hur landstingen presterar inom fyra olika perspektiv. Dessa perspektiv är Medicinska resultat, Patienterfarenheter, Tillgänglighet och Kostnader. Dessa fyra perspektiv viktas lika vid beräkning av ett övergripande index. Det bästa landstinget ska (teoretiskt) prestera bra inom alla dessa områden. Det innebär att de ska ha den bästa medicinska vården med de mest nöjda patienterna med hög tillgänglighet till en låg kostnad. Indexet

Att skapa index från Öppna jämförelser: en sammanfattning 13

är på en skala från 0 till 1 där de bästa landstingen har låga värden. I rapporten ger vi, förutom det övergripande indexet, exempel på hur index för delområden kan designas.

Att ta nästa steg Utifrån det arbete som gjorts för att skapa index från ”Öppna jämförelser 2006” menar vi att det är fullt möjligt att skapa ett index som rangordnar svensk hälso- och sjukvård. Här tar vi dock endast hänsyn till de tekniska och metodmässiga aspekterna av indexet. Förankringsprocesser kring införande av index har inte diskuterats. Vi bedömer dock att det finns flera frågetecken kring design och konstruktion av indexet som måste hanteras. Dessa områden gäller:

• Utvidgad test för känslighets- och robusthetsanalys. För att säkerställa

robustheten i de index som skapas bör man fortsätta den känslighets- och robusthetsanalys som genomförts i föreliggande arbete. Andra typer av analyser som kan göras är känslighetsanalyser baserat på variansanalyser eller att studera hur förbättringar i verksamheter påverkar indexen.

• Expertbaserad viktning av indikatorerna. En noggrann genomgång av de

olika ingående indikatorerna inbördes relationer bör genomföras. Ett problem som måste hanteras vid viktning av olika indikatorer är vem som har rätt att vikta upp respektive ner indikatorer.

• Hur hanteras dålig datakvalitet och saknade observationer (missing data)?

Hur ska man hantera de indikatorer där det saknas observationer av vissa landsting? Antingen ska dessa indikatorer tas med i ett index eller så bör de på grund av osäkerhet inte tas med i ett index. En strategi kan vara att ta med indikatorer med dålig datakvalitet i ett index om man tror att det finns potential att den kan förbättras.

• Till vilken nivå ska index aggregeras? En viktig fråga är om alla indikatorer

ska aggregreras till en nivå över perspektivnivån i Öppna jämförelser?

Ger ett sådant index ett bra mått på det ”bästa landstinget” eller vad säger egentligen ett sådant index?

• Standardiseringsprincip. I och med att vi har indikatorer som inte di-

rekt är jämförbara så måste de standardiseras. I denna rapport har vi för enskilda index jämfört ett par metoder och det har i dessa fall i stort inte påverkat analysresultatet.

• Utvecklingsperspektivets roll. Inom ramen för kostnadsperspektivet finns det indikatorer som bygger på förbättringar från ett år till ett annat, det så kallade utvecklingsperspektivet. Där ett utvecklingsperspektiv finns

14 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

så är det inte enbart nivån på indikatorerna som påverkar indexet, utan också vilka förbättringar som genomförts under det senaste året. I kostnadsperspektivet visas hur utvecklingsperspektivet kan få stora konsekvenser för hur olika landsting presterar i förhållande till indexet.

• Tidsperspektiv. Det finns ett underliggande problem med att all data inte

är insamlad vid samma tidpunkt. Vissa indikatorer bygger på data insamlad under en månad, medan andra indikatorer bygger på data insamlad under 10 års tid. Sådana eftersläpningar i indikatorer påverkar positivt genom att skapa stabila och rättvisande resultat, men de skapar samtidigt en tröghet som gör att det kan ta lång tid för en förbättring i verksam­ heten att slå igenom och synas i en förbättring av ett index.

• Presentationssätt. Det finns många sätt att presentera data. I denna rap-

port har vi varit mycket konservativa och presenterat all data i form av stapeldiagram. Vi har också valt att presentera alla index på en skala [0,1].

Man bör noggrant överväga typen av skalning innan man fastställer detta.

Till exempel kan skalan gå från 0-100 vilket kan göra det mer enkelt att tolka. Det finns också andra typer av presentationer som gör att transparensen i indexen blir tydligare. Det kan också finnas poänger med att skapa profiler för olika landsting och bättre visa resultatet av olika typer av förbättringar.

• Process och resultat. Flera av indexen innehåller både processmått och

resultatmått och frågan är vilket av dessa som är viktigast. Då det finns eventuella samband mellan process och resultat så innebär detta flera problem och möjligheter. En fråga är hur dessa två aspekter ska ses i förhållande till varandra.

• Dynamiska index eller jämförbarhet över tid. Öppna jämförelser är något

som fortfarande är i utveckling. Under 2006 var det fyra perspektiv som speglades i 57 indikatorer. Dessa indikatorer har tagits fram utifrån vad som var möjligt att mäta och där det fanns mätpunkter för de flesta landstingen. Till den andra publiceringen av Öppna jämförelser 2007 genomfördes mätningar av 75 indikatorer inom samma fyra perspektiv.

Detta innebär att 18 nya indikatorer har introducerats. Under uppbyggnadstiden av Öppna jämförelser kan vi förvänta oss att ytterligare indikatorer kommer att introduceras. För de aktuella indexen skapar detta vissa svårigheter att hantera. Indexen måste vara uppbyggda på ett sätt så att nya indikatorer på ett naturligt sätt kan introduceras i existerande index.

Att skapa index från Öppna jämförelser: en sammanfattning 15

Det kommer att vara vissa problem med att veta vad förändringar över åren beror på. Är det på grund av att ett landsting har förbättrat sig eller beror det på att nya indikatorer har introducerats? Dessa aspekter får man ­acceptera under uppbyggnaden av mätsystemet. De är dock viktiga att vara uppmärksam på vid analys och tolkning av resultaten.

16 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Inledning

Index som jämför resultat på en övergripande nivå är en alltmer använd metod. De möjliggör en rad olika jämförelser såväl mellan organisationer som över tid. I dess enklaste form är ett index summan av de ingående variablerna.

Den underliggande modellen avgör vilka variabler som ska ingå. Ett viktigt skäl till varför index har blivit efterfrågat i så hög utsträckning är att många verksamheter får alltmer tillgänglig data. Detta gäller såväl nya indikatorer som är viktiga för verksamhetens styrning, som en allt högre upplösning. När verksamheter efterhand för in och använder flera mått av olika slag blir det svårare att överblicka läget. Övergripande index som sammanfogar de olika variablerna blir då en lösning. Index gör det möjligt att göra jämförelser mellan olika verksamheter och de kan användas för att representera relativt komplexa fenomen. Det finns dock en hel del risker med att föra in index. Diskussioner kan riktas fel.

Om indexen är dåligt konstruerade eller dåligt presenterade skapar man, istället för en bra utveckling, tvivel och skepticism. Den ”stora bilden” som indexen ger kan ge ledande företrädare möjlighet att dra förenklade slutsatser eller göra ”politiska inspel”.

En första frågeställning som måste hanteras är huruvida det är tekniskt möjligt att skapa indexet. Principiellt finns två utgångspunkter som avgör hur indexet blir. Ett index kan skapas ”top-down”, där indexet och den underliggande idén blir startpunkten för vad som ska ingå. Här måste man då välja indikatorer som har en giltighet i förhållande till indexet. Ett index kan också genereras ”bottom-up”, vilket innebär att data som är tillgängliga i hög grad styr vad som är möjligt. Det är också den senare utgångspunkten som föreliggande arbete startar från. Vi har ett set av indikatorer från Öppna jämförelser som är startpunkten. Frågeställningen blir hur det är möjligt att via dessa indikatorer skapa ett index som säger något på en mer övergripande nivå. Om man sedan lyckas att tekniskt lösa problemen med att skapa indexet blir nästa fråga: Vad säger detta index?

Föreliggande arbete har som syfte att undersöka om det är möjligt att skapa ett index baserat på data från Öppna jämförelser samt testa ett antal olika angreppssätt och alternativ. Ett annat syfte är att ge en metodmässig beskriv­ning av hur index kan skapas. Det är med andra ord inte enbart resultatet av data från Öppna jämförelser som har stått i fokus, utan det viktiga har varit att visa på olika metoder och alternativa angreppssätt. De analyser, resonemang och

Inledning 17

presentation av data som exemplifieras med data från ”Öppna jämförelser 2006” ser vi som relevant för andra typer av index. Man kan med fördel se dessa avsnitt som exempel på hur resonemang och metodik inom området kan tillämpas.

Rapporten är uppdelad i tre avsnitt. Det första behandlar olika principer och vägval som man måste ta ställning till i skapandet av ett index. Dessa ­principer blir sedan utgångspunkter för den del i rapporten där vi presenterar och diskuterar olika index som skapats från Öppna jämförelser. Vi visar och testar ett antal alternativ, val och möjligheter som finns vid beräkningen av index. Totalt så beräknas ett övergripande index, ett index för perspektivet medicinska resultat, ett index för perspektivet patienterfarenheter, ett index för tillgänglig­het och ett index för kostnader. Inom perspektivet medicinska resultat beräknas dessutom ett index per delområde, till exempel index för åtgärdbar dödlighet, överlevnad vid cancersjukdom och läkemedelsanvändning. Rapporten avslutas med slut­satser och rekommendationer för det fortsatta arbetet.

18 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Att skapa ett index

I detta avsnitt presenterar vi en guide bestående av olika frågor att ta ställning till när ett index ska skapas. Det finns flera olika typer av index och det kommer hela tiden nya förslag på hur man med olika teoretiska utgångspunkter eller genom tillämpning av olika statistiska metoder kan skapa nya typer av index.

I vår redovisning utgår vi från etablerad kunskap och metoder som har använts under en längre tid. Syftet är att redovisa olika valmöjligheter och beslutssituationer som man måste hantera då ett index ska skapas. Vidare redovisar vi några olika tekniker och metoder som finns tillgängliga. Avsikten är att beskriva detta på en sådan nivå att man ska 1) kunna värdera de beslut som gjorts i denna rapport angående skapandet av index baserat på ”Öppna jämförelser 2006” samt 2) att man självständigt ska kunna utveckla ett index.

Följande områden är centrala för utveckling av index:

• Utgångspunkter. Den teoretiska utgångspunkten som är central för

i­ ndexet måste väljas med omsorg och utgå från syftet, det vill säga vad man vill åstadkomma genom tillämpning av indexet.

• Urval av data. Urval av indikatorer måste ske utifrån syftet med indexet.

Här ställs designern inför beslut om huruvida variabeln är representativ, tillförlitlig och på vilket sätt den relateras till det övergripande indexet.

• Statistisk analys. Vilka analyser av data ska göras i termer av aggregering av data, statistiska vikter samt gruppering av variabler.

• Hur hanteras ”missing data”. I stort sett alla dataset saknar av olika skäl

vissa observationer. Man måste därför ha metoder för hur man ska hantera denna företeelse. Det finns flera olika typer av metoder som kan användas för detta och detta val måste göras med viss försiktighet.

• Standardisering/Normalisering. För att bygga ett övergripande index

måste samtliga indikatorer vara någorlunda jämförbara. Ofta måste man standard­isera indikatorerna för att de ska använda liknande skalor. Det finns flera olika tekniker och metoder för att hantera detta.

Att skapa ett index 19

• Viktning. Ska samtliga variabler/indikatorer ha samma vikt eller ska det ske någon form av viktning av indikatorerna? Om en viktning ska ske kan denna göras på ett antal olika sätt med olika utgångspunkter.

• Att aggregera indikatorer. På vilken nivå ska indexen vara, det vill säga på vilken nivå ska indikatorer aggregeras. Detta hänger mycket ihop med utgångspunkten för det index som ska skapas och hur detta index ska användas ute i verksamheten.

• Robusthet och känslighet. Vid utvecklingen av indexet bör robustheten

och känsligheten i indexet undersökas. Den underliggande frågan är hur olika viktningsprinciper, urval av indikatorer och hantering av saknade observationer påverkar indexet.

• Kopplingar till andra indikatorer och index. En grundläggande fråga är om

indexet är utformat för att vara kompatibelt med andra existerande index eller indikatorer som används i verksamheten. Om detta är önskvärt kan detta påverka hur indexet bör konstrueras.

• Visualisering. Hur indexet presenteras i grafer och tabeller är av central betydelse för hur indexet kommer att användas.

• Transparens. Indexet ska vara uppbyggt så att användaren ska kunna för-

stå hur det är uppbyggt och hur de kan agera för att nå ett bättre resultat.

Spårbarhet kan göras på flera sätt genom att visa hur indexet kan brytas ned till ursprungsdata.

Det är naturligtvis så att dessa områden inte kan hanteras i tur och ordning, istället hänger olika val ihop. Vid konstruktion av index måste de olika delarna ses som en helhet men vi tror ändå att det finns en ordning varigenom olika beslut bör fattas. Ordningsföljden av de olika områdena speglar den turordnings­ regel som vi förordar.

20 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Utgångspunkter för indexet, urval av data och aggregera indikatorer Utgångspunkten för ett index är en teoretisk grund. Denna grund måste väljas med omsorg och utgå från vad som ska åstadkommas genom tillämpning­en av indexet. Hur väljs denna utgångspunkt?

I många verksamheter blir indexet en naturlig utveckling av flerdimensionella mätningar. Den teoretiska grunden finns då inbyggd i mätsystemet.

Ett exempel: mätetalen i ett balanserat styrkort struktureras ofta inom fyra perspektiv eller kategorier, se exempelvis Kaplan och Norton (1992). Dessa delar in måtten i processuella mått, kundrelaterade mått, finansiella mått och mått som speglar verksamhetens förnyelse- och innovationsförmåga. Dessa fyra pers­ pektiv bildar då på en övergripande nivå den teoretiska ramen för vad som är viktigt. Man ska dock inte ta för givet att ett index ska innehålla samtliga delar.

Idealt ska man naturligtvis välja vad som är önskvärt att mäta och inte vad som finns tillgängligt. Det är en central frågeställning som man måste ta hänsyn till.

En redovisning av index måste vara så transparent att en användare kan förstå vad som var utgångspunkten och avsikten med indexet. Denna transparens bör kunna besvara bland annat följande frågor: • Vad är det som indexet ska mäta och visa?

• Vilka undergrupper av indikatorer ingår i indexet?

• Vilka inklusions- respektive exklusionskriterier har använts för indika­ torer för indexet?

Om vi relaterar den första frågeställningen till Öppna jämförelser blir det centralt att resonera vad ett index ska användas till? Ett skäl till att skapa index för Öppna jämförelser kan vara att ge en övergripande bild av hur landstingens hälso- och sjukvård presterar, samt vilka likheter som finns mellan olika landsting och hur de skiljer sig åt. Vilket landsting producerar den bästa vården utifrån medicinska resultat, patienterfarenheter, kostnader och tillgänglighet?

Utifrån ett sådant val faller undergrupperna ut naturligt, de definieras då som de ingående perspektiven. Den tredje frågan som rör inklusion och exklusion av variabler kan ha flera bottnar. Dessa redovisas i avsnittet dataselektion. Några kriterier för vilka utgångspunkter som ett index kan ha visas i tabell 1 (modifierad efter Neely et al 1997).

Vi betonar att ett index måste vara förankrat i en strategisk kontext eftersom det i stor utsträckning kan påverka vad ett landsting väljer att fokusera på i sitt förbättringsarbete. Betydelsen av den strategiska förankringen lyfts fram av de flesta forskarna inom området.

Slutligen vill vi i denna del poängtera att ett index framförallt annat är summan av dess ingående indikatorer. Valet av indikatorer och variabler är därför centralt och avgör kvaliteten i indexet.

Att skapa ett index 21

Tabell 1: Element för vad som definierar ett bra index.

Element för ett bra index

Förklaring

Titel

Titeln bör vara tydlig genom att precisera vad måttet är.

Syfte

Syftet med indexet bör vara tydligt för att kunna besvara ifrågasättande och kritik. Ska indexet användas för ranking, jämförelser, publik redovis­ ning, prioriteringar eller annat.

Urval av indikatorer

Urval av indikatorer måste ske utifrån syftet med indexet. Här ställs designern inför beslut som hur variabeln är representativ, tillförlitlig och på vilket sätt den relateras till det övergripande indexet.

Inklusions- och exklusionskriterier bör göras klara från början.

Mål

Mål bör vara förankrade i en bred analys och speci­ficerade så att det framgår när målet upp­ nåtts.

Genomförande

I implementering av indexet bör hänsyn tas till vilka organisatoriska handlingar och prioriteringar som eftersträvas så att det går i linje med de övergripande strategierna.

Frekvens

Hur ofta indexet redovisas och rapporteras bör specificeras.

Inblandade aktörer

Personer som samlar in och rapporterar data bör identifieras.

Datakälla

Källan för datainsamling bör specificeras för att garantera att denna är konsistent vilket möjliggör jämförelser över tid.

Vem som agerar utifrån data

Aktörer som ska agera baserat på insamlad data bör specificeras.

Hur man agerar på data

Handlingsplan kan specificeras för vad som sker om ett index uppfyller/inte uppfyller uppsatta mål.

22 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Statistisk analys En vanlig strategi för att skapa index är att utgå från den naturliga samvaria­ tionen i datamaterialet. Detta innebär ofta att man gör en faktoranalys av de indikatorer som man tycker är lämpliga att ha med i ett index (ett reflektivt index), se exempelvis DeVillis (1991). Faktoranalysen visar då hur väl dessa indikatorer hör ihop. Dessutom ger faktoranalysen vikter som kan användas i beräkningen av det övergripande indexet, se exempelvis Johnson och Gustafsson (2000). Denna typ av analys passar om man har flera indikatorer som anses ­spegla samma sak. Ett problem är att man behöver upp mot 100 observationer för att analysen ska fungera på ett bra sätt. För Öppna jämförelser innebär det att man skulle behöva byta analysnivå från landsting till sjukhus.

Ett annat sätt är att skapa formativa index, det vill säga att alla indikatorer i indexet speglar olika dimensioner som tillsammans bygger upp indexet. I detta fall vill man att indikatorerna ska ha så lite samvariation som möjligt, se exempelvis Diamantopoulos och Winklhofer (2001).

I fallet med att bygga index utifrån Öppna jämförelser lämpar sig inte någon av dessa metoder. De ingående indikatorerna är inte anpassade för att skapa formativa index och det finns inte tillräckligt med observationer på landstings­ nivå för att skapa reflektiva index med exempelvis faktorsanalys. En möjlig strategi framöver vore dock att göra analyser på sjukhusnivå för att skapa vikter som sedan kan användas för beräkningar på landstingsnivå. Att skapa ett sådant reflektivt index vore möjligt att göra i en fördjupad studie av sjukhus.

Hur hanteras ”missing data” I stort sett alla dataset saknar av olika skäl mätpunkter. Ibland saknas ett fåtal observationer, medan man i andra fall kan ha stora brister på grund av saknad data (vi använder oss konsekvent av begreppet missing data eller saknade ­observationer i rapporten). Man måste därför ha metoder för hur man ska hantera detta. Beroende på mängden och typ av saknade observationer kan man använda sig av olika metoder för att hantera problematiken på ett vederhäftigt sätt.

Ett flertal olika metoder kan användas för detta och valen måste göras med omsorg.

Det finns åtminstone tre typer av missing data som kan uppstå (Nardo et al., 2005):

• Missing completely at random (MCAR). Avsaknad av data har ingen rela-

tion alls till den variabel/indikator som studeras. Ett exempel på MCAR är att variabeln Ljumskbråck – omoperationer inom fem år (A:33) skulle i) ha samma medelvärde för rapporterande som för icke rapporterande verksamheter, och om ii) övriga variabler i datasetet skulle ha samma medelvärde för de som rapporterar respektive de som inte rapporterar.

Att skapa ett index 23

• Missing at random (MAR). Avsaknad av data är inte relaterad till varia-

beln som vi är intresserade av, men däremot beroende av andra variabler i datasetet.

• Not missing at random (NMAR). Här beror avsaknaden av data på varia­

beln/indikatorn helt och hållet. Till exempel skulle det i fallet med Ljumskbråck – omoperationer inom fem år (A:33) kunna vara så att verksamheter med dåliga resultat är ovilliga att rapportera in.

Med utgångspunkt i de ovanstående typerna av missing values kan man reso­ nera hur saknad data ska hanteras. En viktig poäng är att man måste skilja på slumpmässiga (MCAR och MAR) och systematiska (NMAR) saknade observationer. Det kan vara rätt så svårt att veta hur man ska hantera de systematiska felen. Vi kan inte automatiskt, till exempel, ersätta systematiska fel med medelvärden. Det ger en helt felaktig bild och kan på ett avgörande sätt påverka hela modellbyggandet.

Hur hanterar man då missing data? Vilka metoder finns? Generellt sett används tre typer: case deletion, borttagande av variabel eller ersättning av värde. Uteslutning av case skulle i Öppna jämförelser indexbyggandet innebära att vi tar bort landsting från en viss variabel. Detta leder till vissa problem då ett index inte kommer att ha observationer på ett visst landsting. Om det saknas observationer för andra landsting på andra indikatorer kan detta göra att indexet inte kan beräknas för flera av landstingen. I första hand är det alltså bättre att försöka att hitta ett rättvisande sätt att ersätta saknade observationer.

Ersättning av värde kan göras på en rad olika sätt genom medelvärde/median/ regression etc.

Vi poängterar betydelsen av att noggrant fundera igenom vilka strategier som ska tillämpas för att hantera missing values. Inga sådana strategier är fria från antaganden och sättet som man väljer att angripa problemet med kommer att påverka resultatet. I denna rapport har vi framförallt använt oss av medelvärdesersättning eller valt att inte använda oss av en viss indikator för att beräkna ett index.

Standardisering/Normalisering För att bygga ett övergripande index måste samtliga variabler standardiseras för att göra dem jämförbara. Flera tekniker för detta finns. I nedanstående av­ snitt redovisar vi några av de metoderna.

Ranking – en metod som innebär att man ger varje ingående case en relativ ranking till andra ingående case. Några fördelar med denna metod är att den är ­enkel och att den inte påverkas av outliers. Det finns flera metoder för hur rankingen går till. En vanlig metod är att rangordna de ingående casen utifrån en definierad intervallskillnad. Till exempel kan de 21 landstingen rangordnas

24 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

från 1 till 21. Ett annat rangordningssystem är att tilldela ett visst antal poäng för varje variabel och att fördela denna summa på de ingående landstingen. Rang­ ordning från 1 till 21 kommer att testas och tillämpas i föreliggande rapport.

Z-score – Görs genom att standardisera samtliga variabler till en normal­ fördelad N(0, 1) variabel. Det innebär att samtliga värden har ett medelvärde noll och spridning ett. Detta är en relativt vanlig metod som används inom statistiken för att göra olika variabler jämförbara.

Rescaling – Metoden innebär att samtliga variabler hamnar på en [0,1] skala, där maxvärdet blir ett och minimivärdet blir noll. En viktig skillnad mellan rescaling och z-score är hur de hanterar extremvärden. Medan rescaling minskar betydelsen av extrema värden och trycker ihop dem så bibehåller z-score den relativa distansen mellan normalvärden och extremvärden. Å andra sidan drar rescaling isär värden som ligger nära varandra, vilket ger en tydligare inverkan på det övergripande indexet. Figur 1:1 visar skillnader mellan z-score och rescaling för en normalfördelad variabel med väntevärde tio och standardavvikelse ett.

Figur 1:1 Effekter av standardisering av en normalfördelad variabel 500

1000 slumpade värden från X-N (10,1)

400

300

200

100 Histogramintervall -1,8

-1,4

-1

- 0,6

-1

-0,2

0,2

0,6

1

1,4

1,8

Figur 1:1 Figuren visar effekter av standardisering av en normalfördelad variabel med väntevärde 10 och standardavvikelse 1. Z-score-standardiseringen har ett betydligt större intervall medan rescaling håller sig inom noll och ett.

Andra typer av standardiseringar är distans till en referenspunkt, kategoriskalor och indikatortransformation där medelvärdet sätts till noll och allt över noll är ett och allt under noll är minus ett. Det finns ytterligare transformationer som beskrivs utförligt i Nardo et al. (2005).

Att skapa ett index 25

En central problematik i skapande av ett index är att vi har indikatorer som motverkar varandra. Tekniskt innebär olikheterna i indikatorerna att vi inte kan slå ihop dem utan att göra transformationer av ursprungsdata. Vi använder oss av ett exempel för att illustrera denna princip: Primärvårdens läkartillgänglig­ het anges i procent och bör rimligen maximeras. Till exempel, vill vi att andelen patienter som får läkarbesök i primärvården inom 7 dagar skall vara så hög som möjligt. Den specialiserade vården baseras på indikatorer som ska minimeras.

Antal patienter som väntat längre än 90 dagar vill vi ha så låg som möjligt.

Figur 1: 2 Standardisering av variabel C4 från Öppna jämförelser C4 - Antal patienter som väntat längre än 90 dagar per 100 000 invånare.

Beräknat antal. Avser behandlingar.

300 200

Gävleborg

Västmanland

Dalarna

Jämtland

Örebro

Västra Götaland

Skåne

Stockholm

Gotland

Sörmland

Norrbotten

Kronoberg

Västerbotten

Östergötland

Halland

Blekinge

Uppsala

Värmland

Jönköping

Västernorrland

Kalmar

100

C4 Standardiserad - Antal patienter som väntat längre än 90 dagar per 100 000 invånare.

Beräknat antal. Avser behandlingar.

1,0 0,8 0,6 0,4

Gävleborg

Jämtland

Västmanland

Dalarna

Västra Götaland

Örebro

Skåne

Stockholm

Gotland

Norrbotten

Sörmland

Kronoberg

Västerbotten

Blekinge

Östergötland

Halland

Uppsala

Värmland

Jönköping

Västernorrland

Kalmar

0,2

Figur 1:2 Bilden illustrerar standardiseringen av variabel C4. Vi kan se att Kalmar automatiskt får värde ett (enlig principen att det är bra att ha ett så högt värde som möjligt). Vidare kan vi också se att det landsting som har högst antal väntande, Gävleborg, automatiskt i standardi­ seringen får värde noll.

26 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Om dessa indikatorer ska ingå i samma index, måste vi se till att de hamnar på samma skala och att de verkar i samma riktning. Denna typ av trans­formation, när man vänder från minimering till maximering, är den generella principen vi använder oss av i denna rapport. Vi bedömer att transformationen, i likhet med det ursprungliga indexet, ger en bra bild av förhållandena mellan de olika landstingen. Figur 1:2 illustrerar hur standardiseringen visuellt ser ut.

Ytterligare en aspekt som framkommer i figur 1:2 är hur ”missing data” hanteras.

Vi kan se här att Kronoberg saknar data. I standardiseringen har vi utgått från medelvärdet från C4 vilket gör att vi kan räkna med Kronoberg i standardiseringen (och sedan i det sammanfattande indexet).

Viktning En viktig fråga är vilken vikt olika indikatorer ska ha i ett index. Ska samtliga variabler/indikatorer ha samma vikt eller ska det ske någon form av inbördes viktning mellan dem? Om en sådan viktning ska ske finns det flera olika stra­ tegier att genomföra den.

Viktningen av indikatorer som ingår för att bygga ett index är kanske den svåraste frågan att ta ställning till. Ska alla indikatorer viktas lika eller ska det finnas någon relativ skillnad mellan dem? Och hur ska denna viktning i så fall gå till? Man kan skilja mellan statistiskt genomförda viktningsprinciper och expertorienterade metoder. Vanligen använder man sig av metoder såsom faktoranalys för att via datamaterialet få en statistisk viktningsgrund. Experter kan via olika tekniker som Analytical Hierarcical Processes (AHP) eller Conjoint Analysis (Gustafsson et al., 2003) bedöma skillnader mellan olika variabler och koncept. Det finns också metoder där experter bedömer varje enskild variabels vikt utifrån rankingmetodik (redovisats i tidigare avsnitt). Metoderna är många och problemet är egentligen inte att hitta en tillförlitlig statistisk metod, utan snarare att bestämma vem som har auktoritet att göra en viktning som accepteras av en bredare krets. Speciellt gäller det ett område som hälso- och sjukvård där olika professioner har många, och kanske också skilda, uppfatt­ningar om vad som är lämplig viktning. Vi återkommer till den problematiken utförligare i diskussionerna om index för medicinska resultat. Hur gör man då man till exempel ska foga samman indikatorer som rör dödlighet med processmått i förlossningsvården?

Robusthet och känslighet Designern bör säkerställa robustheten och känsligheten i indexet. Vad händer vid olika viktningsprinciper? Vad sker då vi exkluderar variabler från det övergripande indexet eller när vi tillämpar olika metoder för hantering av ”missing data”?

Att skapa ett index 27

Känslighetsanalyser kan stödja robustheten i indexet. Känslighetsanalysen är fokuserad på hur osäkerheten i indikatorerna sprids i indexmodellen och påverkar slutresultatet. Den ger kunskap om hur den individuella källan i varje mått påverkar variationen i indexet. Genom att göra en känslighetsanalys kan man få bra kunskap om hur modellen reagerar på olika former av störningar och influenser. Några av de steg som kan tillämpas för att hantera detta är: • Inklusion eller exklusion av olika indikatorer • Modellering av systemfelet med utgångspunkt i den kunskap som finns om varians­skattningar • Användning av olika typer av ersättningsmodeller för missing data • Användning av olika standardiseringsprinciper • Användning av olika viktningsprinciper I denna rapport kommer vi att visa på några av dessa aspekter genom att beräkna olika typer av delindex inom de olika perspektiven.

Kopplingar till andra variabler/index Går det att länka data från indexet till andra typer av data? Om det finns andra insatser som innebär att indexet kan kopplas till dessa bör man överväga hur indexet kan skapas så att det blir kompatibelt med andra dataset. Ett problem som finns inom Öppna jämförelser är att det innehåller både processoch resultat­mått. Om båda dessa ingår i ett index och vi vill studera indexets relation till andra mått och vi hittar ett samband så kan vi inte säkerställa om dessa mått har ett samband med processen eller processens resultat. Detta kan påverka de slutsatser som kan dras av en sådan analys och (om man inte är försiktig) även introducera falska samband.

Visualisering och transparens Presentationsformen av indexet är av central betydelse. Vem är det som ska använda indexet och för vilka syften? För att indexet skall kunna användas för att resonera kring verksamheter och aktiviteter krävs att de är utformade på ett ”bra” sätt. Det räcker med andra ord inte att man har lyckats välja ut ett index som man anser värdefullt. Vi menar att sättet som indexet presenteras påverkar hur analyser kommer att göras. Den inflytelserike forskaren Herbert A. Simon (1983) menar att ”solving a problem simply means representing it so as to make the solution transparent” (The Sciences of the Artificial, 1981, s. 153). Med det menas att problem blir lösta i enlighet med hur de kommer att framställas.

Simon hade nog inte index i tankarna, men citatet passar ganska bra som utgångs­punkt. En tolkning av Herbert Simons citat skulle kunna vara: sättet som vi utformar våra index kommer att påverka hur vi kommer att resonera kring dem och i förlängningen även hur vi fattar beslut.

28 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Vad menas då med en bra representation? Med ”bra” menas indexets förmåga att på ett så effektivt sätt som möjligt representera den verksamhet som de åsyftar och att de är ändamålsenligt designade. Det finns ett antal aspekter som kan vara bra att tänka på vid utformning av indexen. Vanligtvis gör man en fallande eller stigande rangordning av de olika ingående organisationerna.

Man kan också tänka sig att utforma olika former av grafer där inte enbart det övergripande indexet är representerat, utan även underliggande data. Detta kan ske till exempel genom spindeldiagram eller via kompletterande diagram. Transparens i den grafiska utformningen gör att vi kan analysera materialet på flera nivåer. Ytterligare en aspekt som man på sikt även kan ta hänsyn till är tidsserier av data, det vill säga förändringar som sker över tid.

Designern bör med andra ord säkerställa möjligheten att användaren kan förstå hur indexet är uppbyggt. Det är dessutom av central betydelse att nedbryt­ ning kan göras. Spårbarheten kan göras på flera sätt genom att visa beräkningar som leder tillbaka till ursprungsdata.

Att skapa ett index från Öppna jämförelser 29

Att skapa index från Öppna jämförelser

I detta avsnitt beskrivs och diskuteras olika vägval och alternativ i utformandet av index baserat på data från Öppna jämförelser. Avsnittet börjar med en genomgång av generella principer, följt av index för de olika delperspektiven.

Avslutningsvis ges förslag på hur ett övergripande index skulle kunna vara utformat. Vi betonar att det finns flera frågeställningar som måste klaras ut innan man börjar använda index för analyser. Det är med andra ord inte en slutgiltig produkt vi presenterar. I rapporten konstaterar vi att det är möjligt med ett index, men att man måste fatta en rad beslut i ett fortsatt arbete.

Generella principer Alla index som skapas i denna rapport följer en grundläggande princip. Dessutom så vill vi visa och testa ett antal alternativ, val och möjligheter som finns vid beräkningen av index. Totalt så beräknas: • Ett övergripande index (Minimera) • Ett index för perspektivet medicinska resultat (Minimera) • Ett index för perspektivet patienterfarenheter (Maximera) • Ett index för perspektivet tillgänglighet (Maximera) • Ett index för perspektivet kostnader (Minimera) Vi har valt att använda oss av olika riktningar för de olika indexen. Principen är ju att man kan antingen maximera eller minimera ett index. Detta är statistiskt möjligt genom att vi vänder på skalorna. Utifrån ett pedagogiskt perspektiv kan det vara bra att testa och se hur olika personer svarar på riktningarna. Vad som är bäst är svårt att bedöma. Vi har gjort ett val och hållit oss till detta. Vi ­betonar också att det bästa landstinget (oavsett maximering eller minimering) ­ligger längst till vänster i stapeldiagrammet.

30 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Inom perspektivet för medicinska resultat beräknas dessutom ett index per delområde: • Åtgärdbar dödlighet • Överlevnad vid cancersjukdom • Läkemedelsanvändning • Vaccinationer • Förlossningsvård, mödrahälsovård • Diabetesvård • Strokesjukvård • Hjärtsjukvård • Ortopedisk sjukvård • Annan behandling Totalt innebär det att utifrån de 57 indikatorer som ingår i ”Öppna jämförelser 2006” så har vi skapat 15 index som ska spegla landstingens verksamhet. Figur 2 illustrerar de olika indexen som skapats.

Figur 2 Trädstruktur för index som skapats utifrån Öppna jämförelser Övergripande index för Öppna jämförelser 2006

(Inom medicinska resultat finns index på övergripande nivå och på delområdesnivå)

Annan behandling

Index för perspektivet kostnader

Ortopedisk sjukvård

Hjärtsjukvård

Strokesjukvård

Index för perspektivet tillgänglighet

Diabetesvård

Förlossningsvård mödrahäsovård

Vaccinationer

Index för perspektivet medicinska resultat

Läkemedelsanvändning

Överlevnad vid cancersjukdom

Åtgärbar dödlighet

Index för perspektivet patienterfarenheter

Att skapa ett index från Öppna jämförelser 31

Den arbetsgång som vi valt för skapandet av index beskrivs nedan:

• Ett val görs vilka av indikatorerna inom ett område som ska ingå i indexet.

Utgångspunkten har varit att varje index ska bestå av så många indika­ torer som möjligt. I vissa fall har de varit olämpligt av teoretiska skäl eller på grund av mycket missing data att låta en indikator ingå i ett index.

• Dessa index har skapats genom att de först standardiserats med Rescalingmetoden så att de transformeras till en skala [0, 1].

• Därefter säkerställer vi att alla indikatorer som ska ingå i indexet har

samma önskvärda riktning. Bland de indikatorer som finns med i Öppna jämförelser så finns det tre olika typer: (1) de som ska maximeras, (2) de som ska minimeras och (3) de som ska ha ett visst värde. Det vanligaste sättet är att vända (R=Reverse) en indikator enligt följande IndexR= 1-Index.

• Beräkning av index sker vanligtvis genom att ta medelvärdet av de utvalda indikatorerna. Detta ger ett index som är på en skala [0, 1] och som ska minimeras eller maximeras.

• Presentation sker i ett rangordnat stapeldiagram där det ”bästa” lands-

tinget, oavsett om indexet ska maximeras eller minimeras, placeras längst till vänster.

I vissa fall har metoden inte varit lämplig eller det har funnit andra alternativ som varit mer lämpliga eller intressanta att testa. I dessa fall har det beräknats alternativa index. Exempelvis har det funnits alternativa vikter, olika urval av indikatorer eller olika varianter av standardiseringar. Alla dessa alternativ redovisas där de har testats. Vissa av de val som gjorts ovan beskrivs här lite mer utförligt. Dessa val är standardisering, hantering av missing data och viktning av indikatorer.

Vid val av standardisering har vi i denna rapport valt att använda oss av Re­scaling-metoden. Z–score metoden är ett alternativt sätt att standardisera.

Detta val har sin utgångspunkt i ett antal punkter. För det första är det av yttersta vikt att de som läser denna rapport ska kunna tolka och diskutera de olika indexen och dess för- och nackdelar. Att lätt kunna tolka och förstå indexen är också en förutsättning för att indexet ska kunna spela en viktig roll i de olika landstingens förbättringsarbete. För det andra så genomfördes en test för ett antal delindex för att se hur rangordningen av olika landsting påverkades. I dessa exempel påverkades inte rangordningen (alla förändringar låg inom den naturliga variationen). Det ska dock påpekas att vi inom ramen för denna rapport inte hade möjlighet att genomföra ett fullständigt test av denna fråga. För det tredje är valet av standardiseringsmetod något som påverkar hur olika indikatorer kommer att påverka det övergripande indexet. Vid val av Rescaling-metoden så kommer indikatorer med liten variation att få en något större betydelse, medan

32 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

vid val av Z-score metoden så kommer indikatorer med större spridning eller extremvärden att få en större betydelse. Då det ofta förekommer liten variation i centrala medicinska indikatorer så gör valet av Rescaling-­metoden att dessa får en större påverkan medan andra mindre centrala indikatorer med stor spridning får en mindre roll i indexen.

Vid missing data har vi i denna rapport valt att konsekvent använda oss av medelvärdesersättning. Om andelen missing data varit för stor har dessa indikatorer uteslutits från att ingå i de beräknade indexen. I flera fall är det ett systematiskt bortfall av data på grund av att olika landsting inte rapporterar in eller inte mäter dem. I denna rapport har vi valt att för att exemplifiera hur index kan skapas inkludera så många indikatorer som möjligt. Vi bedömer att medelvärdesersättning är en tillräckligt avancerad metod som också de flesta kan förstå.

Vid val av hur olika indikatorer ska viktas har vi i princip valt att vikta alla indikatorer lika. Vi testar dock ett antal olika viktningar både på övergripande nivå och inom olika delindex. Dessa test ska ses som vägledning kring ett antal möjligheter som finns, men valet kring vilken typ av viktning som i slutänden ska göras ligger utanför syftet med denna rapport.

Dessutom beräknade vi rangordningspoäng för alla indikatorer. Anledningen till detta är att vi vill se skillnader och likheter mellan dessa två ­metoder. I dessa fall har rangordningspoäng beräknats för varje enskild indikator. Det bästa landstinget har fått poäng 1, det näst bästa poäng 2 o.s.v. upp till det sämsta landstinget för en indikator som fått poäng 21. För varje index har ­poängen för de ingående indikatorerna adderats och det bästa landstinget har fått den lägsta poängen.

Index för perspektivet medicinska resultat Inom perspektivet medicinska resultat speglas 10 olika områden som tillsammans anses spegla det medicinska resultatet bland Sveriges landsting. Indikatorgruppen medicinska resultat innehåller flest indikatorer av alla grupperna, fler än hälften av alla indikatorer i Öppna jämförelser. Inom vart och ett av de 10 områdena inom perspektivet medicinska resultat har ett specifikt index utvecklats, se tabell 2.

Som ses i tabellen ovan är önskvärd riktning för sju av indexen att de ska minimeras, medan tre ska maximeras. Detta leder till att alla index först måste transformeras till samma skala. Då alla index är på en skala med minsta värde 0 och maximala värde 1, kan vi vända på indexen för Överlevnad vid cancersjukdom, Vaccinationer och Diabetessjukvård. Detta gör vi genom att beräkna indexen med IndexR=1-Index. Vid beräkning av övergripande index för pers­ pektivet medicinska resultat får vi då ett index på skalan 0 till 1 där de bästa landstingen kommer att ha låga värden.

Att skapa ett index från Öppna jämförelser 33

Tabell 2: Index inom perspektivet medicinska resultat.

Indikator

Måttenhet

Önskvärd Riktning

Åtgärdbar dödlighet

Index [0, 1]

Minimera

Överlevnad vid cancersjukdom

Index [0, 1]

Maximera

Läkemedelsanvändning

Index [0, 1]

Minimera

Vaccinationer

Index [0, 1]

Maximera

Förlossningsvård, mödrahälsovård

Index [0, 1]

Minimera

Diabetesvård

Index [0, 1]

Maximera

Strokesjukvård

Index [0, 1]

Minimera

Hjärtsjukvård

Index [0, 1]

Minimera

Ortopedisk sjukvård

Index [0, 1]

Minimera

Annan behandling

Index [0, 1]

Minimera

Det finns, som tidigare nämnts, olika metoder för att vikta ihop dessa 10 olika områden. Man skulle tänka sig att vikta enligt antal patienter, kostnader för ­vården eller annan typ av expertbaserad viktning. Vi menar att detta ligger utanför rapportens syfte. Vid följande beräkning har därför indexet för perspektivet medicinska resultat beräknats som medelvärdet för dessa 10 områden.

Gotland

Dalarna

Gävleborg

Jämtland

Norrbotten

Kalmar

Västernorrland

Värmland

Västra Götaland

Östergötland

Skåne

Stockholm

Kronoberg

Västerbotten

Örebro

Blekinge

Jönköping

Uppsala

Södermanland

160

Västmanland

Gotland

Gävleborg

Dalarna

Norrbotten

Västra Götaland

Västernorrland

Jämtland

Stockholm

Skåne

Östergötland

Värmland

Kalmar

Örebro

Kronoberg

Västerbotten

Blekinge

Jönköping

Västmanland

Södermanland

Uppsala

Halland

1,0

Halland

34 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Figur 3 En översikt av Index för perspektivet medicinska resultat Medicinindex [0,1]

0,8

0,6

0,4

0,2

Figur 4 En översikt av rangordning av landsting index för perspektivet medicinska resultat

Rangordningspoäng medicin

140

120

100

80

60

40

20

Att skapa ett index från Öppna jämförelser 35

I figur 3 visas att Halland och Uppsala är de landsting som sticker ut i förhållande till övriga.

Dessutom beräknade vi för alla landsting rangordningspoängen för de indexen inom de 10 områdena, se figur 4. Det är Halland som är i topp då rangordningspoängen beräknas. På de stora hela visar de två metoderna ett konsistent resultat. Då man går in på de specifika delindexen så finns det dock områden där de två olika metoderna visar relativt olika resultat.

Åtgärdbar dödlighet Tanken med indikatorerna inom åtgärdbar dödlighet är att den kunskap som finns om sjukdomars orsaker och om olika behandlingsmetoders effektivitet skall omsättas till handling, genom att i ett mått fokusera på den dödlighet i en befolkning som man kan påverka. Måttet åtgärdbar dödlighet består av dödlighet i ett antal utvalda diagnoser och dödsorsaker. Indikatorerna är indelade i två kategorier: hälsopolitisk och sjukvårdsrelaterad åtgärdbar dödlighet. Den första kategorin innehåller diagnoser och dödsorsaker som anses möjliga att påverka med bredare hälsopolitiska insatser. Den senare innehåller diagnoser som bedömts vara möjliga att påverka med olika medicinska insatser, genom tidig upptäckt och behandling. Totalt finns det två indikatorer inom åtgärdbar dödlighet och båda kan användas för att konstruera ett index.

Tabell 3: Indikatorer inom åtgärdbar dödlighet.

Indikator

Måttenhet

Källa

Önskvärd Riktning

Åtgärdbar dödlighet per 100 000 inv – hälsopolitiskt relaterad, m/kv

Antal

Sammanvägning av olika register

Minimera

Åtgärdbar dödlighet per 100 000 inv – sjukvårds­ politiskt relaterad, m/kv

Antal

Sammanvägning av olika register

Minimera

Inom åtgärdbar dödlighet använder vi oss av grundformen för index: • Indexet beräknas som medelvärdet av indikator A1 och A2.

Båda indikatorerna standardiseras enligt Rescalingmetoden [0, 1]. Indexet utgår från att båda indikatorerna som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram. Indexet innehåller därför båda indikatorerna inom åtgärdbar dödlighet. Indikatorerna har viktats samman med lika vikt. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har låga värden.

Gotland

Södermanland

Gävleborg

Värmland

Örebro

Västmanland

Kalmar

Stockholm

Skåne

Norrbotten

Västernorrland

Jämtland

Blekinge

Västra Götaland

Jönköping

Dalarna

Östergötland

Västerbotten

Uppsala

Halland

80

Kronoberg Halland

Gotland

Gävleborg

Södermanland

Örebro

Västmanland

Värmland

Stockholm

Skåne

Kalmar

Norrbotten

Västernorrland

Jämtland

Blekinge

Västra Götaland

Jönköping

Dalarna

Östergötland

Västerbotten

Uppsala

Kronoberg

36 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Figur 5 En översikt av index för åtgärdbar dödlighet

1,0 Index åtgärdbar dödlighet [0, 1]

0,8

0,6

0,4

0,2

0,0

Figur 6 En översikt av rangordning av landsting för åtgärdbar dödlighet Rangordningsindex åtgärdbar dödlighet

70

60

50

40

30

20

10

Att skapa ett index från Öppna jämförelser 37

I figur 5 visas hur de olika landstingen förhåller sig till indexet för åtgärdbar dödlighet. Det är tre landsting som redovisar ett bättre resultat än övriga och de är Halland, Kronoberg och Uppsala.

Dessutom beräknade vi för alla landsting rangordningspoängen för de två indikatorerna inom åtgärdbar dödlighet, se figur 6. Inom detta område så visar dessa två metoder ett resultat som stämmer väl överens med varandra. Det är alltså samma landsting som ligger i topp och botten med de båda metoderna.

Överlevnad vid cancersjukdom Inom området för överlevnad vid cancersjukdom studeras den relativa canceröverlevnaden. Den beskriver patienternas överlevnad i förhållande till den förväntade överlevnaden för personer som inte diagnostiserats med cancer. Det är tre former av cancer som studeras: tjocktarmscancer, ändtarmscancer och bröstcancer.

Tabell 4: Indikatorer inom överlevnad vid cancersjukdom.

Indikatorer

Måttenhet

Önskvärd Riktning

Källa

Tjocktarmscancer, 5-årsöverlevnad m/kv

Procent

EpC/Socialstyrelsen

Maximera

Ändtarmscancer, 5-årsöverlevnad m/kv

Procent

Som ovan

Maximera

Bröstcancer, 5-årsöverlevnad

Procent

Som ovan

Maximera

Inom överlevnad vid cancersjukdom använder vi oss av grundformen för index: • Indexet beräknas som medelvärdet av indikator A3, A4 och A5.

Alla tre indikatorer standardiseras enligt metoden [0, 1]. Indexet utgår från att alla indikatorer som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram. Indexet innehåller därför alla tre indikatorer inom överlevnad vid cancersjukdom. För de indikatorer där män och kvinnor särredovisats har dessa slagits samman för att de inte ska få den dubbla vikten gentemot de indikatorer där män och kvinnor redovisas ihop. Indikatorerna har viktats samman med lika vikt. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har höga värden.

50

40

30

20

10 Västerbotten

Östergötland

Jämtland

Skåne

Jönköping

Västra Götaland

Värmland

Kalmar

Halland

Blekinge

Gävleborg

Södermanland

Stockholm

Västernorrland

Västmanland

Norrbotten

Kronoberg

Uppsala

Dalarna

Gotland

60

Gotland

70 Rangordningspoäng canceröverlevnad Örebro

Figur 8 En översikt av rangordning av landsting för överlevnad vid cancersjukdom

Västerbotten

Örebro

Östergötland

Jämtland

Skåne

Kalmar

Södermanland

Västra Götaland

Jönköping

Halland

Värmland

Blekinge

Gävleborg

Västernorrland

Stockholm

Norrbotten

Uppsala

Dalarna

Kronoberg

0,8

Västmanland

38 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Figur 7 En översikt av index för överlevnad vid cancersjukdom Index Canceröverlevnad [0,1]

0,6

0,4

0,2

Att skapa ett index från Öppna jämförelser 39

I figur 7 visas hur de olika landstingen förhåller sig till indexet för överlevnad vid cancersjukdom. Det landsting som redovisar ett bättre resultat än övriga är Uppsala.

Dessutom beräknade vi för alla landsting rangordningspoängen för de tre indikatorerna inom överlevnad vid cancersjukdom, se figur 8.

Läkemedelsanvändning Kvalitetsindikatorerna för äldres läkemedelsbehandling delas in i läkemedelsspecifika och diagnosspecifika indikatorer. Här presenteras två exempel på ­viktiga indikatorer som använts i en analys av läkemedelsanvändningen hos samtliga personer 75 år och äldre i Sverige. Det är viktigt att notera att dessa indi­katorer har mätts under en tvåmånaders period, vilket kan ses som en kort period i förhållande till andra mått som sträcker sig över en mätperiod på 10 till 12 år.

Tabell 5: Indikatorer inom läkemedelsanvändning.

Måttenhet

Källa

Önskvärd Riktning

Andel äldre med tre eller flera psykofarmaka

Procent

Läkemedelsregistret,

Minimera

Andel äldre med läkemedels­ interaktion av klass D

Procent

Indikatorer

Epc/Socialstyrelsen

Som ovan

Minimera

Inom läkemedelsanvändning använder vi oss av grundformen för index: • Indexet beräknas som medelvärdet av indikator A6 och A7.

Båda indikatorerna standardiseras enligt Rescalingmetoden [0, 1]. Indexet utgår från att båda indikatorerna som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram. Indexet innehåller därför båda indikatorerna inom läkemedelsanvändning. Indikatorerna har viktats samman med lika vikt. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har låga värden.

Västra Götaland

Kronoberg

Värmland

Västernorrland

Halland

Skåne

Uppsala

Västerbotten

Dalarna

Stockholm

Gotland

Jönköping

Norrbotten

Västmanland

Gävleborg

Blekinge

Örebro

Södermanland

Östergötland

Kalmar

Jämtland Jämtland

Västra Götaland

Kronoberg

Halland

Skåne

Värmland

Västernorrland

Uppsala

Västerbotten

Gotland

Stockholm

Dalarna

Jönköping

Västmanland

Gävleborg

Norrbotten

Örebro

Blekinge

Södermanland

Kalmar

Östergötland

40 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Figur 9:1 En översikt av index för läkemedelsanvändning

1,0 Index läkemedelsanvändning [0, 1]

0,8

0,6

0,4

0,2

Figur 9:2 En översikt av rangordning av landsting för läkemedelsanvändning

45 Rangordningspoäng läkemedelsanvändning

40

35

30

25

20

15

10

5

Att skapa ett index från Öppna jämförelser 41

I figur 9 visas hur de olika landstingen förhåller sig till indexet för läkemedels­ användning. Jämtland står ut i förhållande till övriga landsting och återföljs av Östergötland. Dessutom beräknade vi för alla landsting rangordningspoängen för de två indikatorerna inom läkemedelsanvändning, se figur 9:2.

Vaccinationer Inom området vaccinationer speglas den förebyggande hälso- och sjukvården.

Här redovisas två indikatorer, dels andelen barn som vaccinerats mot mässling, påssjuka och röda hund (MPR-vaccination), dels andelen äldre som vaccinerats mot influensa, se tabell 6.

Tabell 6: Indikatorer inom vaccinationer.

Indikatorer

Måttenhet

Källa

Önskvärd Riktning

Vaccinationsfrekvens barn, MPR = mässling, påssjuka, röda hund

Procent

Smittskydds­ insitutet

Maximera

Vaccinationsfrekvens av äldre > 65 – influensa

Procent

Landstingens smittskydds­ läkare

Maximera

Inom vaccinationer använder vi oss av grundformen för index: • Indexet beräknas som medelvärdet av indikator A8 och A9.

Båda indikatorerna standardiseras enligt Rescalingmetoden [0, 1]. Indexet utgår från att båda indikatorerna som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram. Indexet innehåller därför båda indikatorerna inom vaccinationer. Indikatorerna har viktats samman med lika vikt. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har höga värden.

30

25

20

15

10

5 Uppsala

Östergötland

Stockholm

Norrbotten

Gävleborg

Dalarna

Blekinge

Kronoberg

Södermanland

Västra Götaland

Västmanland

Skåne

Gotland

Västernorrland

Kalmar

Örebro

Halland

Värmland

Jönköping

Jämtland

35

Jämtland

40 Rangordningspoäng vaccinationer Västerbotten

Figur 11 En översikt av rangordning av landsting för vaccinationer

Västerbotten

Uppsala

Gävleborg

Dalarna

Östergötland

Blekinge

Norrbotten

Stockholm

Kronoberg

Västra Götaland

Södermanland

Västmanland

Skåne

Kalmar

Gotland

Västernorrland

Örebro

Halland

Jönköping

Värmland

42 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Figur 10 En översikt av index för vaccinationer

1,0 Index vaccinationer [0, 1]

0,8

0,6

0,4

0,2

Att skapa ett index från Öppna jämförelser 43

I figur 10 visas hur de olika landstingen förhåller sig till indexet för vaccina­ tioner. Jönköping, Värmland och Halland står ut gentemot de andra landstingen inom området vaccinationer. Dessutom beräknades rangordningspoäng för alla landsting för de två indikatorerna inom vaccinationer, se figur 11.

Förlossningsvård, mödravård Inom förlossningsvård ingår fem indikatorer som speglar olika aspekter av förlossningsvård eller mödravård. Dock så ställs vi inom detta område för ett svårt dilemma. Hur ska man vikta andel dödfödda barn mot de andra indika­ torerna? Detta dilemma ställs mot att index ska vara möjliga att förbättra inom en relativt kort tidsperiod. För flera av de indikatorer som rör andel döda eller överlevande så innehåller dessa indikatorer mätningar över flera år, vilket gör att de är svåra att påverka för ett landsting från år till år.

Tabell 7: Indikatorer inom förlossningsvård, mödravård.

Indikatorer

Önskvärd riktning

Måttenhet

Källa

Dödfödda per 1000 födda

Procent

EpC/Social­ styrelsen

Minimera

Neonatal dödlighet – döda per 1000 levande födda

Procent

Som ovan

Minimera

Andel barn med Apgar – poäng under 7

Procent

Som ovan

Minimera

Andel perinealbristningar grad III och IV, vaginal förlossning

Procent

Som ovan

Minimera

Andel sena aborter

Procent

Som ovan

Minimera

Inom förlossningsvård, mödravård vill vi introducera två typer av index: • Index 1 beräknas som medelvärdet av indikator A10 till A14.

• Index 2 beräknas med en vikt 0,5 för A10 och 0,5 för medelvärdet av A11 till A14.

44 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

I grunden är båda indexen beräknade enligt samma princip. Först har alla indikatorer standardiserats enligt Rescalingmetoden [0, 1]. Sedan viktas indikatorerna samman med vikter enligt föregående punktlista. Index 1 utgår från att alla de indikatorer som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram samt att de ska ha lika vikt. Index 1 för förlossningsvård, mödravård innehåller därför alla fem indikatorer inom området med lika vikt. I index 2 testas det att vikta dödlighet som halva vikten i indexet. Denna princip bygger på att denna indikator är viktigare än de övriga. I detta fall ges de övriga indikatorerna tillsammans lika stor vikt som dödlighet.. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har låga värden.

Figur12 12 En Enöversikt översiktav avindex indexför förförlossningsvård, förlossningsvård,mödravård mödravård Figur Index förlossningsvård [0,1] 1,0 1,0Index förlossningsvård [0,1]

Index 2 Index 1

÷r

0,80,8

0,60,6

0,40,4

Gotland

Kalmar

Östergötland

Blekinge

Västmanland

Dalarna

Gävleborg

Stockholm

Norrbotten

Västra Götaland

Västerbotten

Västernorrland Skåne

Skåne Västernorrland

Örebro

Kronoberg

Jämtland

Jönköping

Södermanland

Uppsala

Värmland

Halland

0,20,2

I figur 12 visas hur de olika landstingen förhåller sig till index 1 och 2 för förlossningsvård, mödravård. Som kan ses så har Halland bäst förlossningsvård, mödravård oavsett vilket index som används. För enskilda landsting så påverkas deras placering kraftigt beroende av vilka vikter som väljs. Ett exempel är Jämtland som rankas som sjätte bästa landsting av index 1, men om man viktar upp dödlighet (index 2) så blir de placerade som näst bästa landsting.

Dessutom beräknades rangordningspoäng för alla landsting för de fem indikatorerna som ingår i förlossningsvård, mödravård, se figur 13. När rang­ ordningspoängen beräknats har alla indikatorer lika vikt.

Att skapa ett index från Öppna jämförelser 45

Figur 13 En översikt av rangordning av landsting för förlossningsvård, mödravård 100 Placeringspoäng förlossningsvård 90 80 70 60 50 40 30 20

Kalmar

Gotland

Dalarna

Östergötland

Västmanland

Västerbotten

Blekinge

Kronoberg

Norrbotten

Gävleborg

Västra Götaland

Stockholm

Skåne

Västernorrland

Jämtland

Jönköping

Södermanland

Örebro

Värmland

Halland

Uppsala

10

Diabetesvård Ungefär fyra procent av befolkningen i riket bedöms ha diabetes, vilket är en sjukdom som medför ökad risk även för andra sjukdomar. Här jämförs utfallet för tre indikatorer hämtade från 2005, se tabell 8. Indikatorerna är hämtade från en rapport från Nationella Diabetesregistret. Nivåerna för de behandlingsmål för blodsockervärde och blodtryck som anges är föreslagna från Svensk Före­ ning för Diabetologi och kan skilja sig från de allmänna riktlinjerna.

Tabell 8: Indikatorer inom diabetesvården.

Indikatorer

Måttenhet

Källa

Önskvärd riktning

Andel som uppnår mål för HbA1c – primärvård

Procent

Nationella Diabetesregistret

Maximera

Andel som uppnår mål för blodtryck – primärvård

Procent

Nationella Diabetesregistret

Maximera

Andel ögonbottenfotograferade – medicinklinik

Procent

Nationella Diabetesregistret

Maximera

46 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Inom diabetesvård använder vi oss av grundformen för index: • Indexet beräknas som medelvärdet av indikator A15, A16 och A17.

Alla tre indikatorerna standardiseras enligt Rescalingmetoden [0, 1]. Indexet utgår från att de tre indikatorerna som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram. Indexet innehåller därför alla tre indika­torerna inom diabetesvård. Indikatorerna har viktats samman med lika vikt. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har höga värden.

I figur 14 visas hur de olika landstingen förhåller sig till indexet för diabetesvård. Skåne, Östergötland och Halland står ut gentemot de andra landstingen inom området diabetesvård.

Figur 14 En översikt av index för diabetesvård 1,0 Diabetesindex [0, 1]

0,8

0,6

0,4

Dalarna

Västernorrland

Gotland

Norrbotten

Västra Götaland

Blekinge

Jönköping

Kalmar

Kronoberg

Västmanland

Jämtland

Stockholm

Örebro

Värmland

Södermanland

Uppsala

Västerbotten

Halland

Gävleborg

Östergötland

Skåne

0,2

Dessutom beräknades rangordningspoäng för alla landsting för de tre indika­ torerna som ingår i diabetesvård, se figur 15. När rangordningspoängen beräknats har alla indikatorer lika vikt. Som synes är det samma tre landsting som ligger i topp med båda metoderna.

Att skapa ett index från Öppna jämförelser 47

Figur 15 En översikt av rangordning av landsting för diabetesvård 60 Rangordningspoäng diabetes

50

40

30

20

Dalarna

Gotland

Västernorrland

Kronoberg

Jönköping

Norrbotten

Kalmar

Jämtland

Värmland

Blekinge

Västra Götaland

Stockholm

Södermanland

Örebro

Uppsala

Västmanland

Västerbotten

Gävleborg

Östergötland

Skåne

Halland

10

Strokesjukvård Årligen drabbas drygt 17 000 män och 18 000 kvinnor av stroke. För stroke redovisas tre indikatorer, där det första avser dödlighet. De övriga måtten relateras till i vilken utsträckning patienter som överlever stroke återfår, i olika grad, den funktion man hade före insjuknandet och i vilken utsträckning som patienter vårdas vid strokeenheter, se figur 15 på nästa sida.

Tabell 9: Ingående indikatorer i strokesjukvård.

Indikatorer

Enhet

Källa

Önskad Riktning

A18. 28-dagars dödlighet efter stroke, m/kv

Procent

EpC/Socialstyrelsen

Minimera

A19. ADL-förmåga 3 månader efter insjuknandet

Procent

Riks-Stroke

Minimera

A20. Andel patienter vårdade vid strokeenhet, m/kv

Procent

Riks-Stroke

Maximera

48 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Inom strokesjukvård använder vi oss av två typer av index: • Index 1 beräknas som medelvärdet av indikator A18, A19 och A20r.

• Index 2 beräknas med en vikt 0,5 för A18 och 0,5 för medelvärdet av A19 till A20r I grunden är båda indexen beräknade enligt samma princip. Först har alla indikatorer standardiserats enligt Rescalingmetoden [0, 1]. Som ses i tabell 9 ska A18 och A19 minimeras medan A20 ska maximeras. Detta löser vi genom att först standardisera alla indikatorer och sedan använda oss av formeln A20r=1A20. Detta leder till att A20r också blir en indikator [0, 1] som ska minimeras.

Sedan viktas indikatorerna samman med vikter enligt punktlistan ovan. Index 1 utgår från att alla de indikatorer som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram, samt att de ska ha lika vikt. Då alla index ska ha samma vikt så beräknas medelvärdet på A18 och A20 för män och kvinnor gemensamt. Valet att särredovisa män och kvinnor för dessa index ska inte påverka indexet för strokesjukvård. Index 1 för strokesjukvård innehåller därför de tre indikatorerna inom området med lika vikt. I index 2 testas det att vikta dödlighet som halva vikten i indexet. Principen bygger på att denna indikator är viktigare än de övriga. I detta fall ges de övriga indikatorerna tillsammans lika stor vikt som dödlighet.. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har låga värden.

Figur 16 En översikt av index för för strokesjukvård 1,0

Index strokesjukvård [0, 1]

0,8

0,6

0,4

Jämtland

Värmland

Kalmar

Jönköping

Gotland

Dalarna

Norrbotten

Blekinge

Gävleborg

Östergötland

Södermanland

Örebro

Stockholm

Kronoberg

Västmanland

Västra Götaland

Skåne

Halland

Uppsala

Västernorrland

Västerbotten

0,2

Att skapa ett index från Öppna jämförelser 49

I figur 16 visas hur de olika landstingen förhåller sig till index 1 och 2 för stroke­ sjukvård. Som ses så har Västerbotten, Västernorrland och Halland den bästa strokesjukvården oavsett vilket index som används. För enskilda landsting så påverkas deras placering inte speciellt mycket oavsett vilka vikter som väljs.

Figur 17 En översikt av rangordning av landsting för strokesjukvård 100 Rangordningspoäng strokesjukvård 90 80 70 60 50 40 30 20

Kalmar

Värmland

Norrbotten

Dalarna

Jämtland

Jönköping

Blekinge

Gävleborg

Östergötland

Örebro

Uppsala

Gotland

Södermanland

Kronoberg

Stockholm

Västmanland

Skåne

Västernorrland

Västra Götaland

Halland

Västerbotten

10

Dessutom beräknades rangordningspoäng för alla landsting för de tre indika­ torerna som ingår i strokesjukvård, se figur 17. När rangordningspoängen beräknats har alla indikatorer lika vikt. Som synes är det samma tre landsting som ligger i topp med båda metoderna.

50 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Hjärtsjukvård Inom kriteriet hjärtsjukvård redovisas fem indikatorer, se tabell 10. En avser dödlighet efter hjärtinfarkt i landstingens befolkningar, som ett övergripande resultatmått. Nästkommande indikatorer är så kallade processmått som avser behandling vid akut hjärtinfarkt. Slutligen redovisas väntetiden till hjärt­kirurgi.

Datakällor för processmåtten är de båda kvalitetsregistren RIKS-HIA och Svenska Hjärtkirurgiregistret.

Tabell 10: Ingående indikatorer i hjärtsjukvård.

Indikatorer

Enhet

Källa

Önskad riktning

A21. 28-dagars dödlighet efter hjärtinfarkt, m/kv

Procent

Riks-HIA

Minimera

A22. Andel direkt PCI vid ST-höjningsinfarkt, m/kv

Procent

RIKS-HIA och Svenska Hjärtkirurgiregistret

Maximera

A23. Andel kranskärlsröntgen vid icke ST-höjningsinfarkt, m/kv

Procent

RIKS-HIA och Svenska Hjärtkirurgiregistret

Maximera

A24. Andel clopidogrelbehandling vid icke ST-höjningsinfarkt, m/kv

Procent

RIKS-HIA och Svenska Hjärtkirurgiregistret

Maximera

A25. Hjärtkirurgi - medianväntetid till operation, m/kv

Antal dagar

RIKS-HIA och Svenska Hjärtkirurgiregistret

Minimera

Inom hjärtsjukvård använder vi oss av två typer av index: • Index 1 beräknas som medelvärdet av indikator A21, A22r, A23r, A24r och A25 • Index 2 beräknas med en vikt 0,5 för A21 och 0,5 för medelvärdet av A22r, A23r, A24r och A25 I grunden är båda indexen beräknade enligt samma princip. Först har alla indikatorer standardiserats enligt Rescalingmetoden [0, 1]. Som ses i tabell 10 ska A21 och A25 minimeras medan A22, A23 och A24 ska maximeras. Detta löser vi genom att först standardisera alla indikatorer och sedan använda oss av formeln Ar=1-A. Detta leder till att A22r, A23r och A24r också blir en indikator [0, 1] som ska minimeras. Sedan viktas indikatorerna samman med vikter

Att skapa ett index från Öppna jämförelser 51

enligt punktlistan ovan. Index 1 utgår från att alla de indikatorer som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram, samt att de ska ha lika vikt. Index 1 för strokesjukvård innehåller därför de fem indikatorerna inom området med lika vikt. I index 2 testas det att vikta dödlighet som halva vikten i indexet. Denna princip bygger på att denna indikator är viktigare än de övriga. I detta fall ges de övriga indikatorerna tillsammans lika stor vikt som dödlighet.. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har låga värden, se figur 17.

I figur 18 visas hur de olika landstingen förhåller sig till index 1 och 2 för hjärtsjukvården. Som ses så har Uppsala den bästa hjärtsjuk­vården oavsett vilket index som används. För enskilda landsting så påverkas deras acering väldigt mycket av vilken index vi använder. Ett exempel är Västernorrland som enligt index 1 är det 14:e bästa landstinget, medan de skulle vara nummer tre med index 2.

Figur 18 En översikt av index för för hjärtsjukvård 1,0

Index hjärtsjukvård [0, 1]

0,8

Dat

0,6

0,4

Norrbotten

Dalarna

Jämtland

Värmland

Halland

Västernorrland

Gotland

Västra Götaland

Jönköping

Gävleborg

Västmanland

Örebro

Södermanland

Blekinge

Stockholm

Västerbotten

Östergötland

Skåne

Kronoberg

Kalmar

Uppsala

0,2

52 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Dessutom beräknades rangordningspoäng för alla landsting för de fem indika­ torerna som ingår i hjärtsjukvård, se figur 19. När rangordningspoängen beräknats har alla indikatorer lika vikt. Som synes står Kronoberg ut som landstinget med den bästa hjärtsjukvården.

Figur 19 En översikt av rangordning av landsting för hjärtsjukvård 160

Rangordningspoäng hjärtsjukvård

140 120 100 80 60 40

Dalarna

Jämtland

Norrbotten

Värmland

Västernorrland

Halland

Gävleborg

Västra Götaland

Gotland

Västmanland

Jönköping

Södermanland

Örebro

Blekinge

Stockholm

Västerbotten

Östergötland

Skåne

Kronoberg

Kalmar

Uppsala

20

Att skapa ett index från Öppna jämförelser 53

Ortopedi Inom detta område ingår olika indikatorer relaterade till knäledsplastik och höftledsplastik som är vanliga och resurskrävande behandlingar. Inom detta område kommer flera olika aspekter av mätningsproblem fram såsom bristande datakvalitet och olika typer av skalor, se tabell 11.

Tabell 11: Ingående indikatorer i ortopedi.

Indikatorer A26. Knäledsplastik – revisioner inom 1 år pga. infektion

Måttenhet

Källa

Önskad Riktning

Antal

Svenska Knäprotesregistret

Minimera

A27. Knäledsplastik – revisionsrisk, 5 års

Procent

Svenska Knäprotesregistret

Minimera

A28. Total höftledsplastik – överlevnad implantat, 10 års

Procent

Svenska Höftprotes­ registret

Maximera

A29. Total höftledsplastik omoperation inom 2 år, alla orsaker

Procent

Svenska Höftprotes­ registret

Minimera

A30. Total höftledsplastik - patientskattad effekt av operation*

Index

Svenska Höftprotes­ registret

Maximera

A31. Höftfraktur – andel utskrivna till ursprungligt boende*

Procent

RiksHöft

Maximera

Medelväntetid i dygn

RiksHöft

Minimera

A32. Höftfraktur - medel­ väntetid till operation, dygn* *Data saknas i stor utsräckning

Inom ortopedi använder vi oss av grundformen för index: • Indexet beräknas som medelvärdet av indikator A26, A27, A28r och A29.

54 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Alla fyra indikatorer standardiseras enligt Rescalingmetoden [0, 1]. Indexet utgår från att alla indikatorerna som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram. I detta fall återfinns ytterligare tre indikatorer, A30 till A31. Bland dessa indikatorer saknas det flera mätvärden. För A30 saknas mätvärden för 14 landsting och för A30 och A31 saknas mätvärden för fem landsting. För att inte introducera för mycket osäkerhet inom detta område så har vi valt att exkludera dessa indikatorer från indexet. Den andra problematiken är att medan A26, A27 och A29 ska minimeras så ska A28 maximeras. Detta löser vi genom att först standardisera alla indikatorer och sedan använda oss av formeln A28r=1-A28. Detta leder till att A28r också blir en indikator [0, 1] som också ska minimeras. Det slutliga indexet innehåller därför alla fyra indikatorer inom ortopedi. Indikatorerna har viktats samman med lika vikt. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har låga värden.

I figur 20 visas hur de olika landstingen förhåller sig till indexet för ortopedi. Västmanland, Sörmland och Västerbotten står ut gentemot de andra ­landstingen inom området ortopedi.

Figur 20 En översikt av index för ortopedi 1,0 Index ortopedi [0, 1]

0,8

0,6

0,4

Uppsala

Gävleborg

Västernorrland

Gotland

Stockholm

Dalarna

Värmland

Skåne

Halland

Norrbotten

Kalmar

Kronoberg

Jämtland

Jönköping

Västra Götaland

Blekinge

Östergötland

Örebro

Västerbotten

Södermanland

Västmanland

0,2

Att skapa ett index från Öppna jämförelser 55

Dessutom beräknades rangordningspoäng för alla landsting för de fyra indikatorerna som ingår i ortopedi, se figur 21. När rangordningspoängen beräknats har alla indikatorer lika vikt. Som synes är det samma tre landsting som ligger i topp och botten när vi jämför de båda metoderna.

Figur 21 En översikt av rangordning av landsting för ortopedi 80 Rangordningspoäng ortopedi 70 60 50 40 30 20

Gävleborg

Uppsala

Stockholm

Västernorrland

Skåne

Gotland

Värmland

Dalarna

Norrbotten

Halland

Kronoberg

Kalmar

Jämtland

Västra Götaland

Blekinge

Jönköping

Östergötland

Örebro

Västerbotten

Västmanland

Södermanland

10

Annan behandling I begreppet annan behandling ingår tre behandlingar. Årligen utförs 20000 operationer av ljumskbråck, 80000 kataraktoperationer och årligen upptäcks över 9000 fall av prostatacancer. Inom detta område ingår tre indikatorer som är av olika karaktär och som också är konstruerade på olika sätt. De två första indikatorerna, antal omoperationer av ljumskbråck inom fem år och andel med synskärpa under 0,5 på bästa ögat vid kataraktoperation, är indikatorer där låga värden är bra. För den tredje indikatorn, andel patienter som fått kurativ behandling vid prostatacancer, finns det ett riktvärde som säger att ungefär 80% av patienterna bör få denna behandling. Då det finns negativa effekter av behandlingen väljer inte alla patienter att genomgå behandlingen. Dessutom så kan inte alla patienter genomgå behandlingen på grund av andra åkommor.

56 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Tabell 12: Ingående indikatorer i annan behandling.

Förklaring

Önskvärd riktning/värde

0-100

Andel patienter

Minimera

Svenskt Bråckregister

0-100

Andel patienter

Minimera

Nationella Kataraktregistret

Indikatorer

Skala

A33. Ljumskbråck – andel omopererade inom 5 år

A34. Kataraktoperation – andel med synskärpa under 0,5 på bästa ögat, m/kv A35. Prostatacancer – andel patienter som fått kurativ behandling

Värde 80%

Källa

Nationella Prostata­ cancerregistret

Inom annan behandling använder vi oss av grundformen för index: • Indexet beräknas som medelvärdet av indikator A33, A34 och A35.

De två första indikatorerna kan standardiseras enligt Rescalingmetoden [0, 1]. För den tredje indikatorn så finns det ett riktvärde 0,8. Där använder vi en variant av Rescalingmetoden [0, 1], där värden nära 0,8 får ett lågt värde i indexet och de värden som är långt från 0,8 får ett högt värde. Indexet utgår från att alla indikatorerna som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram. Indexet innehåller därför båda indikatorerna inom läkemedelsanvändning. Indikatorerna har viktats samman med lika vikt. Detta har gjort att det slutliga indexet är på en skala [0, 1] där de bästa landstingen har låga värden.

I figur 22 visas hur de olika landstingen förhåller sig till indexet för annan behandling. Blekinge står ut i förhållande till övriga landsting inom detta område.

Dessutom beräknades rangordningspoäng för alla landsting för de tre indikatorerna inom annan behandling, se figur 23.

Östergötland

Gävleborg

Kalmar

Skåne

Jämtland

Gotland

Västra Götaland

Halland

Örebro

Västernorrland

Dalarna

Kronoberg

Uppsala

Västmanland

Västerbotten

Jönköping

Stockholm

Södermanland

Norrbotten

Värmland

Blekinge

Gävleborg

Östergötland

Kalmar

Skåne

Jämtland

Halland

Gotland

Västra Götaland

Dalarna

Västernorrland

Västerbotten

Örebro

Kronoberg

Stockholm

Norrbotten

Jönköping

Södermanland

Uppsala

Värmland

Västmanland

Blekinge

Att skapa ett index från Öppna jämförelser 57

Figur 22 En översikt av index för annan behandling

1,0 Index annan behandling [0, 1]

0,8

0,6

0,4

0,2

Figur 23 En översikt av rangordning av landsting för annan behandling

60 Rangordningspoäng

50

40

30

20

10

58 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Reflektion och kommentarer kring index för perspektivet medicinska resultat Inom perspektivet medicinska resultat finns det flera utmaningar att hantera.

Tre av de största är tidsperspektivet, innehåll och viktningar. För det första är utgångspunkten att vi vill ha index som landstingen kan påverka och förbättra sig inom. För att skapa reliabla index inom området medicinska resultat så finns det index som innehåller data från upp till 12 år. Det finns också eftersläpningar i flera indikatorer. I ”Öppna jämförelser 2006” är det data från 2005 eller 2004 som används. Detta gör att om ett landsting prioriterar och gör förbättringar utifrån sin prestation i ”Öppna jämförelser 2006” så kan det ta flera år innan dessa förbättringar kommer att synas i de ingående indexen.

För det andra, vad gäller innehåll så är frågan om alla indikatorer ska vara med i indexen. De indikatorer som finns är delvis med i Öppna jämförelser eftersom de finns tillgängliga och inte för att det är de bästa indikatorerna som finns. Detta leder till att det ibland kan ifrågasättas om alla indikatorer ska vara med. Detta gäller framförallt för de index där det finns en överlappning, samt i de fall det finns flera processmått och olika resultatmått.

För det tredje, frågan hur olika process- och resultatmått ska viktas är inte helt enkel. Om det finns 10 processmått och ett resultatmått gällande dödlighet eller överlevnad så får resultatet en liten vikt i förhållande till processmåtten.

Det kan då finnas anledning att vikta upp resultatmåtten i förhållande till processmåtten, om inte annat av etiska skäl. Det finns dock nackdelar med detta då resultatmåtten ofta är de mått som sträcker sig över lång tid.

Index för perspektivet patienterfarenheter Inom indikatorgruppen patienterfarenheter återfinns patient- och befolknings­ uppfattningar om hälso- och sjukvården och sjukvårdsinsatsen på ett övergripande plan. Däremot återfinns inte av patienter skattade eller upplevda resultat/hälsoeffekter av den erhållna behandlingen. Här redovisas framförallt indikatorer baserade på enkätresultat från patienter och befolkning i allmänhet.

Måtten avser till exempel patienters sammanfattande bedömning av de vårdkontakter man haft med primärvård och mottagningar vid sjukhus. Källan är i dessa fall Vårdbarometern. Utöver övergripande uppgifter från Vårdbarometern redovisas hur patienter som haft stroke uppfattade dels vården på sjukhuset, dels den rehabilitering man fick efter akutfasen. Källan är Riks-Stroke och avser uppföljningen av 2004 års strokepatienter. I tabell 13 anges de indikatorer som återfinns i detta perspektiv.

Att skapa ett index från Öppna jämförelser 59

Tabell 13: Ingående indikatorer i patienterfarenhetsperspektivet.

Indikatorer

Skala

Förklaring

Riktning

Källa

B:1. ”Jag har tillgång till den vård jag behöver

0-100

Andel patienter

Maximera

Vårdbarometern

B:2. Andel som har stort eller mycket stort förtroende för vården vid vårdcentral

0-100

Andel patienter

Maximera

Vårdbarometern

B:3. Andel som har stort eller mycket stort förtroende för vården vid sjukhus

0-100

Andel patienter

Maximera

Vårdbarometern

B:4. Sammanfattande betyg på besöket vid vårdcentral (motsv.).

Andel positiva (angav 4 eller 5)

0-100

Andel patienter

Maximera

Vårdbarometern

B:5. Sammanfattande betyg på besöket – mottagning/klinik vid sjukhus. Andel positiva (angav 4 eller 5)

0-100

Andel patienter

Maximera

Vårdbarometern

B:6. Andel som anser att det var lätt eller mycket lätt att komma fram per telefon till vårdcentral (motsv.)

0-100

Andel patienter

Maximera

Vårdbarometern

B:7. Andel som anser att väntetiden var rimlig vid besök på vårdcentral

0-100

Andel patienter

Maximera

Vårdbarometern

B:8. Andel strokepatienter som var nöjda med vården vid sjukhuset

0-100

Andel patienter

Maximera

Riks-Stroke – Nationella kvalitets­ registret för Stroke

B:9. Andel strokepatienter som är nöjda med rehabiliteringen

0-100

Andel patienter

Maximera

Riks-Stroke – Nationella kvalitets­ registret för Stroke

60 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Inom patientperspektivet testar vi fyra olika index: • Index 1 beräknas som medelvärdet av indikator B1 till B9.

• Index 2 beräknas som medelvärdet av indikator B1 till B7.

• Index 3 beräknas som medelvärdet av indikator B4 till B5.

• Index 4 beräknas som medelvärdet av indikator B1, B2, B3, B6 och B7.

I grunden är alla fyra index beräknade på samma princip. Först har alla indikatorer standardiserats enligt Rescalingmetoden [0, 1]. Sedan har alla indikatorer viktats samman med samma vikt. För de indikatorer där män och kvinnor särredovisats har dessa slagits samman för att de inte ska få den dubbla vikten gentemot de indikatorer där män och kvinnor redovisas ihop. Då bättre patienterfarenheter är önskvärda, så är ett högre värde bättre inom detta område. Det slutliga indexet är på en skala [0, 1] där de bästa landstingen har höga värden Index 1 utgår från att alla de indikatorer som återfinns i Öppna jämförelser ska vara en del i det index som ska tas fram. Index 1 för Patienterfarenheter innehåller därför alla nio indikatorer inom området. Index 2 utgår från att ­endast de indikatorer som sträcker sig över alla patienter ska påverka indexet.

Då det finns speciella mått för strokevård tas de ej med i Index 2. Om de skulle tas med, så skulle strokepatienter anses vara viktigare än andra kategorier av patienter där mått saknas. Index 3 utgår från att de övergripande måtten för patienterfarenheter är tillräckliga för att spegla patienternas uppfattning om vården. Om övriga indikatorer tas med, så innebär det att vissa områden räknas dubbelt – först tas de med enskilt för att sedan också vara en del av patientens sammanvägda bedömning i indikator B4 och B5. Index 4 har samma utgångspunkt som index 3, det vill säga att inte blanda indikatorer på olika nivåer av upplevelsen. I detta fall skiljer sig dock principen från index 3 i och med att endast patientens uppfattning av del­upp­levelserna påverkar indexet.

I figur 24 visas hur de olika landstingen förhåller sig till index 1. Det är det index som används för beräkningen av det övergripande indexet. Det är fyra landsting som redovisar ett bättre resultat än övriga och de är Kalmar, Blekinge, Halland och Jönköping. Det är också viktigt att påpeka att för tre landsting så återfinns det inga mätvärden för perioden varför medelvärdesersättning används, för dessa landsting ska placering och nivå tolkas försiktigt. Dessa landsting är Gotland, Jämtland och Örebro.

Att skapa ett index från Öppna jämförelser 61

Figur 24 En översikt av index 1 för perspektivet patienterfarenheter 1,0 Pantienterfarenheter index 1 [0, 1]

0,8

0,6

0,4

0,2

Västmanland

Gävleborg

Jämtland

Sörmland

Skåne

Västernorrland

Stockholm

Värmland

Västra Götaland

Örebro

Gotland

Östergötland

Dalarna

Kronoberg

Uppsala

Västerbotten

Norrbotten

Halland

Jönköping

Kalmar

Blekinge

0,0

Då det finns flera alternativ till hur man kan beräkna index för patienterfaren­ heter så redovisas i figur 25 fyra olika index. Det viktigaste är att i stort så blir resultaten de samma för de olika alternativen. Det finns dock landsting där resultaten blir helt olika beroende på vilken princip som används. Det bästa exemplet är Dalarna som gynnas av att index 3 används, det vill säga att endast den övergripande upplevelsen tas med i indexet. I en ranking av index 3 placeras Dalarna som näst bästa landsting i detta perspektiv, medan de blir landsting nummer 14 om index 4 används. Slutsatsen blir att det är viktigt att välja ett index utifrån vilken princip man anser vara viktig.

Västmanland

Norrbotten

Västerbotten

Jämtland

Västernorrland

Gävleborg

Dalarna

Västmanland

Örebro

Värmland

Västra Götaland

Halland

Skåne

Blekinge

Gotland

Kalmar

Kronoberg

Jönköping

Östergötland

Sörmland

Uppsala

Stockholm

0,8

Gävleborg

Stockholm

Sörmland

Skåne

Jämtland

Västernorrland

Västra Götaland

Värmland

Östergötland

Gotland

Dalarna

Uppsala

Kronoberg

Örebro

Norrbotten

Västerbotten

Jönköping

Halland

Blekinge

Kalmar

62 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Figur 25 En översikt av olika index för perspektivet patienterfarenheter

1,0 Patienterfarenheter [0, 1] Index 1 Index 2 Index 3 Index 4

0,6

0,4

0,2

Figur 26 En översikt av rangordning av landsting för patienterfarenheter

150 Rangordningspoäng patienterfarenheter

120

90

60

30

Att skapa ett index från Öppna jämförelser 63

Vi använde också rangordning som princip för beräkning av index inom patient­ erfarenheter. Då rangordning används som en grund för att ta fram ett index för patienterfarenheter är det Kalmar, Blekinge, Halland och Jönköping som är de främsta landstingen.

Reflektion och kommentarer kring index för perspektivet patienterfarenheter De olika metoderna ger relativt stabila resultat. Oavsett index så är det samma landsting som hamnar i toppen respektive botten. Det enda indexet som avviker något från detta är index 3. Vilket index som ska väljas beror på vilken princip som anses vara mest korrekt och vilket index som ger det mest rättvisande värdet i förhållande till den faktiska situationen.

Mätningen av kundtillfredsställelsedata sker idag via den så kallade top-boxmetoden, vilket innebär att indikatorn endast visar hur stor andel av patienterna som instämmer delvis eller helt med påståendet i den aktuella indikatorn.

Detta sätt att mäta har framförallt två svagheter. För det första så används inte all information i mätetalet i indikatorn. Alla förändringar i mätetalet fångas inte upp av indikatorn. Till exempel påverkas inte indikatorn av en försämring från ”instämmer helt” till ”instämmer delvis”. En annan sak som inte fångas av indikatorn är att kundtillfredsställelse är ett komplext fenomen. Inom exempelvis det amerikanska kundtillfredsställelseindexet (ACSI), eller det svenska kvalitetsindexet (SKI), används tre påståenden för att fånga begreppet nöjd kund.

Ett annat problem med detta perspektiv är att ett index som ska innefatta alla dessa indikatorer innehåller både påståenden om övergripande upplevelse och om de olika del­upplevelserna. Då uppfattningen av delupplevelserna ­påverkar totalupplevelsen gör det att vissa saker ”dubbelräknas”. Ett bättre sätt är att vara konsekvent och antingen använda ett bra mått på totalupplevelsen eller att använda en bra uppsättning av delupplevelser som täcker de viktigaste delarna av vårdförloppet.

64 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Index för perspektivet tillgänglighet Tillgänglighetsindikatorerna i Öppna jämförelser lyfter fram tillgången till vård. Poängen är att ”ge en övergripande överblicksbild av tillgänglighetsläget i landstingen”. Totalt fyra indikatorer redovisas i ”Öppna jämförelser 2006”. Data som presenteras speglar läget i en mätning från mars 2006. Den uppdelning som redovisas utgår från primärvård och specialiserad vård. I övrigt görs inga andra former av uppdelningar. I tabell 14 redovisas de ingående indikatorerna.

Tabell 14: Kortfattad beskrivning av indikatorer inom tillgänglighetsperspektivet.

Indikatorset/ område Primärvårdens läkartillgänglighet

Specialiserad vård – antal patienter som väntat längre än 90 dagar

Indikator

Måttenhet

Källa

Önskvärd riktning

Andel patienter som fick läkarbesök i primärvården inom 7 dagar, mars 2006

Procent

Väntetider i Vården, Sveriges Kommuner och Landsting

Maximera

Andel patienter som fick läkarbesök i primärvård samma dag, mars 2006

Procent

Som ovan

Maximera

Antal patienter som väntat längre än 90 dagar, per 100 000 invånare.

Beräknat antal.

Avser besök på mottagning

Antal

Som ovan

Minimera

Antal patienter som väntat längre än 90 dagar, per 100 000 invånare.

Beräknat antal.

Avser behandlingar

Antal

Som ovan

Minimera

Vi har skapat tre olika typer av index inom tillgänglighetsperspektivet. Detta för att exemplifiera olika lösningar och problemställningar som man måste ta hänsyn till. De index som presenteras i nedanstående är följande:

Att skapa ett index från Öppna jämförelser 65

1. Ett volymbaserat medelvärdesindex för tillgänglighet (medelvärdet av indikator C1 till C4).

2. Ett kostnadsbaserat medelvärdesindex för tillgänglighet (viktat medel­värde av indikator C1 till C4).

3. Ett volymbaserat rankindex för tillgängligheten.

Det slutliga indexet för tillgänglighet är på en skala [0, 1] där de bästa landstingen har höga värden. Genom de olika indexen 1) och 2) introducerar vi viktning som princip för att prioritera mellan de i indexet olika ingående indikatorerna. I det här fallet sker viktningen utifrån kostnadsaspekter.

Volymbaserat medelvärdesindex Det volymbaserade medelvärdesindexen för tillgängligheten utgår från ursprungsdata i Öppna jämförelser. Med volym menar vi mängden patienter. Det är så att säga ”rent” vilket innebär att indexet i princip är ett medelvärde av de indikatorer som återfinns inom perspektivet.

Beräkningen av detta index har gjorts utifrån samtliga fyra indikatorer som har standardiserats enligt metoden Rescaling. Indikatorerna C3 och C4 har vänts för att få en maximeringsprincip. Därefter har ett medelvärde beräknats.

Resultatet presenteras i figur 27.

Figur 27 Volymbaserat index för tillgänglighet.

Maximeringsprincipen innebär att högt värde är bra 1,0 Tillgänglighet (volym) [0, 1]

0,8

0,6

0,4

Dalarna

Norrbotten

Sörmland

Gävleborg

Västerbotten

Västmanland

Uppsala

Jämtland

Örebro

Blekinge

Gotland

Värmland

Västra Götaland

Östergötland

Skåne

Stockholm

Jönköping

Kronoberg

Västernorrland

Kalmar

Halland

0,2

66 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Grafen visar stora skillnader mellan det bästa och det sämsta landstinget. Halland får ungefär 0,85 och Dalarna 0,1. Det är en skillnad på 0,75 indexenheter vilket är mycket. Hur ska detta tolkas? Man kan ju inte säga att Halland är mer än sju gånger bättre än Dalarna vad gäller tillgänglighet? Detta innebär att vi måste vara försiktiga i tolkningen av data. I princip innebär denna princip att om ett landsting får indexvärde 1 så har detta landsting högsta värde på alla ingående indikatorerna. Enligt samma princip så innebär det att om ett landsting får indexvärde 0 så har landstinget lägst värde på alla ingående indikatorer.

Kostnadsbaserat index Då vi beräknar ett kostnadsbaserat index för tillgänglighet vill vi vikta de ingående indikatorerna baserat på hur stor del av kostnaderna för vården som kommer från primär- respektive specialistvård. Tillgänglighetsindikatorerna är som tidigare nämnts uppdelade i primärvård och specialiserad vård. Totalt har vi två variabler som är kopplade till primärvården och två som är relaterade till den specialiserade vården. Här har vi utgått från material från Sveriges Kommuner och Landsting (se Ekonomirapporten – Om kommunernas och landstingens ekonomi – november 2007) där det redovisas kostnader för primärvård (32 miljarder) och för Specialiserad somatisk vård (97 miljarder). Vi använder här dessa som viktningsnycklar för att fördela tyngd på de i indexet ingående indikatorerna.

32 Viktningen för primärvården ≈ 25% (32+ 97) blir dess andel av kostnaderna: och på samma sätt blir då den specialiserade vårdens vikt: 75%. Man kan självklart ifrågasätta om viktningen är den rätta. Poängen här är dock enbart att ge ett exempel på hur viktningen skulle kunna se ut.

En jämförelse mellan de två indexen visar att dessa två index i stort visar samma resultat. Man kan dock se några förändringar. Till exempel får Uppsala och Värmland en bättre position när den specialiserade vården viktas upp ­(kostnadsviktningen).

När/om en viktning ska fastställas så är det mycket angeläget att centrala aktörer accepterar viktningen. Principer för hur detta ska gå till bör fastställas tidigt. Till exempel kan man tänka sig att expertgrupper av olika slag deltar i viktningsarbetet och att de gör viktningen utifrån en specifik procedur. Några av dessa procedurer finns nämnda i avsnittet ”Att skapa ett index”.

Att skapa ett index från Öppna jämförelser 67

Figur 28 Kostnadsbaserat index för tillgänglighet där indikatorerna har viktats utifrån ett kostnadsperspektiv 1,0 Tillgänglighet (kostnad) [0, 1]

0,8

0,6

0,4

Dalarna

Norrbotten

Sörmland

Gävleborg

Jämtland

Västmanland

Västerbotten

Örebro

Blekinge

Gotland

Västra Götaland

Uppsala

Skåne

Stockholm

Kronoberg

Värmland

Östergötland

Halland

Jönköping

Västernorrland

Kalmar

0,2

Volymbaserat rankindex Slutligen presenteras också ett volymbaserat rankindex för tillgängligheten.

Det bygger precis som de andra rankindexen på att vi rangordnar varje landsting från 1 till 21 för de ingående indikatorerna och sedan tar ett medelvärde för dessa. I tillgänglighetsindexet har vi använt oss av samtliga fyra indikatorer.

Dessutom är rankindexet minimerande, det vill säga ju lägre rankindex desto bättre, se figur 29.

Det två volymbaserade indexen visar i stort samma resultat. Det skiljer en eller två placeringar mellan metoderna för de flesta. Den stora skillnaden ligger i Norrbotten som med rankingmetoden ”åker upp” sex placeringar.

68 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Figur 29 Grafen visar ett volymbaserat rankindex för tillgängligheten* 80 Rangordningspoäng

*Kronoberg har tagits bort i denna på grund av att landstinget saknar mätningar på två variabler

70 60 50 40 30 20

Dalarna

Västerbotten

Jämtland

Sörmland

Norrbotten

Västmanland

Gävleborg

Örebro

Uppsala

Blekinge

Kronoberg

Skåne

Gotland

Västra Götaland

Värmland

Östergötland

Stockholm

Västernorrland

Jönköping

Kalmar

Halland

10

Reflektion och kommentarer kring index för perspektivet tillgänglighet I tillgänglighetsperspektivet har vi testat tre typer av index: 1) ett volymbaserat medelvärdesindex för tillgänglighet (oviktat utifrån den data som finns i Öppna jämförelser) 2) ett kostnadsbaserat medelvärdesindex för tillgänglighet och 3) ett volymbaserat rankindex för tillgängligheten. Vi bedömer att det går att få en bra översiktsbild av tillgängligheten i Sverige utifrån de ingående indikatorerna.

Det finns samstämmighet mellan de enskilda resultaten från indikatorerna och det övergripande indexet. Känslighetsanalys genom att testa tre typer av index visar också på en robusthet.

Man bör dock ta ställning till om man ska vikta de olika ingående indikatorerna. Vi har gjort en viktning med utgångspunkt i kostnader. Är denna relevant? Vad är värdefullt om man utgår från ett utvecklingsperspektiv?

Frågan blir då betydligt komplexare eftersom man kanske ska ta hänsyn till frågor som rör i vilken utsträckning primärvård respektive specialiserad vård är problematisk. Om man till exempel anser att primärvårdens problem är mer centrala än den specialiserade vården, hur ska då viktningen gå till? Ytterligare en fråga som man måste ta ställning till är vem som ska ha företrädesrätt för en eventuell viktning. Är detta en fråga för professionen? Verksamhetsledningen? ­Politikerna? Eller rentav patienterna?

Att skapa ett index från Öppna jämförelser 69

Index för perspektivet kostnader I denna del behandlas index för kostnader i vården. Kostnadsperspektivet i Öppna jämförelser omfattar såväl kostnader per invånare som produktivitet.

Perspektivet motiveras i Öppna jämförelser med ”att ha rimliga kostnader och en hög produktivitet är en viktig förutsättning för att sjukvårdssystemet ska vara ekonomiskt hållbart på kort och lång sikt samt vara legitimt i skattebetalarnas ögon”. Skapandet av index för kostnadsperspektivet handlar därför om att ge en översiktsbild över kostnaderna i landstingen. Det är totalt nio indikatorer i föreliggande perspektiv. Dessa presenteras i tabell 15.

En strategi för index kan vara att ta indikator D1 Hälso- och sjukvårdskostnad per invånare, exkl. hemsjukvård och tandvård och ignorera de andra. Denna indikator ger en övergripande bild av läget. Vi kommer dock att testa några alternativa angreppssätt och relatera till den övergripande D1:an. Vi har designat fyra olika typer av index inom kostnadsperspektivet. De index som presenteras är följande: • Ett index som fokuserar kostnader per invånare. Här infogas variablerna D2-D5 samt D7 och D9.

• Ett index där enbart kostnader inom respektive områden (primär, specialiserad och psykiatrisk vård) tas med. Här byggs indexet upp av indika­ torerna D3-D5.

• Ett utvecklingsinriktat index som viktar upp produktivitetsutvecklingen.

Här viktas kostnader per patient lika med produktivitetsutvecklingen.

• Ett rankindex för kostnader.

Det slutliga indexet för kostnader är på en skala [0, 1] där de bästa landstingen har låga värden. Genom att beräkna flera olika index vill vi speciellt lyfta fram tre problemställningar. För det första, hur ska man hantera indikatorer som är hierarkiskt knutna till varandra? Indikatorn D1 Hälso- och sjukvårdskostnad per invånare, exkl. hemsjukvård och tandvård byggs ju upp till stor del upp av indikatorerna D3-D5 som rör Hälso- och sjukvårdskostnader per invånare utifrån primär, specialiserad och psykiatrisk vård. För det andra vill vi lyfta fram förhållanden mellan dagsläge och utveckling. Det visar sig nämligen mycket tydligt när man viktar upp indikatorerna D6 och D8 som tar hänsyn till kostnads- och produktivitets­utveckling. För det tredje lyfter vi fram problematiken som rör inklusion respektive exklusion av variabler.

70 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Tabell 15: Kortfattad beskrivning av indikatorer inom kostnadsperspektivet.

Indikatorset/ område

Indikator

Måttenhet

Källa

Hälso- och sjukvårdskostnader per invånare

D1 Hälso- och sjukvårdskostnad per invånare, exkl. hemsjukvård och tandvård

Kr

Sveriges Kommuner och Lands­ ting.

Minimera

D2 Hälso- och sjukvårdskostnad per invånare, exkl. tandvård, rel. till förväntad kostnad

Index

Som ovan

Minimera

D3 Primärvård, kostnad per invånare, exkl.hemsjukvård, kr

Kr

Som ovan

Minimera

D4 Specialiserad somatisk verksamhet, kostnad per invånare, exkl. hemsjukvård kr

Kr

Som ovan

Minimera

D5 Specialiserad psykiatrisk verksamhet, kostnad per invånare, exkl. hemsjukvård, kr

Kr

Som ovan

Minimera

D6 Hälso- och sjukvårdskostnad per invånare, exkl. hemsjukvård och tandvård.

Förändring 2002-2004

Procent

Som ovan

Minimera

D7 Kostnad per (konsumerad) prestation/DRGpoäng, spec. somatisk vård, kr

Kr

Som ovan

Minimera

D8 Produktivitetsutveckling 2002-2004, spec. somatisk vård

Procent

Som ovan

Maximera

D9 Kostnad per vårdkontakt i primärvård, viktade kontakter

Kr

Som ovan

Minimera

Kostnad per prestation produktivitet

Önskvärd riktning

Att skapa ett index från Öppna jämförelser 71

Det första indexet lyfter fram kostnader per patient. De indikatorer som vi valt att ta med är D2-D5 samt D7 och D9. Anledningen till att inte ta med D1 är att vi valt ett justerat värde som tas upp i D2. I ”Öppna jämförelser 2006” poängteras: ”För att justera för olika förutsättningar och sjuklighet i landstingen räknas varje år fram en ”standardkostnad” för hälso- och sjukvården i alla landsting”. Samtliga indikatorer har bearbetats utifrån Rescaling-metoden för standardisering. Efter det har vi beräknat medelvärde. Indexet redovisas i figur 30.

Figur 30 Kostnadsindex baserat på kostnad per invånare 0,8

Kostnadsindex (per patient) [0,1]

Ind 0,6

0,4

Norrbotten

Gotland

Västernorrland

Stockholm

Jämtland

Gävleborg

Sörmland

Västerbotten

Blekinge

Örebro

Dalarna

Uppsala

Kronoberg

Värmland

Kalmar

Västra Götaland

Jönköping

Västmanland

Skåne

Halland

Östergötland

0,2

Indexet visar två landsting som ligger i ”täten” och som också har ett visst avstånd till det tredje landstinget. Ett sätt att kontrollera om det finns giltighet i siffrorna är att gå tillbaka till ursprungsdata i Öppna jämförelser. Där ser vi att Halland och Östergötland också ligger mycket bra till på de flesta indikatorerna.

Undantaget är kostnader för primärvården där de placerar sig sämre. Principen att gå tillbaka till ursprungsindikatorerna är gjorda för samtliga index. Kalmar åker upp många placeringar i indexet (placering 6) jämfört med D1 (placering 14). Det finns också några andra landsting som placerar sig olika mellan D1 och indexet. Vår slutsats är att de visar rätt så olika resultat. Här måste man med andra ord göra ett val utifrån vilket index som bäst speglar den verkliga situationen. En annan aspekt som man måste ta i beaktande är den hierarkiskt nästlade relation som variablerna D1 och D2 har med D3-D5. De senare indikatorerna

72 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

bidrar ju till den övergripande bilden som ges i D1 och D2. Vi har därför valt att också utgå från D3-D5 för att göra ett index. En fråga man kan ställa sig här är vilket samband som finns mellan detta senare index och det första som redovisats. Vi börjar med att redovisa hur D3-D5 kostnadsindex kan se ut. Se figur 31.

Figur 31 Kostnadsindex med indikatorerna D3-D5 0,8 Kostnadsindex (D3-D5) [0, 1] 0,7 0,6 0,5 0,4 0,3 0,2

Stockholm

Gotland

Norrbotten

Västernorrland

Blekinge

Gävleborg

Örebro

Dalarna

Jämtland

Sörmland

Västerbotten

Skåne

Kronoberg

Västra Götaland

Kalmar

Uppsala

Värmland

Västmanland

Jönköping

Halland

Östergötland

0,1

Det är intressant att notera några skillnader mellan de två presenterade kostnads­indexen. Skåne förlorar fem platser på ett kostnadsindex baserat på enbart D3 och D5. Anledningen är att produktivitetsindikatorerna, där Skåne ligger högt, har plockats bort. Det finns också andra exempel där skillnader i prestation mellan kostnader och produktivitet förändrar bilden. Ett annat exempel är Värmland som hamnar relativt högt i D3-D5 indexet, men som faller fyra placeringar i det första indexet. Här måste man ta ställning till hur man ska förhålla sig. Vad ska vara basen för indexet?

Ytterligare en aspekt som vi vill lyfta fram är synen på utveckling. Det belyses speciellt bra i kostnadsperspektivet eftersom vi har två indikatorer som speglar utveckling mellan år 2002 och 2004. Man skulle kunna tänka sig att vikta upp dessa indikatorer. Ett viktigt argument är att de speglar utvecklingstrender i stället för nuläge. Ett landsting kan med andra ord ha ett relativt dåligt

Att skapa ett index från Öppna jämförelser 73

kostnadsindex, men om utvecklingen är god ska det synas i indexet. Detta argument är rätt så starkt om man tänker sig ett index för att påskynda utvecklingen i landstingen.

Vi har i det tredje indexet nyttjat följande princip: 50% av vikten går till kostnad per invånare (indikatorerna D2-D5; D7; D9) och 50% av vikten går till D6 och D8. I figur 32 redovisas indexet.

Figur 32 Utvecklingsinriktat kostnadsindex som viktar kostnader lika med utvecklingstrender 0,8 Kostnadsindex (D3-D5) [0, 1] 0,7 0,6 0,5 0,4 0,3 0,2

Sörmland

Norrbotten

Västernorrland

Gotland

Stockholm

Jämtland

Dalarna

Gävleborg

Värmland

Kronoberg

Örebro

Uppsala

Västra Götaland

Kalmar

Jönköping

Skåne

Blekinge

Västerbotten

Halland

Östergötland

Västmanland

0,1

I det utvecklingsorienterade indexet ser vi skillnader med tidigare index. En uppenbar förändring är Västmanland som har en mycket stark position i det utvecklingsorienterade kostnadsindexet. De har såväl bra kostnadsutveckling per invånare samt god produktivitetsutveckling. Den största förändringen är dock Västerbotten som hamnar på en fjärdeplats. I de första kostnadsindexen får landstinget en rätt så blygsam placering, men när utvecklingen prioriteras upp så blir det mycket tydligt att produktivitetsutvecklingen och kostnadsutvecklingen får stort genomslag. Vi menar att man absolut ska ta utvecklings­ perspektivet i beaktande. Det ger en tydlig signal att man ser de landsting som har en positiv utveckling.

74 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Figur 33 Rankindex för kostnadsperspektivet

160

140 Rangordningspoäng 120 100 80 60 40

Norrbotten

Gotland

Stockholm

Västernorrland

Dalarna

Sörmland

Gävleborg

Örebro

Jämtland

Blekinge

Värmland

Kronoberg

Uppsala

Västerbotten

Västra Götaland

Skåne

Kalmar

Halland

Jönköping

Västmanland

Östergötland

20

Rankindex för kostnadsperspektivet byggs upp av D2-D9 indikatorerna. Se figur 33. I stort bekräftar rankindex bilden som presenterats i tidigare kostnadsindex.

Reflektion och kommentarer kring index för perspektivet kostnader Kostnaderna i Öppna jämförelser består av nio indikatorer som delas in i Hälsooch sjukvårdskostnader per invånare samt Kostnad per prestation – produktivitet. Vi har presenterat fyra index med olika innebörder. Det första indexet har ambitionen att ge en helhetsbild över kostnadsläget i hälso- och sjukvården.

Indikatorerna i kostnadsperspektivet är hierarkiskt nästlade. D1 Hälso- och sjukvårdskostnad per invånare byggs bland annat upp av indikatorerna D2 Hälso- och sjukvårdskostnad per invånare; D3 Primärvård, kostnad per invånare; D4 Specialiserad somatisk verksamhet, kostnad per invånare; och D5 Specialiserad psykiatrisk verksamhet, kostnad per invånare. Vi designade därför också ett index för D3-D5. Man kan se skillnader mellan de olika indexen. Frågan är dock vilket index som är bättre än det andra.

Kostnadsperspektivet kan med fördel byggas utifrån ett utvecklings­ perspektiv. Ett index som viktade upp betydelser av kostnads- respektive produktivitetsutveckling visade en hel del intressanta aspekter. Vi menar att det blir mycket tydligt att landsting kan ha en god utvecklingstrend trots att de inte har de lägsta kostnaderna per patient. Ska detta kanske premieras?

Att skapa ett index från Öppna jämförelser 75

En generell slutsats från arbetet med kostnadsindexet är att det är fullt möjligt att skapa ett meningsfullt index som kan bidra till kostnadsbilden av landstingen.

76 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Övergripande index

Det övergripande indexet ska spegla hur landstingen presterar inom fyra olika perspektiv. Dessa perspektiv är Medicinska resultat, Patienterfarenheter, Tillgänglighet och Kostnader. Dessa fyra perspektiv kommer att viktas lika vid beräkning av ett övergripande index, se tabell 16. Detta leder till att det bästa landstinget ska prestera bra inom alla dessa områden. De ska ha den bästa medicinska vården, med de mest nöjda patienterna, med hög tillgänglighet, till en låg kostnad. Dessa egenskaper kombineras i ett index som ska minimeras där vi ­b ehöver skala om tillgänglighet och patienterfarenheter så att de precis som övriga index ska minimeras. Vi använder oss av formeln IndexR=1-Index. Detta leder till ett övergripande index som är på en skala från 0 till 1 där de bästa landstingen har låga värden.

Tabell 16: En översikt över index för fyra olika perspektiv.

Perspektiv

Enhet

Önskad riktning

Medicinska resultat

Index [0, 1]

Minimera

Patienterfarenheter

Index [0, 1]

Maximera

Tillgänglighet

Index [0, 1]

Maximera

Kostnader

Index [0, 1]

Minimera

Det övergripande indexet för vården inom de olika landstingen redovisas i figur 34. Det landsting som enligt det övergripande indexet har den bästa vården är Halland, tätt följt av Kalmar, Jönköping och Östergötland. Dessutom beräknades rangordningspoäng för alla landsting för de fyra perspektiven, se figur 35. När rangordningspoängen beräknats har de fyra perspektiven lika vikt. Det ledande landstinget är Halland följt av Jönköping, Östergötland och Kalmar. De bästa landstingen blir samma oavsett vilken metod som används,

Övergripande index 77

dock stämmer inte resultatet om vi studerar landstingen med de mindre bra resultaten. De sex landsting som har mindre bra resultat är de samma oavsett vilken metod som används.

Figur 34 Det övergripande indexet för” Öppna jämförelser 2006” Totalindex [0,1]

1,0

0,8

0,6

0,4

Figur 35 Den totala rangordningspoängen för övergripande index 80 Total rangordningspoäng 70 60 50 40 30 20

Gävleborg

Dalarna

Jämtland

Gotland

Norrbotten

Sörmland

Stockholm

Västernorrland

Örebro

Västra Götaland

Skåne

Västerbotten

Västmanland

Värmland

Kronoberg

Uppsala

Blekinge

Kalmar

Östergötland

Halland

Jönköping

10

Sörmland

Gävleborg

Dalarna

Norrbotten

Jämtland

Gotland

Sörmland

Västmanland

Västerbotten

Stockholm

Västernorrland

Örebro

Uppsala

Västra Götaland

Skåne

Värmland

Blekinge

Kronoberg

Jönköping

Östergötland

Kalmar

Halland

0,2

78 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Figur 36 Tre olika alternativ av övergripande index 0,8

M

Totalindex [0,1]

I

I 0,6

0,4

Gävleborg

Dalarna

Jämtland

Norrbotten

Sörmland

Gotland

Västmanland

Stockholm

Västerbotten

Västernorrland

Örebro

Uppsala

Värmland

Västra Götaland

Skåne

Blekinge

Kronoberg

Jönköping

Östergötland

Kalmar

Halland

0,2

Då det finns flera alternativ till hur ett övergripande index kan utformas genom­ förde vi ett par alternativa viktningar av de olika perspektiven i Öppna jämförelser. De två alternativen som testades var: • Medicinska resultat viktas tyngre än övriga perspektiv. I denna beräkning har Medicinska resultat tilldelats en vikt på 0,5 medan de övriga tillsammans ges samma vikt.

• Eliminering av kostnad. I denna beräkning har Kostnader inte tagits med i det övergripande indexet, medan de övriga perspektiven givits lika vikt.

Det tre olika alternativen för det övergripande indexet för vården inom de olika landstingen redovisas i figur 36. I figuren visas att val av vikt mellan de olika perspektiven påverkar den relativa placeringen mellan olika landsting. Vissa landsting är starka inom alla perspektiv och för dessa landsting spelar valen av vikt mindre roll (exempelvis Halland, Kalmar och Jönköping) medan det för andra landsting är helt avgörande för deras position (exempelvis Sörmland och Västmanland).

Slutsatser 79

Slutsatser

Nyckeltal som används för att jämföra verksamheter har fått ett ökat intresse under de senaste åren. Man kanske kan se det som en förlängning av det intresse som många verksamheter har kring byggandet av balanserade styrkort, det vill säga att mäta en verksamhets resultat i flera dimensioner. När verksamheter efterhand för in och använder nyckeltal av olika slag, blir det efter ett tag svårt att få en bra överblick av situationen. En ökning av antalet mått och mätetal leder till en ökad komplexitet och kan göra det svårt att fatta faktabaserade beslut kring prioriteringar i verksamheten. En lösning på detta problem kan vara att skapa övergripande index som bygger på ett flertal nyckeltal. Index gör det möjligt att relativt enkelt göra jämförelser mellan olika verksamheter och de kan användas för att representera relativt komplexa fenomen. Det finns dock en hel del risker med att skapa och använda index för att fatta beslut. En risk är att diskussioner på ett beslutsmöte kan börja handla om vad ett index egentligen representerar. Om ett index är dåligt konstruerat, eller inte presenteras på ett bra sätt, skapas tvivel och skepticism. En annan risk är att den ”stora bilden” som indexen skapar kan ge ledande företrädare möjlighet att dra förenklade slutsatser eller göra ”politiska inspel”. Om index används ska de istället användas för att skapa diskussioner och sedan ge en större ”publik” möjlighet att delta.

Den här rapporten har som syfte att undersöka om det är möjligt att skapa ett index baserat på data från Öppna jämförelser, samt testa ett antal olika angreppssätt och alternativ. Ett annat syfte är att ge en metodmässig beskrivning av hur index kan skapas. Det är med andra ord inte enbart resultatet av data från Öppna jämförelser som har stått i fokus utan det viktiga har varit att visa på olika metoder och alternativa angreppssätt. I avsnittet Att skapa index beskrivs kortfattat olika ställningstaganden som måste hanteras i designen av ett index.

De analyser, resonemang och presentation av data som exemplifieras med data från ”Öppna jämförelser 2006” ser vi som relevant för andra typer av index. Man kan med fördel se dessa avsnitt som exempel på hur resonemang och metodik inom området kan tillämpas.

I denna sammanfattning ger vi en kortfattad beskrivning av dels metodiken för skapande av indexet och de olika typerna av index som vi designat. Vi lyfter fram ett antal frågeområden som man måste ta ställning till innan beslut fattas

80 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

om hur ett index ska realiseras. Utan att alltför mycket föregripa vår diskussion så anser vi att det är fullt möjligt att skapa ett index. Det kan dock inte göras innan ett antal frågeställningar har besvarats. Vi pekar ut dessa viktiga områden.

Hur har indexen byggts De index som vi byggt utifrån data från ”Öppna jämförelser 2006” bygger på några principer. På en övergripande nivå har vi arbetat på följande sätt: 1. Fastställ vilka indikatorer inom ett område som ska ingå i ett index 2. Bestäm vilken vikt de ingående indikatorerna ska ha 3. Standardisera indikatorerna för att skapa jämförbarhet 4. Se till att de ingående indikatorerna har samma riktning (maximera eller minimera)) 5. Beräkna indexet från de ingående indikatorerna (ofta medelvärde) 6. Presentera en rangordnad graf för indexet Denna process har tillämpats på samtliga perspektiv. Vi har använt oss av olika metoder för att standardisera, kontrollera data och för att vikta upp vissa indikatorer. I en mer detaljerad beskrivning har vi arbetat på följande sätt:

• Ett val görs vilka av indikatorerna inom ett område som ska ingå i indexet.

Utgångspunkten har varit att varje index ska bestå av så många indika­­ torer som möjligt. I vissa fall har de varit olämpligt av teoretiska skäl eller på grund av missing data att låta en indikator ingå i ett index.

• Dessa index har skapats genom att de först standardiserats med Rescalingmetoden så att de transformeras till en skala [0, 1].

• Därefter säkerställer vi att alla indikatorer som ska ingå i indexet har

samma önskvärda riktning. Bland de indikatorer som finns med i ”Öppna jämförelser 2006” så finns det tre olika typer: (1) de som ska maximeras, (2) de som ska minimeras och (3) de som ska ha ett viss värde. Det van­ligaste sättet är att vända (R=Reverse) en indikator enligt följande IndexR= 1-Index.

• Beräkning av index sker vanligtvis genom att ta medelvärdet av de utvalda indikatorerna. Detta ger ett index som är på en skala [0, 1] och som ska minimeras eller maximeras.

Slutsatser 81

Områden att hantera Det finns ett antal aspekter och områden kopplade till att skapa index som måste diskuteras, och eventuellt utredas ytterligare, för att skapa ett index som på ett bra sätt kan användas för att jämföra verksamheten i olika landsting.

Dessa områden är:

• Utvidgad test för känslighets- och robusthetsanalys. För att säkerställa

robustheten i de index som skapas bör man fortsätta den känslighets- och robusthetsanalys som genomförts i föreliggande arbete. Man kan med fördel använda företrädare för vården som har god kännedom om de indikatorer som ingår i respektive index. Andra typer av analyser som kan göras är känslighetsanalyser baserat på variansanalyser, eller att studera hur förbättringar i verksamheter påverkar indexen.

• Expertbaserad viktning av indikatorerna. En noggrann genomgång av de

olika ingående indikatorerna inbördes relationer bör genomföras. Ett problem som måste hanteras vid viktning av olika indikatorer är: vem har rätt att vikta upp respektive ner indikatorer? Med utgångspunkt i det datamaterial som finns idag, bedömer vi det inte vara lämpligt att skapa index utifrån statistisk viktning. För att använda sig av statistisk viktning måste indexen beräknas på sjukhusnivå. För landsting är observationerna för få för att använda sig av denna metod för viktning av indikatorer.

• Hur hanteras dålig datakvalitet och saknade observationer (missing data)?

Hur ska man hantera de indikatorer där det saknas observationer från vissa landsting? Antingen ska dessa indikatorer tas med i ett index eller så bör de, på grund av osäkerhet, inte tas med i index. En strategi kan vara att ta med indikatorer med dålig datakvalitet i ett index, om man tror att det finns potential att den kan förbättras.

• Till vilken nivå ska index aggregeras? En viktig fråga är om alla indikatorer ska aggregreras till en nivå över perspektivnivån i ”Öppna jämförelser 2006”? Ger ett sådant index ett bra mått på det ”bästa landstinget” eller vad säger egentligen ett sådant index? Dessa frågor är viktiga att besvara innan ett beslut fattas att skapa ett övergripande index för exempelvis God Vård.

• Standardiseringsprincip. I och med att vi har indikatorer som inte di-

rekt är jämförbara så måste de standardiseras. I denna rapport har vi för enskilda index jämfört ett par metoder och det har i dessa fall i stort inte påverkat analysresultatet. Vi har använt några principer för standardi­ sering, men detta bör utredas ytterligare. Detta är en del av den utvidgade känslighetsanalysen som diskuterats tidigare.

82 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

• Utvecklingsperspektivets roll. Inom ramen för kostnadsperspektivet finns det indikatorer som bygger på förbättringar från ett år till ett annat, det så kallade utvecklingsperspektivet. Där ett utvecklingsperspektiv finns så är det inte enbart nivån på indikatorerna som påverkar indexet, utan också vilka förbättringar som genomförts under det senaste året. I kostnadsperspektivet visas hur utvecklingsperspektivet kan få stora konsek­ venser för hur olika landsting presterar i förhållande till indexet.

• Tidsperspektiv. Det finns ett underliggande problem med att all data inte

är insamlad vid samma tidpunkt. Vissa indikatorer bygger på data in­ samlad under en månad, medan andra indikatorer bygger på data insamlad under 10 års tid. Sådana eftersläpningar i indikatorer påverkar positivt genom att skapa stabila och rättvisande resultat, men de skapar samtidigt en tröghet som gör att det kan ta lång tid för en förbättring i verksam­ heten att slå igenom och synas i en förbättring av ett index.

• Presentationssätt. Det finns många sätt att presentera data. I denna rap-

port har vi varit mycket konservativa och presenterat all data i form av stapeldiagram. Det finns andra typer av presentationer som gör att transparensen i indexen blir tydligare. Det kan också finnas poänger med att skapa profiler för olika landsting och bättre visa resultatet av olika typer av förbättringar.

Några av dessa punkter kan sammanfattas som praktiska val som måste göras inom ramen för konstruktionen av index, se tabell 17.

Slutsatser 83

Tabell 17: Några ställningstaganden vid utveckling av index.

Dimensioner

Alternativ

Kommentarer

Standardisering

N(0, 1) Skapandet av index blir något mer komplext

Rescaling [0, 1] Tar ingen hänsyn till hur stor variationen är i de olika indikatorerna

Våra tester som genomförts i mindre skala visar inga större skillnader mellan de två alternativen

Viktning

Expert Expertviktning kan ske på en övergripande nivå, alt. kan experterna ge grunden för annan typ av viktning som kostnad eller volym

Statistik Kan ske genom exempelvis faktoranalys

Då antalet mätpunkter är få är inte statistisk viktning något bra alternativ. För att det ska bli aktuellt måste mätningar ske på sjukhusnivå

Mängden indikatorer

Få Att ta fram ett fåtal indikatorer som bra speglar området

Alla Att ta med alla indikatorer som finns inom ett område

Då existerande indikatorer bygger på vilka mått som finns tillgängliga bör olika strategier övervägas

Tidsperspektiv

Kort sikt Bara ta med indikatorer som är på kort sikt (<1 år)

Lång sikt Ta med alla indikatorer oavsett tidsperspektiv (<12 år)

För indikatorer som bygger på data över många år så tar det tid innan en förbättring slår igenom i indexen

Förbättringar

Bara nivå Ta bara med indikatorer som speglar den faktiska nivån vid landstingen

Nivå och utveckling Ta med indikatorer som också speglar utvecklingen vid landstingen

Idag finns utvecklings­ perspektivet bara inom ett perspektiv. Bör det finnas en större konsekvens?

84 Att skapa index – Metodutveckling och test baserat på Öppna jämförelser

Process och resultat Flera av indexen innehåller både processmått och resultatmått och frågan är vilket av dessa som är viktigast. Då det finns ett samband mellan process och resultat så innebär detta flera problem och möjligheter. En fråga är hur dessa två aspekter ska viktas i förhållande till varandra. Att inkludera vissa processmått, medan andra exkluderas, kan bli problematiskt eftersom vissa indikatorer i princip kommer att räknas dubbelt. I förlängningen, om man ska studera hur olika index förhåller sig till varandra, så är det också svårt att veta vad ett samband mellan två index innebär. Är det de olika resultaten som samvarierar eller är det processerna som påverkar varandra?

Beslut om man ska inkludera process och/eller resultatmått hänger ihop med avsikten: vad man ska använda indexet till. Utifrån idén om att indexet ska användas utvecklingsinriktat bedömer vi att man bör ta med både process och resultatindikatorer. Idén om att man enbart ska ha med resultatindikatorer faller i ett utvecklingsinriktat index. Ett utvecklingsfokus betyder ju att man tittar på hur man arbetar, det vill säga ett fokus på processer. Att då ta bort process­ måtten är ingen bra lösning. Det är dessutom så att resultatmåtten uppvisar en viss tröghet. Vissa indikatorer tar in historik i data för flera år, vilket gör dem tröga. Å andra sidan är det inte heller så att processmåtten är heltäckande och ger fullständiga förklaringar till resultatmåtten i ”Öppna jämförelser 2006”.

Kan vi enbart förlita oss på processindikatorerna? Vi ställer oss tveksamma till det. Det kan vara av oerhörd stor betydelse att få med resultaten också. Vår inställning är därför att en organisation som tillämpar evidensbaserade metoder och angreppssätt (processindikatorer) och som får bra resultat (resultatindikatorer) ska ”tjäna” på detta i indexet. Konsekvensen kan förstås bli att man räknar dubbelt, att man använder ett evidensbaserat angreppssätt och att man presterar bra resultat. Men är det egentligen ett problem? Detta är vår ståndpunkt, men man bör naturligtvis diskutera detta och ta fram en konsensuslösning.

Öppna jämförelser – ett index i förändring Öppna jämförelser är något som fortfarande är i utveckling. Under 2006 var det fyra perspektiv som speglades i 57 indikatorer. Dessa indikatorer har tagits fram utifrån vad som var möjligt att mäta och där det fanns mätningar på de flesta landstingen. Till den andra publiceringen av ”Öppna jämförelser 2007” genomfördes mätningar av 75 indikatorer inom samma fyra perspektiv. Detta innebär att 18 nya indikatorer har introducerats till innevarande år. Och under uppbyggnadstiden av Öppna jämförelser kan vi förvänta oss att ytterligare indikatorer kommer att introduceras.

För de aktuella indexen skapar detta vissa svårigheter att hantera. Indexen måste vara uppbyggda på ett sätt så att nya indikatorer på ett naturligt sätt kan introduceras i existerande index. Att ha fasta vikter satta av experter kan under sådana omständigheter vara ett problem. Om experter ska sätta vikter

Slutsatser 85

bör de istället vara på en övergripande nivå, det vill säga hur stor vikt resultat respektive process ska ha. Det kommer också att vara vissa problem med att veta vad förändringar över åren beror på. Är det på grund av att ett landsting har förbättrat sig, eller beror det på att nya indikatorer har introducerats? Dessa aspekter får man acceptera under uppbyggnaden av mätsystemet. Det är dock viktigt att vara uppmärksam på dem vid analys och tolkning av resultaten.

Referenser 87

Referenser

DeVillis, Robert F. (1991), Scale Development: Theory and Applications, Newburry Park, CA. Sage Publications.

Diamantopoulos, A. och Winklhofer, H. M. (2001), Index Construction with Formative Indicators: An alternative to Scale Development, Journal of Marketing Research, pp.

269-277.

Ekonomirapporten (2007)– Om kommunernas och landstingens ekonomi, Sveriges Kommuner och Landsting.

Gustafsson, A., Herrmann, A. and Huber, F. (eds.) (2003) Conjoint Measurement, Methods and Applications, Springer, Berlin. (3rd edition).

Johnson, M. D. and Gustafsson, A. (2000), Improving customer satisfaction, loyalty and profit: An integrated measurement and management system, San Francisco, CA: JosseyBass.

Kaplan, R.S. and D.P. Norton (1992) The Balanced Scorecard – Measures that Drive Performance, Harvard Business Review, Vol. 70, January-February, pp. 71-79.

Nardo et al. (2005) Handbook on Constructing Composite Indicators: Methodology and User Guide, OECD Statistics Working Paper.

Neely, A., H. Richards, et al. (1997). ”Designing performance measures: a structured approach.” International journal of operations and production management 17(No. 11): 1131-1152.

Simon, H. (1983). The Sciences of the Artificial [Second Edition], MIT Press.

Att skapa index Metodutveckling och test baserat på Öppna jämförelser Efterfrågan på nationella och jämförbara data är idag hög. Indikatorer och mätetal ger möjlighet till uppföljning, styrning och förbättring men en ­ökning av antalet indikatorer leder också till en ökad komplexitet och kan göra det svårt att fatta faktabaserade beslut kring prioriteringar i verksamheten. En lösning på detta problem kan vara att skapa övergripande index som möjliggör jämförelser mellan olika verksamheter på en övergripande nivå.

Avsikten med rapporten har varit att presentera metodik för design av index.

Olika metoder för att skapa index och alternativa angreppssätt exemplifieras med utgångspunkt i data från Öppna jämförelser från 2006.