Psykologien i forfald: Replikationskrisen

Psykologien i forfald: Replikationskrisen

Nicklas Runge, 7. semester

Er psykologien i forfald? Sandsynligvis. Skyldes det replikationskrisen? Det vil en lang række forskere i nye undersøgelser og bevægelser hævde, men her er svaret nok nærmere nej. I 2005 udgav den græsk-amerikanske forsker i medicin, John Ioannidis artiklen med den fængende titel Why Most Published Research Findings are False, hvori han beskriver, hvordan de statistiske forskningsmetoder, som de praktiseres nu, samt udgivelsesstrukturen omkring dem, er indrettet på en måde, som gør det meget sandsynligt at finde statistisk signifikante resultater, der ikke repræsenterer en reel sammenhæng – dvs. falsk positive resultater. Ifølge sine egne udregninger gælder dette over halvdelen af opnåede resultater. Her peger han på såvel små sample sizes (og derved lav statistisk power: sandsynligheden for at finde effekter, når de er der), fleksibilitet i forskningsdesigns, prioritering af positive resultater og finansielle interesser som aspekter af forskningen, der skaber biased resultater. En interessant konsekvens af dette er, at særligt gode resultater sandsynligvis oftere vil være en indikation på eller mål for de eksisterende biases indenfor et felt fremfor solide indikationer på effekten af fænomenet i sig selv. En konsekvens af den udbredte forvrængede forskningspraksis kan sågar være, at hele forskningsområder må afvikles, da deres positive resultater med stor sandsynlighed er falske; og dette gælder særligt de mest innovative forskningsområder, hvor der foretages mest eksplorativt, hypotesegenererende forskning sammenlignet med etablerede områder med flere metaanalyser og RCT-studier.

Psykologien, som i forvejen har sine periodevise identitetsforvirringer og problemer med at definere sig selv som videnskab, og som arbejder med fænomener, der er svære at operationalisere og ofte ikke giver store effektstørrelser, er selvsagt ikke sluppet udenom denne krise. Open Science Collaboration udgav her i 2015 en undersøgelse af replikationer, hvor det viser sig, at kun 37 ud af 100 undersøgte studier kunne replikeres. Derudover er replikationer generelt sjældne og bliver sjældent udgivet. En meget citeret undersøgelse af Makel og Plucker fra 2014 viser, at kun 0.13% af artikler i de 100 førende tidsskrifter indenfor pædagogisk forskning er replikationer – en sensationel statistik som mange forskere sidenhen nyder at nævne for at understrege alvorligheden i krisen. Problemet er så bare, at en anden undersøgelse af Coyne et al. (2016) viser, at mange replikationsstudier ikke kalder sig selv for replikationsstudier. Ligeledes viser Chhin et al. (2018), at omkring halvdelen af deres indsamlede undersøgelser i undervisningsforskning er replikationer, men at kun 16% af dem betegner sig således.

For nyligt havde jeg fornøjelsen af at skulle kortlægge en del af det rygende krater, der er forskningen indenfor replikationskrisen, som den er blevet efterladt af Ioannidis, og hvor en række forskere – som vist ovenfor – nu kravler rundt og med mere eller mindre paniske krampetrækninger prøver at finde hoved og hale i og komme på den rigtige side af den efter megen lokal prikken og stikken efterhånden opslidte elefant, der er den psykologiske videnskab. Det billede, jeg dannede mig af landskabet her, var ét bestående af tre forståelser og løsningsforslag, som jeg vil udlægge her. De kan henholdsvis beskrives som: 1) virkeligheden er derude et sted, 2) vi kan ikke finde virkeligheden og 3) virkeligheden er væk! Her rangeret efter radikalitet ift. den etablerede videnskab, hvis det ikke skulle være åbenlyst.

Virkeligheden er derude et sted

Den første position fortæller os, at virkeligheden er derude (eller derinde) et sted. Vi skal bare finpudse vores statistiske værktøjer og gøre udgivelse mindre styret af økonomiske incitamenter for at finde den. Her det særligt den førnævnte Open Science Collaboration og den amerikanske forsker i socialkognition og grundlægger af Center for Open Science, Brian Nosek, som taler for strukturelle forandringer i forskningen i form af mere præregistrering (for derved at undgå, at kun positive resultater udgives), prioritering af udgivelsen af replikationsstudier, flere metaanalyser, brugen af effektstørrelser fremfor statistisk signifikans og bayesiansk statistik. Der er altså tale om en ret omfattende omlægning af den eksisterende forskningspraksis, om end det virker usandsynligt at det endegyldigt vil gøre op med problemerne med økonomiske incitamenter i form af både forskeres egne bekymringer om karriere og behovet for ekstern finansiering, der på skræmmende konkrete måder sætter rammerne for, hvad der kan forskes i, og hvor der ikke er så få tilfælde af direkte indblanding i fortolkningen og udgivelsen af resultater.

Ikke desto mindre er den centrale antagelse her, at vi kan finde ind til virkeligheden, hvis vi bruger de rigtige metoder, og lige nu handler det om at foretage flere replikationer, så vi kan vide os mere sikre på, at de resultater, vi har fundet, rent faktisk præcist repræsenterer virkelige fænomener og effekter. Her er Open Science Collaboration særligt orienteret imod mere direkte replikation, hvor eksisterende undersøgelsers designs skal efterlignes så præcist som muligt for at fastslå resultaternes reliabilitet. Derudover skal konceptuel replikation sørge for validiteten, hvor det gælder om at foretage nødvendige variationer i designet, så forskellige variable og processer relateret til det undersøgte fænomen kan afdækkes.

Den præcise vægtning mellem de to former for replikation er der dog stor uenighed om, men mange forskellige forskere er sprunget op hist og her med argumenter af varierende kvalitet, der taler for konceptuel replikation. Måske er det da også bare for svært og omstændigt at producere pålidelige resultater, når de undersøgte fænomener er så tvivlsom operationaliseret, at det er meget nemmere at sige, at vi slet ikke behøver at være så præcise i replikationen – vi kan jo bare gøre noget, der ligner lidt, og hvis vi får et ikke-signifikant resultat, så truer det ikke den højtbeskattede viden.

Dette er den første position, groft beskrevet og karikeret.

Vi kan ikke finde virkeligheden

Megen af diskussionen indenfor forslag til løsninger på replikationskrisen har som sagt gået på, om det direkte eller konceptuelle replikationer, der er de vigtigste. For at komplicere, men også muligvis hjælpe os lidt på vej med en egentlig løsning, dukker Brian Nosek op i en ny position. At Open Science Collaboration går ind for direkte replikation, er nemlig en direkte misforståelse, der bunder i en forkert forståelse af, hvad replikation egentlig går ud på. I deres artikel What is Replication? fra 2020, argumenterer Nosek sammen med Timothy Errington for, at det anvendte skel mellem direkte og konceptuel replikation ganske enkelt er forkert, og at dette har drevet forskningen i en ufrugtbar retning. Virkeligheden er altså ganske vist derude et sted, men vi kan ikke finde den, gennem hvad vi i dag kalder for direkte eller konceptuel replikation. Vi må ganske enkelt gentænke replikation og forbinde dette med en forståelse for, hvordan teori udvikler sig inden og sammen med replikationsstudierne.

Nosek og Errington foreslår en skærpet forståelse af replikation, hvor replikationer bør forstås som studier, hvis resultater kan agere diagnostiske beviser for et tidligere studies konklusioner, således at replikation bidrager til sikkerheden omkring den oprindelige teoris sandhedsværdi, mens manglende replikation udfordrer denne (replikation skal være dobbelt diagnostisk, altså diagnostisk begge veje). På denne måde undgås det, at eventuelt ikke-signifikante resultater fra konceptuelle replikationer affejes, da studiet nu fra starten er designet til at producere resultater, der er vigtige for sandhedsværdien af fænomenet, og her bliver det også fortolkningen af disse resultater fremfor operationaliseringen, der bliver det centrale. Replikation er en teoretisk forpligtelse, man påtager sig, og deraf følger det netop, at der er brug for mere klarhed og præcision i formuleringen af teorier forud for forsøg på replikation, så resultaterne i alle tilfælde er diagnostiske. Indenfor denne forståelse er de fleste konceptuelle replikationer, der udføres i dag, blot generaliseringstests, da ikke-signifikante resultater ikke kan bruges til at be- eller afkræfte dele af den oprindelige teori.

Nosek og Errington forsøger at placere denne forståelse af replikation indenfor en dynamisk model for teoriers udvikling, hvor replikation specificeres til at blive metoden til at undersøge de rammer, der gælder for en given teori. Hvis teorien er umoden og derfor uklar omkring det fænomen og de effekter, den siger noget om, bruges både replikation og generaliseringstests (de forhenværende betegnede konceptuelle replikationer) til at afsøge de præcise rammer, som teorien gælder indenfor. I takt med at teorien bliver mere moden, vil der blive mindre plads til generaliseringstests og mere plads til replikation, da rammerne, som teorien gælder indenfor, er blevet så præcist formulerede, at modsigende resultater fra studier, der tester teorien, per definition vil blive diagnostiske for teoriens sandhedsværdi. Her bliver det også klart, hvorfor replikation kun kan ses i relation til en mere præcis forståelse af teoriers udvikling.

Nosek og Erringtons bidrag fremstår som et efterhånden sjældent eksempel på velovervejet Poppersk falsifikationisme eller kritisk rationalisme, der ellers mere eller mindre er blevet en dogmatisk praksis indenfor megen kvantitativ forskning. Nosek og Errington påpeger da også, hvor galt det kan gå, når denne dogmatiske forekommer.

Hvis vi skal finde virkeligheden derude, er det altså nødvendigt at grave den fri fra en mudret omgang misforståede definitioner af skellet mellem direkte og konceptuel replikation.

Virkeligheden er væk! Send hjælp

Som det så ofte er med videnskabsteoretiske problemstillinger som disse, ulmer der under de højprofilerede diskussioner mellem velciterede forskere en skare af dissentierende stemmer, som dog sjældent når det bedre borgerskabs borde. Hvem skulle da også have troet, at det blandt den nuværende forskning mest relevante forslag blev formuleret for næsten hundrede år siden af en mand, der onanerede til matematiske problemer, mens han lå i skyttegravene under 1. Verdenskrig? Her er der selvfølgelig tale om den østrigske filosof, Ludwig Wittgenstein, hvis tanker om psykologiske konstrukter og deres relation til redskaberne brugt til at måle dem er blevet bragt til relevans overfor replikationskrisen af Ian Cantley i artiklen Replicable Quantitative Psychology and Educational Research: Possibility or Pipedream fra 2022, hvor han kategorisk afviser replikation som en måde at nå ind til en uafhængigt eksisterende virkelighed, som kan måles mere eller mindre præcist. En sådan virkelighed bag resultaterne af empiriske studier eksisterer ganske enkelt ikke, og alle resultater er uadskilleligefra de måleredskaber, der bruges som en del af en samlet social praksis med konventioner for, hvad der er rigtigt og forkert.

Når der på forskellige måder forsøges at justere på undersøgelsesmetoderne eller de teoretiske tilgange til fortolkningen af resultaterne, resulterer det ikke i en nærmere tilnærmelse af uafhængige psykologiske fænomener, men i en fortsat reproduktion af måderne, hvorpå vi behandler særlige resultater som værende rigtige, forkerte eller overensstemmende med et konstrueret fænomen. Det handler om, hvordan vi gør ting korrekte eller overensstemmende. Indtil et svar er afgivet på en test, er det både rigtigt og forkert, og indtil målingen foretages er den målte effekt både overensstemmende og modstridende i forhold til teorien, da korrekthed er et spørgsmål om, hvilke regler der i den sociale praksis konventionelt anvendes til at vurdere dette. Fortolkningers rigtighed kan altså ikke eksistere uafhængigt af den sociale praksis i en eller anden ideel eller mental form, da dette ville skabe en uendelig regres, hvor fortolknings rigtighed fastslås af en regel, hvis rigtighed må fastslås af en regel, hvis rigtighed…

På denne måde er validitet som det forstås indenfor den bredere kvantitative, objektivistiske videnskab ikke en reel mulighed. På sin vis måler en undersøgelse altid og aldrig det, den tror, den måler, da målingen er en måde at gøre noget på, som bestemmer det målte i forhold til denne gøren, denne praksis.

Cantley konkluder på baggrund af dette, at vejen frem indenfor kvantitativ forskning er at vende sig mod de fortolkningsbaserede tilgange, der primært er blevet benyttet indenfor kvalitativ forskning. Dette er nødvendigt, da verificering ikke kan foregå som en aktivitet, der søger en uafhængig virkelighed, men som noget, der må beskæftige sig med og indenfor en given social kontekst og praksis med en forståelse for, hvordan disse former de fænomener, der måles.

Illustrationer: Storm Munk-Hind, 6. semester