FORSCHUNGSWELT
Wissenschaftskritische Metastudie
Gleiche Daten – variable Ergebnisse In der Studie zur Analyse, Replikation und Vorhersage von Neuroimaging Daten (Narps) sammelten Forscher zunächst einen Hirnbild-Datensatz von 108 Teilnehmern, mit dem die Gehirnaktivität während einer Entscheidungsaufgabe mittels funktioneller Magnetresonanztomographie registriert wurde. Dieser Datensatz wurde an 70 Analyseteams aus der ganzen Welt verteilt.
Jedes Team analysierte unabhängig voneinander die gleichen Daten, wobei sie ihre jeweiligen Standard-Methoden zur Prüfung von neun vordefinierten Hypothesen einsetzen. Bei jeder dieser Hypothesen wurde gefragt, ob sich die Aktivität in einem bestimmten Teil des Gehirns in Bezug auf einen bestimmten Aspekt der Entscheidungen verändern würde.
Eine Gruppe international führender Ökonomen und Behavioral-Finance-Experten lieferte den ersten Anstoss für das Projekt und leitete den Prognosemarkt-Teil. Prognosemärkte sind ein innovatives Instrument, mit dem überprüft werden soll, ob Experten in der Lage sind, die Ergebnisse eines Forschungsprojektes vorherzusagen – in diesem Fall, welche der neun getesteten wissenschaftlichen Hypothesen bestätigt werden. Die Wissenschaftler und Wissenschaftlerinnen hatten bis zu drei Monate Zeit, um die Daten zu untersuchen, danach lieferten sie ihre Endergebnisse für die neun Hypothesen mit detaillierten Informationen über die Art und Weise, wie sie die Daten analysiert hatten. Wichtigste Erkenntnis des Narps-Projektes: Die beträchtliche Varianz, was die Beantwortung der Hypothesen als zutreffend oder nicht betrifft, wenn derselbe komplexe Bildgebungs-Datensatz mit verschiedenen Analyse-Ansätzen analysiert wurde. Bei gleich fünf der Hypothesen gab es erhebliche Unterschiede in der Beantwortung. Dieser Unterschied lässt sich durch die unterschiedlichen Ansätze in der Beantwortung der Hypothesen erklären. Bei einer binären Entscheidung mit Ja oder Nein geht viel Information verloren, während 38
Bild: derknopfdruecker.com
Prognosemarkt-Analysen
Wichtigste Erkenntnis des Narps-Projektes: Die beträchtliche Varianz, was die Beantwortung der Hypothesen als zutreffend oder nicht betrifft, wenn derselbe komplexe Bildgebungs-Datensatz mit verschiedenen Analyse-Ansätzen analysiert wurde.
bei der Meta-Analyse durch die Aggregierung von Daten mehr Information vorliegt.
Ergebnisse kritisch hinterfragen Die Meta-Analyse der individuellen Ergebnisse bestätigte jedoch eine hohe Konvergenz zwischen den Ergebnissen der 70 Teams. Zudem waren die Gehirnaktivierungskarten (also die eigentlichen Ergebnisse, die der binären Entscheidung, ob eine Hypothese bestätigt wird, zugrunde liegen) relativ konsistent über die 70 Analysen hinweg. Was die Vorhersehbarkeit der zu erwartenden Ergebnisse angeht, zeigte sich, dass die Forscher die Wahrscheinlichkeit signifikanter Ergebnisse zu optimistisch einschätzten – und zwar selbst dann, wenn diese direkt an der Analyse beteiligt waren.
Originalpublikation Tom Schonberg et al., (2020) «Variability in the analysis of a single neuroimaging dataset by many teams»; DOI: 10.1038/ s41586-020-2314-9
Kontakt Univ.-Prof. Mag. Dr. Claus Lamm Universität Wien Institut für Psychologische Grundlagenforschung und Forschungsmethoden Liebiggasse 5 A-1010 Wien +43 14277 471 30 claus.lamm@univie.ac.at www.univie.ac.at
10/2020
