“Wissenschaftlich erwiesen“ – in Zeiten von Corona und Klimawandel sind diese Worte ein Rettungsanker für viele. Faktenchecks vermitteln Sicherheit, Zusammenhänge werden entdeckt, Mythen werden widerlegt. Was dabei kaum erwähnt wird: Es wird immer schwerer, die Wahrheit zu suchen.
Forschung basiert auf Studien, Experimenten und Artikeln, die Wissenschaftler:innen durchführen und publizieren. Die Artikel stehen dann in der wissenschaftlichen Gemeinschaft zur Debatte. Studien werden geprüft und nachgestellt.
Eigentlich müsste bei jeder Wiederholung des Experiments unter gleichen Bedingungen das gleiche Ergebnis herauskommen. Das funktioniert aber längst nicht immer, und die Anzahl nicht replizierbarer Paper nimmt zu. Dieses Phänomen ist als Replikationskrise bekannt.
Das Problem ist im Bereich der sogenannten Methodologie angesiedelt – einem Forschungsbereich, der sich mit den Methoden im wissenschaftlichen Prozess auseinandersetzt. Dadurch betrifft sie nicht nur einen einzigen Fachbereich, sondern viele: von der Psychologie bis zur Physik.
Für die Medizin war ein 2005 publiziertes Paper des Statistikers John Ioannidis bahnbrechend. In „Why Most Published Research Findings Are False“ stellt er fest, dass die Replizierbarkeit von vielerlei Faktoren abhängig sei. Beispielsweise sei die Chance auf ein gleiches Ergebnis bei gleicher Methodik geringer, wenn die Anzahl der Stichproben klein ausfalle. Studien mit mehr Teilnehmer:innen wie in der Forschung am menschlichen Herzen seien eher reproduzierbar. Außerdem ließen sich Studien oft nicht reproduzieren, wenn finanzielle Anreize für bestimmte Ergebnisse bestehen. Auch andere nichtmedizinische Erwartungen könnten das Ergebnis beeinflussen.
Für vertrauenswürdige Resultate müsste man also ständig hinterfragen, Fragestellungen präzisieren, Faktoren ausschließen oder genau untersuchen. Das ist insbesondere in der Medizin, aber auch in Psychologie und Geisteswissenschaften ein Problem, da Menschen als Forschungsobjekt hochkomplex sind. Längst jedoch ist klar: Auch scheinbar eindeutig objektive Wissenschaftszweige wie die Physik sind betroffen.
Laut Markus Oberthaler, Profesor für Quantenphysik an der Uni Heidelberg, begründet sich fehlende Replizierbarkeit auch im Hunger nach schnellem Erfolg. In einer großen Community gäbe es eben auch Fälle vorsätzlicher Täuschung.
Als Beispiel nennt er die Forschung an Majorana-Teilchen. Diese sind für die Entwicklung von Quantencomputern relevant. Noch wissen wir aber nicht, ob sie überhaupt existieren. In den letzten Jahren fanden mehrere Paper Hinweise auf die Partikel. Mehrere Versuche, die Experimente aus den Papern zu replizieren, scheiterten jedoch. Erst Mitte November wurde wieder ein Artikel über den Nachweis von Majorana-Teilchen von Science zurückgezogen.
Ein Kommentar, der letztes Jahr in der renommierten Wissenschaftszeitschrift Nature erschien, konstatiert: „Ein signifikanter Teil der Majorana-Fraktion täuscht sich gerade selbst.“ Nicht nur fehlende Genauigkeit bei der Durchführung, auch Voreingenommenheit ist also ein Problem. Wenn ein Ergebnis zu passen scheint, wird es schon richtig sein.
Oberthaler vermutet, dass die Replikationskrise auch durch fehlendes Hinterfragen entsteht. Wichtig sei es, nicht einfach theoretisch vorgeschlagene Phänomene beweisen zu wollen, sondern den Fokus auf das Falsifizieren zu legen: Erst wenn viele Experimente durchgeführt worden seien, die eine Existenz des Phänomens widerlegen würden, könne man an dem eigentlichen Beweis arbeiten. Dieser Ansatz sei sehr aufreibend und anstrengend, aber auch ein Weg, um tatsächlichen Wissensgewinn zu produzieren.
Auch im Bereich des Machine Learning ist die Replikationskrise spürbar. „Jeder weiß davon, aber sie wird selten öffentlich diskutiert“, sagt Ullrich Köthe, Professor am Visual Learning Lab der Uni Heidelberg. So gebe es das „Benchmarking-Paradox“: Am Ende einer Publikation würden standardmäßig verschiedene Algorithmen miteinander verglichen. Interessanterweise gewinne dabei immer der eigene Algorithmus.
Viele der befragten Heidelberger Naturwissenschaftler:innen sind sich einig: Eine wirkliche Krise gebe es nicht, aber die Situation sei herausfordernd. Mehr denn je sei es also wichtig, Forschung gewissenhaft und objektiv zu halten und kritisch zu hinterfragen. Disziplin ist also gefragt, denn das Problem drängt. Mit jedem Paper, das nicht reproduziert werden kann, stützten weitere Forscher:innen ihre Schlussfolgerungen auf Luft. Das kostet Zeit und Geld.
2016 führte das bereits genannte Fachmagazin Nature eine Umfrage durch. Für mehr als die Hälfte der über 1500 Befragten steht fest, dass momentan eine erhebliche Replikationskrise besteht.
Die Studie zitiert den Psychologen Marcus Munafò, der als Student versucht hatte, vermeintlich einfache Studien aus der Literatur zu replizieren. Er scheiterte jedoch.
„Daraufhin hatte ich eine Vertrauenskrise“, so Munafò, „stellte aber fest, dass meine Erfahrung nicht ungewöhnlich war.“
Der Biologe Irakli Loladze schätzt in der Umfrage, dass sich für die Sicherstellung der Reproduzierbarkeit der zusätzliche Zeitaufwand auf 30 Prozent belaufe.
Mittlerweile gehört dieser Mehraufwand zu seinem Arbeitsablauf: „Reproduzierbarkeit ist wie Zähneputzen. Es kostet Zeit, aber wenn man es einmal gelernt hat, wird es zur Gewohnheit.“
Lena Hilf studiert Physik und schreibt seit Oktober 2019 für den ruprecht. Besonders gerne widmet sie sich Glossen, die oft das alltägliche Leben sowie wissenschaftlichen oder politischen Themen. Seit April 2021 leitet sie das Ressort Hochschule.
Mai Saito (sie/ihr) studiert Mathematik, Alte Geschichte und Philosophie. Beim ruprecht mit dabei ist sie seit SoSe21. Vornehmlich schreibt sie Meldungen und Artikel für das Wissensschaftsressort.
