Felix Rusche war als Analyst an einer groß angelegten internationalen Replikationsstudie beteiligt, die am 1. April in Nature veröffentlicht wird
Groß angelegte Studie zeigt, dass Schlussfolgerungen oft voneinander abweichen, wenn Hunderte von Forschern dieselben Daten erneut analysieren
Langfristig weist eine in Nature veröffentlichte Studie einen vielversprechenden Weg zur Stärkung der Glaubwürdigkeit der Sozial- und Verhaltenswissenschaften auf. In dieser groß angelegten internationalen Zusammenarbeit untersuchten fast 500 unabhängige Analysten dieselben Datensätze und kamen häufig zu unterschiedlichen Schlussfolgerungen. Das Projekt liefert eine klare Botschaft: Wissenschaftliche Objektivität besteht nicht darin, eine einzige „wahre” Analyse zu identifizieren, sondern darin, den Raum plausibler Alternativen transparent zu machen – sowohl in Forschungsberichten als auch in der Kommunikation mit der breiteren wissenschaftlichen Gemeinschaft.
Eine neue Studie, die in Nature veröffentlicht wurde, „Estimating the Analytic Robustness of Social and Behavioural Sciences”, kommt zu dem Ergebnis, dass wissenschaftliche Schlussfolgerungen je nachdem, wer die Analyse durchführt, dramatisch variieren können.
Die Ergebnisse stammen aus einer groß angelegten internationalen Zusammenarbeit unter der Leitung von Balázs Aczél und Barnabás Szászi (Eötvös Loránd Universität und Corvinus Universität), die im Rahmen des Programms „Systematizing Confidence in Open Research and Evidence” (SCORE) durchgeführt wurde. Ein Team von 457 unabhängigen Analysten aus Institutionen auf der ganzen Welt führte 504 Reanalysen von Daten aus 100 zuvor veröffentlichten Studien aus den Sozial- und Verhaltenswissenschaften durch. Alle Analysten erhielten denselben Datensatz und dieselbe zentrale Forschungsfrage, konnten jedoch die Analyse nach eigenem Ermessen durchführen.
In den letzten zehn Jahren wurden in den Sozial- und Verhaltenswissenschaften umfangreiche Reformen durchgeführt, um die Forschung transparenter, strenger und zuverlässiger zu machen. Vorabregistrierung, registrierte Berichte, Replikationsstudien und Überprüfungen der analytischen Reproduzierbarkeit zielen alle darauf ab, die Häufigkeit von Zufallsbefunden und verzerrten Ergebnissen zu reduzieren. Eine wichtige Frage hat jedoch relativ wenig Beachtung gefunden: Inwieweit hängen Forschungsergebnisse von der spezifischen Art und Weise ab, wie Daten analysiert werden?
In der wissenschaftlichen Standardpraxis wird ein Datensatz in der Regel von einem einzelnen Forscher oder einem Forschungsteam analysiert, und die daraus resultierende Veröffentlichung präsentiert das Ergebnis eines bestimmten Analysepfades. Während Peer-Reviews die methodische Akzeptanz bewerten, zeigen sie selten, welche Ergebnisse unter alternativen, aber ebenso vertretbaren statistischen Entscheidungen hätten erzielt werden können.
Empirische Forschung beinhaltet jedoch zahlreiche Entscheidungspunkte: wie Daten bereinigt werden, wie Variablen definiert werden, welche statistischen Modelle oder Software verwendet werden und wie Ergebnisse interpretiert werden. Zusammen bilden diese Entscheidungen die sogenannte analytische Variabilität – die Flexibilität, die die endgültigen Schlussfolgerungen grundlegend beeinflussen kann.
Wichtigste Ergebnisse
Wir beobachteten erhebliche Abweichungen in den Ergebnissen unabhängiger Analysen derselben Fragestellung unter Verwendung derselben Daten in 100 Studien. Obwohl die meisten Reanalysen die Hauptthesen der Originalstudien weitgehend bestätigten, unterschieden sich die Effektgrößen, statistischen Schätzungen und Unsicherheitsgrade oft erheblich. In etwa einem Drittel der Fälle kamen alle Analysten zu dem gleichen Ergebnis wie die ursprünglichen Autoren.
Wichtig ist, dass diese Diskrepanzen nicht auf mangelnde Fachkenntnisse zurückzuführen waren. Erfahrene Forscher mit fundierten statistischen Kenntnissen kamen ebenso häufig zu abweichenden Ergebnissen wie andere. Gleichzeitig erwiesen sich Beobachtungsstudien als weniger robust als experimentelle Studien, was darauf hindeutet, dass komplexere Datenstrukturen eine größere analytische Flexibilität – und damit eine größere Unsicherheit – ermöglichen.
Aczél, Professor an der Eötvös-Loránd-Universität, kam zu dem Schluss: „Diese Ergebnisse stellen nicht die Glaubwürdigkeit früherer Forschungen in Frage. Vielmehr machen sie darauf aufmerksam, dass die Darstellung einer einzigen Analyse oft nicht das tatsächliche Ausmaß der empirischen Unsicherheit widerspiegelt und dass das Ignorieren der analytischen Variabilität zu ungerechtfertigtem Vertrauen in wissenschaftliche Schlussfolgerungen führen kann.“
Szászi, Assistenzprofessor an der Eötvös-Loránd-Universität und der Corvinus-Universität, fügte hinzu: „Wir plädieren für eine breitere Anwendung von Multi-Analysten- und ‚Multiversum‘-Ansätzen, insbesondere bei Fragen von hoher wissenschaftlicher oder gesellschaftlicher Bedeutung. Anstatt nach einer einzigen wahren Antwort zu suchen, machen diese Ansätze sichtbar, wie stabil – oder fragil – wissenschaftliche Schlussfolgerungen tatsächlich sind.“
Die in Nature veröffentlichte Studie ist hier verfügbar.