Replikationskrise in der psychologie

Aber bedeuten Replikationsprobleme wirklich schon eine veritable Krise? Eine Krise der Seriosität Natürlich war es im Frühjahr nur eine Frage von Wochen, bis weltweit Forscherteams fieberhaft versuchten, das sensationelle Experiment von Fleischmann und Pons zum Nachweis der kalten Fusion nicht nur zu wiederholen, sondern zum gleichen positiven Ergebnis zu kommen.

Bekanntlich war all diesen Replikationsversuchen kein Erfolg beschieden. Die Beispiele, die Clayton zur Illustration seiner Krisendiagnose heranzieht, entstammen anderen Niederungen wissenschaftlicher Kreativität. Im Vergleich etwa zur Arzneimittelentwicklung mit ihren strikten Regularien zur Replizierbarkeit klinischer Forschung mangelt es in den Sozialwissenschaften schlicht an den institutionellen Anreizen, die Befunde der lieben Kollegen unter die Lupe zu nehmen.

Das gilt auch für die wissenschaftliche Psychologie. Die Replikationskrise bezeichnet demnach das Phänomen, dass in der Psychologie wie auch in anderen empirischen Wissenschaften ein Risiko darin besteht, dass sich Ergebnisse von Studien bei einer Überprüfung etwa in Form einer Wiederholung der Studie nicht immer bestätigen lassen. Das liegt teilweise an den Bedingungen des Wissenschaftsbetriebs, der auf Publikationen ausgerichtet ist, andererseits an der Struktur empirischer Untersuchungen, die in der Regel auf Stichproben basieren und bei denen niemals alle Bedingungen, unter denen ein Ergebnis erhalten wurde, kontrolliert werden können.

Hinzu kommt der Druck von Fachzeitschriften, die vor allem an positiven Resultaten interessiert sind, sodass die meisten veröffentlichten Studien statistisch signifikante Ergebnisse berichten, die sich jedoch in Nachfolgeuntersuchungen nicht bestätigen lassen.

Repikationskrise: Wissenschaftliche Irrtümer in Serie

Die Diskussion über nicht replizierbare Studien in der Psychologie ist übrigens nicht neu und seit Jahren häuft sich das empirische Material dazu, was letztlich auch eine Paradoxie darstellt. Faktenbasiert besteht seit langem Konsens darüber, dass zu viele kleine Studien publiziert werden und auch ein ausreichender p-Wert allein noch lange kein vertrauenswürdiges Ergebnis anzeigt, andererseits stellt sich die Frage, ob in der Psychologie, dort wo es z.

Man hat es daher in solchen Fällen nicht mit mangelnder Replizierbarkeit aufgrund unzureichenden Studiendesigns zu tun, sondern eher mit einem falschen Menschenbild, das die Fähigkeit bewussten Handelns auch dort ausblendet, wo es für eine gegenstandsadäquate Forschung zwingend in Rechnung zu stellen wäre. Zudem sind auch Forschende nicht frei von Urteilsverzerrungen und wollen ihre Hypothesen bewiesen sehen.

Dies kann dazu führen, dass Analysen oder gar ganze Studien so lange wiederholt werden, bis sich die vorhergesagten Effekte einstellen. Bild nicht mehr verfügbar.

Signifikant oder nicht?: Wenn Studien einem zweiten Blick nicht standhalten

Mehr Transparenz und Replikationsmöglichkeiten halten Einzug in die Forschung. Wie sah denn das Ergebnis aus: Hat sich das bestätigt, dass viele der Arbeiten andere Ergebnisse zeigen, wenn sie dann eben wiederholt werden? Schönbrodt: Ja, das ist richtig. Es wird oft eine Zahl genannt als Ergebnis. Das sind diese ominösen fünfzig Prozent. Genau die Hälfte dieser 28 Studien konnte repliziert werden, die andere Hälfte nicht.

Jetzt muss man dazusagen, dass man die Zahlen nicht überinterpretieren sollte, weil diese 28 Studien nicht zufällig gezogen wurden. Es könnte sozusagen sein, dass diese 28 von vorneherein so ein bisschen fischig aussahen. Reuning: Also, um nur nochmal die Dimensionen klar zu machen: Viele Fachleute glauben sogar, eine Replikationskrise der Wissenschaft ausgemacht zu haben.

Können Sie das aus Ihrer Sicht bestätigen? Ist das gerechtfertigt, von einer Krise zu sprechen? Schönbrodt: Ich denke, das hängt von der persönlichen Einschätzung ab, wann man das Wort "Krise" benutzt. Ich muss sagen: Für mich persönlich war das absolut eine Krise. Schönbrodt: Die Krise hat in der Psychologie so etwa angefangen einzuschlagen.

Da war ich gerade mit meiner Promotion fertig. Und jetzt mit dem Wissen, dass etwa die Hälfte dessen, was wir publizieren, scheinbar nicht stimmt, das hat sich total mit meinem Bild als Wissenschaftler - lag quer dazu. Also, ich hatte wirklich eine persönliche Krise, wo ich dachte: Das ist nicht das, was ich als Wissenschaftler tun will. Ich dachte mir: Wofür machen wir das denn alles?

Reuning: War das dann auch Ihre Motivation, an der "Many Labs 2"-Studie teilzunehmen?

Replikationskrise

Schönbrodt: Richtig. Ich dachte mir irgendwann: Entweder versuchst du, das System mit zu ändern und es besser zu machen. Oder du gehst raus aus diesem Wissenschaftssystem. Und ich habe mich entschieden, sozusagen für eine bessere Wissenschaft zu kämpfen. Und an dieser "Many Labs 2"-Studie teilzunehmen, war eben einer davon.

Viele Autoren helfen bei der Wiederholung ihrer eigenen Studie Reuning: Schauen wir uns noch einmal deren Ansatz an. Wie genau wurden denn die Originalarbeiten in diesem Projekt repliziert oder reproduziert? Schönbrodt: Das war ein sehr standardisiertes Vorgehen. Man hat versucht, mit allen Original-Autoren von den Studien, sofern sie noch greifbar waren, noch leben zum Beispiel, Kontakt aufzunehmen, um die Replikation wirklich so originalgetreu wie nur möglich hinzubekommen.

Man hat bei sehr vielen Studien wirklich das Okay der Original-Autoren bekommen, dass sie gesagt haben: Ja, und wenn ihr die Studie so macht, dann sollte dasselbe Ergebnis wieder herauskommen. Dann hat man alle Studien präregistriert. Also im Durchschnitt waren es vierundsechzigmal so viele Probanden in jeder Studie als in der Originalstudie. Reuning: Wir werden uns gleich den Ursachen für diese Replikationskrise widmen.

Aber zuvor werfen wir noch einen Blick in die Niederlande. Dort hat im Jahr der Drittmittelgeber nwo, etwa vergleichbar mit der DFG hier bei uns, drei Millionen Euro bereitgestellt für Replikationsstudien. Und meine Kollegin Anneke Meyer, die hat sich solch eine Untersuchung zeigen lassen. Replikationsstudie in den Niederlanden Effekt oder nicht effekt, das ist hier die Frage Was wissenschaftlich erwiesen ist, stimmt - leider nicht immer.

Studien, die ältere Studien exakt wiederholen, sollen die Zuverlässigkeit von Forschungsergebnissen klären. Das klingt einfacher, als es tatsächlich ist. Reuning: Anneke Meyer war das über eine Studie aus den Niederlanden. Herr Dr. Es könnte ja auch die Replikation selbst falsch sein. Schönbrodt: Richtig, genau. Zunächst hat man einfach mal nur zwei sich widersprechende Studienergebnisse.

Es gibt verschiedene Qualitätskriterien, die man anlegen könnte, um zu entscheiden: Glaube ich jetzt eher der Originalstudie oder glaube ich eher der Replikationsstudie. Das kann je nach Einzelfall mal in die eine oder andere Richtung schwingen, das Pendel. In vielen Fällen würde ich mittlerweile der Replikation tendenziell mehr Gewicht geben.