Wo steht die Replikationsforschung in den Wirtschaftswissenschaften und wie sieht ein realistischer, risikoarmer Einstieg für Forschende aus? Teammitglieder der neuen Fachzeitschrift Replication Research (R2) erklären, warum es bei Open Science nicht um Prestige, sondern um gute Forschung geht, und geben praktische Tipps für den Einstieg.
Replication Research (R2) ist eine neu gegründete interdisziplinäre Fachzeitschrift im Diamond-Open-Access für Replikations- und Reproduktionsstudien. Die Zeitschrift begrüßt Einreichungen aus einer Vielzahl von Disziplinen, darunter Managementwissenschaften, Verhaltensökonomie und Entscheidungsforschung. In diesem Interview sprechen Lukas Röseler, Journal Manager und Chefredakteur, sowie die Senior Editors Flávio Azevedo und Lukas Wallrich über den Stand der Replikationsforschung in den Wirtschaftswissenschaften. Alle drei sind zudem Mitglieder des FORRT Replication Hub, der Forschenden Werkzeuge bereitstellt, um Replikationsforschung zu erkunden, durchzuführen und zu verbreiten.
Zunächst lohnt es sich, zwei Begriffe zu klären, die für dieses Interview zentral sind und die nicht immer einheitlich verwendet werden: Bei einer Reproduktion wird eine Studie unter Verwendung derselben Daten und Methoden wiederholt, um zu prüfen, ob die ursprünglichen Ergebnisse erneut erzielt werden können. Im Gegensatz dazu testet eine Replikation, ob eine Erkenntnis unter veränderten Bedingungen – mit neuen Daten oder anderen Methoden oder beidem – Bestand hat. Beide sind für eine robuste und vertrauenswürdige Forschung unerlässlich: Nur Ergebnisse, die reproduziert und repliziert werden können, lassen sich verallgemeinern, und nur verallgemeinerbare Ergebnisse können als verlässliche Grundlage für evidenzbasierte Politikberatung dienen. Im Folgenden verwenden wir „Replikationsforschung“ als Oberbegriff, der beides umfasst.
Wie würden Sie die aktuelle Situation in den Wirtschaftswissenschaften im Hinblick auf Replikationsforschung einschätzen, und was müsste sich strukturell ändern, damit sie dort selbstverständlicher wird?
Die Situation unterscheidet sich bei Reproduktionen und Replikationen. Wir glauben, dass Reproduktionsstudien in einigen Bereichen der Wirtschaftswissenschaften bereits recht verbreitet sind. Mehrere Initiativen treiben dies aktiv voran: Der AEA Data Editor beispielsweise stellt sicher, dass Reproduktionen durchführbar sind, das Institute for Replication führt jedes Jahr Hunderte von Reproduktionen durch, und das JCRE bietet einen hochwertigen Diamond-Open-Access-Veröffentlichungskanal für die daraus resultierenden Berichte.
Bei Replikationen sieht es anders aus. Eine strukturelle Herausforderung ist hier der starke Fokus auf Originalität: Institutionen werden anhand von „Forschungsexzellenz“ (das heißt, schnellem Fortschritt) bewertet, Fördermittel belohnen originelle Ideen, und Fachzeitschriften priorisieren neuartige Ergebnisse, um Zitationen zu erhalten, den Impact Factor zu steigern und an Einfluss zu gewinnen – also in eine Position zu kommen, in der sie hohe Subskriptionskosten oder Publikationsgebühren verlangen können. Innovation ist wichtig, aber nicht auf Kosten der Replizierbarkeit: Wenn Forschung ständig von Thema zu Thema springt, ohne zu überprüfen, ob das bisher Erarbeitete robust ist, wird der gesamte Wissensbestand fragil.
Die gute Nachricht ist, dass die Infrastruktur für mehr Replikationsforschung bereits vorhanden ist. Was hinterherhinkt, ist die Forschungsbewertung. Mit Open Science sehen wir bereits einen klaren Trend weg von reiner Originalität hin zu einem Gleichgewicht zwischen Originalität und Robustheit. Angesichts der Zunahme KI-generierter Forschung und weiterhin niedriger Erfolgsquoten bei Reproduktionen und Replikationen glauben wir, dass Replizierbarkeit zwangsläufig an Bedeutung gewinnen wird. Viele Institutionen haben sich bereits zu diesem Wandel hin zu einer stärkeren Betonung von Qualität statt bloßer Quantität von Forschungsergebnissen verpflichtet, etwa durch Initiativen wie SF DORA und CoARA.
Viele Forschende zögern, weil sie befürchten, dass Replikations- und Reproduktionsstudien weniger Prestige haben oder schwerer zu veröffentlichen sind. Was würden Sie entgegnen – und wie sieht ein realistischer, risikoarmer Einstieg aus?
Diese Bedenken sind nicht völlig unbegründet: Replikationsforschung zieht in der Regel weniger Zitationen an als originäre Forschung und beeinflusst manchmal nicht einmal die Wahrnehmung der ursprünglichen Ergebnisse. Außerdem zögern viele hochrangige Fachzeitschriften weiterhin, Replikations- und Reproduktionsstudien zu veröffentlichen. Trotz dieser bestehenden Anreizstruktur führen Forschende jedoch weiterhin solche Arbeiten durch. Sie tun dies nicht wegen Prestige oder Zitationen, sondern um neue Methoden zu lernen, die Robustheit von Befunden zu überprüfen, auf denen sie aufbauen, Studierende zu lehren oder weil sie sich für einen bestimmten Befund besonders interessieren. Denn im Kern geht es bei Open Science nicht um Prestige, sondern um gute Forschung.
Für einen risikoarmen Einstieg empfiehlt es sich, zunächst eine Replikations- oder Reproduktionsstudie zu lesen, um einen Eindruck davon zu bekommen, worum es dabei geht. Eine solche Studie finden Sie beispielsweise, indem Sie eine Referenzliste aus Ihren Lehrfolien, Lehrbüchern oder Artikeln in den FLoRA Annotator hochladen oder unser Zotero-Plugin installieren, das Ihre Bibliothek oder bestimmte Ordner nach Replikationen durchsucht. Beide Tools zeigen, welche Studien bereits wiederholt wurden und mit welchem Ergebnis. Falls keine der Studien wiederholt wurde, können Sie im FReD Explorer knapp über tausend Replikationen nach Themen durchsuchen.
Der nächste Schritt ist eine eigene Reanalyse einer veröffentlichten Studie. Wenn Sie sich mit anderen zusammenschließen möchten, können Sie an den „Replication Games“ des Institute for Replication teilnehmen. Im FORRT Replication Hub organisieren wir regelmäßig Veranstaltungen und bieten Open Educational Resources wie das WIP-Handbuch an, das durch den gesamten Prozess führt – von der Auswahl einer Zielstudie bis hin zum Schreiben und zur Auswahl einer geeigneten Fachzeitschrift. Wir glauben, dass spezialisierte Replikationszeitschriften in den meisten Fällen besser geeignet sind als die Zeitschrift der Originalstudie: Sie erheben aufgrund ihres Diamond-Open-Access-Status keine Publikationsgebühren, und das Risiko einer Ablehnung allein aufgrund der Tatsache, dass es sich um eine Replikation oder Reproduktion handelt, ist geringer.
Kommen wir nun speziell zu R2: Wie läuft der Einreichungsprozess bei R2 in der Praxis ab, und wie unterscheidet er sich von einer Einreichung bei einer herkömmlichen Fachzeitschrift?
Wie jede andere Fachzeitschrift hat auch R2 Einreichungsrichtlinien und ein Peer-Review Verfahren. Dies wird darüber hinaus durch eine strenge und transparente Qualitätssicherung sowie hohe Open-Science-Standards ergänzt: Vor dem Peer Review führen wir gründliche redaktionelle Prüfungen durch, die auch von anderen Fachzeitschriften weiterverwendet werden können. Das Peer Review ist nicht anonym (Nachwuchsforschende können jedoch eine Pseudonymisierung beantragen, wenn sie Bedenken haben, ihre Vorgesetzten zu kritisieren). Gutachter:innen werden in Berichten gewürdigt, die wir unabhängig von der redaktionellen Entscheidung in unserer Zenodo-Community veröffentlichen. Zudem durchlaufen empirische Artikel eine Reproduzierbarkeitsprüfung, die in ein öffentliches Zertifikat mündet. Es gibt außerdem einen optionalen Prüfpfad zur gesellschaftlichen Verantwortung.
Mit unserem Fokus auf Transparenz müssen Autor:innen ein paar zusätzliche Angaben machen, etwa zu den Autor:innenbeiträgen. Wir haben uns für Offenheit im Sinne von Inklusivität statt methodischer Strenge entschieden. Das bedeutet, dass das Teilen von Daten keine Pflicht ist. Wird darauf verzichtet, muss dies in einer Erklärung jedoch gut begründet werden. Außerdem bieten wir viele Ressourcen für interessierte Autor:innen an, etwa Vorlagen für Manuskripte und Anschreiben. Sowohl das Lesen von R2 als auch das Publizieren in R2 sind kostenlos.
Was hat Sie in Ihrer Arbeit an R2 oder beim Blick auf die bisher eingereichten Studien am meisten überrascht?
Wir waren überwältigt von dem positiven Feedback und der Unterstützung, die wir beim Aufbau und Betrieb von R2 erhalten haben. Die Universität Münster stellte interne Mittel für den Start der Zeitschrift bereit und unsere Kolleg:innen, die für die universitätseigenen E-Journals verantwortlich sind, halfen beim Aufbau der Website. Fast alle Forschenden, die wir als Associate Editors angefragt haben, waren bereit mitzuwirken, und Herausgebende anderer Diamond-Open-Access-Zeitschriften teilten offen ihr Wissen mit uns. Letzteres hat uns dazu veranlasst, die Replication Journal Federation zu gründen – ein Netzwerks hochwertiger Fachzeitschriften mit Fokus auf Replikationsforschung. Selbst die Suche nach Gutachter:innen war einfacher als erwartet. Wir führen dies auf unseren Idealismus in Bezug darauf zurück, wie Wissenschaft sein sollte – und darauf, dass viele Forschende mit dem aktuellen Zustand unzufrieden sind und unsere Mission teilen, ihn zu verbessern.
Wir danken Lukas Röseler, Flávio Azevedo und Lukas Wallrich für das Interview.
Tipp: Weitere Informationen zu Replizierbarkeit und Reproduzierbarkeit finden Sie im Open Economics Guide.
Lukas Röseler ist Postdoc und Geschäftsführer des Münster Center for Open Science, Infrastructure Liaison von FORRT sowie Journal Manager und Chefredakteur von R2. Flávio Azevedo ist Assistant Professor für Interdisziplinäre Sozialwissenschaften an der Universität Utrecht, Mitbegründer und Leiter von FORRT sowie Mitbegründer und Senior Editor von R2. Lukas Wallrich ist Senior Lecturer für Organisationspsychologie an der Birkbeck Business School der Universität London, Co-Direktor von FORRT sowie Mitbegründer und Senior Editor von R2.