Bei Registered Reports (RRs) begutachten Fachzeitschriften Forschungsfrage und Studiendesign, bevor Daten erhoben werden. Sie entscheiden bereits zu diesem Zeitpunkt, ob die Studie veröffentlicht wird, unabhängig von deren späterem Ergebnis. So wirken RRs, die sich zunehmend auch in den Wirtschaftswissenschaften verbreiten, fragwürdigen Publikations- und Forschungspraktiken entgegen. In diesem Artikel erfahren Sie, wofür sich ein RR eignet, wo er eingereicht werden kann und wie er erfolgreich ist.
Viele fragwürdige Forschungspraktiken haben eine gemeinsame Ursache: die Anreizstruktur des wissenschaftlichen Publikationssystems. Studien mit statistisch signifikanten Ergebnissen werden eher veröffentlicht (Publikationsbias) und häufiger zitiert (Zitationsbias) als Studien mit nicht signifikanten Ergebnissen. Gleichzeitig stehen Forschende unter Publikationsdruck. Das schafft Anreize für fragwürdige Praktiken: zum Beispiel Analysemethoden so lange anzupassen, bis sich ein signifikantes Ergebnis zeigt (sogenanntes P-Hacking), oder nachträglich aufgestellte Hypothesen so darzustellen, als hätten sie schon vor der Datenerhebung bestanden (sogenanntes HARKing).
RRs durchbrechen diese Anreizstruktur. Forschende reichen dafür schon vor Durchführung der Studie einen detaillierten Studienplan ein. Fachzeitschriften begutachten diesen Plan und können dann eine „In-Principle-Acceptance" (IPA) erteilen. Damit garantieren sie die Publikation, unabhängig vom Studienergebnis, solange der Plan eingehalten wird. Was ein RR genau ist, erläutern wir an anderer Stelle. Im Folgenden geht es um die praktische Umsetzung.
Wofür eignet sich ein RR?
RRs eignen sich zum einen für Analysen, bei denen Forschende die Daten selbst erheben – etwa Labor- und Feldexperimente, Randomized Controlled Trials (RCTs) oder Survey-Experimente. Solche Studien sind typisch für die experimentelle VWL sowie für Marketing-, HR- oder Verhaltensstudien der BWL. RRs sind auch bei Sekundärdatenanalysen mit bereits existierenden Daten möglich, sofern die Forschenden offenlegen, in welchem Umfang sie die Daten vor der Begutachtung bereits eingesehen haben. Auch Meta-Analysen, systematische Reviews und qualitative Studien mit vorab festgelegten Forschungsfragen lassen sich als RR einreichen.
Wo reiche ich meinen RR ein?
Es gibt zwei Wege: die direkte Einreichung bei einer einzelnen Zeitschrift oder über die zeitschriftenunabhängige Plattform PCI-RR. Bei der ersten Option sollten Sie die speziellen Anforderungen der jeweiligen Zeitschrift und den akzeptierten Studientyp prüfen. Das COS führt eine vollständige, laufend aktualisierte Liste, Thibaut Arpinons Liste ergänzt Zeitschriften die RRs in der VWL akzeptieren. PCI-RR begutachtet kostenlos und fachübergreifend nahezu jeden RR-Typ. Nach positiver Begutachtung erhalten Sie automatisch eine In-Principle-Acceptance bei allen teilnehmenden „PCI-RR-friendly“-Zeitschriften.
Was macht einen RR erfolgreich?
Die folgenden fünf Tipps orientieren sich stark an den zehn allgemeinen Regeln von Henderson und Chambers (2022) für das Schreiben eines RR.
- Formulieren Sie eine präzise, überprüfbare Forschungsfrage
Formulieren Sie in der Einleitung Ihres Plans eine Forschungsfrage, die sich mit den geplanten Daten und einer soliden, umsetzbaren Methode überprüfen lässt. Die Frage sollte auch dann interessant bleiben, wenn sich die Hypothese nicht bestätigt. Die Hypothesen sollten direkt aus der Frage folgen, präzise formuliert sein und sich in messbare Größen übersetzen lassen.
- Sagen Sie, was Sie tun werden – und was nicht
Ihr Plan sollte so eindeutig und vollständig ausgearbeitet sein, dass eine fachfremde Person Ihre Studie allein anhand der Beschreibung durchführen könnte, ohne Rückfragen stellen zu müssen. Legen Sie dafür nicht nur fest, was Sie tun werden, sondern auch, was Sie nicht tun werden. Zum Beispiel: „Bricht die Software während einer Sitzung ab, schließen wir die betroffene Beobachtung aus und wiederholen die Sitzung nicht."
- Verknüpfen Sie Frage, Analyse und Interpretation nachvollziehbar
Stellen Sie sicher, dass jede Hypothese aus der Einleitung klar mit der entsprechenden Analyse und der daraus abgeleiteten Interpretation verbunden ist. Dafür eignet sich eine Design-Summary-Tabelle, die Forschungsfrage, Erhebungsplan, Analyse und zu erwartende Ergebnisse gegenüberstellt. Henderson und Chambers (2022) stellen eine Vorlage sowie Beispiele für ausgefüllte Tabellen zur Verfügung (siehe die Anhänge ihres Artikels). Hängt Ihr weiteres Vorgehen vom Ergebnis eines Zwischenschritts ab, legen Sie vorab Wenn-Dann-Regeln fest, zum Beispiel: „Ähneln sich die Antworten der meisten Befragten (geringe Streuung), ziehen wir den Median statt des Mittelwerts heran, da Letzterer bei wenig Streuung leicht durch einzelne Ausreißer verzerrt wird.“
- Arbeiten Sie den Analyseplan sorgfältig aus
Der Analyseplan ist das Herzstück eines RR. Er legt im Vorfeld fest, wie die Daten ausgewertet werden. Bei quantitativen, konfirmatorischen Arbeiten – also Studien, die eine vorab festgelegte Hypothese testen – umfasst er zum Beispiel die Wahl des statistischen Modells oder die im Voraus bestimmte Stichprobengröße. Arpinon und Espinosa (2023) erklären, wie diese Elemente auszuarbeiten sind und liefern fertigen R- und Stata-Code für typische Experimente der Verhaltensökonomik wie Public-Goods- oder Diktatorspiele.
- Dokumentieren Sie Abweichungen
Ungeplante Ereignisse wie etwa ein technischer Fehler können eine nachträgliche Anpassung Ihres Plans nötig machen. Bei größeren Änderungen (zum Beispiel der Analysemethode) holen Sie vorab die Zustimmung der Redaktion ein. Im Zweifel fragen Sie lieber nach, als eine Ablehnung wegen unautorisierter Abweichung zu riskieren. Dokumentieren Sie jede Änderung transparent. Gleiches gilt für alles, was nicht vorab feststand: Zusätzliche Ergebnisse dürfen berichtet werden, wenn sie klar als exploratorisch gekennzeichnet sind.
Ein RR klingt auf den ersten Blick nach mehr Aufwand. Tatsächlich verlagert er die Arbeit aber nur: mehr Planung vorab, dafür eine Publikationszusage unabhängig vom Ergebnis und frühes Feedback statt Ablehnung nach der aufwendigen Datenerhebung. Wie Henderson und Chambers (2022) betonen, kann das Forschenden auch die Angst vor „falschen" Ergebnissen nehmen und ihnen dadurch viel Stress ersparen.
Tipp: Ist Ihre Studie abgeschlossen und das finale Manuskript angenommen, sollten Sie Ihren ursprünglichen Studienplan sowie Daten, Code und Materialien in einem Replication Package offen zugänglich machen. Worauf es bei der zugehörigen README-Datei ankommt, erklärt dieser Blogartikel im Open Economics Guide.