Reproducibility Checks sind von großem Wert für die wissenschaftliche Qualität. Doch welche Aspekte sollten dabei besonders beachtet werden? Prof. Arthur Seibold berichtet von seinen Erfahrungen mit Reproducibility Checks und benennt zwei Aspekte, auf die er einen besonderen Fokus legt.
Replizierbare beziehungsweise reproduzierbare Forschungsergebnisse sind ein zentraler Aspekt guter wissenschaftlicher Praxis. Nicht reproduzierbare beziehungsweise replizierbare Forschungsergebnisse sind von geringerem Nutzen und können das Vertrauen in die Wissenschaft verringern (Replikationskrise).
Welche Gründe dafür sprechen, die eigene Forschung reproduzierbar zu machen und wie Forschung reproduzierbar gemacht wird ist im Open Economics Guide beschrieben.
Prof. Arthur Seibold, Ph.D., Juniorprofessor für Finanzwissenschaft an der Universität Mannheim, gibt im Interview Tipps und einen Einblick in seine Erfahrungen mit Reproducibility Checks.
Worauf achten Sie, um die Reproduzierbarkeit Ihrer Forschungsergebnisse sicherzustellen? Welche Aspekte sind für Ihre Forschungspraxis besonders wichtig?
Ein großer Teil meiner eigenen Forschung ist empirisch. Dabei arbeite ich mit sehr umfangreichen administrativen Datensätzen, beispielsweise den deutschen Sozialversicherungsdaten. Reproduzierbarkeit ist aufgrund der Komplexität dieser Projekte und aufgrund von Datenschutzvorgaben oft eine Herausforderung. Grundsätzlich achte ich auf zwei Aspekte, auf die auch der Fokus der Replikationsregeln der wichtigsten Fachzeitschriften der VWL gerichtet ist.
Der erste Aspekt ist der Datenzugang. Idealerweise sollten die benutzten Forschungsdaten spätestens zum Zeitpunkt der Publikation öffentlich zur Verfügung gestellt werden. Manchmal ist dies jedoch aufgrund von Datenschutzvorgaben nicht möglich – insbesondere, wenn mit sensitiven administrativen Daten gearbeitet wird. In diesem Fall sollten alle nötigen Informationen bereitgestellt werden, die es anderen Forschenden ermöglichen, auf die Originaldatensätze zuzugreifen. Dies beinhaltet z.B. genaue Datensatzbeschreibungen, konkrete Schritte zum Datenzugang und Ansprechpartner:innen auf Seiten der Datengeber:innen.
Der zweite Aspekt ist die Bereitstellung der Codes, mit deren Hilfe die benutzte Statistiksoftware (z.B. Stata oder R) die empirische Analyse umsetzt. Das sind einerseits die Programme, die Analysedaten aus den Originaldaten erstellen, und andererseits Programme, die die empirischen Ergebnisse (Tabellen, Grafiken, etc.) erzeugen. Die Bereitstellung dieser Codes ermöglicht eine exakte Reproduzierbarkeit der empirischen Analyse.
Welche Erfahrungen haben Sie mit Reproducibility Checks gemacht?
Ich habe mit den Prozeduren der VWL-Journals zur Reproduzierbarkeit empirischer Analysen in den letzten Jahren positive Erfahrungen gemacht. Jedoch können solche Reproducibility Checks zu erheblichem Arbeits- und Zeitaufwand führen, sowohl für Journals als auch für Autor:innen.
Ein konkreter Fall, um dies zu illustrieren: Ich habe 2021 ein Paper im American Economic Review veröffentlicht, das der Data and Code Availability Policy der American Economic Association (AEA) unterliegt. Autor:innen müssen dementsprechend vor der Veröffentlichung ihr Replication Package (Daten und Codes) beim Daten-Editor der AEA einreichen. Das Replication Package wird dann vom Team des Daten-Editors im Rahmen eines „Reproducibility Check“ gründlich geprüft. Dabei werden normalerweise die eingereichten Codes auf den eingereichten Datensätzen ausgeführt, um zu überprüfen, dass die empirischen Ergebnisse im Papier reproduziert werden können. Da mein Papier auf administrativen Sozialversicherungsdaten basierte, konnte ich die Daten nicht einreichen und so war ein vollständiger Reproducibility Check nicht möglich. Stattdessen wurden alle Programme „manuell“ gecheckt, d.h. es wurde überprüft, ob die Codestruktur mit Daten und Ergebnissen im Papier übereinstimmt. Aufgrund des damit verbundenen Aufwands und einiger von meiner Seite notwendiger Revisionen dauerte dieser Prozess insgesamt 4 Monate, nachdem das Paper zuvor ca. 12 Monate im „revise & resubmit“-Prozess mit dem wissenschaftlichen Editor war.
Am Ende sind diese Reproducibility Checks von großem Vorteil für die wissenschaftliche Qualität, da die vollständige Reproduzierbarkeit empirischer Ergebnisse sichergestellt wird. Außerdem stellen Replication Packages eine wertvolle Ressource für Forschende dar, die bestimmte Daten oder empirische Methoden benutzen möchten. Aus gutem Grund führen immer mehr Zeitschriften solche Daten- und Replikationsregeln ein. Man sollte aber nicht außer Acht lassen, dass damit ein hoher Aufwand für Journals und Autor:innen verbunden ist.
Welche Tipps würden Sie anderen Forschenden geben?
Für mich persönlich ist der wichtigste Tipp, bei der Arbeit an empirischen Forschungsprojekten von Anfang an die zukünftige Reproduzierbarkeit mitzudenken. Beim Datenmanagement sollte man beispielsweise darauf achten, Originaldaten und Zugangswege vollständig zu dokumentieren und verschiedene Versionen der Daten aufzubewahren, da diese Informationen später ohnehin bereitgestellt werden müssen. Bei den empirischen Analysen ist es wichtig, dass auch Zwischenergebnisse zu jedem Zeitpunkt dokumentiert und reproduzierbar sind. Außerdem finde ich eine gewisse Struktur und Ordnung der Codes hilfreich. Bei komplexen Projekten mit mehreren Koautor:innen sind eventuell Plattformen mit Versionskontrollfunktion, wie zum Beispiel GitHub, zu empfehlen.
Wir bedanken uns bei Prof. Arthur Seibold, Ph.D. für das Interview.
Prof. Arthur Seibold, Ph.D., ist Juniorprofessor für Finanzwissenschaft an der Abteilung Volkswirtschaftslehre der Universität Mannheim. Seine Forschungsinteressen liegen in den Bereichen Finanzwissenschaft, Arbeitsmarktökonomik und Verhaltensökonomik. Er promovierte an der London School of Economics (LSE) und absolvierte einen Forschungsaufenthalt an der University of California, Berkeley.