Wer eine Studie repliziert, trägt nicht nur dazu bei, die Robustheit wissenschaftlicher Ergebnisse auf die Probe zu stellen, sondern lernt dabei auch etwas für die eigene Forschung. Bei Replication Games replizieren Forschende Paper zusammen als Team. So profitieren alle direkt von den Erfahrungen und Fachkenntnissen der anderen. Lenka Fiala vom Institute for Replication (I4R) stellte das Format in der Coffee Lecture on Open Science Education vor – und machte deutlich, dass es auch für die Vermittlung von Open Science in der wirtschaftswissenschaftlichen Lehre nützlich sein kann.
Am 8. September 2026 fand die siebte Veranstaltung der Reihe „Coffee Lecture on Open Science Education" statt. Lenka Fiala, Research Scientist am Institute for Replication (University of Ottawa) und affiliiert mit der Tilburg University, stellte darin die vom I4R organisierten Replication Games vor und ordnete sie sowohl als didaktisches Format als auch als Forschungsinfrastruktur ein.
Um eine gemeinsame begriffliche Grundlage zu schaffen, differenzierte Fiala zunächst verschiedene Arten von Reproduzierbarkeit: Computational Reproducibility bedeutet, dass sich mit den Originaldaten und dem Originalcode dieselben Forschungsergebnisse erzeugen lassen. Bei Robustness Reproducibility werden ebenfalls die Originaldaten verwendet, jedoch andere, ebenfalls plausible analytische Verfahren angewendet. Direct Replicability liegt dagegen vor, wenn dieselbe Fragestellung mit neuen Daten und derselben oder einer leicht abgewandelten Methode zum gleichen Ergebnis führt.
Die drei Konzepte beantworten also unterschiedliche Fragen und ergeben erst zusammen ein vollständiges Bild davon, wie robust ein Forschungsergebnis ist. Möglichst viele Forschungsergebnisse in diesem Sinne zu prüfen, sei essenziell, damit Forschende wissen, auf welchen Ergebnissen sie aufbauen können. Fehler würden nicht immer entdeckt, da Peer Review nicht jede Art von Fehler oder fragwürdiger analytischer Entscheidung aufdecke.
Replication Games, bei denen Teams von meist drei bis sechs Forschenden ein Paper reproduzieren, könnten hier einen wichtigen Beitrag leisten: Sie deckten – wenn auch im kleineren Maßstab – falsche Ergebnisse frühzeitig auf und sparten so wertvolle Ressourcen. Darüber hinaus hätten Replication Games auch Einfluss auf die Wissenschaftskultur: Während Replikationen und Kommentare lange als konfrontativ galten, trage das kollaborative Format dazu bei, Dialog und unabhängige Überprüfung als selbstverständlichen Teil des Forschens zu etablieren. Laut Fiala schätzten es manche Originalautor:innen sogar sehr, wenn jemand ihr Paper für wichtig genug hält, um Zeit in dessen Reproduktion beziehungsweise Replikation zu investieren.
Ein weiterer, gerade für Forschende relevanter Vorteil ist der Lerneffekt für die eigene Arbeit. Nach der Anmeldung zum Event bereiten sich die Teilnehmenden vor, indem sie das zugewiesene Paper lesen sowie das Replikationspaket prüfen und nachvollziehen. Die von I4R organisierten Replication Games finden als eintägige Hackathons statt, bei denen die Teams verschiedene Arten der Reproduzierbarkeit des Papers testen und dafür Feedback und Guidance vom I4R erhalten. Der Ergebnisbericht geht zunächst vertraulich an die Originalautor:innen, bevor die finale Fassung zusammen mit deren Rückmeldung auf der I4R-Website veröffentlicht wird. Die einzelnen Berichte können am Ende in gemeinsame Metapapiere mit teils hunderten Koautor:innen einfließen, die durch die Beteiligung so vieler Forschender und die damit einhergehende mehrfache Prüfung besonders belastbar sind.
Einen eigenen Programmpunkt widmete Fiala dem Thema (offene) Daten im Kontext von Replication Games. Die Vorteile von Open Data seien klar: Sie ermöglichen es, dass jede:r Forschungsergebnisse überprüfen kann. Dadurch steigen die Chancen, Fehler zu finden. Da die verwendeten Daten archiviert vorliegen, sei eine Überprüfung zudem noch lange nach der Publikation möglich, was groß angelegte Replikationsprojekte überhaupt erst realisierbar macht. Vorsicht sei jedoch geboten, wenn Daten personenbezogene Informationen enthalten: Eine Veröffentlichung sei dann nicht immer möglich. Um zu vermeiden, dass sensible Informationen versehentlich veröffentlicht werden, empfiehlt Fiala Forschenden die Nutzung des PII Checkers.
Die Überprüfung von Papern mit zugangsbeschränkten Daten sei zwar aufwändiger, aber mindestens genauso wichtig: Erstens könnten weniger Personen diese Prüfung vornehmen, da offener Code ohne Zugriff auf die Daten oft nicht ausreiche, um Fehler zu erkennen. Zweitens würden viele Analysen mit zugangsbeschränkten, etwa administrativen Daten politische Entscheidungen prägen – hier steht also oft viel auf dem Spiel. Auch dafür könnten Replication Games eine Lösung sein: Mit den CBS Replication Games stellte Fiala eine neue, bislang in den Niederlanden durchgeführte Initiative vor, die das Format auf Paper mit zugangsbeschränkten administrativen Daten überträgt.
Zum Schluss ordnete Fiala den aktuellen Stand von Reproduzier- und Replizierbarkeit in den Wirtschaftswissenschaften anhand einer neuen Studie von Brodeur et al. (2026) (Link zum PDF) ein. In ihr wurden Originalanalysen und Robustheitschecks von 110 Artikeln durchgeführt, die in führenden wirtschafts- und politikwissenschaftlichen Zeitschriften mit verpflichtenden Data- und Code-Sharing-Regelungen erschienen sind. Ein positiver Trend ist erkennbar: Zwischen 2014 und 2023 ist der Anteil empirischer Paper mit Replikationspaketen von 60 auf über 90 Prozent gestiegen. Auch die Reproduzierbarkeitsrate von 85 Prozent sowie der Anteil der Paper mit geteiltem Analysecode fallen positiv auf. Ebenso erkennt Fiala einen positiven Trend beim Teilen des sogenannten Cleaning Codes, mit dem Rohdaten bereinigt werden. Beim Teilen der rohen sowie der Analysedaten bestehe dagegen Verbesserungspotenzial.
Replication Games könnten ein Weg sein, den Trend hin zu mehr Open Science in den Wirtschaftswissenschaften weiter voranzutreiben. Für die eigene Lehre lohnt sich dabei ein Blick auf bestehende Formate, wie das von I4R. Denn die Organisation eigener Games ist mit nicht zu vernachlässigendem Aufwand und Kosten verbunden, während man sich vielen bereits stattfindenden Runden einfach anschließen kann. Das passt zu Fialas Grundgedanken: Reproduzierbarkeit ist letztlich ein Problem kollektiven Handelns – Zusammenarbeit, die die komparativen Vorteile der Beteiligten nutzt, ist der Weg, es zu lösen.
Tipp: Mehr zur Replikationsforschung lesen Sie in unserem Beitrag „R2: Ein neues Zuhause für Replikationsforschung".