Open Science und alternative Metriken in der Forschungsevaluation
Die aktuelle Messung wissenschaftlichen Erfolgs basiert überwiegend auf Zitationen und wird damit weder dem Aufwand noch dem Nutzen von Open Science gerecht. Neue Methoden der Leistungsbewertung sind gefragt, die auch Praktiken wie die Veröffentlichung von Forschungsdaten und -methoden, Review-Tätigkeiten oder Kommentare honorieren. Allgemeingültige Standards existieren dafür bislang nicht.
Um zitationsbasierte Indikatoren wie den »H-Index« und den »Journal Impact Factor« zu ergänzen, wurden alternative Metriken (Altmetrics) entwickelt. Sie erfassen, wie Forschungsergebnisse jenseits von Fachzeitschriften wahrgenommen werden: Tools wie Altmetric.com oder PlumX messen die Online-Aufmerksamkeit für wissenschaftliche Publikationen – etwa Erwähnungen in Nachrichtenmedien, Politikdokumenten, Blogs oder sozialen Medien – und können damit Einblicke in die gesellschaftliche Wirkung von Forschung geben. Viele Verlage, darunter PLOS ONE, Elsevier, Springer Nature und Wiley, integrieren solche artikelbasierten Metriken direkt auf ihren Plattformen und machen alternative Indikatoren so zugänglich, ohne dass externe Tools nötig sind.
Dennoch sind Altmetrics nicht ohne Einschränkungen. Je nach Anbieter variieren Abdeckung und Ergebnisse erheblich, was einen direkten Vergleich verschiedener Tools erschwert. Da die gängigsten Dienste kommerziell betrieben werden, stellen sich zudem Fragen zur Datentransparenz und langfristigen Verfügbarkeit. In den Wirtschaftswissenschaften ist die Abdeckung noch vergleichsweise gering, unter anderem deshalb, weil ein Großteil der Forschung als Working Paper auf Repositorien wie SSRN oder RePEC zirkuliert, die von den meisten Altmetric-Tools nicht systematisch erfasst werden. Download- und Zugriffszahlen dieser Repositorien können jedoch als praxisnaher, disziplinspezifischer Anhaltspunkt für die Reichweite von Forschung dienen.
Von zentraler Bedeutung für die Open-Science-Bewegung ist die Declaration on Research Assessment (DORA), die von zahlreichen Forschungsakteur:innen unterzeichnet wurde. Sie fordert, journalbasierte Metriken wie den Journal Impact Factor nicht als Ersatz für die Bewertung einzelner Forschungsarbeiten heranzuziehen. Stattdessen braucht es neue Standards für die Evaluation von Forschungsleistungen, etwa bei Einstellungs-, Beförderungs- oder Förderentscheidungen, die über rein publikationsbasierte Metriken hinausgehen und den offenen Zugang zu wissenschaftlichen Ergebnissen stärken. Forschungseinrichtungen und Förderinstitutionen sollten dabei nicht nur Publikationen, sondern alle Forschungsoutputs berücksichtigen (darunter Datensätze und Software) sowie qualitative Wirkungsindikatoren wie etwa den Einfluss auf Politik und Gesellschaft. Da es sich um ein vielschichtiges Thema handelt, liegt es letztlich an den jeweiligen wissenschaftlichen Communities, geeignete Umsetzungswege zu finden.
Für alle, die sich tiefer mit diesen Grundsätzen befassen möchten, bietet DORA einen kostenlosen Selbstlernkurs an: den Einführungskurs zur verantwortungsvollen Forschungsbewertung.