Für die Einbeziehung von Open Science bei der Bewertung von Forschungsarbeit gibt es bislang keine allgemeingültigen Standards. Die bisher übliche Messung des Erfolgs von wissenschaftlichen Arbeiten, weitgehend auf der Basis von Publikationen (Zitationen), spiegelt den Aufwand und Nutzen von Open Science nicht wieder. Damit sich Open-Science-Praktiken für die wissenschaftliche Reputation lohnen, müssten neue Methoden für die Leistungsbewertung angewendet werden, die Open-Science-Praktiken einbinden. Dies kann geschehen, indem sie unter anderem auch die Veröffentlichung von Forschungsdaten und Methoden, Review-Tätigkeiten oder Kommentare einbeziehen.

Es gibt bereits Ansätze, um ergänzende Indikatoren zu entwickeln, die die auf Zitationen basierenden Indikatoren wie »H-Index« und »Journal Impact Factor« um Informationen zum Vorkommen wissenschaftlicher Ergebnisse außerhalb von Fachzeitschriften ergänzen. Sie adressieren insbesondere Aspekte digitaler Wissenschaft. So adressiert Altmetrics beispielweise die Resonanz im Social Web. Allerdings können auch Altmetrics nicht uneingeschränkt zur Vermessung von Open Science empfohlen werden, da sie, wie alle anderen quantitativen Indikatoren auch, quantitativen Werten (zum Beispiel Zitate und Retweets) einen Vorzug gegenüber dem geben, was nicht gezählt werden kann (zum Beispiel Qualität der Forschung).

In einer für die Open-Science-Bewegung zentralen Erklärung, der Declaration on Research Assessment (DORA), die von zahlreichen Forschungsakteuren unterzeichnet wurde, wird gefordert, keine journalbasierten Metriken, wie den Journal Impact Factor, als Ersatz für die Bewertung der Qualität einzelner Forschungsartikel heranzuziehen. Vielmehr müssten neue Standards geschaffen werden für die Evaluierung der Beiträge einzelner Forschender oder für Entscheidungen über deren Einstellung, Beförderung oder Finanzierung, die die uneingeschränkte Zugänglichmachung von wissenschaftlichen Ergebnissen unterstützen. Außerdem sollten Forschungs- und Forschungsförderinstitutionen neben Publikationen auch alle anderen Forschungsleistungen (einschließlich Datensätze und Software) berücksichtigen sowie eine Reihe anderer Faktoren, wie etwa qualitative Indikatoren für die Auswirkungen der Forschung, etwa als Einfluss auf die Politik. Da dieses Thema sehr komplex ist, müssen die wissenschaftlichen Communities für sich festlegen, wie sie es umsetzen möchten.