Wenn Likes und Shares die Forschung bewerten

    -     English  -  Français

Der Ruf einer Zeitschrift als Erfolgsindikator für wissenschaftliche Publikationen erhält Konkurrenz von "Alternative Metrics". Kann diese neue Messmethode funktionieren? Von Roland Fischer

(Aus "Horizonte" Nr. 108 März 2016)

Was waren die erfolgreichsten Forschungsarbeiten des vergangenen Jahres, also 2015? Die vordergründig harmlose Frage wurde bis vor kurzem schlicht nicht gestellt. Forschung wird zwar schon seit Jahrzehnten akribisch vermessen, aber die Methoden der Impact-Quantifizierer fussten so gut wie immer auf Zitationen, und die sind ein notorisch langsamer Indikator: Es braucht Monate oder Jahre, bis die ersten kommen können.

Doch zum letzten Jahreswechsel tauchten überall Meldungen mit Titeln auf wie "The 10 most-talked about science stories of 2015" oder "Welche Erkenntnisse 2015 in (sozialen) Medien für Wirbel sorgten". Das war kein Zufall: Die Londoner Firma Altmetric hatte zum Jahresende eine Mitteilung mit einer Top-100-Liste verschickt. In Zeiten digitaler Häppchen und Listicles - die Wortschöpfung vereint Liste und Artikel - war diese Wissenschafts-Hitparade bei n sehr willkommen.

Die Londoner sind die derzeit erfolgreichsten Anbieter von sogenannten Alternative Metrics, kurz: Altmetrics - der Begriff, der der Firma ihren Namen gibt. Diese addieren nicht Zitationen, sondern allerlei andere frei verfügbare Erfolgsindikatoren von Forschungsartikeln, vor allem aus verschiedenen sozialen Netzwerken: Anzahl s, Tweets, Facebook-Einträge, Blog Posts sowie Medienberichte.

Alternative Metrics haben den Anspruch, einerseits den wissenschaftlichen und gesellschaftlichen Impact einer Forschungsarbeit genauer und umfassender zu messen. Andererseits sollen sie den Erfolg einer Forschungsarbeit auch rascher aufzeigen, weil sich beispielsweise eine Twitter-Diskussion um eine neue Publikation viel schneller entspinnt, als dies in Fachjournalen möglich ist.

Digitale Presseschau

Damit nicht genug: Womöglich könnten Altmetrics nicht nur eine Alternative zu den etablierten Indikatoren wie der Anzahl Zitationen und dem Impact Factor bieten, sondern auch das strapazierte Peer-Review-System entlasten. In einem Manifest von 2010 behaupteten die Vordenker der Alternative-Metrics-Bewegung um den Informationswissenschaftler Jason Priem keck: "With altmetrics, we can crowdsource peer-review." Die Idee: In den sozialen Netzwerken wird von einer grossen Schar von Laien, aber eben auch von einer stattlichen Zahl Kollegen per Click und Share entschieden, ob eine Forschungsarbeit von Interesse ist. Diese Clicks könnten, richtig ausgewertet und analysiert, so etwas sein wie ein implizites Peer- Review-Verfahren.

Der Ansatz ist interessant: Es gibt zu jeder Forschungsarbeit tatsächlich viel mehr Peers als die wenigen Auserwählten, die heute ihr Urteil abgeben. Wenn man sie alle in die Qualitätskontrolle miteinbeziehen könnte, würde die Peer-Review-Idee gleichzeitig effizienter und weniger fehleranfällig. Tatsache ist, dass Wissenschaftler sehr aktiv sind auf Social-Media-Kanälen. Vor allem Twitter ist bei Forschern beliebt: Eine Umfrage unter Mitgliedern der American Association for the Advancement of Science (AAAS) Anfang 2015 ergab, dass 47 Prozent Social Media nutzten, um sich über Forschung zu informieren oder Ergebnisse zu diskutieren.

Euan Adie, der Chef von Altmetric, sagt dazu: "Auf Blogs und ähnlichen Kanälen wird heute schon kritisch über wissenschaftliche Publikationen diskutiert. Hier könnte sich ein neues System etablieren, das qualitativ minderwertige Forschung besser identifizieren kann." Er sagt aber auch: "Altmetrics sind komplementär zu Zitationsanalyse und Peer-Review. Ich sehe derzeit nicht, wie sie die alten Methoden ersetzen könnten."

Adie hat eher vor Augen, einen Impact zu dokumentieren, der über die wissenschaftliche Sphäre hinausgeht - eine Art digitale Presseschau. "Unser Index misst, wie viel Aufmerksamkeit ein Paper bekommen hat, er ist kein Indikator für Qualität", sagt Adie. Das findet auch die Informationswissenschaftlerin Stefanie Haustein von der Universität Montreal, die sich seit einigen Jahren intensiv mit Altmetrics befasst: "Im Moment messen Altmetrics überhaupt keine Forschungsqualität." Und sie legt gleich noch eine ketzerische Bemerkung nach: Social Media gleich Social Impact - das stimme so simpel eben auch nicht. Damit hinterfragt sie die Behauptung, Alternative Metrics würden auf elegante Art den gesellschaftlichen Einfluss eines Papers messen.

Konkurrenz der Messwerte

Es stellt sich also die Grundsatzfrage, was Altmetrics denn überhaupt messen: eine relevante oder einfach eine leicht zugängliche und automatisch auswertbare Grösse? Durch die DORA-Initiative von 2013, die das Misstrauen gegenüber dem klassischen Impact Factor als Indikator manifest gemacht hat, ist forschungspolitisch einiges in Bewegung geraten. Das Resultat scheint aber keine Abkehr von quantitativen Bewertungssystemen zu sein, sondern eine Hinwendung zu komplexeren Methoden, zum Beispiel eben Altmetrics. Ein englischer Bericht zur Lage der Wissenschaftsevaluation hat 2015 schon im Titel von einer "Metric Tide" gesprochen.

Die Entscheidung, nach welchen Kriterien und Methoden die Qualität und der Impact der Forschung bewertet werden, dürfte in Zukunft für die Forschergemeinde eher komplizierter werden. Und auch für die Forschungspolitik. Denn metrische Methoden sind nie einfach objektive Indikatoren, sondern immer auch politische Hebel: Sie bilden Anreizsysteme, die die Forschungslandschaft auf subtile Weise umgestalten können. Sollte Forschung wirklich auf Social-Media-Kanälen sichtbar sein? Was spricht dagegen, dass viele Forschungsergebnisse von hoher Qualität für den hektischen Social-Media-Alltag eher wenig taugen?

Stefanie Haustein hat in einer jüngeren Publikation jedenfalls einige Fragen zu Relevanz und Robustheit der neuen Messverfahren aufgeworfen: Die Arbeit hat gezeigt, dass die Präsenz von wissenschaftlichen Publikationen auf digitalen Kanälen eher niedrig ist - immerhin 21,5 Prozent der Paper bekommen einen Tweet, weniger als 5 Prozent werden auf Facebook geteilt und bloss 2 Prozent in Blogs erwähnt. Demgegenüber stehen 66,8 Prozent, die mindestens einmal im traditionellen Sinn zitiert werden.

Noch stellen die neuen Methoden weitgehend eine metrische Black Box dar. Es braucht mehr Untersuchungen, um überhaupt zu verstehen, was hier gemessen wird und wie sich die alten Indikatoren zu den neuen verhalten - insbesondere zur Gretchenfrage, ob Altmetrics substituierend oder ergänzend zu verwenden sind.

Roland Fischer ist Wissenschaftsjournalist in Bern.