400 biologische "Cold Cases" unter die Lupe genommen

Ein Team der EPFL hat die Reproduzierbarkeit von einem halben Jahrhundert Forschung über die Immunität von Drosophila überprüft. Die meisten Ergebnisse wurden bestätigt, aber eine Feststellung ist erstaunlich: Die renommiertesten Zeitschriften sind auch diejenigen, in denen man die meisten fragwürdigen Behauptungen findet.

Die Zeiten für die Reproduzierbarkeit sind hart. Seit etwa 15 Jahren stellt die Wissenschaft mit einer gewissen Hilflosigkeit fest, dass dieses Prinzip, das für ihre Glaubwürdigkeit entscheidend ist, in der Krise steckt. Reproduzierbarkeit ist die Garantie, dass ein veröffentlichtes Ergebnis an anderer Stelle, von anderen Teams und unter anderen Bedingungen bestätigt werden kann. Studien, von der Biologie bis zum menschlichen Verhalten, haben jedoch immer höhere Raten an "Unreproduzierbarkeit" aufgedeckt. Dies gibt Anlass zur Sorge um die Zuverlässigkeit eines Teils der wissenschaftlichen Literatur, aber auch um die Art und Weise, wie das akademische System bestimmte Praktiken belohnt.

Vor diesem Hintergrund hat der Immunologe Bruno Lemaitre, Leiter des Lemaitre Lab, das Projekt ReproSci ins Leben gerufen. Sechs Jahre lang hat er mit seinem Team und mehreren Partnerlabors eine beispiellose retrospektive Arbeit durchgeführt: 400 Artikel, die zwischen 1959 und 2011 in seinem Forschungsbereich, der Immunität von Drosophila, veröffentlicht wurden, wurden erneut gelesen, auseinandergenommen und auf ihre Stichhaltigkeit getestet. Jeder dieser "Cold Cases ", wie der Biologe sie nennt (Interview unten), wurde in wissenschaftliche Behauptungen zerlegt - insgesamt über 1.000 - und mit späteren Studien verglichen. Wenn es keine Folgedaten gab, führte das Labor selbst neue Experimente zu 45 Schlüsselaussagen durch. Das Ganze wurde in eine offene Datenbank ( ReproSci.epfl.ch ) eingespeist, die für die gesamte Gemeinschaft zugänglich ist.

Tendenz zum Wachstum

Aus dieser Arbeit sind zwei Artikel hervorgegangen, die auf dem bioRxiv-Server hinterlegt sind und derzeit in der Zeitschrift eLife begutachtet werden (siehe unten). Die Ergebnisse erscheinen recht ermutigend. Rund 61% der veröffentlichten Behauptungen wurden bestätigt. Zwar erwiesen sich "nur" 7 % als falsch, aber etwa 24 % waren noch nie überprüft worden. Einige dieser nicht reproduzierten Behauptungen wurden im Rahmen von ReproSci reproduziert: Ein erheblicher Teil davon wurde nicht validiert, was darauf hindeutet, dass der Anteil der nicht reproduzierbaren Behauptungen viel höher als 7% ist, wahrscheinlich zwischen 15 und 18%. Unter Berücksichtigung aller Ergebnisse kann man schliesslich sagen, dass etwas mehr als 80% der wissenschaftlichen Behauptungen haltbar sind. Dies relativiert die Darstellung einer allgemeinen Krise: Die Solidität ist real, auch wenn die Unreproduzierbarkeit existiert. Das Projekt weist aber auch auf ein Paradoxon hin: Die fragilsten Ergebnisse stammen oft aus "Trophäenzeitschriften"(Nature, Science, Cell) oder von angesehenen Institutionen, wo man eigentlich eine grössere Robustheit erwarten würde.

Die Analyse des zweiten Artikels verfeinert diese Feststellung. Die Unreproduzierbarkeit korreliert nicht mit der Erfahrung der Forscherinnen und Forscher oder der Anzahl ihrer Veröffentlichungen. Stattdessen sind Forscher, die aus einem anderen Bereich kommen oder sich auf explorative und opportunistische Weise in das Forschungsfeld einbringen, stärker betroffen. Eine weitere Beobachtung ist, dass der Anteil nicht reproduzierbarer Aussagen im Laufe der Zeit mit zunehmender Sichtbarkeit und Popularität des Fachgebiets tendenziell gestiegen ist.

Andere betroffene Bereiche

Diese Ergebnisse spiegeln auch andere Initiativen wider. Das von eLife ins Leben gerufene Reproducibility Project: Cancer Biology zeigte, dass die Unwiederholbarkeit von Artikeln über Krebs, die in den renommiertesten Zeitschriften veröffentlicht wurden, bei etwa 50% lag.

Mit ReproSci liefert Bruno Lemaitre ein seltenes Bild: ein ganzes Feld der Biowissenschaften wird unter die Lupe genommen, mit quantifizierten Schlussfolgerungen und einer offenen Bereitstellung der Daten. Und das Projekt ist nicht nur für Drosophila interessant. Das Projekt veranschaulicht, wie menschliche Dynamiken - das Streben nach Sichtbarkeit, die Suche nach Finanzierung, das "Mitlaufen" in wissenschaftlichen Moden - die Solidität von Ergebnissen beeinflussen können. Indem es vorhandene Beweise zentralisiert, blinde Flecken beleuchtet und die Gemeinschaft zur Teilnahme einlädt, trägt es zu einer breiteren Reflexion darüber bei, was die Wissenschaft zuverlässig macht. Ein Ansatz, der über technische Debatten hinaus daran erinnert, dass Reproduzierbarkeit nicht nur eine Sache von Protokollen, sondern auch von Kultur und kollektiven Praktiken ist.

Der aus Lille stammende Forscher, der seit 18 Jahren an der EPFL arbeitet, hat uns in seinem Büro zu einem Gespräch empfangen. Er ist ein begeisterter Anhänger der Philosophie und der Psychologie und Autor mehrerer Bücher, die die Grenzen der Forschungsbereiche überschreiten. Achtung, "Meta"-Denker!

Was genau ist Reproduzierbarkeit?

Intuitiv ist der Begriff der Reproduzierbarkeit recht einfach. Man geht davon aus, dass das, was in einem Artikel veröffentlicht wird, gut beschrieben ist und dass man bei einer Wiederholung des Experiments oder einer erneuten Prüfung der Behauptung dieselben Ergebnisse erhalten wird. In der Realität ist das alles viel komplizierter. Jedes Experiment ist in einen Kontext eingebettet.

In Bezug auf die Reproduzierbarkeit lassen sich mindestens zwei Ebenen unterscheiden. Die erste Ebene ist die der strikten Wiederholung: Man wiederholt das gleiche Experiment unter den gleichen Bedingungen und schaut, ob man die gleichen Ergebnisse erhält. Die zweite Ebene ist eher die konzeptionelle Reproduzierbarkeit: Man prüft, ob die Aussage, die zentrale Idee, Bestand hat. Beide Ebenen sind wichtig. Man könnte ein falsches Experiment haben, das ein richtiges Ergebnis liefert, oder ein richtiges Experiment, das falsch interpretiert wird. Unser Projekt konzentrierte sich vor allem auf die konzeptionelle Reproduzierbarkeit: Wenn die Idee anderen Ansätzen standhält, wird sie als robust betrachtet, selbst wenn die erste Demonstration fragwürdig ist.

Wie gross ist die Krise um die Reproduzierbarkeit?

Probleme mit der Reproduzierbarkeit gab es schon immer. Es gibt jedoch den Eindruck, dass sich die Situation insbesondere in sehr wettbewerbsintensiven Bereichen verschlechtert hat. In immer mehr Artikeln werden Konzepte vorgestellt, die nicht wirklich haltbar oder stark übertrieben sind. In einigen Feldern, wie der Psychologie oder der Krebsbiologie, wurde dies schon seit langem bestätigt.

Welche Auswirkungen hat dies?

Die Auswirkungen sind vielfältig. Auf Seiten der Forscher kann es zu erheblichen Zeit- und Geldverlusten kommen oder auch zu einem Gefühl der Ungerechtigkeit bei denjenigen, die streng bleiben, während andere ihre Karrieren auf fragilen Ergebnissen aufbauen. Es kann aber auch zu politischen Konsequenzen für die Öffentliche Gesundheit kommen. Um ein bekanntes Beispiel zu nennen: Aufgrund fehlerhafter Studien wurden lange Zeit die Lipide für die Probleme im Zusammenhang mit Fettleibigkeit verantwortlich gemacht, obwohl das Problem vor allem durch den übermässigen Verzehr von Zucker verursacht wurde.

Doch Vorsicht vor dem umgekehrten Fall: Wenn nur absolut sichere Ergebnisse veröffentlicht würden, würde dies die Kreativität hemmen. Die Wissenschaft wird auch durch das Eingehen von Risiken vorangetrieben. Die Herausforderung besteht darin, ein Gleichgewicht zu finden, um Auswüchse zu vermeiden, ohne die Forschung auszutrocknen.

Wie entstand die Idee zu ReproSci?

Ich habe eine enzyklopädische, fast naturalistische Seite. Ich liebe Details und habe ein gewisses Gedächtnis für mein Fachgebiet, die Immunität von Drosophila. Ich hatte eine Liste mit problematischen Artikeln, die im Laufe der Zeit veröffentlicht wurden, im Kopf behalten. Dank einer Finanzierung durch den SNF konnte ich eine Forscherin, Hannah Westlake, einstellen, die eine wahre Arbeit wie ein Benediktinermönch leistete. Wir analysierten 400 Artikel, die zwischen 1959 und 2011 veröffentlicht wurden. Wir extrahierten 1006 Behauptungen und beobachteten, was 14 Jahre später aus ihnen geworden war. Diese Arbeit dauerte mehr als sechs Jahre und umfasste mehrere Labore.

Was waren Ihre Ziele?

Zunächst wollten wir den Forschungsbereich klären, indem wir Ergebnisse hervorheben, die nicht mehr haltbar sind, um jungen Forschern zu helfen, keine Zeit zu verlieren. Wir wollten auch die Gründe für die Unwiederbringlichkeit analysieren, d. h. ob sie mit bestimmten Forschungsstilen, Institutionen oder Methoden zusammenhängen. Ausserdem ging es darum, eine Öffentliche Datenbank zu erstellen, die für die Gemeinschaft zugänglich ist. Schliesslich gab es die Idee, Interviews zu führen, um zu verstehen, wie die betreffenden Forscher unser Projekt der Reproduzierbarkeit wahrnehmen. Diese Interviews werden Gegenstand eines dritten Artikels sein.

Welche Arten von Unreproduzierbarkeiten haben Sie gefunden?

Es gibt verschiedene Arten von Irrelevanz: Experimente, deren Ergebnisse nicht reproduzierbar sind; zu vage beschriebene Methoden, die nicht reproduzierbar sind; zu unklare Schlussfolgerungen; und oft eine Tendenz zur Übertreibung. Die meisten Artikel sind nicht völlig falsch, aber die Schlussfolgerungen werden als allgemeiner und spektakulärer dargestellt, als sie es tatsächlich sind.

Was kann man zu dieser Tendenz zur Übertreibung sagen?

Es ist ein bisschen wie bei der Kapitalbeschaffung für Start-ups: Man verspricht eine Revolution und wirbt erfolgreich um Geld. Zehn Jahre später stellt man fest, dass die Versprechen nicht eingehalten wurden, die Ergebnisse sind viel bescheidener, aber das Geld wurde kassiert! Diese Logik wird durch Ausschreibungen und wissenschaftliche Zeitschriften gefördert, die nach schlagkräftigen Geschichten, den sogenannten breakthroughs, suchen, und durch die Universitäten selbst, die immer mehr Wert auf die Kommunikation über scoops legen. Diese Sprache der Übertreibung ist in der Wissenschaft üblich geworden und nicht mehr nur in der Politik, wo man damit gewählt werden kann. Wissenschaftler haben in der Regel die Fähigkeit, diese Übertreibung zu erfassen. Wie im Fall von Didier Raoult, der während der Covid-19-Pandemie den Einsatz von Chloroquin befürwortete, wussten viele Forscherinnen und Forscher, dass es sich bei ihm um eine problematische Persönlichkeit handelte, aber das Mediensystem hat seine Behauptungen verstärkt.

Sie sagen, dass Sie in grossen Zeitschriften wie Nature, Science oder Cell mehr brüchige Ergebnisse gefunden haben. Warum?

Man könnte sagen, dass diese Zeitschriften häufig versuchen, spektakuläre Artikel zu veröffentlichen. Je aussergewöhnlicher eine Behauptung ist, desto wahrscheinlicher ist es, dass sie nicht reproduzierbar ist. Ausserdem stellen diese Zeitschriften gerne einfache Prinzipien dar. Nuancen kommen weniger gut an. Die Autoren werden dazu angehalten, alles, was ihren Thesen oder Ergebnissen widerspricht, zu polieren und auszuradieren. Die Veröffentlichung in einer dieser Zeitschriften bietet eine enorme Sichtbarkeit. James Watson (US-amerikanischer Genetiker, der wichtige Durchbrüche in der DNA-Forschung erzielte und 1962 den Nobelpreis für Medizin erhielt) sagte bereits: "Ein Forscher ist jemand, der in Natureveröffentlicht". Das ist zynisch, aber es zeigt, dass eine wissenschaftliche Karriere oft von diesen Zeitschriften abhängt.

Sie haben ein Buch über Narzissmus* geschrieben. Wie passt das alles zusammen?

Es gibt heute eine Diskussion darüber, ob unsere Gesellschaften mit einem Anstieg des Narzissmus konfrontiert sind, der auch die Wissenschaft betreffen könnte. Es handelt sich um einen komplexen Begriff, der jedoch das Streben nach Sichtbarkeit erklären könnte. Eine der Verzerrungen des Narzissmus ist die Übertreibung und die kurzfristige Verführung. Narzissmus kann einen schnellen Nutzen bringen, der jedoch mit Kosten für die Allgemeinheit verbunden ist. Eine Veröffentlichung in einer grossen Zeitschrift ist ein enormer persönlicher Gewinn. Aber wenn der Artikel zusammenbricht, zahlt eine ganze Gemeinschaft den Preis dafür. Ich habe auch beobachtet, dass viele bewunderte wissenschaftliche Figuren grosse Egos hatten, wie man so schön sagt. Es gibt positive Aspekte des Egos, wie die Förderung der Kreativität, die Stärkung der Leidenschaft oder die Fähigkeit zur Vernetzung, aber manchmal auch negativere Auswirkungen, wie das Antreiben zur Übertreibung. Der Mythos des Forschers, der sich wie ein Mönch dem Wissen widmet, ist irreführend: Die Wissenschaft besteht aus Menschen, die miteinander konkurrieren und nach Anerkennung streben, wie jede andere menschliche Gemeinschaft auch.

Wie waren die Reaktionen auf die Veröffentlichung der beiden Artikel?

Einige begrüssten die Bemühungen um Klarheit. Andere warfen mir vor, ich spiele den "weissen Ritter" und verteile gute und schlechte Punkte an meine Kollegen. Es ist nicht so klar, dass die Wissenschaftler selbst unter dem Mikroskop liegen wollen. Die Interviews, die Gegenstand eines kommenden Artikels sein werden, haben gezeigt, dass viele nicht wirklich wissen, was unter den Veröffentlichungen Bestand hat und was nicht. Ich würde sagen, dass etwa die Hälfte der Forscher, die etwas Falsches veröffentlicht hatten und mit denen ich gesprochen habe, dies zugegeben haben. Was nicht reproduzierbar ist, verschwindet zehn oder fünfzehn Jahre später einfach vom Radar.

Würden Sie sagen, dass Transparenzinitiativen wie die TOP-Leitlinien die Wissenschaft in die richtige Richtung bringen?

Diese Regeln, die zum Beispiel eine genaue Beschreibung des Versuchsprotokolls beinhalten, sind positiv. Sie verhindern, dass Experimente wegen fehlender Details nicht wiederholt werden können. Leider besteht jedoch die Gefahr, dass sie zu viel Bürokratie verursachen. Heutzutage sind Artikel generell immer komplexer, extrem lang und enthalten Dutzende von Seiten an Ergänzungen. Zu viele Verfahren könnten die Wissenschaft unpraktisch machen. Man muss das Gleichgewicht finden: genug Details, um eine Replikation zu ermöglichen, ohne die Forschung in Papierkram zu ersticken. Transparenz ist wichtig, aber Vertrauen ist der Schlüssel zur Wissenschaft. Dieses Vertrauen ist vorhanden, wenn die meisten Mitglieder einer wissenschaftlichen Gemeinschaft die ungeschriebenen Regeln der Forschung befolgen, aber es kann durch Nichtreproduzierbarkeit und Übertreibung auf die Probe gestellt werden.

* "Les dimensions de l’ego: Séduction, dominance, manipulation: la société à l’épreuve des narcissiques", Bruno Lemaitre, EPFL Press 2020

Referenzen

Der erste Artikel, Reproducibility of scientific claims in drosophila immunity: A retrospective analysis of 400 publications , konzentriert sich auf das Gebiet des Teams selbst. Der zweite Artikel, A retrospective analysis of 400 publications reveals patterns of irreproducibility across an entire life sciences research field , enthält eine allgemeinere, metawissenschaftliche Lesart, d. h. die Untersuchung des wissenschaftlichen Prozesses.

Giant study finds a research field that’s mostly reproducible , Nature, 16. Juli 2025.