Unzuverlässige Studien

Laut Tim Errington vom Center for Open Science (COS), war das Ziel des Projektes, „transparent zu beurteilen, inwieweit Herausforderungen für die Wiederholung von Studien im Bereich der Krebsbiologie bestehen“. Auf Herausforderungen stießen die involvierten Wissenschaftler*innen zur Genüge. Das Vorhaben wurde 2013 als eine Kollaboration des gemeinnützigen COS und der Firma Science Exchange begonnen. Das COS hat sich zur Aufgabe gemacht, Wissenschaftskultur und damit die Qualität von Forschung zu verbessern.1 Anstoß für seine Gründung durch den Psychologen Brian Nosek war eine wissenschaftsinterne Debatte über die „Reproduzierbarkeitskrise“, die insbesondere 2012 in der lebenswissenschaftlichen Forschungscommunity hochkochte: Fachartikel und Berichte aus der Pharmaindustrie wiesen auf das besorgniserregende Phänomen hin, dass einige, möglicherweise sogar ein hoher Anteil von Ergebnisse aus der Grundlagenforschung, nicht reproduzierbar seien.2 Das heißt, unabhängige Forschungsteams scheiterten bei der Wiederholung von publizierten Experimenten. Die unabhängige Wiederholbarkeit von Forschung ist jedoch grundlegend für naturwissenschaftliches Arbeiten und evidenzbasierte Anwendung ihrer Erkenntnisse, z.B. in der Medizin.

Um das Ausmaß des Problems zu quantifizieren, bildeten sich Initiativen um die Reproduzierbarkeit von einflussreichen Studien in verschiedenen Fachbereichen zu messen. Das von Brian Nosek geleitete Projekt für den Bereich Psychologie wurde 2015 abgeschlossen: nur bei knapp 40 Prozent der Studien konnten die veröffentlichten Ergebnisse reproduziert werden. Für den Bereich der Krebsforschung gestaltete sich das Projekt als aufwendiger. Die Verantwortlichen suchten 193 viel-zitierte Experimente aus, die zwischen 2010 und 2012 in renommierten Fachzeitschriften wie Nature, Science und Cell veröffentlicht worden waren. Um Details zu Versuchsreagenzien und Protokollen zu erfahren, mussten sie Kontakt zu den Studienautor*innen aufnehmen, da diese in keinem einzigen Fall ausreichend nachvollziehbar beschrieben wurden. In einem von zwei nun erschienenen Artikeln problematisieren die Verantwortlichen die Schwierigkeit ihres Unterfangens.3 So hätten ihnen mehr als ein Drittel der betroffenen Wissenschaftler*innen gar nicht oder unhilfreich geantwortet. Beispielsweise weigerte sich ein Autor*innen-Team ein Mausmodell, dass für die Experimente notwendig war, herauszurücken.

Auf Grund verschiedener Probleme musste das Projekt insgesamt auf nur rund ein Viertel der geplanten Versuche heruntergestrichen werden. In einem zweiten Artikel stellen Errington und Kolleg*innen eine ernüchternde Zusammenfassung dieser 50 Reproduzierbarkeitsversuche vor.4 In den meisten Versuchen wurden mehrere verschiedene Effekte gleichzeitig erfasst, z.B. der Einfluss einer Behandlung auf die Tumorgröße von Labormäusen und deren Überlebensrate. Durchschnittlich war die Größe dieser insgesamt 158 gemessenen Effekte zu 85 Prozent kleiner als bei den ursprünglichen Studien. Die Wiederholbarkeit, auch von in hoch-qualitativen Fachzeitschriften publizierten Ergebnissen aus der präklinischen Krebsforschung, scheint demnach sehr gering zu sein. Laut Jonathan Kimmel, Bioethiker von der kanadischen McGill-Universität, sei es bedenklich, „wenn Ergebnisse, die sich nicht im Labor reproduzieren lassen, als Anstoß für klinische Studien oder Arzneimittelentwicklung dienen“.5 Patient*innen könnten unnötig gefährlichen Medikamenten ausgesetzt werden, bei denen nicht mal die Chance bestehe, dass sie gegen Krebs helfen, so Kimmel. Brian Nosek vom COS ordnet die Ergebnisse des Projektes positiver ein: Wissenschaft mache erhebliche Fortschritte in der Bewältigung globaler Herausforderungen in Bezug auf Gesundheitsversorgung. Das Ergebnis des Projektes zeige, dass „wir es noch besser machen könnten“.

• 1Bartram, I. (2018): Es gibt Gründe optimistisch zu sein. Interview mit Brian Nosek. In: GID 244, S.11-13. Online: www.gen-ethisches-netzwerk.de/node/3741.
• 2Bartram, I. (2016): Open Science gegen das System. In: GID 236, S.31-33. Online: www.gen-ethisches-netzwerk.de/node/3317.
• 3Erringtion, T.M./Denis, A./Perfito, N. et al. (2021): Reproducibility in Cancer Biology: Challenges for assessing replicability in preclinical cancer biology. In: eLife, www.doi.org/10.7554/eLife.67995.
• 4Errington, T.M./Mathur, M./Soderberg, C.K. et al. (2021): Investigating the replicability of preclinical cancer biology. In eLife, www.doi.org/10.7554/eLife.71601.
• 5Haelle, T. (07.12.21): A massive 8-year effort finds that much cancer research can’t be replicated. In: ScienceNews. Online: www.kurzelinks.de/gid260-ia.