Wo die Wissenschaft vom Weg abkommt
Viel zu viele Ergebnisse, die den akademischen Äther füllen, sind entweder das Ergebnis nachlässig durchgeführter Experimente oder schlechter Analysen ( siehe hier). Eine Faustregel unter Investoren im Bereich Biotechnologie lautet, dass die Hälfte der veröffentlichten Forschungsergebnisse nicht wiederholt werden kann. Und selbst das könnte eine optimistische Schätzung sein. Im vorigen Jahr haben Forscher eines Biotech-Unternehmens, nämlich Amgen, herausgefunden, dass sie lediglich sechs der 53 „grundlegenden“ Studien zur Krebsforschung reproduzieren konnten. Zuvor ist es einer Gruppe beim Arzneimittelhersteller Bayer gelungen, gerade mal ein Viertel von 67 ähnlich wichtigen Studien zu wiederholen. Ein führender Computer-Wissenschaftler ärgert sich darüber, dass drei Viertel aller Studien in seinem Umfeld Quatsch sind. Von den Jahren 2000 bis 2010 haben rund 80.000 Patienten an klinischen Tests teilgenommen, und zwar für Forschungen, die später aufgrund von Fehlern oder Ungenauigkeiten zurückgezogen wurden.
Was für eine Menge Müll!
Selbst wenn die gescheiterte Forschung nicht das Leben der Teilnehmenden auf das Spiel setzt – und vieles davon so weit vom Markt entfernt, dass das nicht möglich ist – es werden Geld und die Bemühungen von einigen der besten Geister der Welt verschwendet. Die Gelegenheitskosten des verhinderten Fortschritts sind schwer zu quantifizieren, aber vermutlich sind sie erheblich. Und sie könnten noch steigen.
Ein Grund ist die Wettbewerbsfähigkeit der Wissenschaft. In den fünfziger Jahren, als akademische Forschung nach ihrem Erfolg im 2. Weltkrieg Formen annahm, war sie immer noch lockerer Zeitvertreib. Der gesamte Club der Wissenschaftler umfasste einige wenige Hunderttausend. Mit dem Anwachsen ihrer Zahl auf etwa 6 bis 7 Millionen aktive Forscher haben die Wissenschaftler ihr Faible für Selbst- und Qualitätskontrolle verloren. Der Leitsatz „veröffentliche oder verschwinde“ [„publish or perish“] regiert inzwischen über das akademische Leben. Wettbewerb auf Arbeitsplätze ist ruinös. Vollzeit-Professoren in Amerika haben im Mittel 135.000 Dollar im Jahr 2012 verdient – mehr als Richter. Jedes Jahr bewerben sich sechs frisch gebackene PhDs auf einen akademischen Posten. Heutzutage bedeutet die Verifikation (die Wiederholung von Ergebnissen anderer Forscher) nur noch wenig, um die Karriere eines Forschers voranzubringen. Und ohne Verifikation bleiben zweifelhafte Ergebnisse bestehen, um in die Irre zu führen.
Karrieresucht ermutigt auch zu Übertreibungen und zum Rosinen aus Ergebnissen herauspicken. Um ihre Exklusivität zu retten, haben führende Journale hohe Raten der Ablehnung eingeführt: über 90% der eingereichten Manuskripte wurden zurückgewiesen. Die auffälligsten [most striking] Ergebnisse haben die größte Chance, akzeptiert zu werden. Da ist es kein Wunder, dass einer von drei Forschern einen Kollegen kennen, der eine Studie aufgemotzt hat, indem er, sagen wir, unpassende Daten „aufgrund eines Bauchgefühls“ aus den Ergebnissen herausgehalten hat. Und wenn immer mehr Forschungsteams auf der ganzen Welt an einem Problem arbeiten, wird die Wahrscheinlichkeit immer geringer, dass zumindest einer der ehrlichen Verwirrung zum Opfer fallen wird zwischen dem süßen Signal einer bahnbrechenden Entdeckung und der Laune des statistischen Rauschens. Solche störenden Korrelationen erscheinen oft in Journalen, die nach Aufsehen erregenden Studien trachten. Wenn sie beim Wein trinken erwischt oder senil werden oder Kindern Videospiele gestatten, könnten sie genauso gut auf den Titelseiten von Zeitungen landen.
Im umgekehrten Fall, nämlich wenn es nicht gelingt, eine Hypothese zu beweisen, wird man entsprechende Arbeiten nicht zur Veröffentlichung anbieten, geschweige denn dass sie akzeptiert werden würden. „Negative Ergebnisse“ machen nur etwa 14% der veröffentlichten Studien aus. Im Jahr 1990 waren es noch 30%. Dabei ist das Wissen, was falsch ist, genauso wichtig für die Wissenschaft wie das Wissen um das, was richtig ist. Der Fehlschlag, Fehlschläge zu veröffentlichen bedeutet, dass die Forscher Geld und Mühe verschwenden, um finstere Wege zu beschreiten, die bereits von anderen Wissenschaftlern untersucht worden waren.
Der geheiligte Prozess der wissenschaftlichen Begutachtung ist bei Weitem auch nicht das, was er sein sollte. Wenn ein bekanntes medizinisches Journal eigene Nachforschungen angestellt hatte hinsichtlich einer vorangegangenen Studie anderer Experten auf diesem Gebiet, stellte sich heraus, dass die meisten Begutachter nicht die Fehler entdeckt hatten, die absichtlich in die Studien eingebracht worden waren, selbst dann nicht, als man den Begutachtern gesagt hat, dass sie auf die Probe gestellt werden würden.
Wenn etwas zerbrochen ist, repariere man es.
All das bildet eine sehr schüttere Grundlage für eine Unternehmung, die die Wahrheit über die Welt herausfinden soll. Was könnte man tun, um diese Grundlage zu festigen? Eine Priorität dabei sollte es für alle Disziplinen sein, dem Beispiel jener zu folgen, die das meiste dazu getan haben, die Standards zu festigen. Ein Anfang wäre es, besser mit Statistiken umgehen zu können, vor allem bei der zunehmenden Zahl von Bereichen, in denen immer größere Datenmengen auf der Suche nach bestimmten Mustern durchforstet werden. Genetiker haben das getan und einen früheren Fluss spezieller Ergebnisse bei der Sequentierung von Genomen in einen Strom wichtiger Ergebnisse umgewandelt.
Idealerweise sollten Forschungsprotokolle im Voraus registriert und in virtuellen Notebooks festgehalten werden. Dies würde die Versuchung mindern, in den Folgen des Experiments herumzufummeln, um die Ergebnisse bedeutender aussehen zu lassen als sie sind. (Es gibt Hinweise, dass Solches bereits bei klinischen Tests mit Medikamenten der Fall war).Wo immer möglich, sollten Datensätze auch anderen Forschern zur Überprüfung offen stehen.
Die fortschrittlichsten Journale werden schon jetzt weniger zögerlich, eintönige Studien zuzulassen. Einige von der Regierung bezahlte Agenturen einschließlich des amerikanischen National Institutes of Health, das jedes Jahr 30 Milliarden Dollar für Forschungen ausgibt, arbeiten daran, wie man Experimente zur Wiederholung der Ergebnisse ermutigen kann. Und eine wachsende Zahl Wissenschaftler, vor allem jüngere, verstehen etwas von Statistik. Aber diese Trends müssen sich noch viel mehr verstärken. Journale sollten „uninteressanten“ Arbeiten Platz einräumen, und Finanziers sollten Geld beiseite legen, dies zu bezahlen. Die Begutachtung sollte verbessert werden – oder gleich eingebracht werden in Gestalt einer Evaluierung nach der Veröffentlichung durch anhängende Kommentare. Dieses System hat während der vergangenen Jahre in Physik und Mathematik gut funktioniert. Und schließlich sollten Politiker sicherstellen, dass von öffentlichen Geldern finanzierte Institutionen ebenfalls diesen Regeln folgen.
Wissenschaft verlangt enorme – wenn auch manchmal verwirrte – Anerkennung. Aber ihr privilegierter Status fußt auf der Kapazität, meistens richtig zu liegen und Fehler zu korrigieren, wenn etwas falsch läuft. Und es ist nicht so, als ob dem Universum echte Mysterien ausgehen würden, die noch harte Arbeit für Generationen von Wissenschaftlern bereit halten. Die falschen Spuren, die durch schlampige Forschungen gelegt werden, sind eine unverzeihliche Barriere für das Verstehen.
Übersetzt von Chris Frey EIKE