Begutachtung des Begutachtungs-Verfahrens

Willis Eschenbach

[Alle Hervorhebungen im Original. A. d. Übers.]

Uns wird ständig erzählt, dass die Wissenschaft eine sich selbst korrigierende Maschine ist. Ein makelloser Motor der Wahrheit, in dem schlechte Ideen verworfen werden und gute wie Sahne an die Oberfläche steigen. Uns wird gesagt, wir sollen „Trust The Science™“, weil sie die magische, mystische Prüfung namens Peer Review bestanden hat.

Schlechte Nachrichten. Die Maschine ist kaputt, die Sahne ist geronnene Milch, und die Torwächter schlafen am Schalter – oder schlimmer noch, sie verkaufen Freikarten an die Vandalen.

Eine neue Studie der Northwestern University mit dem Titel „Organized scientific fraud is growing at an alarming rate [etwa: Organisierte wissenschaftliche Betrügereien nehmen in alarmierendem Maße zu], wie eine Studie aufdeckt“ hat gerade den Vorhang gelüftet, hinter dem sich verbirgt, was viele seit Jahren behaupten. Es stellt sich heraus, dass „organisierte wissenschaftliche Betrügereien“ nicht nur ein paar betrügerische Doktoranden sind, die Daten manipulieren. Nein. Es handelt sich um eine globale Operation im industriellen Maßstab.

Der Studie zufolge haben wir es heute mit „ausgeklügelten globalen Netzwerken“ zu tun, die im Wesentlichen wie kriminelle Organisationen funktionieren. Sie fälschen nicht nur Ergebnisse, sondern erfinden ganze wissenschaftliche Karrieren. Sie verkaufen Autorenplätze in gefälschten Artikeln, als würden sie Eigentumswohnungen in Florida verkaufen.

Sie möchten „Erstautor“ einer bahnbrechenden Physikarbeit sein? Das kostet 5.000 Dollar. Sie möchten Mitautor sein? Wir haben einen Rabatt in Gang drei.

Die Studie stellt fest, dass dieser Betrug „die Wachstumsrate legitimer wissenschaftlicher Publikationen übertrifft“. Denken Sie darüber nach. Der Krebs wächst schneller als der Wirt.

Hilfe!

Und das Peer-Review-System, dieser viel gepriesene Schutzschild, der uns vor Fehlern bewahren soll? Es wirkt weniger wie ein Schutzschild als vielmehr wie ein Sieb.

Aber Moment mal. Bevor wir all dies auf dubiose „kriminelle Netzwerke” und namenlose Papierfabriken in Übersee schieben, sollten wir uns einmal etwas genauer umsehen. Denn die Fäulnis kommt nicht nur von außerhalb des Hauses. Sie kommt aus dem Keller.

Ich habe dies alles schon einmal gesehen. Ich habe es selbst erlebt.

Vor Jahren schrieb ich über meine Erfahrungen mit Peer-Reviews mit Dr. Michael Mann, dem Autor des berüchtigten „Hockeysticks“. Ich nannte ihn einen „Smooth Operator“ und meinte es auch so. In der Klimawissenschaft hat sich „Peer Review“ allzu oft zu „Pal Review“ [Pal = Kumpel, Komplice] gewandelt. Es ist ein gemütlicher Club, in dem Freunde die Arbeiten ihrer Freunde absegnen und, was noch wichtiger ist, die Veröffentlichung von Studien von Leuten wie mir blockieren, die es wagen, den „Konsens“ in Frage zu stellen.

Und wie ich in „Freedom of Information, My Okole“ ausführlich beschrieben hatte, habe ich jahrelang um die Daten und den Code hinter diesen steuerfinanzierten Studien gebeten. Und was habe ich bekommen? Ausflüchte. Ablehnungen. Wie Phil Jones zu Warwick Hughes sagte: „Warum sollte ich Ihnen meine Daten zeigen, wenn Sie nur etwas daran auszusetzen haben wollen?“

Das ist keine Wissenschaft. Das ist eine Priesterschaft, die ihr Dogma schützt.

Das derzeitige Peer-Review-System ist eine Black Box. Ein Herausgeber schickt einen Artikel an zwei oder drei anonyme Gutachter. Wenn diese Gutachter Freunde des Autors sind, wird der Artikel angenommen. Wenn der Autor ein Außenseiter oder Skeptiker ist, können die Gutachter den Artikel heimlich und ohne Rechenschaftspflicht ablehnen, aus Gründen, die nichts mit Wissenschaft zu tun haben, sondern nur mit dem Schutz ihrer Interessen.

Diese Graphik in deutscher Übersetzung:

Natürlich wird nur ein äußerst seltener, vollkommen ehrlicher Gutachter die Veröffentlichung einer Studie zulassen, welche die Grundlagen der Arbeit zerstört, die er sein Leben lang aufgebaut und erläutert hat. Upton Sinclair erklärte treffend: „Es ist schwierig, einem Menschen etwas verständlich zu machen, wenn sein Gehalt davon abhängt, dass er es nicht versteht.“ Ich nenne das die „Sinclair-Falle“, und es ist viel zu leicht, darin zu tappen.

Leider ist die Sinclair-Falle für Wissenschaftler noch schlimmer, weil es nicht nur um Geld geht. Ich habe bereits gesagt, dass „Wissenschaft ein blutiger Sport ist“. Damit meinte ich, dass jede neue wissenschaftliche Entdeckung oder Erkenntnis sehr kostspielig sein kann, nicht nur in Bezug auf das Gehalt, sondern auch in Bezug auf den geschätzten beruflichen Ruf der Vertreter der bisherigen Ansicht.

Es muss nicht teuer sein, wenn der Wissenschaftler, dessen frühere Arbeit diskreditiert wird, ehrlich und offen damit umgeht und bereit ist, voranzukommen und das neue Verständnis anzunehmen und weiterzuentwickeln.

Aber das gilt nicht für alle Wissenschaftler.

Und nun sehen wir das Ergebnis. Ein System, das so undurchsichtig und unkontrollierbar ist, dass es einerseits von kriminellen Syndikaten und andererseits von ideologischen Torwächtern ausgenutzt werden kann.

Was sollen wir also tun? Sollen wir einfach die Hände hochwerfen und sagen: „Wissenschaft ist schwierig“?

Nein. Auf keinen Fall.

Wir brauchen eine grundlegende Überarbeitung. Eine vollständige Abschaffung der Geheimhaltung, die es diesem Problem ermöglicht, im Verborgenen zu gedeihen.

Ich habe bereits zuvor eine Lösung vorgeschlagen, und ich werde sie erneut vorschlagen. Ich nenne sie „Peer Review Plus”.

So funktioniert sie: Sie ist einfach, kostengünstig und würde 90 % dieser Probleme über Nacht lösen.

Zunächst einmal behalten Sie das traditionelle Peer-Review-Verfahren bei. Aber hier kommt der Clou: Sie veröffentlichen alles.

Wenn ein Artikel veröffentlicht wird, dann nicht nur der Artikel selbst. Man veröffentlicht die gesamte Korrespondenz zwischen den Autoren und den Gutachtern. Man veröffentlicht die Namen der Gutachter und Herausgeber. Man veröffentlicht ihre Einwände und die Gegenargumente der Autoren.

Lassen Sie die Welt sehen, wie die Wurst gemacht wurde. Wenn ein Gutachter einen Artikel genehmigt hat, weil er mit dem Autor befreundet ist, wird das offensichtlich sein. Wenn ein Gutachter einen Artikel abgelehnt hat, weil ihm die Schlussfolgerung nicht gefallen hat, wird das ebenfalls offensichtlich sein.

Aber ich möchte noch weiter gehen.

Wir sollten auch alle wertvollen abgelehnten Artikel veröffentlichen.

Wissenschaft funktioniert durch Falsifizierung. Wenn ein Artikel abgelehnt wird, liegt das in der Regel daran, dass ein Gutachter einen Fehler gefunden hat. Diese Falsifizierung, ob gültig oder nicht, ist ein wertvoller wissenschaftlicher Beitrag. Aber derzeit landet sie im Mülleimer der Geschichte.

Wenn ein Gutachter meinen Artikel ablehnt, möchte ich, dass diese Ablehnung – und meine Antwort darauf – öffentlich zugänglich ist. Die Community soll entscheiden, ob die Ablehnung gültig war oder nur eine Form der Zensur.

Wir brauchen auch ein „Open Review”-System, bei dem die Veröffentlichung der Daten und des Codes obligatorisch ist. Mein Freund Mosh pflegte immer zu sagen: „Kein Code, keine Daten, keine Wissenschaft”. Das sollte zu „nicht veröffentlichen!” führen. Punkt.

Und dann, sobald es veröffentlicht ist, öffnen Sie die Diskussion. Erlauben Sie moderierte, nicht anonyme Kommentare im Internet von der größeren wissenschaftlichen Gemeinschaft und der Öffentlichkeit. Die Wahrheit ist, dass diese öffentliche Begutachtung durch die größere Welt die einzig wirklich wertvolle Begutachtung ist.

Die Studie der Northwestern University besagt, dass wir „uns selbst besser kontrollieren“ müssen. Damit haben sie halbwegs Recht. Wir brauchen nicht mehr Kontrolle. Wir brauchen mehr Licht und mehr Transparenz. Sonnenlicht ist das beste Desinfektionsmittel. Derzeit arbeitet die wissenschaftliche Gemeinschaft in einem fensterlosen Raum, und der Schimmel breitet sich aus.

Wir müssen aufhören, „Peer Reviewed“ als Siegel göttlicher Wahrheit zu betrachten, und anfangen, es als das zu behandeln, was es ist: ein fehlbarer, menschlicher und derzeit zutiefst korrumpierbarer Prozess.

Solange wir die Türen nicht aufstoßen und die Öffentlichkeit sehen lassen, wer wen bezahlt, wer wen begutachtet, welche Einwände gegen die Studie vorgebracht wurden und wo sich die Daten tatsächlich befinden, wird dieser Betrug weitergehen. Die Papierfabriken werden weiter produzieren, die Kumpels werden weiter begutachten, und das Vertrauen der Öffentlichkeit in die Wissenschaft wird seinen langen, langsamen Abstieg in den Abgrund fortsetzen.

Sowohl die Öffentlichkeit als auch die Wissenschaftler verdienen Besseres.

NACHTRAG: Nachdem ich Obiges geschrieben hatte, dachte ich, ich würde Perplexity nutzen, um mich über die Geschichte des Peer-Review-Verfahrens zu informieren. Wie immer gibt es für mich noch viel zu lernen. Das ist eine gute Frage für KI, da die Geschichte kein besonders umstrittenes Thema ist. Ich fragte:

Wie sieht die Historie des Peer-Review-Verfahrens in wissenschaftlichen Publikationen aus? Wer hat sich dafür eingesetzt? Wer hat Einwände dagegen erhoben?

Ich fügte meine üblichen Anweisungen hinzu, nicht zu raten, Primärquellen zu verwenden und ähnliches. Hier ist die Antwort:

===

Das Peer-Review-Verfahren in wissenschaftlichen Publikationen entwickelte sich schrittweise von informellen redaktionellen Konsultationen im 17. Jahrhundert zu einem standardisierten externen Begutachtungsverfahren nach dem Zweiten Weltkrieg, mit starker institutioneller Unterstützung durch große wissenschaftliche Gesellschaften und führende Fachzeitschriften sowie anhaltender Kritik von Wissenschaftlern und Fachleuten, die argumentierten, dass es konservativ, voreingenommen und oft unzuverlässig sei. Das moderne Peer-Review-Verfahren wurde nicht von einer einzelnen Person „erfunden“, und die erhaltenen historischen Dokumente lassen keine Zuordnung zu einer bestimmten Person zu. Vielmehr entstand es durch schrittweise Abläufe in Zeitschriften wie den Philosophical Transactions of the Royal Society und später durch formelle Richtlinien in Zeitschriften wie Nature. [1] [2] [3] [4] [5] [6] [7]

 Frühe redaktionelle Überprüfung (17.–18. Jahrhundert)

• Im Jahr 1665 begann Henry Oldenburg mit der Herausgabe der Philosophical Transactions of the Royal Society und holte Rat von sachkundigen Kollegen ein, um zu entscheiden, welche Beiträge gedruckt werden sollten. Historiker betrachten dies als Vorläufer des formellen Begutachtungsverfahrens, obwohl es sich dabei nicht um eine systematische externe Begutachtung im modernen Sinne handelte. [2] [8] [7]

• Im 18. Jahrhundert schuf die Royal Society einen Ausschuss für Veröffentlichungen, der Manuskripte annehmen, zurückstellen, ablehnen oder zur fachlichen Begutachtung an bestimmte Mitglieder weiterleiten konnte, wodurch interne wissenschaftliche Beurteilung in die Satzung der Zeitschrift eingebettet wurde, jedoch weiterhin ohne standardisierte, anonyme externe Begutachtung. [3] [8] [7]

 Institutionalisierung im 19. Jahrhundert

• Im 19. Jahrhundert verwendeten Philosophical Transactions und andere Fachzeitschriften zunehmend schriftliche Gutachten ausgewählter Gutachter, oft Mitglieder der Gesellschaft, um Entscheidungen bzgl. Veröffentlichungen zu treffen, wodurch der Prozess formeller und kollektiver wurde als Oldenburgs weitgehend persönliche redaktionelle Kontrolle. [7] [3]

• Wissenschaftshistoriker betonen, dass die Verfahren je nach Zeitschrift und Fachgebiet sehr unterschiedlich waren und dass selbst dort, wo Gutachten existierten, diese noch keine allgemeine oder einheitliche Anforderung für alle wissenschaftlichen Arbeiten waren. [4] [2]

 Die „moderne“ Begutachtung im 20. Jahrhundert

• Nach dem Zweiten Weltkrieg führten das rasante Wachstum der Anzahl von Manuskripten, die Ausweitung der Fachgebiete und das steigende Ansehen von Fachzeitschriften dazu, dass viele Zeitschriften routinemäßig externe Begutachtungen durch Fachleute einführten, was oft als die Geburtsstunde des „modernen“ Peer-Review-Verfahrens angesehen wird. [9] [1] [4]

• Ende der 1960er und Anfang der 1970er Jahre verfügten führende Zeitschriften wie Nature über formelle Peer-Review-Systeme, und der Begriff „Peer Review” selbst fand breite Verwendung, unterstützt durch Infrastrukturen zur Zitate-Verfolgung, die Veröffentlichungen in peer-reviewten Publikationen belohnten. [10] [4] [9]

 Wer hat sich für die Begutachtung durch Fachkollegen eingesetzt?

• Dokumentarische Belege zeigen, dass Funktionäre und Vorstände wissenschaftlicher Gesellschaften, insbesondere der Royal Society of London und ähnlicher Einrichtungen in Europa und Nordamerika, auf eine systematischere Begutachtung durch Experten drängten, um den wissenschaftlichen Ruf zu schützen, begrenzte Druckbudgets zu verwalten und die wachsende Zahl von Einreichungen zu filtern. [2] [3] [7]

• Herausgeber und Verleger bedeutender Fachzeitschriften in den Bereichen Medizin und Naturwissenschaften förderten Mitte des 20. Jahrhunderts die externe Begutachtung durch Fachkollegen als Instrument zur Qualitätskontrolle und als Gatekeeping- Verfahren. Später verstärkten Regierungs- und Förderbehörden dessen Einsatz, indem sie die Bewertung von Forschungsleistungen und die berufliche Laufbahn an die Veröffentlichung in Fachzeitschriften mit Peer-Review-Verfahren knüpften. [6] [1] [4]

 Wer war gegen Peer Review?

• Historische und zeitgenössische Analysen dokumentieren Einwände von prominenten Wissenschaftlern, darunter Albert Einstein, der sich deutlich dagegen wehrte, als eine seiner Arbeiten einer anonymen externen Begutachtung unterzogen wurde, sowie von späteren Kritikern, die argumentieren, dass Peer-Review innovative oder unkonventionelle Arbeiten unterdrücken kann. [5] [11]

• Methodologische Kritiken in der biomedizinischen und sozialwissenschaftlichen Literatur haben Probleme wie geringe Übereinstimmung zwischen den Gutachtern, Voreingenommenheit, konservative Präferenz für etablierte Paradigmen und begrenzte Fähigkeit zur Erkennung von Fehlern oder Betrug aufgezeigt, und einige Wissenschaftler haben umfassende Reformen oder sogar die Abschaffung der traditionellen Peer-Review vor der Veröffentlichung zugunsten alternativer Modelle gefordert. [12] [13] [1] [6]

Einschränkungen: Die erhaltenen Primärdokumente (Redaktionsprotokolle, Korrespondenz, Gutachten) sind unvollständig und je nach Zeitschrift unterschiedlich, sodass die Zuordnung der „ersten Verwendung” und die Listen der Personen, die sich dafür oder dagegen ausgesprochen haben, zwangsläufig unvollständig sind und keine Primärquelle eine vollständige, definitive Chronologie für alle Disziplinen liefert. [14] [7] [2]

 [1](https://pmc.ncbi.nlm.nih.gov/articles/PMC11215012/)

[2](https://ethos.lps.library.cmu.edu/article/id/19/)

[3](https://arts.st-andrews.ac.uk/philosophicaltransactions/brief-history-of-phil-trans/phil-trans-in-19th-century/)

[4](https://blog.f1000.com/2020/01/31/a-brief-history-of-peer-review/)

[5](https://theconversation.com/hate-the-peer-review-process-einstein-did-too-27405)

[6](https://pmc.ncbi.nlm.nih.gov/articles/PMC4975196/)

[7](https://pmc.ncbi.nlm.nih.gov/articles/PMC4360128/)

[8](https://arts.st-andrews.ac.uk/philosophicaltransactions/brief-history-of-phil-trans/phil-trans-in-18th-century/)

[9](https://mitcommlab.mit.edu/broad/commkit/peer-review-a-historical-perspective/)

[10](https://www.youtube.com/watch?v=RGuaua10oRE)

[11](https://www.experimental-history.com/p/the-rise-and-fall-of-peer-review)

[12](https://pubmed.ncbi.nlm.nih.gov/12127284/)

[13](https://mediatheoryjournal.org/2018/09/03/mieke-bal-lets-abolish-the-peer-review-system/)

[14](https://www.nature.com/articles/d41586-024-03287-4)

Link: https://wattsupwiththat.com/2025/11/29/peer-reviewing-peer-review/

Übersetzt von Christian Freuer für das EIKE