Ist Begutachtung [peer review] schlecht für Wissenschaft?

Schauen wir uns zunächst einmal an, was Peer Review zu tun versucht. Es liegt auf der Hand, die Veröffentlichung von gefälschter Wissenschaft zu blockieren. Dies scheint jedoch in den meisten Wissenschaften ein seltenes Ereignis zu sein. Es werden jedes Jahr mehrere Millionen Zeitschriftenartikel veröffentlicht, die alle begutachtet wurden, in der Regel von zwei oder drei Gutachtern. Offensichtlich waren diese vielen Millionen Begutachtungen kein Hindernis hinsichtlich der Veröffentlichung dieser unzähligen Artikel.

Paradoxerweise wurden jedoch die meisten dieser Artikel tatsächlich auf der Grundlage von Peer-Review-Verfahren abgelehnt; viele wurden mehrmals abgelehnt. Spitzenzeitschriften rühmen sich oft mit hohen Ablehnungsquoten, etwa 80% oder so. Wenn dies die allgemeine Praxis ist, muss ein durchschnittlicher Artikel bei etwa fünf Zeitschriften eingereicht werden, bevor er akzeptiert und veröffentlicht wird. Wenn jede Einreichung einem Peer-Review-Verfahren unterzogen wird, dann sind das eine Menge Überprüfungen pro Artikel, vielleicht zehn bis fünfzehn im Durchschnitt.

Angesichts der Tatsache, dass all diese mehrfach abgelehnten Artikel schließlich veröffentlicht werden, muss etwas anderes als einfache Bewertung betrieben werden. Dieses Etwas scheint ein äußerst mühsamer Sortierprozess zu sein, bei dem jeder Artikel schließlich die „richtige“ Zeitschrift findet. Es ist schwer vorstellbar, dass durch diese vielen Millionen von Begutachtungen eine Aufwertung der Beiträge stattfindet. In welcher Zeitschrift ein Artikel schließlich erscheint, scheint angesichts moderner Suchtechnologien nicht mehr sehr wichtig zu sein.

Ein negativer Aspekt der Peer Review ist bekannt. Hier verhindert die Bewertung, dass großartige neue Ideen veröffentlicht werden. Max Planck, der die Quantennatur der Energie entdeckte, drückte es sehr schön aus und sagte so etwas wie: „Ihre Ideen werden (nur) dann akzeptiert, wenn Ihre Studenten Zeitschriftenredakteure werden. Das ist die dunkle Seite der Peer-Review, die die Wissenschaft blockiert, die neuartigen guten Ideen werden als schlechte Ideen blockiert.

Aber es gibt noch einige andere Nachteile, die sich aus dem Peer-Review ergeben, die ich nicht erwähnt gesehen habe. Diese Schattenseiten sind Merkmale der unglaublich zeit- und arbeitsintensiven Natur dieser Praxis.

Da ist zunächst die enorme Zeitverzögerung zwischen dem Zeitpunkt, an dem eine Arbeit geschrieben wird, und dem Zeitpunkt, an dem sie schließlich veröffentlicht wird. Nehmen wir an, dass die Begutachtung durch Fachkollegen vier Monate dauert, was wahrscheinlich ziemlich schnell ist. Wenn eine durchschnittliche Studie fünf Mal begutachtet wird, dann sind das fast zwei Jahre an Begutachtungen, bevor sie schließlich angenommen wird. (Außerdem liegen zwischen diesen Begutachtungen noch viele andere Schritte, so dass der Durchschnitt eher bei vier Jahren von der ersten Einreichung bis zur endgültigen Veröffentlichung liegen dürfte).

Wenn jedes Jahr zwei Millionen Arbeiten mit einer durchschnittlichen Verzögerung von etwa zwei Jahren aufgrund von Peer-Review-Verfahren veröffentlicht werden, bedeutet dies eine Anhäufung von vier Millionen Jahren Verzögerung pro Jahr. Man kann davon ausgehen, dass die Beseitigung dieser gewaltigen Flut von Verzögerungen den Fortschritt der Wissenschaft dramatisch beschleunigen würde.

Dann sind da noch die Kosten. Die Organisation und Verwaltung des Peer-Review-Verfahrens ist wahrscheinlich der größte Kostenfaktor für Zeitschriftenverlage. Man beachte, dass bei einer Ablehnungsquote von 80 % etwa fünf Artikel für jeden veröffentlichten Artikel begutachtet werden. Bei drei Begutachtungen bedeutet das jeweils fünfzehn Begutachtungen pro veröffentlichten Artikel.

Die hohen Kosten für Zeitschriften und Artikel sind ein großes Hindernis für den Zugang aller außer den reichsten Universitäten und Forschern. Dadurch wird der Fortschritt der Wissenschaft wahrscheinlich stark behindert.

Hinzu kommt die enorme Zeit, die Forscher damit verbringen, die Artikel der anderen zu überprüfen. Es wird erwartet, dass die Rezensionen umfassend sind, so dass sie wahrscheinlich jeweils 10 bis 20 Stunden dauern, vielleicht sogar mehr. Bei fünfzehn Rezensionen pro veröffentlichten Artikel sind das 150 bis 300 Stunden Rezensionszeit.

Man multipliziere das mit 2 Millionen veröffentlichten Artikeln, und wir erhalten unglaubliche 300 bis 600 Millionen Stunden pro Jahr, die eher der Rezension als der Forschung gewidmet sind. Geht man davon aus, dass ein Arbeitsjahr 2000 Stunden beträgt, ist das so, als ob man 150.000 bis 300.000 Forscher von ihrem eigentlichen Arbeitsplatz fernhält, nur um die Arbeiten der anderen zu begutachten. Man stelle sich vor, was man stattdessen an Forschungen durchführen könnte. Auch dies ist ein großer Verlust für den Fortschritt der Wissenschaft.

Schlussfolgerung: Peer-Review fügt dem wissenschaftlichen Prozess in erheblichem Umfang Verzögerungen, Kosten und Ablenkung hinzu. Es ist nicht gut genug, um diese enormen negativen Auswirkungen auf das Tempo des wissenschaftlichen Fortschritts zu rechtfertigen. Unter dem Strich ist Peer-Review also schlecht für die Wissenschaft.

Autor: David Wojick, Ph.D. is an independent analyst working at the intersection of science, technology and policy. For origins see http://www.stemed.info/engineer_tackles_confusion.html For over 100 prior articles for CFACT see http://www.cfact.org/author/david-wojick-ph-d/ Available for confidential research and consulting.

Link: https://www.cfact.org/2020/07/18/is-peer-review-bad-for-science/

Übersetzt von Chris Frey EIKE