Aufstieg und Niedergang des Peer-Review-Verfahrens
Adam Mastroianni hat auf seinem Blog Experimental History einen wunderbaren Artikel geschrieben, in dem er die Geschichte, die Funktion und die Fehlfunktion des Peer-Review-Verfahrens untersucht.
In den letzten 60 Jahren hat die Wissenschaft ein Experiment mit sich selbst durchgeführt. Die Versuchsanordnung war nicht besonders gut; es gab keine Randomisierung und keine Kontrollgruppe. Niemand hatte die Verantwortung, und niemand hat wirklich konsistente Messungen vorgenommen. Und doch war es das umfangreichste Experiment, das je durchgeführt wurde, und jeder Wissenschaftler auf der Erde war daran beteiligt.
Die meisten dieser Leute wussten nicht einmal, dass sie an einem Experiment teilnahmen. Viele von ihnen, mich eingeschlossen, waren noch nicht geboren, als das Experiment begann. Hätten wir bemerkt, was vor sich ging, hätten wir vielleicht ein Mindestmaß an wissenschaftlicher Strenge gefordert. Vielleicht hat niemand Einspruch erhoben, weil die Hypothese so offensichtlich wahr zu sein schien: Die Wissenschaft ist besser dran, wenn jemand jede Arbeit überprüft und diejenigen zurückweist, die nicht den Anforderungen entsprechen. Sie nannten es „Peer Review“.
Dies war eine gewaltige Veränderung. Von der Antike bis zur Moderne schrieben Wissenschaftler Briefe und verbreiteten Monographien, und die größten Hindernisse, die sie davon abhielten, ihre Ergebnisse zu verbreiten, waren die Kosten für Papier, Porto oder eine Druckerpresse, oder in seltenen Fällen die Kosten für einen Besuch der katholischen Kirche. Wissenschaftliche Zeitschriften erschienen um 1600, aber sie funktionierten eher wie Magazine oder Newsletter, und ihre Verfahren zur Auswahl von Artikeln reichten von „wir drucken, was immer wir bekommen“ über „der Herausgeber fragt seinen Freund, was er denkt“ bis hin zu „die ganze Gesellschaft stimmt ab“. Manchmal bekamen die Zeitschriften nicht genügend Artikel, um sie zu veröffentlichen, so dass die Redakteure ihre Freunde anflehen mussten, Manuskripte einzureichen, oder sie mussten den Platz selbst füllen. Das wissenschaftliche Verlagswesen blieb jahrhundertelang ein Sammelsurium.
Es ist ein außergewöhnlicher Aufsatz, der viel von dem erklärt, was in der „Wissenschaft“ und in der akademischen Welt vor sich geht.
Hier eine Liste der Titel seiner Abschnitte und einige Auszüge daraus.
EINE MENGE GELD FÜR NICHTS
POSTMORTEM
Würden die Gutachter ihren Job machen, würden wir viele Geschichten hören wie „Professor Cornelius von Fraud wurde heute gefeuert, nachdem er versucht hatte, eine gefälschte Arbeit bei einer wissenschaftlichen Zeitschrift einzureichen.“ Aber solche Geschichten hören wir nie.
PEER REVIEW, WIR HABEN EUCH KAUM ERNST GENOMMEN
KÖNNEN WIR ES REPARIEREN? NEIN, KÖNNEN WIR NICHT
Eine Verschärfung des Peer-Review-Verfahrens würde auch das schlimmste Problem von allen verschärfen: Allein das Wissen, dass die eigenen Ideen nichts zählen, wenn sie den Peer-Reviewern nicht gefallen, führt dazu, dass man schlechter denkt.
PEER REVIEW IST SCHLIMMER ALS GAR NICHTS; ODER: WARUM ES NICHT REICHT, DAS RINDFLEISCH ZU RIECHEN
Peer Review funktioniert nicht, und es gibt wahrscheinlich keine Möglichkeit, das zu ändern. Aber ein bisschen Überprüfung ist doch besser als gar keine, oder?
Ich sage: auf keinen Fall.
WISSENSCHAFT MUSS FREI SEIN
HURRA, WIR HABEN VERSAGT
Niemand war für unser Peer-Review-Experiment verantwortlich, was bedeutet, dass niemand die Verantwortung hat, zu sagen, wann es vorbei ist. Da ich sonst niemanden sehe, werde ich es wohl tun.
Nach dieser Diskussion erklärt er:
Was sollen wir jetzt tun? Nun, letzten Monat habe ich eine Studie veröffentlicht, d.h. ich habe eine PDF-Datei ins Internet gestellt. Ich habe es in normaler Sprache geschrieben, so dass es jeder verstehen konnte. Ich habe nichts verheimlicht – ich habe sogar zugegeben, dass ich vergessen habe, warum ich eine der Studien durchgeführt habe. Ich habe Witze reingeschrieben, weil mir das niemand verbieten konnte. Ich habe alle Materialien, Daten und den Code hochgeladen, so dass jeder sie sehen konnte. Ich dachte, ich würde wie ein totaler Dummkopf aussehen und niemand würde mir Beachtung schenken, aber wenigstens hatte ich Spaß und tat, was ich für richtig hielt.
Dann, noch bevor ich jemandem von der Arbeit erzählte, wurde sie von Tausenden von Menschen gefunden, kommentiert und retweetet.
Völlig Fremde schickten mir nachdenkliche Kritiken. Professoren mit Lehrstuhl schickten mir Gedanken. NPR bat mich um ein Interview. Die Studie hat jetzt mehr Aufrufe als die letzte von Experten begutachtete Arbeit, welche ich in den renommierten Proceedings of the National Academy of Sciences veröffentlicht habe. Und ich vermute, dass weitaus mehr Menschen diese neue Arbeit bis zum Ende gelesen haben, denn vor allem die letzten paar Absätze wurden häufig kommentiert. Ich weiß also nicht, ich denke, das ist eine gute Methode?
Link: https://wattsupwiththat.com/2023/01/02/the-rise-and-fall-of-peer-review/
Übersetzt von Christian Freuer für das EIKE