James Alexander, THE DAILY SCEPTIC
Im Mai 2017 wurde an der Moskauer Hochschule für Wirtschaft eine Skulptur aufgestellt, ob Sie es glauben oder nicht, zu Ehren des großen säkular-rationalen Gottes Peer Review. Die Skulptur hat die Form eines Würfels, auf dessen fünf sichtbaren Seiten die möglichen Ergebnisse der Begutachtung zu sehen sind – „Annehmen“, „Geringfügige Änderungen“, „Wesentliche Änderungen“, „Überarbeiten und erneut einreichen“ und „Ablehnen“.
Peer Review. Was ist das? Warum ist es wichtig? Woher kommt es? Wie alt ist es?
Ein recht fundierter wissenschaftlicher Artikel – Noah Moxham und Aileen Fyfe, „The Royal Society and the Prehistory of Peer Review, 1665-1965“, veröffentlicht in The Historical Journal 61 (2018), S. 863-889 – beginnt mit einer Unwahrheit, die 2011 vom Ausschuss für Wissenschaft und Technologie des britischen Unterhauses aufgestellt worden war:
In der einen oder anderen Form wurde Peer Review schon immer als entscheidend für den Ruf und die Zuverlässigkeit wissenschaftlicher Forschung angesehen.
Immer? Faktencheck: Falsch. Das ist eine Lüge oder ein Irrtum. Anscheinend glauben viele Menschen, dass Peer Review im 17. Jahrhundert erfunden wurde. Das ist nicht der Fall. Fassen wir die Ergebnisse von Moxham und Fyfe zusammen:
• „Peer Review“ wurde erst in den 1970er Jahren benannt, sagen sie.
• In Bezug auf die Royal Society suchte der erste Herausgeber der Transactions im 17. Jahrhundert tatsächlich nach Beiträgen von Autoren.
• Im Jahr 1751 schrieb jemand eine Satire, in der er einige der sehr albernen Artikel bloßstellte, die in den Transactions veröffentlicht worden waren.
• Im Jahr 1752 übernahm die Royal Society die finanzielle und redaktionelle Verantwortung für die Transactions, die bis dahin informell organisiert waren.
• Im Jahr 1774 lehnte die Royal Society es jedoch ab, die kollektive Verantwortung für das zu übernehmen, was veröffentlicht wurde, und erklärte, dass die Verantwortung beim Autor liege.
• Im Jahr 1831 forderte Babbage eine sorgfältigere Prüfung der Beiträge, und im Jahr 1832 wurden schriftliche Berichte zu den Beiträgen verlangt.
• 1896 schuf Joseph Lister Ausschüsse, die sich mit eingereichten Beiträgen befassten.
• 1936 beklagte sich jemand, dass zu viele „Routineforschungen” veröffentlicht würden. Das klingt, als würden wir uns unserer Moderne nähern.
• In den 1990er Jahren galt das Peer-Review-Verfahren als normal.
Mit anderen Worten, das, was wir heute als Begutachtung bezeichnen, gab es zwar schon in den Anfängen, als ein Herausgeber die Meinung anderer einholte, aber bis zum 19. Jahrhundert war alles sehr informell, und tatsächlich gab es bis zum Ende des 20. Jahrhunderts kein festes Protokoll.
Das heißt, fast alle Errungenschaften der Wissenschaft wurden erzielt, als das System noch informell war oder bevor es überhaupt ein informelles System gab.
Dabei gibt es eine interessante Geschichte über einen gewissen John James Waterston, einen Schotten aus dem 19. Jahrhundert. Er war der erste, der sich an eine kinetische Theorie der Gase wagte. Seine Arbeit wurde jedoch von Sir John William Lubbock als Unsinn abgetan: Tatsächlich wurde sie von der Royal Society archiviert, d. h. nicht an den Autor zurückgegeben. Da Waterston keine Kopie für sich selbst angefertigt hatte, musste er sie von Grund auf neu schreiben. Fünfzig Jahre später erkannte Lord Rayleigh den Wert des archivierten Originals und ließ es verspätet veröffentlichen. Rayleigh schrieb:
Die Geschichte von Waterstons Arbeit legt nahe, dass hochspekulative Untersuchungen, insbesondere von einem unbekannten Autor, am besten über einen anderen Kanal als eine wissenschaftliche Gesellschaft der Welt vorgestellt werden sollten, die natürlich zögert, Themen von ungewissem Wert in ihre gedruckten Aufzeichnungen aufzunehmen. Vielleicht kann man sogar noch weiter gehen und sagen, dass ein junger Autor, der sich zu Großem fähig glaubt, in der Regel gut daran tut, sich zunächst durch Arbeiten mit begrenztem Umfang und leicht zu beurteilendem Wert die Anerkennung der wissenschaftlichen Welt zu sichern, bevor er sich an höhere Ziele wagt.
Um es in moderne Begriffe zu übersetzen: Schicken Sie vorhersehbaren, abgedroschenen Unsinn an Nature oder Science oder die Transactions oder Lancet. Und schicken Sie keine echte Wissenschaft – es sei denn, Sie sind den Herausgebern gut bekannt und können deren Vorurteile mit Wein und Keksen überwinden, äh, wir wissen nicht genau wo, aber irgendwo, und viel Glück dabei.
…
Die Wahrheit über das „Peer Review“ ist, dass es das Mittel war, mit dem bürokratische Kontrollen über intellektuelle Aktivitäten verhängt wurden, ja sogar selbst auferlegt wurden. Das ist alles.
James Alexander is a Professor in the Department of Political Science at Bilkent University in Turkey.
Link: https://wattsupwiththat.com/2026/01/18/the-problem-with-peer-review/
Übersetzt gekürzt von Christian Freuer für das EIKE
Wir freuen uns über Ihren Kommentar, bitten aber folgende Regeln zu beachten:
- Bitte geben Sie Ihren Namen an (Benutzerprofil) - Kommentare "von anonym" werden gelöscht.
- Vermeiden Sie Allgemeinplätze, Beleidigungen oder Fäkal- Sprache, es sei denn, dass sie in einem notwendigen Zitat enthalten oder für die Anmerkung wichtig sind. Vermeiden Sie Schmähreden, andauernde Wiederholungen und jede Form von Mißachtung von Gegnern. Auch lange Präsentationen von Amateur-Theorien bitten wir zu vermeiden.
- Bleiben Sie beim Thema des zu kommentierenden Beitrags. Gehen Sie in Diskussionen mit Bloggern anderer Meinung auf deren Argumente ein und weichen Sie nicht durch Eröffnen laufend neuer Themen aus. Beschränken Sie sich auf eine zumutbare Anzahl von Kommentaren pro Zeit. Versuchte Majorisierung unseres Kommentarblogs, wie z.B. durch extrem häufiges Posten, permanente Wiederholungen etc. (Forentrolle) wird von uns mit Sperren beantwortet.
- Sie können anderer Meinung sein, aber vermeiden Sie persönliche Angriffe.
- Drohungen werden ernst genommen und ggf. an die Strafverfolgungsbehörden weitergegeben.
- Spam und Werbung sind im Kommentarbereich nicht erlaubt.
Diese Richtlinien sind sehr allgemein und können nicht jede mögliche Situation abdecken. Nehmen Sie deshalb bitte nicht an, dass das EIKE Management mit Ihnen übereinstimmt oder sonst Ihre Anmerkungen gutheißt. Wir behalten uns jederzeit das Recht vor, Anmerkungen zu filtern oder zu löschen oder zu bestreiten und dies ganz allein nach unserem Gutdünken. Wenn Sie finden, dass Ihre Anmerkung unpassend gefiltert wurde, schicken Sie uns bitte eine Mail über "Über Uns->Kontakt"Das Problem mit Peer Review ist auch das die Publikationen durch die westlische „englischsprachige“ Presse dominiert wird.
Chinesen, Russen, Inder, usw. interessiert es nicht für Peer Reviewed zu bezahlen.
Wissenschafftliche Studien werden veröffentlicht ohne Zensur oder Zuspruch durch Kumpelei.
Ein Beispiel sind russische wissenschafftliche Studien und technische Erungenschafften, welche ich in meinen Beiträgen immer wieder Zitiere.
Auch ohne Peer Review können Studien durch andere wiederlegt werden.
In der Wissenschafft gibt es keine Wahrheit und Konzens, sondern nur „heutige“ Erkenntnisse.
Heutige Erkenntnis welche Morgen durch eine Andere wiederlegt werden kann.
Sokrates: „Ich weiss das ich nichts weiss!“
Mit der Übersetzungsfunktion von Firefox kann man Nachrichten in vielen Sprachen grob lesen.
Also nicht vor seiner Haustür stehen bleiben. 🙂
Fazit: Peer Review
Eine Reform könnte verschiedene Ansätze verfolgen:
Anonymisierte, unabhängige Gutachter: Ein größeres und diverseres Pool an Gutachtern könnte helfen, Verzerrungen durch zu enge Netzwerke zu reduzieren. Transparente Bewertungsverfahren: Offenlegung von Entscheidungsprozessen könnte verhindern, dass einzelne Herausgeber zu viel Einfluss haben.
Interdisziplinäre oder externe Prüfinstanzen: Wissenschaftler außerhalb des direkten Fachbereichs oder sogar Anwender könnten stärker in die Entscheidung eingebunden werden, um einen Perspektivwechsel zu ermöglichen.
Offene Peer Reviews: Statt anonymer Begutachtung könnte eine offen zugängliche Bewertung durch die Forschungsgemeinschaft eine zusätzliche Kontrollinstanz darstellen. Macht hin – es dämmert schon – Peer Review ist nicht der Stempel der Wahrheit, sondern oft nur das Echo der etablierten Stimmen, wo Objektivität auf Reputation trifft und manchmal verliert.
Dass die Kritik und Diskussion um das gerechtfertigte Peer Review seit den ersten Ursprüngen desselben nicht verstummt ist, zeigen aktuelle Aufsätze von Alex Csiszar (Peer Review Trouble from the Start – Nature 532 – 2016 nur TUHH Intranet) sowie von Noah Moscham und Aileen Fyfe (The Royal Society an the prehsitory of Peer Review 1665 – 1995).
So sauber und glatt ging und geht es eben nicht zu … im Peer Review.
Fazit: Peer Review ist praktisch synonym mit dem Vorgang des akademischen Publizierens selbst. Folglich werden die Schwächen der aktuellen Praxis oft hier geortet. Das System scheint keiner Seite wirklich gerecht zu werden.
Diese Herausforderung an die Integrität des Peer Reviews hat zu einer wachsenden Quantität von Forschungsarbeiten geführt, die untersuchen, ob es bei der Begutachtung im Rahmen des Peer-Review-Verfahrens Unterschiede aufgrund bestimmter Merkmale eines Autors gibt. Oder anders ausgedrückt: Haben Gutachter gewisse Vorurteile, die bei der Begutachtung von Arbeiten durchschlagen? In einer kürzlich in PLOS Biology publizierten Studie eines Forscherteams wurde untersucht, wie groß diese möglichen Verzerrungen durch das Peer-Review-Verfahren sind.
Gibt es nachvollziehbare Gründe, die eigenverantwortlich von der Qualitätssicherung des bestehenden Wissenschaftssystems sind? Eine in letzter Zeit publizierte Studie ging der Frage nach, ob und weshalb die Arbeiten von bekannten Forschenden eher in Fachzeitschriften veröffentlicht werden als die von weniger prominenten Wissenschaftlerinnen und Wissenschaftlern. Die Problematik, dass bekannte Forschende bevorzugt publizieren, ist ebenfalls Gegenstand wissenschaftlicher Untersuchungen. Es gibt Hinweise darauf, dass etablierte Wissenschaftler durch ihre Netzwerke und Reputation leichter Zugang zu renommierten Fachzeitschriften erhalten, während weniger bekannte Forschende größere Hürden überwinden müssen.
Historische und aktuelle Forschung; Alex Csiszar zeigt, dass Peer Review nie ein rein objektives Verfahren war – schon die Royal Society hatte ihre Eliten. Fyfe & Moscham dokumentieren die lange Geschichte von Macht und Einfluss im Begutachtungsprozess. Studien in PLOS Biology belegen systematische Abweichung gegenüber Geschlecht, Herkunft und institutioneller Zugehörigkeit.
Fazit und Ausblick
Peer Review ist das Rückgrat des akademischen Publizierens – und zugleich dessen Achillesferse. Die Kritik ist berechtigt und historisch gewachsen. Reformen sind möglich, aber sie müssen systemisch gedacht werden: nicht nur am Verfahren selbst, sondern auch an den Anreizstrukturen, der Machtverteilung und der epistemischen Kultur.
Der Vorschlag einer Rollentrennung zwischen Gutachtern und Entscheidern, ergänzt durch hybride Transparenzmodelle und interdisziplinäre Panels, ist ein konstruktiver Beitrag zur Debatte. Vielleicht ist es Zeit, das Peer Review nicht nur zu reformieren, sondern neu zu erfinden.
„Offene Peer Reviews: Statt anonymer Begutachtung könnte eine offen zugängliche Bewertung durch die Forschungsgemeinschaft eine zusätzliche Kontrollinstanz darstellen.“
Welche Kontrollinstanz?
Einfach eine Gratis-Internetplattform zur Veröffentlichung von Forschungsergebnissen und Übersetzung in alle Sprachen.
Alle Forscher Weltweit kônnen die Forschungsergebnisse veröffentlichen, bemängeln oder befürworten.
Finanziert und kontrolliert durch die UNO (Vereinte Nationen).
K.I. kann wohl benutzt werden um unwissenschafftlichen und statistischen Blödsinn zu löschen.
Die Algorytmen der K.I. müssen allen Staaten zugänglich sein.
Nur so kann eine internationale „unparteiische/objektive“ Auswertung der Studien und Beiträge stattfinden.
Was bleibt ist eine neutrale Plattform für „internationale“ wissenschafftliche Studien.
Der indische Forscher braucht kein englisch beherrschen und keine $ oder € bezahlen um Peer Rewieved zu sein.
MfG
Peer Review ist kein Garant für Wahrheit, sondern ein Spiegel der Machtverhältnisse im Wissenschaftssystem.
Eine etwas längere Recherche zum Peer Review
Peer Review, in der Form, ist nach unserer Recherche wissenschaftlicher Unfug (Inzucht). Darüber sollte sich die Wissenschaft erst einmal klar werden. Für mich sollte auch die Episteme von Allgemeinheit, Transparenz und Kritik leben. Wichtiger wäre es das gesamte Wissenschaftssystem wieder mehr auf die Grundlagen der Qualität als der Quantität zu stellen. Ein überarbeitetes Peer-Review-Verfahren wäre aber nur ein Puzzleteil von vielen. Wir zeigen deutlich auf, dass das klassische System mit Peer-Review-Verfahren dringend einer Überarbeitung bedarf.
In den internen Begutachtungsprozessen gilt dies jedoch nur begrenzt. Anonyme Gutachter urteilen und ihre Begründungen sind den Beurteilten gar nicht oder nur in Ansätzen zugänglich.
Ist Intransparenz (wie sie mir in meiner Recherche auffiel) im Peer Review als Begutachtungsprozess sinnvoll?
Ist mehr Transparenz notwendig oder eventuell schädlich?
Mit diesen Fragen beschäftigte ich mich in meiner Recherche.
Im Mittelpunkt meiner Recherche stand:
die Bedeutung von transparenten Verfahren in der
Begutachtung von Forschungsanträgen und von Manuskripten
für wissenschaftliche Zeitschriften.
Das Peer Review – Verfahren hat über den Leistungsindikator eingeworbene Drittmittel in den letzten Jahren an Gewicht gewonnen, das äußert sich im Ober sticht Unterprinzip. Nur als Beispiel M.Mann und S.Rahmstorf können schreiben was sie wollen, es rutscht durch. Bei allen – diskutierten oder existierenden – leistungsorientierten Mittelverteilungsmodellen erhalten diejenigen Institute / Hochschulen höhere Zuweisungen, die höhere Drittmittel eingeworben haben.
Einen weiteren zentralen Stellenwert gewinnt das Einwerben von Drittmitteln und damit auch das Peer Review-Verfahren durch das manipulative Ranken von Drittmitteleinwerbungen.
Rankings, wie das DFG-Förderranking oder das CHE-Ranking, führen hierfür einen eigenständigen Indikator auf. Hinsichtlich der Frage nach einem für das Wissenschaftssystem verträglichen Prüfstein an Transparenz bzw. Intransparenz vertrete ich die These, dass mit einem Mehr an Transparenz auch die Gefahr steige, dass die Gutachter ihre Urteile abwägen und im Sinne einer guten, eigenen PR urteilten.
Ich halte es demgegenüber für ausschlaggebend, dass die Binnenkontrolle funktioniere. Peers seien außer Zweifel notwendig, allerdings sollte es eine klare Rollendifferenzierung geben: Gutachter sollten nicht die Entscheider sein, sondern „sie“ sollten die Kriterien für eine Entscheidung liefern.
Eine stärkere Rollentrennung zwischen Gutachtern und Entscheidern könnte helfen, Interessenkonflikte zu vermeiden. Interdisziplinäre oder externe Experten könnten in die Förderentscheidungen eingebunden werden, um eine breitere Perspektive zu gewährleisten. Ein hybrides System mit wählbarer Offenheit von Gutachten könnte Forschenden mehr Kontrolle über die Transparenz ihrer Bewertungen geben
Für die Förderentscheidung wiederum sollten Experten zuständig sein, die keine Peers sind, wie z.B. Anwender oder Wissenschaftler,
die nicht aus dem betreffenden Fach stammen.
Vor rund 300 Jahren entstand aus einem informellen Treffen hochrangiger Männer der britischen Gesellschaft zwischen 1660 und 1663 die Londoner Royal Society. Peer hieß in seiner ursprünglichen Bedeutung Ehrenbürger oder hoher Adeliger. Die Herausbildung des Peer Review geht auf die Gründung der Royal Society und ihres Journals, der Philosophical Transactions zurück.
In den letzten Jahren werden immer öfter Bedenken angebracht, dass Peer Review ineffektiv (ich bleibe beim Begriff Inzucht) sei oder in seiner heutigen Form überholt. In diesem System hat der Herausgeber des Fachjournals alle Trumpfkarten in der Hand. Üblicherweise kann er auf ein bestimmendes Netzwerk aus (ihm) bekannten Wissenschaftlern zurückgreifen, die Peer Reviews im Sinne der 97%- igen Wissenschaft durchführen.
Grundvoraussetzung ist, dass der beauftrage Ehrenmensch (Peer) die benötigte Kenntnis zur Thematik besitzt, was immer das heißen soll. Macht hin – es dämmert schon – an dieser vorherrschenden Begutachtung scheitern viele wissenschaftliche Arbeiten.
Im besten Fall, nämlich bei einer absolut objektiven Betrachtung seitens der Peers, gelingt es durch Beurteilungen, die Qualität der Studien in entsprechenden wissenschaftlichen Fachjournalen ausgesprochen (M.Mann) hoch zu halten. Die offene Auseinandersetzung mit dem Peer-Review-System – ist analytisch, pointiert und mit historischem wie systemischem Weitblick.
Die Erforderlichkeit dieser vorurteilsfreien Betrachtung ist das wissentliche Problem bei jedem Peer Review. Man kann – das ist meine Meinung – leider nie genau wissen, ob der Peer seine objektiven Ansichten und / oder Ziele so weit außen vorlässt, dass er wirklich einzig und unvoreingenommen bewertet, ob der Artikel Mehrwert bietet und auf einer methodisch korrekten Forschung basiert. Von vielen Wissenschaftlern, auch von meinem Team, wird das Peer Review deshalb kritisch betrachtet. Überhaupt gibt es für mich eine größere Anzahl Kritikpunkte (sind es Kipppunkte) zu den Fragwürdigkeiten – ein paar davon im Überblick; Extrem hohe Qualität der Artikel in wissenschaftlichen Journalen, wenn die Betrachtung der Peers absolut objektiv geschieht. Zieht der Peer die Prüfung eines Artikels absichtlich in die Länge oder gibt es wissentlich eine Abwertung, um etwaiger Konkurrenz den Weg zu versperren? Kennt sich der Peer detailliert mit dem konkreten Thema des Artikels oder hat er nur Kenntnisse zum verordneten Themengebiet. Setzt sich der Peer ausgeprägt mit dem Bezug auseinander, um eine substantiierte Einschätzung abgeben zu können? Oder wirft er aus Zeitmangel oder anderen Motivationen heraus unverhüllt einen oberflächlichen Blick darauf (Rahmstorf- Syndrom)?
Wenn auf Peer-Reviews hingewiesen wird, muss ich wieder über zwei Episoden der „Wissenschftsgeschichte“ schmunzeln. Über Johann Jakob Scheuchzers „Armes Sünderbein“ (Homo diluvii testis) und an die „Würzburger Lügensteine“ von Johann Beringer. Komisch, dass ich dabei sofort an den letzten ruchbar gewordenen PIK-Skandal (die Höhe der wirtschaftlichen Kosten des Klimawandels betreffend) denken muss. War die Studie einem Peer-Review-Verfahren unterzogen worden? Wenn ja, was waren denn das für „Spezialisten“? Mit den Zahlen hatte wohl schon der absolut ehrenwerte Herr Professor Schellnhuber seine Schwierigkeiten (Anstieg des Meeresspiegel bis 2100 tatsächlich 70 Meter, wenn wir die globale Temperatur nicht in den Griff bekommen…). Seine Prognosen – und die des PIK – zeichnen sich offensichtlich durch bemerkenswerte Großzügigkeit nach oben aus. Ob mit oder ohne Peer-Review, Schmarren bleibt Schmarren.
„In den 1990er Jahren galt das Peer-Review-Verfahren als normal.“ und wurde damals zunehmend zu einem Instrument gegenseitiger Wohlgefallens-Bekundungen. Aus eigenen Erfahrungen weiß ich, das zu dieser Zeit häufig in den Gutachten, eines anderen Fachbereiches als Klima, die Achtung/Kritk vor/zu dem Betreuer einer Arbeit eine Rolle spielte als weniger der in der Arbeit entwickelte hypothetische Ansatz. Denn wer fit im Fach war fand, so er denn wollte, immer die/einige Fehler an denen er Ansetzen konnte. War auch sicherlich dem Umstand geschuldet, das die Zahl zu begutachtender Arbeiten sprunghaft anstieg zu der Zeit und dadurch häufiger zu einem Qualitätsmerkmal/Qualitätskennzahl der/des Betreuers mutierte als dem wissenschaftlichen Neuland zugute kam. Es galt also zunehmend tust du mir was gutes, dann tu ich dasselbe zu deinem besten. Denn häufig hingen an solchen Veröffentlichungen auch der Zugang zu weiteren/neuen Projektgeldern. Heute gibts die ja zumindest beim Klima schon pauschaliert und ohne wirkliche qualitative Begründung. Leider eine Entwicklung welche neuzeitlich noch absurder pervertiert wurde und nunmehr mit KI vollends aus dem Ruder zu laufen scheint.
Könnte dieses beobachtete Abgleiten zu einem Instrument gegenseitigen Wohlgefallens-Bekundungen im Peer-Review-Verfahren systemisch begründet sein?
Die ganze Wissenschaft betreffend? Die ganze ökonomische Welt betreffend?
Ein Baustein menschlicher Machtausübung und – delegation, oder?