Die Fachbegutachtung ist tot, es lebe die Internet-Begutachtung!?

Marc Hendrickx  schrieb in ABC’s The Drum.

Im Januar 2009 hatte die Fachzeitschrift NATURE auf ihre Titelseite die Ergebnisse einer neuen Studie mit dem Titel ‚Erwärmung des antarktischen Eisschildes seit dem Internationale Geophysikalischen Jahr 1957’ geknallt. 
Das Thema wurde von einem flammenden Leitartikel begleitet. Die Medien berichteten ausführlich.

Bald nach Veröffentlichung  der Studie wurden sachliche Fehler gefunden, dazu kamen Probleme der Methodik ans Licht, mit deren Hilfe die überraschenden Ergebnisse zustande gekommen waren. Die Fehler und die methodischen Probleme wurden in den Klima-Blogs bei Watts Up With That, The Air Vent, Climate Audit und Real Climate dargestellt und diskutiert.

Man stelle sich vor, zu diesem Zeitpunkt hätte der Chefredakteur von NATURE in die Blog-Kommentare geschaut und hätte erkannt, dass die Zeitschrift ein durch den normalen Fachbegutachtungs-Prozess gelaufenes Papier veröffentlicht hatte, welches grundlegend falsch war und nicht gedruckt hätte werden dürfen.

Die ursprünglichen Fachgutachter könnten ja die Klima-Alarm-Vorstellungen der Autoren geteilt und damit die Glaubwürdigkeit der Fachbegutachtung selbst in Frage gestellt haben. Die Medien machten dann in ihrer Berichterstattung Teile der Ergebnisse zu einer Sensation.
Der Chefredakteur wäre derart enttäuscht wegen der Veröffentlichung des fehlerhaften Papiers und er träte zurück.

Klingt das an den Haaren herbeigezogen? Der Chefredakteur von NATURE ist natürlich nicht zurückgetreten. Er brauchte das auch nicht zu tun, die wissenschaftliche Fachleserschaft erwartete keinen Rücktritt, trotz der Probleme mit dem Papier.

In der Folge veröffentlichte NATURE eine Korrektur der Autoren, die einige der sachlichen Fehler behandelte. Später wurde der Blog-Kommentar von Ryan O’Donnell, Nicolas Lewis, Steve McIntyre and Jeff Condon, der die methodischen Probleme behandelte, als fachbegutachtetes Papier im JOURNAL of CLIMATE veröffentlicht

Anders als das ursprüngliche Papier wurde darüber aber kaum in den Medien berichtet. Vielleicht haben der lange Zeitraum, den das Papier in der Fachbegutachtung steckte (10 Monate), und die wenig sensationellen Befunde das Interesse der Medien eingelullt.

Es ist ein Beispiel, wie die Fachbegutachtung läuft. Papiere werden geschrieben, begutachtet, zurückgewiesen, angenommen, gelobt, kritisiert, korrigiert, abgelehnt und verworfen. Wenn erhebliche Fehler vorkommen, werden sie sogar zurückgezogen. Der wissenschaftliche Prozess und der Grund, warum er so gut läuft, ist, dass da ständig korrigiert und revidiert wird. Eine Theorie steht, solange bis eine bessere sie ersetzt. Die Fachbegutachtung wirkt wie ein großes Sieb, sie ist keineswegs perfekt, und es ist lachhaft, ständig perfektes Funktionieren von ihr zu erwarten.

Ein besseres System entsteht gerade und ersetzt das traditionelle. Es fasst die anonyme (herkömmliche) und die Online-Begutachtung zusammen. Fachzeitschriften wie z. B. THE CRYOSPHERE wenden es an. Im Idealfalle werden die Ergebnisse und Schlussfolgerungen wichtiger Papiere unabhängig begutachtet, aber mangels Finanzierung weckt es keine Begeisterung in der Wissenschaftlergemeinde. Blogs wie CLIMATE AUDIT füllen die entstehende Lücke, die Reaktion aus der Wissenschaft fällt gemischt aus.

Bei "grundlegenden" Papieren werden weitaus mehr „Fahrkarten geschossen“ als Treffer. So hat eine neuere Untersuchung in der Epidemiologie ergeben, dass sich die meisten veröffentlichten Forschungsergebnisse innerhalb von fünf Jahren nach der Publikation als falsch erweisen. Es gibt keine Veranlassung für den Glauben, dies sei in anderen Disziplinen besser. Wenn ein Redakteur bei jedem Problem zurücktreten sollte, käme die wissenschaftliche Veröffentlichungspraxis bald zum Erliegen.

Erstaunlicherweise hat sich der vorstehend geschilderte Ablauf des Rücktritts eines Herausgebers wegen der Veröffentlichung eines umstrittenen Papiers dennoch ereignet. Es ging um ein Papier von Roy Spencer und William Braswell, das im August in REMOTE SENSING unter dem Titel ‚On the Misdiagnosis of Climate Feedbacks from Variations in Earth’s Radiant Energy Balance‚ veröffentlicht wurde (Zur Fehldiagnose von Klima-Rückkoppelungen aus Veränderungen in der Strahlungsenergiebilanz der Erde).  Genau wie beim Antarktis-Papier in NATURE ist das Papier von Spencer und Braswell durch den normalen Fachbegutachtungsprozess gelaufen. Die Universität des Autors empfahl es in einer Pressemitteilung und es erregte die Aufmerksamkeit einiger Medien.
Wie beim Antarktis-Papier wurde aus den Ergebnissen eine Sensation gemacht. Es gab zustimmende wie harte Kritik im Internet. Und es scheint nicht frei von Fehlern und methodischen Problemen zu sein.

Anstatt abzuwarten, bis sich das Fachbegutachtungssystem mit der Angelegenheit befasst hatte, trat der Herausgeber der Zeitschrift, Prof. Wolfgang Wagner, schnell zurück. In seiner Erklärung erläuterte er, dass er sich nicht auf die fachbegutachtete Literatur für seine Entscheidung verlassen hätte, sondern auf Kommentare in einem Internet Blog. Er sagte:

Die fachbegutachteten Journale sind Pfeiler der modernen Wissenschaft. Indem sie eine strenge Begutachtung durchführen, trachten sie nach höchsten wissenschaftlichen Standards. Die Minimalforderung ist, grundlegende methodische Fehler und falsche Behauptungen zu erkennen. Unglücklicherweise ist das in Remote Sensing veröffentlichte Papier von Spencer und Braswell in beiden Bereichen problematisch. Klimaforscher und engagierte Beobachter der Klimawandel-Debatte haben in vielen Internet-Foren darauf hingewiesen. Das Papier hätte nicht veröffentlicht werden dürfen. Angesichts dieser Lage und nach Abwägen der Pro und Contra-Argumente schließe ich mich der Kritik am Papier an. Daher übernehme ich die Verantwortung für die redaktionelle Entscheidung und trete als Chefredakteur von REMOTE SENSING zurück.

Zusätzlich hat er auch noch das Vertrauen der Gutachter missbraucht und sie mit folgenden Worten verhöhnt: Das Redaktionskollegium hat unbeabsichtigt drei Gutachter ausgewählt, die wahrscheinlich einige klimaskeptische Ansichten der Autoren teilen.

Der Himmel bewahre uns vor der Begutachtung eines Papiers durch Wissenschaftler, die die Ansichten des Autors teilen. Wenn das wahr wird, können dann überhaupt noch „skeptische“ Gutachter für kritische Einlassungen im kommenden IPCC-Bericht eingeladen werden?

Professor Wagner ist kein Fachmann auf dem einschlägigen Gebiet der Klimawissenschaft. Er kann daher den Wert des Papiers selbst nicht beurteilen (deshalb werden ja Fachleute als Gutachter eingesetzt). Er hatte sich auf die Kommentierung in einem nicht fachbegutachteten Internet-Klima-Forum verlassen, um seinen Rücktritt zu rechtfertigen. Der Rücktritt ist sehr ungewöhnlich, er war weder erwartet worden, noch erforderlich. Das Papier von Spencer und Braswell ist nicht zurückgezogen worden, eine Menge formaler Kritik am Papier wurde aber rasch laut. Eine in Geophysical Research Letters und eine in Remote Sensing. Dazu gab es sogleich Kommentierungen (z. B. in Climate Audit – hier und hier). Rücktrittsforderungen wegen der aufgeworfenen Fragen wurden nicht erhoben.

Die Kommentierung in Remote Sensing kam fast mit Überlichtgeschwindigkeit und wurde binnen 24 Stunden angenommen. Seltsamerweise ist das gegen die Regeln. Noch fehlt die Antwort der Autoren Spencer und Braswell. Man nimmt an, dass sie sich in naher Zukunft öffentlich äußern werden.

Zum Vergleich: die Kritik am Papier von der antarktischen Erwärmung in NATURE ruhte bei den Gutachtern vom Journal of Climate zehn lange Monate. Es scheint einen Schnellweg im Fachbegutachtungssystem für Papiere und Kommentare zu geben, die im Einklang mit einer bestimmten Ansicht stehen, andere dagegen werden im Schneckentempo beurteilt und begutachtet. Wie dem auch sei, die Lernkurve des Systems steigt langsam an, wenn wir auch manchmal ein paar Schritte zurückgehen bei unserem Marsch in die Zukunft.

Wagners Rücktritt hat die Meinung zu Spencer und Braswells Papier unnötigerweise negativ beeinflusst, dessen ungeachtet, ob die Arbeit schließlich zurückgewiesen oder bestätigt wird. Das Fachbegutachtungssystem ist gut geeignet für die wissenschaftliche Debatte, sogar wenn es missbraucht wird. Es führt Wagners unbedachte Entscheidung ad absurdum. Wenn es nach Wagner ginge, wäre die Fachbegutachtung tot und die Begutachtung durch Blogs und Internet-Foren die Zukunft.

Marc Hendrickx arbeitet als Teilzeit-Geologe und schreibt derzeit an seiner Dissertation an der Newcastle University.

Beitrag als PDF speichernBeitrag drucken