Das ,Bias-Verstecken-Problem‘ der Klimawis­senschaft

Im vorherigen Beitrag war es um die absichtlichen Verzerrungen individueller Klimaforscher gegangen, stimuliert durch die Studie von Lee Jussim, Joe Duarte und Anderen mit dem Titel Interpretations and methods: Towards a more self-correcting social psychology.

Diese Studie von Jussim et al. bietet zusätzliche Einsichten , welche relevant sind hinsichtlich der absichtlichen Verzerrungen bzgl. Klimawandel. Dies wird besonders ernst und problematisch, wenn diese Verzerrungen erst einmal institutionalisiert sind. Hier folgen einige Auszüge von Jussim et al., die ich in diesem Beitrag diskutieren möchte:

Zitat: In dieser Studie betrachten wir, wie valide Schlussfolgerungen oftmals in Forschungsberichten versteckt liegen – maskiert durch plausible, aber nicht gerechtfertigte Schlussfolgerungen in jenen Studien. Diese Schlussfolgerungen involvieren nicht notwendigerweise den Gebrauch fragwürdiger Forschungspraktiken. Ungültige Schlussfolgerungen können begründet erzielt werden, nicht aufgrund fehlender Umstände, gescheiterten Studien oder insignifikanten Analysen, sondern auf selektive Interpretationen von Daten, wobei nur Daten berücksichtigt werden, welche die bevorzugten Schlussfolgerungen des Forschers stützen, während man validere Schlussfolgerungen versteckt.

Kommentar von JC: dies ist grundsätzlich das Problem, das ich mit den IPCC-Berichten habe. Tief verborgen in den Kapiteln gibt es viele gute, zuverlässige Informationen, obwohl in den Berichten so Manches ausgelassen wird. Das Problem der erzielten Ergebnisse (insbesondere in der Summary for Policymakers) besteht darin, dass diesen Ergebnissen ein viel zu hohes Vertrauensniveau zugeordnet wird.

Zitat: Wir charakterisieren Situationen, in welchen die Daten eine andere Schlussfolgerung nahelegen als in einem veröffentlichten Report beschrieben, sind doch Situationen mit diesen anderen Ergebnissen „maskiert“. Maskierte Phänomene können alternative Erklärungen für eine Reihe von Ergebnissen liefern sowie Gründe, um zu glauben, dass die veröffentlichten Interpretationen wahr, aber übertrieben sind; oder Gründe zu glauben, dass die veröffentliche Interpretation einfach falsch ist. Diese Schlussfolgerungen sind typischerweise maskiert, weil der ursprüngliche Report diese nicht einmal in Erwägung zieht oder sie überhaupt anerkennt, und weil die gezeigten Daten normalerweise eine künstlich herbeigeführte Unterstützung für die präsentierten Schlussfolgerungen liefern.

Kommentar von JC: ich berührte ein damit zusammenhängendes Thema in meiner Studie Reasoning About Climate Uncertainty im Zusammenhang mit dem ,framing error‘ [?]. In meinen letzten Berichten und meiner Aussage vor dem Kongress zitiere ich üblicherweise extensiv aus den IPCC-Berichten, und zwar im Zusammenhang mit unterschiedlichen Argumenten oder Vertrauensniveaus als jene in den IPCC-Berichten beschriebenen.

Zitat: Phänomene können oftmals maskiert sein, weil es die Forscher versäumen, Verfahren einzubeziehen, welche diese Phänomene enthüllen. Die Daten der Forscher mögen sauber (erhoben ohne irgendwelche fragwürdigen Praktiken) und statistisch ordentlich durchgeführten Analysen unterzogen worden sein – aber deren Ergebnisse können trotzdem falsch sein.

Kommentar von JC: Die gesamten Bemühungen des IPCC unter dem Mandat des UNFCCC wurden in Formulierungen gekleidet wie die Abschätzung einer ,gefährlichen anthropogenen Einmischung in das Klimasystem‘. Dies führt zu systematischer Maskierung der natürlichen internen Variabilität und zur Ignoranz anderer Prozesse (z. B. Auswirkungen solarer Effekte).

Zitat: Verzerrungen bzgl. der Bestätigung von Ergebnissen hinterlassen andere, oftmals realistischere Interpretationen, welche dadurch maskiert sind, dass sie weder überprüft noch in den wissenschaftlichen Beiträgen erwähnt werden. Bestätigungs-Verzerrungen haben zu vielen ungerechtfertigten Schlussfolgerungen geführt.

Kommentar von JC: Das Buch von Bernie Lewin über das IPCC umreißt die Politik, welche die Fabrikation des IPCC-Konsens‘ umgibt zum Zeitpunkt des AR 2. Der Fehlschlag, eine ,wahrnehmbare‘ anthropogene Erwärmung ausmachen zu können nebst den mit einer Erwärmung verbundenen Gefahren, hätte nicht nur den Einfluss des IPCC auf die Klimapolitik geschwächt, sondern auch die Auflösung desselben durch das UNEP gerechtfertigt.

Zitat: Wissenschaftler sollten nicht einfach die Literatur ignorieren, die sie nicht mögen, weil darin ihren Ansichten widersprochen wird. Trotzdem ist es unser Standpunkt, dass es immer problematisch ist, eine große Menge von Forschungsergebnissen zu übersehen, welche in direktem Konflikt mit den eigenen Schlussfolgerungen zu stehen scheinen. Aber die Lösung ist einfach – man zitiere und bearbeite sie, und falls eine davon begründeter ist als eine andere, berichte man über die Größenordnung der Auswirkungen von beiden. – Wir erkennen, dass es für einen individuellen Forscher nicht möglich ist, jede Studie aus seinem Forschungsgebiet zu kennen. – Aber wahre Wissenschaft tut nicht so, als ob Daten, die im Widerspruch zu eigenen Ergebnissen stehen, einfach nicht existieren.

Kommentar von JC: Ohne das NIPCC in irgendeiner Weise zu unterstützen (siehe meinen vorigen Beitrag) zeigt sich: falls man die Bibliographie in den Zustandsberichten von IPCC und NIPCC vergleicht, findet man kaum Überlappungen in der Liste der Literatur. Ich verstehe, dass man eine gewisse Auswahl treffen muss, aber die veröffentlichte Literatur ist ausreichend vielfältig, um multiple unterschiedliche Argumente und Narrative zu beschreiben.

Ein weiterer Punkt. Die Aktivisten unter den Wissenschaftlern (Lewandowsky, Hayhoe et al.) glauben, dass diese Studie sämtliche Studien der Skeptiker widerlegt (die sog. 3%) Those 3% of scientific papers that deny climate change?  A review found them all flawed. Ich habe keine Ahnung, wie so dummes Zeug jemals veröffentlicht werden konnte.

Jede Woche (oder alle 2 bis 3 Wochen) passen die meisten wissenschaftlichen Studien, welche ich in einem wöchentlichen Übersichten nenne, zu einem Narrativ, das einige Aspekte des so genannten Konsens‘ in Frage stellt. Ich wünschte, ich hätte die Zeit, sie alle zu bewerten.

Zitat: Die Anreize für das Vorbringen überzeugender Narrative in der Gelehrsamkeit lädt zu Rosinenpickerei ein. Bis zu einem gewissen Ausmaß führt diese Rosinenpickerei zu einem klassischen sozialen Dilemma: Während es im ureigenen Interesse individueller Wissenschaftler liegt, überzeugende Ergebnisse vorzulegen (erleichtert durch Rosinenpickerei) liegt so etwa eindeutig nicht im Interesse wissenschaftlicher Forschungsfelder, wird doch dadurch die Validität und die Glaubwürdigkeit dieses Forschungsbereiches unterminiert.

Kommentar von JC: Wissenschaftler nehmen für sich in Anspruch, einen privilegierten „Sitz am Tisch“ zu haben, geschuldet deren vermeintlich höheren Niveaus von Rationalität, welche mit der wissenschaftlichen Methode verbunden sindt. Rosinenpickerei und anderer Mumpitz negieren dieses Privileg, und Aktivisten-Wissenschaftler sind nicht besser als Lobbyisten.

Zitat: Wir erwarten verschiedene Belohnungen dafür, dass wir weit weniger überzeugende Storys verbreiten über wirre und widersprüchliche Daten. Erstens wollen wir unsere eigene wissenschaftliche Integrität erhalten. Zweitens, das gilt auch für die Integrität unseres Forschungsbereiches. Drittens, die Anerkennung miteinander im Konflikt stehender Ergebnisse und wirrer Daten bieten eine Gelegenheit für theoretische Fortschritte und neue empirische Forschungen, um diese Konflikte zu lösen – entweder mit dem Beleg, dass ein Satz von Ergebnissen nicht reproduzierbar ist, oder durch Identifikation von Bedingungen, unter welchen beide Sätze miteinander in Konflikt stehender Ergebnisse konsistent erzielt werden können. Folglich könnten die traditionelleren Belohnungen jenen Forschern zukommen, die in der Lage sind, derartige Konflikte zu lösen“.

Kommentar von JC: Brillant ausgedrückt! Aber all das scheint für Aktivisten-Wissenschaftler irrelevant, glauben sie doch, dass sie den Planeten retten; oder sie sind den finanziellen und karrieristischen Belohnungen verfallen, so dass sie bzgl. Klima dann Alarm schlagen und (schlimmer) jedwede Wissenschaft und jedweden Wissenschaftler ignorieren, der nicht diesem Narrativ folgt.

Zitat: Wir verteidigen einfach nur einen Prozess, der diejenigen Daten manipuliert, die nicht mit dem bevorzugten Narrativ der Wissenschaft konform gehen.

Es liegt in der Natur wissenschaftlichen Fortschritts, dass wir Vieles falsch machen. Eine ordentliche Wissenschaft jedoch soll: 1) derartige Fehler auf ein Minimum reduzieren und 2) sich sofort selbst korrigieren, wenn Fehler offensichtlich werden. Zu diesen Fehlern kommt es nicht wegen fragwürdiger wissenschaftlicher Verfahren, sondern wegen ungerechtfertigter Interpretationen.

Zusammenfassung von JC: Der maskierende Bias und die Rosinenpickerei sind kein Forschungs-Fehlverhalten, aber es führt die Wissenschaft und die Politiker gleichermaßen in die Irre. Das IPCC hat mittels seiner Konzentration auf eine ,gefährliche anthropogene Einmischung in das Klimasystem‘ den maskierenden Bias institutionalisiert – wobei dies bis auf nationale Geldgeber durchschlug: was man finanziert, wie man Zuwendungen und Veröffentlichungen in Journalen ausdrückt und was man in Hörsälen lehrt.

Vielfalt von Standpunkten und Erkennung alternativer Erklärungen und Hypothesen

Zitat: Wenn man zweifelt, kann man sich an Kollegen wenden, welche sehr unterschiedliche Standpunkte als unsere eigenen vertreten. Wir müssen nicht mit ihnen übereinstimmen oder uns von ihren Argumenten überzeugen lassen. Aber jene, die anderer Ansicht sind als wir, haben möglicherweise sehr viel mehr unterschiedliche blinde Flecken als wir, und sie werden normalerweise sehr gerne unsere Standpunkte auszustechen versuchen. Wenn ein Kollege behauptet, dass wir etwas Wichtiges übersehen haben, bedeutet das noch lange nicht, dass das wirklich so ist. Der Punkt ist, maskierte Ergebnisse, Studien und Erklärungen aufzuspüren, die uns wegen unseres eigenen blinden Flecks verborgen geblieben sind. Sind sie erst einmal erkannt, hindert uns nichts daran, diese ebenfalls kritisch zu evaluieren – wir können immer noch folgern, dass sie nicht so wichtig sind wie unsere Kritiker glauben. Aber zumindest haben wir dann Gelegenheit, diese anzusprechen, anstatt so weiterzumachen, als würden sie gar nicht existieren.

Idealerweise ist es so: Wenn alternative Erklärungen für ein Phänomen existieren, werden die Forscher Verfahren entwickeln, um alternative Hypothesen einander gegenüber zu stellen. Der Punkt ist nicht zu zeigen, dass das eine „wahr“ und das andere „falsch“ ist. Tatsächlich gibt es einflussreiche psychologische Lehrmeinungen, denen zufolge die meisten Hypothesen unter bestimmten Bedingungen zutreffend sind. Falls man sich diesem Standpunkt verschreibt, ist es einfach nur dumm, irgendeine Theorie zu „widerlegen“. Selbst wenn man diese Ansicht teilt, ist es unsere Perspektive, dass es immer noch unverzichtbar ist, alternative Perspektiven in bestimmten Forschungszusammenhängen miteinander zu vergleichen. Falls unter bestimmten Bedingungen alles wahr ist, dann ist irgendeine bestimmte Hypothese vielleicht nicht unter allen Bedingungen wahr. Um herauszufinden, ob Hypothese X alle oder die meisten Daten erklärt, oder unter welchen Bedingungen die Hypothese Y wahr ist, müssen wir beide austesten.

Darum haben solche Gegenüberstellungen ein erhebliches Potential, das Feld zu beherrschen. Egal wie stark wir zu einem Bias der Bestätigungen neigen und egal, wie schwierig es ist, hinsichtlich unserer Interpretationen vollständig objektiv zu sein – wir haben oftmals Kollegen, die bereit, willens und in der Lage sind, uns zu sagen wie sehr wir unrecht haben. Um diese Dinge anzusprechen schlagen wir also vor, dass Psychologen eine ihrer Stärke ausspielen. Es gab in dem Bereich lange Diversität, teils weil Personen mit diversen Hintergründen unterschiedliche Erfahrungen einbringen, mit psychologischen Problemen umzugehen. Kurz gesagt, diverse Menschen haben diverse Ideen, womit sie den „Marktplatz der Gedanken“ bereichern.

Derartiges Zusammenarbeiten ist vielleicht ziemlich schwierig, weil diejenigen auf der anderen „Seite“ irgendwelcher Debatten – seien diese nun theoretischer oder politischer Natur – oftmals der anderen Seite ziemlich feindlich gegenüberstehen. Trotzdem lautet eine der wenigen Lösungen für einen Bestätigungs-Bias, eine alternative erwünschte Schlussfolgerung zu übernehmen. Das ist vielleicht nicht einfach, aber wir prophezeien, dass es das in der Regel wert ist.

Und was ist, wenn derartige Versuche der Zusammenstellung scheitern? Ein Kritikpunkt bzgl. gegensätzlicher Zusammenwirkens ist, dass es oft nicht funktioniert, weil die Opponenten sich so feindlich gegenüberstehen, dass sie nicht zusammenarbeiten können. Dies ist eine Aussage darüber, wie mächtig der Bestätigungs-Bias eines Forschers sein kann. Die Lüge wird in das Idealbild objektiver Wissenschaftler gekleidet, dass eine Lösung durchweg auf Logik, Verfahrensweise, Statistik und Daten basierend gefunden worden ist. Beide Seiten können gleich schuldig sein oder vielleicht ist auch die eine Seite verzerrt, die andere nicht. Wie auch immer, derartige Fehlschläge sind ein starkes Signal, dass irgendetwas anderes als das objektive und leidenschaftliche Verfolgen der Wahrheit im Gange ist.

Ein kürzlich erschienener Artikel im Bereich Astronomie (Loeb 2014) enthielt wichtige Punkte über die Diversität von Gedanken. Loeb (2014) beleuchtete Beispiel für Beispiel, in welchen renommierte Astronomen „glauben“, dass etwas auf der Grundlage weniger oder gar keiner Beweise wahr ist; in welchen diese Astronomen die Fähigkeit jüngerer Wissenschaftler und anderer behindern, mit neuen Gedanken zu jenem Problem aufzuwarten, weil die Alternativen als abwegig empfunden werden. In jedem Falle wurde Jahre später ultimativ entdeckt, dass die „abwegigen“ Behauptungen sich als wahr herausstellen. Nach unserer Terminologie maskierten ungerechtfertigte, aber für vertrauenswürdig gehaltene Schlussfolgerungen die Beweise, und manchmal ist sogar die Suche nach besser passenden Beweisen. „Meinungs-Einheitlichkeit ist steril; das Nebeneinander multipler Gedanken kultiviert Wettbewerb und Fortschritt“.

Natürlich ist es schwierig, im Voraus zu wissen, welcher Weg der Erklärung Früchte tragen wird, und der Hinterhof der Astronomie steckt voller neuer Gedanken, die sich als falsch erwiesen haben. Aber um den Prozess der Entdeckungen effizienter zu machen … sollten Geld gebende Agenturen einen festgelegten Anteil ihrer Ressourcen (sagen wir mal 10% bis 20%) für riskante Erkundungen abzweigen. Dies kann als eine positive Maßnahme betrachtet werden, um die Diversität von Gedanken zu fördern.

Kommentar von JC: Der Vorschlag von Jussim et al., dass Wissenschaftler-Teams mit unterschiedlichen Perspektiven zusammenarbeiten, funktioniert in der Klimawissenschaft einfach nicht. Aktivistische Wissenschaftler werden niemals mit Klimawissenschaftlern debattieren, welche andere Perspektiven vertreten, und sie werden diese sogar auf Twitter blockieren. Falls sich ein nicht aktivistischer Wissenschaftler zu enthusiastisch mit jemandem wie mir, Christy, Pielke und so weiter zusammensetzt, werden sie von den Aktivisten-Wissenschaftlern zum Rückzug „gezwungen“.

Zensur und Maskierung durch Journale

Es gab über die Jahre viele, viele Beispiele dafür, sowohl in der Klimawissenschaft, noch verbreiteter aber in der Akademia.

Ich kenne eine neue Anekdote, welche für diesen Beitrag relevant ist, und zwar aus Begutachtungen von Studien, die ich jüngst bei einem Journal einreichte. Ohne allzu sehr auf die fragliche Studie oder irgendeine spezifische Kritik einzugehen (ich versuche immer noch zu ergründen, was ich mit dieser Studie anfangen kann), sind einige Äußerungen von Begutachtern und dem Herausgeber sehr aufschlussreich:

„Alles in allem besteht die Gefahr, dass die Studie von skrupellosen Menschen ausgenutzt wird, um Verwirrung zu erzeugen oder die Klimawissenschaft zu diskreditieren. Daher schlage ich vor, dass der Autor die Essenz seines Beitrags für die wissenschaftliche Debatte um Klimawandel noch einmal überdenkt“.

Und noch ein Juwel von Begutachter Nr. 1:

„Und schließlich sind in der Studie Fehler enthalten wie: ,unter den bekanntermaßen vernachlässigten Phänomenen bei den Szenarien des Klimawandels im 21. Jahrhundert sind: solare Variabilität und indirekte solare Effekte, vulkanische Eruptionen, die natürliche interne Variabilität der großräumigen Ozean-Zirkulationen, geothermale Wärmequellen und andere geologische Prozesse‘: Dieses Statement entbehrt jeder Rechtfertigung und ist offensichtlich falsch, war doch all dies bereits in den CMIP5-Modell-Experimenten evaluiert worden“.

Bumm! Maskieren ist voll erfolgreich; Klimawissenschaftler glauben jetzt, dass all dieses Zeug über die natürliche Variabilität (darunter geologische Prozesse, Vulkanausbrüche und solare Variabilität) in den CMIP5-Modell-Experimenten evaluiert worden sind. (JC’s Kopf platzt!)

Auf der Grundlage dieser brillianten und hart einschlagenden Begutachtungen schreibt der Herausgeber: „Wir bedauern, dass wir das Manuskript nicht zur Veröffentlichung akzeptieren können und werden es nicht weiter in Betracht ziehen“.

Selbst wenn man annimmt, dass es ernste Schwächen in der Studie gibt (was nicht der Fall ist, zumindest nicht solche, die den Falsch-Beurteilungen der Begutachter auch nur nahe kommen) – die explizite Aussage, dass sie eine Neueinreichung nicht einmal ansehen würden, ist etwas, das ich noch nie bei einem Herausgeber erlebt habe.

Ich muss ein Journal finden mit einem dreifach blinden Begutachtungssystem (einschließlich des Herausgebers).

Steve Koonin und das Red Team

Folglich ist der Gedanke von Red Teams und Ähnlichem geeignet, alternative Perspektiven bekannter zu machen. Dazu in den vorhergehenden Beiträgen mehr zum Hintergrund.

Steve Koonin war der sichtbarste und prominenteste Befürworter eines solchen Red teaming. Jüngst hielt Koonin einen Vortrag hierüber an der Purdue University.

Gavin Schmidt schrieb etwas zu Koonins Vortrag bei RealClimate. Um es höflich auszudrücken, Gavins Beitrag ist höchst abschätzig darüber, was Koonin zu sagen hat.

Da der Steve Koonin, den ich kenne, sehr intelligent und einsichtsvoll ist, vermute ich, dass Gavins Beitrag völlig am Thema vorbeiging. Dann entdeckte ich einen Beitrag von Koonin bei WUWT, welcher klarstellt, was er in Wirklichkeit in seinem Vortrag gesagt hat und wie sehr seine Ausführungen von Gavin fehlinterpretiert worden waren.

Ich denke, dass die gesamten Bedenken Koonins bzgl. der Klimawissenschaft mit diesem Gedanken des ,maskierenden Bias‘ zusammenhängen. Die Betrachtung des Themas auf diese Weise kann helfen, die verschiedenen Bemühungen von Red Teams zu rechtfertigen, die in den USA ins Leben gerufen werden.

Link: https://judithcurry.com/2019/06/21/climate-sciences-masking-bias-problem/

Übersetzt von Chris Frey EIKE