John Ridgway

Jeder Politiker, der vor der Herausforderung steht, die Öffentlichkeit vor einer natürlichen Bedrohung wie einer Pandemie oder dem Klimawandel zu schützen, wird gerne betonen, wie sehr er sich „an die Wissenschaft hält“ – womit er meint, dass er sich von der vorherrschenden wissenschaftlichen Meinung des Tages leiten lässt. Wir würden uns wünschen, dass dies der Fall ist, weil wir der wissenschaftlichen Methode als einem selektiven Prozess vertrauen, der sicherstellt, dass schlechte Wissenschaft nicht lange überleben kann. Das ist keine Realität, die ich hier ignorieren möchte, aber ich möchte sie auf jeden Fall in den richtigen Kontext stellen. Das Problem ist, dass die wissenschaftliche Methode nicht das einzige Auswahlkriterium ist, und wenn man alle anderen berücksichtigt, ergibt sich ein viel undurchsichtigeres Bild – sicherlich keines, das klar genug ist, um ein vorherrschendes Narrativ auf einen erkenntnistheoretischen Sockel zu stellen.

Rückkopplung ist alles

Von allen Auswahlkriterien, die innerhalb einer wissenschaftlichen Gemeinschaft gelten, ist das vielleicht grundlegendste nicht die Begutachtung wissenschaftlicher Arbeiten durch Fachkollegen, sondern eines, das sich wie folgt zusammenfassen lässt:

„Denn wer hat, dem wird gegeben, und er wird im Überfluss haben; wer aber nicht hat, dem wird auch noch genommen, was er hat.“ (Matthäus 25:29, RSV).

Dies ist der sogenannte Matthäus-Effekt [1], auch bekannt als „kumulativer Vorteil“. Es handelt sich um eine positive Rückkopplung, die dazu dient, Ruhm und Einfluss in die Hände einiger weniger Auserwählter zu legen. Dies gilt im Allgemeinen für das Leben, aber auch speziell für die Wissenschaft. Beispielsweise werden Arbeiten, die bereits eine beträchtliche Anzahl von Zitaten erhalten haben, tendenziell noch öfter zitiert werden, schon allein deshalb, weil eine derzeit große Anzahl von Zitaten die Wahrscheinlichkeit weiterer Verweise erhöht, die sich aus einer zufälligen Auswahl aus bestehenden Zitierlisten ergeben. Dieses bibliometrische Phänomen, bei dem Erfolg weiteren Erfolg nach sich zieht, wurde erstmals vom Physiker Derek de Solla Price untersucht, der dessen im Wesentlichen stochastische Eigenschaften hervorhob:

„Es zeigt sich, dass ein solches stochastisches Gesetz durch die Beta-Funktion bestimmt wird, die nur einen freien Parameter enthält, und dies wird durch eine schiefe oder hyperbolische Verteilung approximiert, wie sie in der Bibliometrie und verschiedenen sozialwissenschaftlichen Phänomenen weit verbreitet ist.“ [2]

In der Praxis wird die Auswahl jedoch alles andere als zufällig sein, da Faktoren wie Einfluss und Prestige ebenfalls die Wahrscheinlichkeit bestimmen, mit der die Arbeit einer Person zitiert wird. So oder so, der bekanntere Wissenschaftler wird noch erfolgreicher werden.

Der Matthäus-Effekt hat auch Einfluss auf die Chancen, dass ein Artikel überhaupt veröffentlicht wird. Wenn ein Herausgeber oder Gutachter mit der Qualität der bisherigen Veröffentlichungen eines Autors vertraut ist, fällt es ihm leichter, den latenten Wert eines eingereichten Artikels zu beurteilen, was die Chancen des Autors erhöht, seine Publikationsliste zu erweitern. Ein weniger bekannter Autor hat diesen Vorteil nicht. Dies führt zu einer positiven Rückkopplung, die zu einer Monokultur führen kann, welche auf den Arbeiten einer relativ kleinen Anzahl dominanter Autoren basiert. Auch hier kann der Matthäus-Effekt rein statistischer Natur sein und erfordert keine besonderen Vorurteile oder Voreingenommenheit. Die Wissenschaftsphilosophen Remco Heesen und Jan-Willem Romeijn, die diesen Effekt untersucht haben, drücken es so aus:

Dieser Artikel befasst sich mit Vorurteilen, die nicht auf den Vorurteilen von Herausgebern oder Gutachtern beruhen, sondern vielmehr auf den statistischen Merkmalen der redaktionellen Entscheidungsfindung… Selbst wenn es Herausgebern gelingt, ihre Entscheidungsprozesse von unbewussten Vorurteilen zu befreien, bleiben ihnen dennoch Vorurteile rein statistischer Natur. Die statistischen Vorurteile tragen zur bereits bestehenden Tendenz hin zu einer Monokultur in der Wissenschaft bei: einem rein statistischen Matthäus-Effekt. [3]

Es gibt tatsächlich eine Reihe von Möglichkeiten, wie sich Monokulturen entwickeln können, wobei jede davon mit dem Matthäus-Effekt einhergeht. Ein Beispiel dafür ist die Rückkopplung, bei der Finanzierung zu Erfolg führt, was wiederum zu mehr Finanzierung führt. Auch die Forschungsinteressen eines hochrangigen Fakultätsmitglieds beeinflussen die Einstellungspolitik und verstärken damit das Interesse der Fakultät an diesen Forschungsbereichen [4]. Nehmen wir zum Beispiel die wissenschaftliche Monokultur, die sich innerhalb der Grundlagenphysik schnell entwickelt hat. Der Physiker Lee Smolin erklärte dies bereits 2006:

„Die aggressive Förderung der Stringtheorie hat dazu geführt, dass sie zum wichtigsten Ansatzpunkt für die Erforschung der großen Fragen der Physik geworden ist. Fast alle Teilchenphysiker mit einer Festanstellung am renommierten Institute for Advanced Study, einschließlich seines Direktors, sind Stringtheoretiker; die einzige Ausnahme ist eine Person, die vor Jahrzehnten eingestellt worden ist.“ [5]

Diese Dominanz ist nicht das Ergebnis der wissenschaftlichen Methode, da das entscheidende Element auffällig fehlt, mit welchem Theorien experimentell überprüft werden. Es handelt sich nicht um eine Theorie, die ihre Konkurrenten verdrängt hat, indem sie sich als besser überprüfbar erwiesen hat oder eine bessere experimentelle Verifizierbarkeit aufweist. Ihre anfängliche Anziehungskraft beruhte auf einigen frühen und recht spektakulären theoretischen Erfolgen, aber seitdem ist die Stringtheorie in einer Reihe von obskuren und völlig unüberprüfbaren mathematischen Vermutungen versunken, die nicht einmal als Theorie im üblichen Sinne gelten können. Im Gegenteil, die letztendliche Dominanz der Stringtheorie scheint das Ergebnis positiver Rückkopplungen zu sein, bei denen akademischer Erfolg weitaus wichtiger wurde als wissenschaftliche Leistungen. Lee Smolin schreibt dazu:

„Auch wenn die Stringtheorie auf wissenschaftlicher Seite zu kämpfen hat, hat sie innerhalb der akademischen Welt triumphiert.“

Der Aufstieg der Stringtheorie zur Dominanz ist ein klassisches Beispiel dafür, was der Matthäus-Effekt bewirken kann, wenn die wissenschaftliche Methode kompromittiert wird. Als solches ist sie eine warnende Geschichte für jeden wissenschaftlichen Bereich, in dem Theoriebildung und Modellierung letztendlich die Möglichkeiten der experimentellen Bestätigung übersteigen.

Ein weiteres Problem von Monokulturen besteht darin, dass sie zu einer potenziell unzuverlässigen Darstellung führen können, die als gesellschaftlicher Leuchtturm für normatives Denken fungiert. Je stärker diese Darstellung wird und je mehr sich gesellschaftliche Einstellungen verfestigen, desto größer wird auch die Macht, innerhalb der wissenschaftlichen Gemeinschaft ein höheres Maß an Übereinstimmung zu erzwingen. Der Konsens wird zu einer sich selbst verstärkenden sozialen Dynamik, im Guten wie im Schlechten. Dies ist ein Beispiel für eine Klasse von Phänomenen, die von den Organisationswissenschaftlern Jörg Sydow und Georg Schreyögg untersucht worden sind:

„In den meisten Fällen sind Organisationen und auch organisationsübergreifende Netzwerke, Märkte oder Bereiche durch eine Dynamik gekennzeichnet, die weitgehend außerhalb der Kontrolle der Akteure zu liegen scheint… Unter dieser meist verborgenen und sich herausbildenden Dynamik scheinen sich selbst verstärkende Prozesse von besonderer Bedeutung zu sein; sie entfalten ihre eigene Dynamik und verwandeln einen möglicherweise positiven Kreislauf in einen negativen (Masuch, 1985).“ [6]

Natürlich muss niemand, der in eine solche Dynamik geraten ist, von einer Täuschung ausgehen. Allerdings sind Politik und Manipulation der Menschheit nicht fremd, sodass Voreingenommenheit und Betrug weiterhin optionale Extras bleiben. Insbesondere muss man befürchten, dass das Wachstum der KI die Wahrscheinlichkeit der Entwicklung problematischer Monokulturen erhöht. David Comerford, Professor für Wirtschaft und Verhaltenswissenschaften an der Universität Stirling, betont:

„Noch vor wenigen Jahren dauerte es Monate, um eine einzige wissenschaftliche Arbeit zu verfassen. Heute kann eine einzelne Person mithilfe von KI innerhalb weniger Stunden mehrere wissenschaftliche Arbeiten erstellen, die gültig erscheinen.“ [7]

Da es sich beim Matthäus-Effekt um ein Zahlenspiel handelt, muss alles, was wissenschaftliche Arbeiten im industriellen Maßstab generieren kann, Anlass zur Sorge geben. Und es gibt Hinweise darauf, dass solche Artikel zunehmend von Ghostwritern im Auftrag von Unternehmen verfasst werden – sogenanntes „Resmearch“. David Comerford erklärt:

„Während die überwiegende Mehrheit der Forscher motiviert ist, die Wahrheit aufzudecken und ihre Ergebnisse gründlich zu überprüfen, geht es bei Resmearch nicht um die Wahrheit – es geht nur darum zu überzeugen.“

Und das noch bevor man die Möglichkeit in Betracht zieht, dass Einzelpersonen KI nutzen könnten, um ihre Produktivität zu steigern und so den Matthäus-Effekt zu ihren Gunsten auszunutzen. So oder so hat KI die Kosten für die Erstellung solcher Arbeiten auf praktisch null reduziert und damit den Druck auf die wissenschaftliche Methode erhöht, dem Entstehen potenziell unzuverlässiger Monokulturen entgegenzuwirken.

Die natürliche Auslese schlechter Wissenschaft

Monokulturen sind zwar zu vermeiden, aber sie basieren in der Regel nicht auf schlechter Wissenschaft. Tatsächlich gibt es in der Wissenschaft immer eine leitende Hand, die dies verhindern soll. Die Arbeit wird routinemäßig von Fachkollegen auf ihre Qualität und ihren Wert hin bewertet, und eine solche Überprüfung sollte der guten Wissenschaft zugute kommen. Nur scheinen die Beweise darauf hinzudeuten, dass schlechte Wissenschaft trotz dieser Überprüfung immer noch gedeihen kann. Es gibt noch eine weitere Auswahlinstanz, die jedoch keineswegs als korrigierende Kraft wirkt, schlechte Arbeiten herausfiltert und sowohl rein statistische als auch durch Voreingenommenheit bedingte positive Rückmeldungen entfernt, sondern vielmehr schlechte Wissenschaft fördern kann. Die Erklärung für diesen problematischen Effekt wurde von Paul E. Smaldino und Richard McElreath geliefert. Die Einleitung ihrer Zusammenfassung gibt einen Überblick über die Situation:

„Ein schlechtes Forschungsdesign und eine mangelhafte Datenanalyse begünstigen falsch-positive Ergebnisse. Trotz ständiger Forderungen nach Verbesserungen werden solche mangelhaften Methoden weiterhin angewendet, was darauf hindeutet, dass sie nicht nur auf Missverständnissen beruhen. Die Beibehaltung mangelhafter Methoden ist zum Teil auf Anreize zurückzuführen, die diese begünstigen und zu einer natürlichen Selektion schlechter Wissenschaft führen. Diese Dynamik erfordert keine bewusste Strategie – kein absichtliches Betrügen oder Faulenzen – seitens der Wissenschaftler, sondern lediglich, dass Veröffentlichungen ein wesentlicher Faktor für den beruflichen Aufstieg sind.“ [8]

Das hier angesprochene mangelhafte Forschungsdesign und die unzureichenden Datenanalysen beziehen sich auf den Missbrauch von p-Werten und Variationen zum Thema Datenmanipulation, die in den Verhaltenswissenschaften seit vielen Jahren weit verbreitet sind. Das Problem entsteht dadurch, dass Veröffentlichungen die wichtigste Form der Belohnung darstellen, für Veröffentlichungen jedoch positive Ergebnisse erforderlich sind, was wiederum Verfahren fördert, die zu falsch positiven Ergebnissen führen. Richard Horton, Herausgeber von The Lancet, weist auf die Notwendigkeit geeigneter Anreize hin:

„Ein Teil des Problems besteht darin, dass niemand einen Anreiz hat, richtig zu liegen. Stattdessen werden Wissenschaftler dazu angeregt, produktiv und innovativ zu sein.“ [9]

Smaldino und McElreath betonen, dass keine Strategie erforderlich ist:

„In diesem Artikel wird argumentiert, dass einige der stärksten Anreize in der heutigen Wissenschaft schlechte Forschungsmethoden und den Missbrauch statistischer Verfahren aktiv fördern, belohnen und verbreiten. Wir bezeichnen diesen Prozess als natürliche Selektion schlechter Wissenschaft, um darauf hinzuweisen, dass er weder bewusste Strategien noch Betrug seitens der Forscher erfordert. Stattdessen entsteht er aus der positiven Auswahl von Methoden und Gewohnheiten, die zu Veröffentlichungen führen.“

Sie weisen weiterhin auf die offensichtliche Tatsache hin, dass „Methoden, die mit größerem Erfolg in der akademischen Laufbahn verbunden sind, sich bei sonst gleichen Bedingungen tendenziell verbreiten“. Man möchte gerne glauben, dass sich nur die guten Verfahren verbreiten, aber das ist eindeutig nicht der Fall. Es verbreiten sich diejenigen, die am stärksten mit beruflichem Erfolg verbunden sind, und dazu gehört leider eine Reihe von Kriterien, die nur teilweise mit der Qualität der Arbeit korrelieren. In diesem Fall gilt: Je geringer die statistische Aussagekraft der Daten, desto größer die Chancen auf eine Veröffentlichung – und eine Veröffentlichung scheint jeder zu wollen.

Glücklicherweise ist dies kein Problem, bei dem die wissenschaftliche Methode tatenlos zusieht. Replikation und Reproduzierbarkeit sind ihre Eckpfeiler, und infolgedessen hat sich das Fehlverhalten in der berüchtigten „Reproduzierbarkeitskrise“ innerhalb der Wissenschaft manifestiert. Die Meinungen darüber, wie ernst das Problem ist, gehen auseinander; einige behaupten, die Krise sei existenziell, während andere das Problem für etwas übertrieben halten. Niemand behauptet jedoch, dass das Problem leicht zu beheben sei, was nicht verwunderlich ist, da es seine Wurzeln in den Belohnungsstrukturen hat, welche die akademische Welt stützen [10].

Wohin führt uns das nun?

Die sozialen Strukturen und Belohnungsmechanismen innerhalb der Wissenschaft sind so beschaffen, dass sowohl gute als auch schlechte Wissenschaft von einer natürlichen Selektion profitieren kann, und für Laien kann es sehr schwierig sein zu erkennen, in welche Richtung die Selektion bei der Schaffung eines vorherrschenden Narrativs gewirkt hat. Die Stärke des Konsens‘ zu kennen ist bei weitem nicht so wichtig wie das Verständnis der zugrunde liegenden Prozesse, und es wäre naiv anzunehmen, dass diese ausschließlich von der wissenschaftlichen Methode bestimmt werden. Hinzu kommen statistische Effekte, die die akademische Welt für die Entstehung potenziell schädlicher Monokulturen prädisponieren, was einen weiteren Grund darstellt, der Versuchung zu widerstehen, die vorherrschende Darstellung automatisch zu akzeptieren.

Es sollte jedoch beachtet werden, dass dies keine anti-wissenschaftliche Haltung ist. Gerade weil soziale Dynamik Ideen unabhängig von ihrer epistemologischen Gültigkeit festigen kann, ist die wissenschaftliche Methode so wichtig. Dennoch sollte eine reife Wertschätzung der Bedeutung des wissenschaftlichen Ansatzes das Verständnis mit sich bringen, dass die wissenschaftliche Methode nicht hoffen kann, die Launen und Zufälligkeiten der Konsensbildung hundertprozentig zu beseitigen. Insbesondere kann sie nicht hoffen, die Auswirkungen des statistischen Matthäus-Effektes und dessen Neigung zur Schaffung von Monokulturen vollständig zu vermeiden. Eine reife Wertschätzung der Bedeutung des wissenschaftlichen Ansatzes sollte daher auch das Verständnis beinhalten, dass es wirklich nicht notwendig ist, sich auf die Idee eines wissenschaftlichen Vorwands zu berufen. Es gibt keine Verschwörung, sondern nur Wissenschaftler, die ihre Arbeit tun.

Anmerkungen:

[1] Der Begriff wurde erstmals im Zusammenhang mit der Wissenschaftssoziologie von Robert K. Merton und Harriet Anne Zuckerman geprägt. Siehe Merton R.K. 1968 “The Matthew effect in science”, Science, New Series, Vol 159, No. 3810, pp. 56-63. https://repo.library.stonybrook.edu/xmlui/bitstream/handle/11401/8044/mertonscience1968.pdf?sequence=1&isAllowed=y.

[2] de Solla Price, Derek J. 1976, “A general theory of bibliometric and other cumulative advantage processes”, J. Amer. Soc. Inform. Sci., 27 (5): 292–306, https://doi.org/10.1002/asi.4630270505.

[3] Heesen R., Romeijn JW. 2019 “Epistemic Diversity and Editor Decisions: A Statistical Matthew Effect”, Philosophers’ Imprint, Vol. 19, No. 39, pp. 1-20. http://hdl.handle.net/2027/spo.3521354.0019.039.

[4] Tatsächlich hat der Respekt vor älteren Fakultätsmitgliedern einen großen Anteil daran, wenn es darum geht, einen Konsens zu erzielen. Siehe Perret C. and Powers S. T. 2022, “An investigation of the role of leadership in consensus decision-making”, Journal of Theoretical Biology, Vol 543, 111094, https://doi.org/10.1016/j.jtbi.2022.111094.

[5] Smolin L. 2006 “The Trouble With Physics”, page xx, ISBN 978-0-141-01835-5.

[6]  Sydow, J., Schreyögg, G. 2013 “Self-Reinforcing Processes in Organizations, Networks, and Fields — An Introduction”. In: Sydow, J., Schreyögg, G. (eds) Self-Reinforcing Processes in and among Organizations. Palgrave Macmillan, London. https://doi.org/10.1057/9780230392830_1.

[7] Comerford D. 2025 “We risk a deluge of AI-written ‘science’ pushing corporate interests – here’s what to do about it”. The Conversation. https://theconversation.com/we-risk-a-deluge-of-ai-written-science-pushing-corporate-interests-heres-what-to-do-about-it-264606.

[8] Smaldino P.E., McElreath R. 2016 “The natural selection of bad science”, R. Soc. Open Sci., 3: 160384, http://doi.org/10.1098/rsos.160384.

[9] Horton R. 2015 “Offline: What is medicine’s 5 sigma?”, The Lancet, Volume 385, Issue 9976 p1380. https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(15)60696-1/fulltext.

[10] Leyser O., Kingsley D., Grange J. 2017, “Opinion: The science ‘reproducibility crisis’ – and what can be done about it”. University of Cambridge – Research News. https://www.cam.ac.uk/research/news/opinion-the-science-reproducibility-crisis-and-what-can-be-done-about-it.

Link: https://judithcurry.com/2025/09/08/the-matthew-effect-mono-cultures-and-the-natural-selection-of-bad-science/#more-32386

Übersetzt von Christian Freuer für das EIKE

 

image_pdfBeitrag als PDF speichernimage_printBeitrag drucken