Statistik als Manipulationsinstrument?
Wie glaubwürdig ist die Wissenschaft?
Die Wissenschaft lebt von Objektivität und der Möglichkeit, Ergebnisse zu reproduzieren. Doch eine neue Studie offenbart eine tiefgehende Krise: Selbst bei identischen Datensätzen kommen Wissenschaftler zu unterschiedlichen Ergebnissen. Besonders betroffen ist nun die Ökologie – eine Disziplin, die in Zeiten des Klimawandels und Artensterbens zunehmend in den Fokus der öffentlichen Debatte rückt. Dies liegt unter anderem daran, dass ökologische Forschung stark von komplexen, oft schwer messbaren Umweltfaktoren beeinflusst wird. Zudem ist die Reproduzierbarkeit von Feldstudien aufgrund der Vielzahl variabler Bedingungen besonders herausfordernd. Ist die Wissenschaft hier also weniger zuverlässig, als sie vorgibt? Und wie entstehen solch drastische Unterschiede in den Ergebnissen?
Gleiche Daten, unterschiedliche Schlüsse
Eine groß angelegte Studie, an der rund 250 Ökologinnen und Ökologen beteiligt waren, hat genau diese Frage untersucht. Die Teilnehmenden erhielten zwei identische Datensätze: Einer untersuchte, ob der Wettbewerb zwischen Geschwistern das Wachstum junger Blaumeisen beeinflusst. Der andere befasste sich mit der Frage, ob die Bodenbedeckung mit Gräsern das Wachstum von Eukalyptuspflanzen beeinflusst.
146 unabhängige Forschungsteams analysierten diese Daten nach ihren bevorzugten Methoden. Erwartet man, dass bei gleicher Datengrundlage auch gleiche Ergebnisse erzielt werden, wurde man eines Besseren belehrt. Während sich bei den Blaumeisen zumindest ein einheitlicher Trend abzeichnete – je mehr Geschwister, desto langsamer das Wachstum – variierte die berechnete Effektstärke stark. Noch drastischer war das Ergebnis bei den Eukalyptusbäumen: Die Hälfte der Forscherteams fand keinen Zusammenhang zwischen Grasbewuchs und Wachstum, die andere Hälfte sah einen – aber mit gegensätzlichen Aussagen dazu, ob Graswachstum hinderlich oder förderlich sei.
Diese Abweichungen werfen eine zentrale Frage auf: Wie belastbar sind wissenschaftliche Ergebnisse, wenn sie stark von den angewandten statistischen Methoden abhängen? Und wie können Forscher sicherstellen, dass ihre Analysen objektiv bleiben?
Statistik als Manipulationsinstrument?
Die Ergebnisse sind brisant. Sie zeigen, dass wissenschaftliche Erkenntnisse stark von methodischen Entscheidungen abhängen – und dass Statistik nicht nur objektive Wahrheiten hervorbringt, sondern auch beeinflusst werden kann. Dieser Effekt ist bereits aus der Medizin und Psychologie bekannt, wo viele Studien nicht replizierbar sind. Doch was bedeutet das für die Ökologie?
Das Problem ist nicht neu: Schon lange warnen Experten davor, dass verschiedene statistische Modelle zu unterschiedlichen Ergebnissen führen können. Doch während das in der Wissenschaft als bekannt vorausgesetzt wird, können Laien dadurch in die Irre geführt werden. Ein Beispiel hierfür sind widersprüchliche Studien zu Ernährungsempfehlungen: Während eine Studie zeigt, dass ein bestimmtes Lebensmittel gesund ist, kommt eine andere zum gegenteiligen Schluss – oft aufgrund unterschiedlicher statistischer Methoden. Ähnliches kann auch in der ökologischen Forschung geschehen, wenn etwa Studien zur Klimawirkung bestimmter Maßnahmen unterschiedliche Ergebnisse liefern und damit Unsicherheit in der öffentlichen Debatte schüren.
Der Vorwurf, dass Wissenschaftler sich bewusst das herauspicken, was ihre These am besten unterstützt, ist nicht unbegründet. In der Wissenschaft spricht man von "P-Hacking": Mehrere Modelle werden getestet, und das mit dem "schönsten" Ergebnis wird publiziert. Dadurch entsteht ein selektives Bild der Realität, das nicht immer der wissenschaftlichen Wahrheit entspricht.
Ein weiteres Problem liegt in der Interpretation der Ergebnisse. Forscher müssen nicht nur aus einer Vielzahl statistischer Methoden wählen, sondern auch festlegen, welche Einflussgrößen sie in ihre Modelle einbeziehen. Fehlende Variablen können dazu führen, dass Ergebnisse irreführend sind oder Zusammenhänge hergestellt werden, die in der Realität gar nicht existieren. Dies zeigt sich auch an einem prominenten Beispiel aus der ökologischen Forschung: Die sogenannte Krefeld-Studie zum Insektensterben sorgte weltweit für Schlagzeilen, weil sie einen massiven Rückgang der Insektenbiomasse dokumentierte. Spätere Analysen, wie die von Jörg Müller im Journal Nature veröffentlichte Studie aus dem Jahr 2023, zeigten jedoch, dass klimatische Faktoren möglicherweise eine viel größere Rolle spielten als ursprünglich angenommen. Müller argumentierte, dass Wetterveränderungen einen maßgeblichen Einfluss auf den beobachteten Rückgang der Insektenpopulationen hatten. Diese Interpretation ist jedoch umstritten, da Kritiker darauf hinweisen, dass die ursprüngliche Studie zu wenige Umweltfaktoren berücksichtigte.
Der Garten der sich verzweigenden Pfade
Der Statistiker Andrew Gelman prägte das Bild eines "Gartens der sich verzweigenden Pfade" für diesen Effekt. Je nach Wahl der statistischen Methode und Variablen können Forscher sich auf völlig unterschiedliche Wege begeben und zu konträren Ergebnissen kommen. In der Ökologie verstärkt sich das Problem noch, weil Feldstudien nicht wie Laborexperimente streng kontrolliert werden können. Unbekannte Umweltfaktoren beeinflussen die Ergebnisse zusätzlich. Dies bedeutet, dass Wissenschaftler in ihrer Analyse nicht nur aus einem Weg, sondern aus vielen möglichen Interpretationen wählen – und dies kann zu einer erheblichen Verzerrung führen.
Der wissenschaftliche Druck, bahnbrechende Ergebnisse zu präsentieren, verstärkt dieses Problem zusätzlich. In vielen Fällen werden nur die statistisch signifikanten Ergebnisse veröffentlicht, während weniger eindeutige oder widersprüchliche Analysen in der Schublade verschwinden. Dies führt zu einer verzerrten Wahrnehmung wissenschaftlicher Erkenntnisse – sowohl innerhalb der akademischen Gemeinschaft als auch in der Öffentlichkeit.
Konsequenzen und Reformbedarf
Ist die Ökologie nun unglaubwürdig? Nein – doch sie muss sich ihrer methodischen Unsicherheiten bewusst sein und transparent damit umgehen. Wissenschaftler fordern daher:
- Standardisierung von Messmethoden, um Vergleichbarkeit zu erhöhen und Unsicherheiten zu reduzieren.
- Veröffentlichung aller statistischen Analysen, nicht nur der „interessanten“ Ergebnisse, um selektive Berichterstattung zu vermeiden.
- Vorab-Registrierung von Forschungsdesigns, um Manipulation zu verhindern und methodische Transparenz zu gewährleisten.
- Open-Source-Daten und -Analysen, sodass Studien unabhängig nachgerechnet und überprüft werden können.
- Stärkere Förderung reproduzierbarer Forschung, um langfristig zuverlässigere Erkenntnisse zu gewinnen.
Eine mögliche Reform wäre die stärkere Förderung von Open-Science-Praktiken, bei denen Forscher nicht nur ihre Ergebnisse, sondern auch Datensätze und Analysemethoden transparent veröffentlichen müssen. Dies könnte durch verpflichtende Datenfreigabe in Fachzeitschriften oder durch die Schaffung spezieller Förderprogramme für reproduzierbare Forschung umgesetzt werden.
Fazit: Mehr Transparenz für eine bessere Wissenschaft
Die Wissenschaft muss sich nicht nur um belastbare Ergebnisse bemühen, sondern auch ihre eigenen Unsicherheiten besser erklären. Sonst droht sie, ihre Glaubwürdigkeit zu verspielen – und das in Zeiten, in denen faktenbasierte Umweltpolitik wichtiger denn je ist.
Die Krise der Reproduzierbarkeit ist letztlich eine Chance: Sie zwingt Wissenschaftler dazu, ihre Methoden zu reflektieren, sich selbst zu hinterfragen und langfristig zu verbessern. Ein Beispiel hierfür ist die Open-Science-Bewegung, die in den letzten Jahren dazu geführt hat, dass immer mehr Forscher ihre Daten und Analysemethoden transparent machen. Plattformen wie das Open Science Framework (OSF) haben es ermöglicht, dass Forschungsprozesse nachvollziehbarer werden und wissenschaftliche Erkenntnisse dadurch robuster und überprüfbarer sind. Nur so kann die Wissenschaft das Vertrauen der Öffentlichkeit erhalten – und sicherstellen, dass ihre Erkenntnisse als belastbare Grundlage für politische und gesellschaftliche Entscheidungen dienen.
