Wir vertrauen Studien blind – aber wer prüft eigentlich wer sie bezahlt hat? 🤓

[Charlie]

okay ich weiß dass das ein unbequemes Thema ist aber ich arbeite selbst in der Forschung und ich kann nicht mehr so tun als wäre das kein Problem
ich bin Charlie, Jahrgang 88, Wissenschaftler und ich liebe meinen Job. wirklich. aber genau deshalb beschäftigt mich folgendes schon seit Jahren und ich frag mich warum darüber so wenig offen geredet wird.
wir haben ein ernsthaftes Reproduzierbarkeitsproblem. 2015 hat ein großes Forscherteam versucht 100 psychologische Studien zu replizieren. weniger als 40% der Ergebnisse ließen sich bestätigen. nicht 40% waren falsch, aber 40% waren reproduzierbar. das ist erschreckend wenn man bedenkt wie viele Entscheidungen, medizinische, politische, gesellschaftliche, auf solchen Studien basieren.
und dann ist da noch die Finanzierungsfrage. ich sage nicht dass bezahlte Forschung automatisch falsch ist. aber ich sage dass es einen dokumentierten Zusammenhang gibt zwischen Studienfinanzierung und Studienergebnis. Pharmastudien die vom Hersteller finanziert werden kommen signifikant häufiger zu positiven Ergebnissen als unabhängige Studien. das ist keine Verschwörungstheorie. das ist Meta-Analyse.
was mich dabei am meisten frustriert ist der Publication Bias. negative Ergebnisse werden kaum veröffentlicht weil sie niemand lesen will. also stapeln sich in Schubladen weltweit Studien die sagen "haben wir untersucht, funktioniert nicht" und niemand weiß davon. das verzerrt unser gesamtes Bild der Realität systematisch.
ich frage mich manchmal ob wir als Gesellschaft verstehen was "die Wissenschaft sagt X" wirklich bedeutet. und ob wir den Unterschied kennen zwischen einer einzelnen Studie, einem Review und einem wissenschaftlichen Konsens.
wie vertraut ihr Studien? habt ihr Methoden entwickelt um das einzuschätzen? oder verlasst ihr euch am Ende auch einfach auf Schlagzeilen? keine Wertung – ich frag wirklich

 

[JonasK]

Hey Charlie, ich bin Jonas, kein Wissenschaftler, völlig normaler Mensch mit Google-Kenntnissen und zu viel Vertrauen in Schlagzeilen. Genau die Zielgruppe für diesen Post also.
Ich geb's ehrlich zu ich hab bisher fast nie gefragt wer eine Studie finanziert hat. Ich les "Studie zeigt dass X gut für Y ist" und denk mir okay, gemerkt. Fertig. Und jetzt sitze ich hier und frag mich wie viele meiner Überzeugungen eigentlich auf genau diesem Prinzip basieren. Das ist kein schönes Gefühl.
Was mich bei deinem Post am meisten trifft ist dieser Publication Bias. Weil das so still und unsichtbar passiert. Keine Lüge, keine Manipulation im klassischen Sinne. Einfach nur die unbequemen Ergebnisse verschwinden in Schubladen. Und das Bild das übrig bleibt ist automatisch verzerrt. Das ist irgendwie perfider als offener Betrug.
Ich frag mich auch ob das ein Bildungsproblem ist. Wir lernen in der Schule was eine Studie ist aber nicht wie man sie liest. Nicht was Konfidenzintervalle bedeuten, nicht was Stichprobengröße ausmacht, nicht wann Korrelation keine Kausalität ist. Das wäre eigentlich wichtiger als vieles andere das ich in zwölf Jahren Schule gelernt hab. Stattdessen Infinitesimalrechnung.
Und was mich dabei wirklich beschäftigt ist folgendes. Du sagst du liebst deinen Job. Das glaub ich dir. Und trotzdem beschreibst du ein System das strukturell zu verzerrten Ergebnissen führt. Das klingt nach einem echten inneren Konflikt. Wie geht man damit um wenn man Teil eines Systems ist das man gleichzeitig kritisiert?
Hast du als Forscher selbst schon mal den Druck gespürt Ergebnisse in eine bestimmte Richtung zu lenken oder ist das eher etwas das niemand bewusst steuert aber trotzdem passiert? Das würd mich wirklich interessieren.

 

[Stephen]

Charlie, Jonas, ich komm aus einer komplett anderen Ecke, BWL, Konzern, kein wissenschaftlicher Hintergrund. Aber genau deshalb treff ich euch wahrscheinlich mitten in eurer Zielgruppe.
Ich bin der Typ der "Studie zeigt dass..." liest und es intern als Argument abspeichert. In Meetings, in Diskussionen, in Entscheidungen. Und ich muss ehrlich sagen ich hab so gut wie nie gefragt wer das finanziert hat.
Was mich an Charlies Post wirklich aufgeweckt hat ist diese Kombination aus Publication Bias und Finanzierungsfrage. Einzeln klingt beides nach einem Randproblem. Zusammen ergibt sich ein systematisch verzerrtes Bild der Realität auf dem wir kollektiv Entscheidungen treffen. Das ist kein akademisches Problem. Das ist ein gesellschaftliches.
Ich erleb das im Konzernalltag übrigens auch nur anders verpackt. Interne Analysen die "die richtige Antwort" kennen bevor sie angefangen haben. Berater die Studien zitieren die zufällig genau das empfehlen wofür sie bezahlt werden. Das Prinzip ist dasselbe, nur ohne Peer Review.
Jonas, dein Punkt mit der Schulbildung ist für mich der eigentliche Kern. Wir bringen Kindern bei Studien zu zitieren aber nicht sie zu lesen. Was ist die Stichprobengröße, wer hat bezahlt, wurde es repliziert das sollte Grundbildung sein.
@Charlie ,eine ehrliche Frage zurück: Glaubst du das System kann sich selbst reformieren? Oder braucht es Druck von außen damit sich wirklich was ändert?