Blog

Scientabilität - eine Gegenrede

Mit dem Konzept der Scientabilität will der Koautor des Buches "Die Homöopathie-Lüge", Dr. Christian Weymayr, einen Schlussstrich unter überflüssige paramedizinische Forschung ziehen. So sehr seine Absicht nachvollziehbar und der Versuch Quacksalberei in ihre Schranken zu verweisen zu begrüßen ist, so fragwürdig bleibt meiner Ansicht nach der vorgeschlagene Weg. Eine persönliche Gegenrede mit fünf Argumenten.

Was ist Scientabilität?
In der Wissenschaft gibt es Theorien. Theorien gelten solange, bis das Gegenteil belegt wird (Prinzip der Falsifikation). Dafür müssen aus Theorien Hypothesen abgeleitet werden, die dann wiederum beobachtbare Ergebnisse mit sich bringen müssen.

So kann ich beispielsweise die Vermutung formulieren, dass es eine Kraft gibt, die alle Gegenstände auf der Erde zum Erdmittelpunkt hin fallen lässt (Schwerkraft als Theorie). So es eine solche Kraft gibt, sollte sie auch dafür sorgen, dass in meiner Küche ein befüllter Kaffeebecher, den ich vom Tisch stoße, auf dem Boden landet und eine mehr oder minder klebrige Pfütze auf unserem Dielenboden hinterlässt (Hypothese). Wenn ich mich nun frage, wie von dieser Hypothese zu einem genauen Versuchsaufbau komme und wie oft ich Kaffeebecher fallen lassen muss bis ich sage, dass dies hinreichend oft geschehen ist, so beschäftige ich mich mit der Frage der Messmethoden und Operationalisierung. Meine Annahme einer allgemeinen Schwerkraft kann ich so lange aufrecht erhalten bis ich eine Beobachtung habe, die dieser widerspricht, beispielsweise im Weltraum. Dies sorgt entweder dafür, dass ich meine Theorie völlig verwerfe und ganz neu formuliere, oder aber, dass ich sie verändere oder in ihrem Gültigkeitsraum einschränke.

Nun gibt es aber Theorien, die etwas „weiter außen stehend sind“, sie bauen nicht auf gesicherten naturwissenschaftlichen Konzepten auf oder ignorieren diese sogar und versuchen ine Hypothese zu formulieren bzw. einen Effekt zu beschreiben, den sie bisher nicht durch die konventionellen Theorien abgedeckt sehen. Weymayr und Heißmann bezeichnen solche Theorien dann als nicht scientabel, wenn sie Grundlagenerkenntnissen bzw. den Naturgesetzen widersprechen.
Wird ein Verfahren aus einer Theorie abgeleitet, die nicht scientabel ist, so soll es keine klinischen Untersuchungen oder Studien hierzu geben, da das Grundkonzept ja absurd ist.

Eine weitere Gefahr, die Weymayr sieht, so führte er auf der SkepKon aus, ist, dass es im Rahmen klinischer Studien auch dann zu signifikanten Ergebnissen kommen kann, wenn in Wirklichkeit kein Effekt vorliegt, denn immerhin sagt die 5%-Signifikanzschwelle nur aus, dass die Wahrscheinlichkeit, dass ich von einem Effekt ausgehe obwohl gar keiner vorliegt unter 5% liegt. So kann es sein, dass ich eine gute Theorie verwerfen, da eine andere scheinbar besser ist. Die Anhänger von Paramedizin würden exakt diese Studien, die schwache und knapp überzufällige Effekte darzustellen scheinen, benutzen, um ihrer Quacksalberei den Anstrich von Wissenschaftlichkeit zu geben. Letztendlich würde so Vertrauen in Wissenschaft untergraben werden und/oder die Akzeptanz zu Paramedizin erhöht werden.

Außerdem würden Zeit, Geld und menschliche Kapazitäten in Bereichen verfeuert werden, in denen kein Fortschritt zu erwarten ist.

Hört sich alles gut an oder? Stimmt, auf den ersten Blick. Und trotzdem sage ich, ich möchte nicht dass "Scientabilität" im Wissenschaftsbetrieb Einzug halten lassen. Wieso?


Dr. Christian Weymayr bei der SkepKon (Foto: SB)

 1.    Eine Studie macht keinen Sommer
Die Problematik der 5%-Signifikanzniveaus ist nicht neu. Jeder Psychologiestudent lernt sehr früh, dass Signifikanzen nicht mehr, aber eben auch nicht um weniger, als Konventionen unter Forschenden sind. Wir lernen skeptisch umzugehen mit unseren Fragebögen, Erhebungsmethoden und Testverfahren, uns ist stets bewusst wie fehleranfällig eine jede Messung ist.

Ja, es stimmt, Naturwissenschaftler vergessen das ab und an. Gerade in der Physik, den Ingenieurswissenschaften und der Medizin ist mir persönlich ein bisweilen naiver Umgang mit Messungen aufgefallen. Einige glauben hier, dass die Anzeige des Meßgerätes tatsächlich eine Wahrheit widerspiegeln müsse. Zwar wird ab und an zumindest angemerkt, dass es eine Messungenauigkeit geben könne, aber im Großen und Ganzen wird davon ausgegangen, dass die Anzeigen der Messgeräte schon stimmen werden. Dies ist oft auch sinnvoll und für die Alltagsforschung tauglich, gerechtfertigt ist es gleichwohl natürlich so nicht.

Das Problem der vereinzelten positiven Studien aber, die nur daher rühren, dass es eine Vereinbarung für ein 5%-Signifikanzlevel gibt, wird statistisch leicht dadurch gelöst, dass man sogenannte Metastudien durchführt. Diese fassen die Ergebnisse bisheriger Forschung gesammelt zusammen und geben Auskunft darüber wie stark die Befundlage für eine oder die andere Seite ist und sind in der Lage zu beziffern, wie viele positive Studien durchgeführt werden müssten um einen bisher gezeigten negativen Zusammenhang zu revidieren. Dies ist statistischer Alltag, es braucht hier kein Konzept der Scientabilität, um das Problem vereinzelter positiver Studien für die Paramedizin zu lösen, denn ihre Anzahl ist verschwindend gering und hält somit keiner Metaanalyse stand.

Gleichwohl verweist Christian Weymayr zurecht darauf, dass die Quacksalberlobby oft genug die vereinzelten Positivstudien zu ihren Zwecken instrumentalisiert. Dabei darf man nicht vergessen, dass dies letztlich ein Problem der Wissenschaftskommunikation ist, also der Frage wie wir Wissenschaftler den Menschen, die sich für Studien interessieren, aber selbst keine Wissenschaftler sind, dabei helfen Studien richtig zu verstehen und einzuordnen. In diesem Gebiet haben wir in Deutschland in der Tat Nachholbedarf, wir Wissenschaftler stehen in der Pflicht hier noch viel öfter und klarer zu machen, woran wir eigentlich forschen, mit welchen Methoden und was unsere Ergebnisse bedeuten.

Ein Weg um Wissenschaftskommunikation zu betreiben, auf den ich mich begeben habe, sind Science Slams. Hier sehe ich immer wieder, wie groß das Interesse der Allgemeinbevölkerung an Forschung ist und wie wichtig es ist, dass diejenigen, die aus den Steuergeldern forschen, die von allen Bürgern entrichtet werden, auch erklären was sie mit all diesem Geld anstellen. Scientabilität braucht es hierfür nicht.

 2.    Ein Schlag in die Magengrube - statt ins Gesicht
In der Tat widersprechen viele parawissenschaftliche Theorien dem aktuellen Erkenntnisstand zu den Naturgesetzen. Und selbst wenn man davon ausgeht, dass auch unsere Formulierung der Naturgesetze sich nochmals grundlegend ändern könnte, macht es die Ausgangslage für Parawissenschaften nicht unbedingt besser. Sie haben oft schlicht und ergreifend keine passenden Grundlagentheorien, deren Gültigkeit sie auf irgendeine Weise bestätigen könnten. Und doch lehne ich die Forderung ab, dass nur in solchen Bereichen weiter geforscht werden sollte, in denen die Grundlagentheorie den Naturgesetzen nicht widerspricht. Wieso?

Weil diese Forderung ein wenig naiv erscheint. Ist es doch im Moment schon so, dass dort wo parawissenschaftliche Aussagen mit Studien überprüft wurden, die Beweislast gegen das Funktionieren der parawissenschaftlichen Behauptungen meist erdrückend ist. Trotzdem werden hier nach wie vor, wie bei der Homöopathie, erbitterte Debatten über einzelne Studien geführt. Natürlich wäre es schön zu glauben, dass dies aufhören würde, wenn wir uns darauf beschränken, zunächst zu betrachten, ob naturwissenschaftlich belegte Grundlagen vorhanden sind. Doch letztendlich würden wir damit das Problem nur verschieben.

Die erregten Debatten, die wir jetzt im Bereich der klinischen Studien haben, würden wir verlagern hin zu den Grundlagenstudien, denn auch hier können wir uns sicher sein, dass die paramedizinische Seite sich ebenso wenig an statistische und wissenschaftliche Vorgehensweisen und Interpretationen halten wird, wie sie dies jetzt schon bei den klinischen Studien tut. Grundlagenforschung ist jedoch im Vergleich zu klinischen Studien oft noch schwieriger zu vermitteln. Weswegen die Kommunikation der Debatte nach „draußen“ schwieriger würde. Die Scientabilitätsprüfung würde uns somit vielleicht zuerst weniger klinische Studien bringen, gleichwohl würde der Ruf nach einem Mehr an Grundlagenforschung auch im paramedizinischen Bereich lauter werden – statt ins Gesicht der Wissenschaft würde also in ihren Bauch geschlagen werden.

  
Dr. Weymayr spart nicht mit Kritik (Foto: SB)

 3.    Effekt ohne Theorie?
Nicht zu jedem Effekt, der in den Wissenschaften beschrieben wird, liegt sofort eine Theorie vor. Ein gutes und bekanntes Beispiel ist die Entdeckung der Röntgenstrahlung, die beschrieben wurde, und deren Hintergrundtheorie erst nach und nach erforscht und ausformuliert wurde. Die geheimnisvolle Strahlung, die alles durchdringt, wird deswegen auch im angelsächsischen bis heute mit dem Buchstaben für das Unbekannte, dem X, als X-Rays bezeichnet.

Man stelle sich vor: der Effekt der Röntgenstrahlung wird entdeckt. Nun steht aber keine mit den aktuellen naturwissenschaftlichen Erkenntnissen in Einklang zu bringende Theorie zur Verfügung. Wendet man das Prinzip der Scientabilität hier ganz eng an, wäre an dem Effekt nicht zu forschen. Oder?

Aber auch ein anderer Zusammenhang zwischen Theorie und Effekt ist denkbar, nämlich der, dass es tatsächlich einen Effekt gibt, dass der aber nicht in Zusammenhang mit dem theoretischen Modell steht, das postuliert wird. Wenn jedoch eine Scientabilitätsprüfung bereits bei der Grundlagentheorie ansetzt, besteht die große Gefahr, dass real existente Effekte gar nicht erst betrachtet werden, weil die benannte Theorie, die dahinter stehen soll, schlicht und ergreifend nicht scientabel ist. Im Bereich der Parapsychologie spielen solche Überlegungen durchaus eine Rolle.


 4.    Homöopathie ist nicht alles
So reizvoll das Konzept der Scientabilität erscheint, um den seit über 200 Jahren verfolgten und unveränderten Irrweg der Homöopathie zu verlassen, so darf man nicht vergessen, dass die Einführung der Scientabilität eben nicht nur für auf bisherige quacksalberische Methoden und auch nicht nur für den Bereich der Paramedizin gelten müsste, sondern für alle zukünftigen Forschungsfelder, insbesondere der Medizin.

Ich bin kein Prophet. Aber es ist gut denkbar, dass es völlig neue Erkenntnisse in irgendwelchen Bereichen der Wissenschaften geben wird, die zunächst mit teils abstrusen Theorien daher kommen werden, und die Denkwenden mit sich bringen werden. Die Gefahr der Scientabilität liegt hier darin, dass der Reiz groß ist, den aktuellen status quo in der (natur)wissenschaftlichen Forschung festzuschreiben, und so zu tun, als würde von nun an Wissenschaft nur noch durch Akkumulation von Wissen stattfinden.

Hingegen ist immer wieder beobachtbar (und vom Wissenschaftsphilosophen Thomas Kuhn hinreichend beschrieben), dass Wissenschaft eben nicht nur in akkumulativen, sprich anhäufenden, Mustern arbeitet, sondern es auch immer wieder Zeiten gibt in denen die eine Lehrmeinung komplett von einer anderen Lehrmeinung verworfen wird. So etwas kann Zeit brauchen, letztlich setzt sich aber das bessere Erklärungsmodell durch, wie beispielsweise bei der Kontinentaldrifthypothese. Die Scientabilität würde in solchen Auseinandersetzungen sehr leicht als Kampfbegriff benutzt werden können, um eine Minderheitenmeinung mundtot zu machen.


 5.    Belege funktionieren!
Ein Beleg ist ein Beleg ist ein Beleg. Das Gute an der wissenschaftlichen Methode und damit einhergehend an statistischen Verfahren ist, dass sie geeignet ist, Vorhersagen zu überprüfen und gegebenenfalls zu falsifizieren, gleich aus welchem Bereich sie kommen.

Es gibt keine außerordentlichen Belege, wie Carl Sagan (für mich immer noch unverständlich) forderte. Es gibt nur Belege für etwas, Belege gegen etwas und unklare Datenlagen. Der Wunsch nach außerordentlichen Belegen für außerordentliche Behauptungen ist letztlich kein wissenschaftlicher, sondern emotional wertend. Er geht davon aus, dass es eben Forderungen gibt, die man objektiv als außerordentlich beurteilen kann. Doch was für den einen außerordentlich ist, ist für den anderen normal und was den anderen total begeistert, holt den anderen nicht hinterm Ofen hervor.

Deswegen haben wir uns in der Wissenschaft auf Kenngrößen, Signifikanzlevels und experimentelle Settings geeinigt. Wir kommunizieren darüber weltweit. Und wir diskutieren leidenschaftlich darüber, wenn die Ergebnisse eines Kollegen so gar nicht zu dem zu passen scheinen, was bisher erhoben wurde und aktueller status quo ist. Wir bieten jedem an, der eine Behauptung hat, diese mit wissenschaftlichen Methoden prüfen zu lassen, da sie sich bisher als die besten Methoden zur Wissensanhäufung gezeigt haben.

Diesen Weg durch die Einführung eines Konstrukts wie das der Scientabilität zu verlassen, und sei es um leidige Debatten zu beenden, heißt den Weg des Dialoges zu verlassen und Denkscheren und Schranken hoch zu ziehen. Wir würden der „anderen Seite“ den Gefallen tun, genau die Verbohrtheit zu leben, die ohnehin Wissenschaftlern ab und an vorgeworfen wird.

Ich will niemandem diesen Gefallen tun. Ich möchte weiter im Dialog bleiben und möchte jedem die Möglichkeit geben, seine Theorien, seine Hypothesen mit dem Instrumentarium der Wissenschaft untersuchen zu lassen.


Fazit
Die Anwendung des Prinzips der Scientabilität im Bereich der Paramedizin reizt mich. Es könnte geeignet sein Debatten abzukürzen, und Ressourcen zu schonen.

Letztlich überwiegen für mich aber die oben dargestellten Gründe dafür, das Prinzip der Scientabilität nicht einzuführen und nicht an Stelle oder in Ergänzung der evidenzbasierten Medizin treten zu lassen.

Wichtig ist jedoch der Diskussionsprozess, den Weymayr und Heißmann angestoßen haben. Denn eines ist sicher: homöopathische Theorien widersprechen den Naturgesetzen, klinische Studien haben bisher keinen Wirknachweis für Homöopathie erbracht, der über eine Placebogabe hinaus geht.

Wer etwas anderes behauptet bläht vereinzelte Studien fahrlässig auf, und vergisst dabei (bewusst?) dass die Datenlage gegen diese einzelnen Studien erschlagend ist.


Nachtrag: In knapp 2 Wochen werde ich ein ausführliches Interview mit Christian Weymayr zum Konzept der Scientabilität für die Ruhrbarone führen. Ich werde in diesem Gespräch auch die hier dargestellten Kritipunkte ansprechen und Weymayr die Möglichkeit geben, hierzu Stellung zu beziehen. Ich freue mich schon jetzt darauf, dann noch einmal neu in die Überprüfung der von mir hier aufgestellten Thesen gehen zu können/ müssen.

Update: das vollständige Gespräch mit Dr. Weymayr ist nun bei Hoaxilla zu hören. Und bald auch bei den Ruhrbaronen zu lesen!

Neuere Themen:

Die Sache mit dem ADHS Ein erwachsener ADHSler schildert wie er immer wieder über Suizid nachdenkt. Und sein reales Leid durch eine unverstandene und zunehmend verniedlichte Erkrankung.

Bücher, Bücher, Bücher Zwei neue Bücher von mir. Und ich weise einfach mal darauf hin. Ghosthunting. Und Axel Stoll.

Ältere Themen:

"Nie wieder Faschismus!" Diesmal ein Probeballon. Etwas Fiktionales von mir. Bin mal gespannt, wie ihr es findet. Was vorkommt: Grass, Faschismus, Barbie, Penny.

"Die Kirche hat Deutschland zwangschristianisiert!" Wieder mal was Paganistisches. Diesmal von Voenix - von der Buchmesse Leipzig. Zum "Gehörnten Mann".

Zurück


Kommentare

12.06.2013

Ulrich Berger

"Das Problem der vereinzelten positiven Studien ... wird statistisch leicht dadurch gelöst, dass man sogenannte Metastudien durchführt ... es braucht hier kein Konzept der Scientabilität, um das Problem vereinzelter positiver Studien für die Paramedizin zu lösen, denn ihre Anzahl ist verschwindend gering und hält somit keiner Metaanalyse stand."

Sorry, aber das klingt ein wenig weltfremd. Gerade in der Homöopathie, aber auch in der Parapsychologie, gibt es keineswegs eine "verschwindend geringe" Anzahl von positiven Studien. In der Homöopathie sind über 40% der RCTs positiv. Eine Metaanalyse kann dann auch schon mal positiv ausfallen, siehe Linde et al. (1997). Für Metaanalysen von Mikro-PK- oder Ganzfeldexperimenten gilt ähnliches.

12.06.2013

Heiko

Den Vortrag von Herrn Weymayr in Köln habe ich etwas anders verstanden. Mein Eindruck war nicht, dass es darum geht, ein allgemeines Ausschlusskriterium einzuführen - welches tatsächlich missbraucht werden könnte (siehe Kuhn).
Vielmehr schien Herr Weymayr zu fordern, dass positive RCTs ignoriert werden sollen, wenn die theoretischen Grundlagen der Studien nicht hinreichend belegt sind. Dein Beispiel mit der Röntgenstrahlung passt wohl nicht ganz, weil es sich dabei nicht um ein RCT handelt, sondern um die Entdeckung eines neuen Phänomens.

Meine Vermutung ist, dass man hier zwischen Grundlagenforschung und angewandter Forschung unterscheiden muss. Bei RCTs zu Homöopathie (und medizinischer Forschung im Allgemeinen) werden angewandte Interventionen auf ihre Effektivität getestet. Die können - auch abhängig vom methodischen Anspruch - einfach mal zufällig positiv ausfallen. Herr Weymayr fordert nun, man müsse bspw. erst mal das "Gedächtnis" von Wasser empirisch belegen, bevor man RCTs durchführt. Also erst Grundlagen, dann Anwendung.
Bei der Röntgenstrahlung oder dem Kontinentaldrift ist dieses Argument hinfällig, denn das ist ja selbst Grundlagenforschung.

Bin gespannt auf Teil 2!

14.06.2013

Sören

Ich finde das Beispiel mit der Röntgenstrahlung passt schon. Wenn bei einem RCT herauskäme, dass D30 Glubuli den Blutdruck mit einer Signifikanz von 0.001% senken würde, dann wäre das sicher ein Phänomen, dem man nachgehen müsste.

Das eigentliche Problem ist der "publication bias". Wenn man 100 Studien macht und davon sind 5 positiv, dann ist das aufgrund der Konvention zu erwrten, selbst wenn es keinen Effekt gibt. Wenn dann alle 5 positvien Studien und nur 5 der negativen publiziert werde, dann ergibt die Metastudie ein positives Ergebnis trotz fehlenden Effekts.
Das Problem lässt sich leicht lösen: Man muss verlangen, dass Studien, die zur Beurteiluing von Therapieerfolg ernst genommen werden wollen vorher öffentlich angemeldet werden müssen. Dabei muss festgelegt werden, was wie gemessen werden soll und dass die Ergbnisse in jedem Fall publiziert werden.
Publication bias ist außerdem kein Problem der Homöpathie oder der Alternativmedizin, sondern ein generelles des Wissenschaftsbetriebs. Mann sollte deshalb die Homöpathie nicht anders behandeln als jede andere Therapie und man sollte verlangen, dass dass alle Studien vorangemeldet werden müssen, zumindest dann wenn es um die Beurteilung einer Therapie geht. (siehe auch www.alltrials.net)

17.06.2013

Holger

Ein vielleicht passenderes Beispiel als die Röntgenstrahlen - es gibt bisher keine sinnvolle Erklärung für die Wirkung von Inhalationsanästhetika (Ether, flourierte Ether, Edelgase) - trotzdem will die keiner missen. (Und da scheint sich auch nicht viel zu tun - da kann ich da bei meiner abgebrochenen Promotion nach der Rente weitermachen, wo ich aufgehört habe ;-) )

19.06.2013

Stephan Angene

Hallo Herr Bartoschek,

ich habe eine kleine Kritik an ihrer Kritik geschrieben, falls es sie interessieren sollte:

http://www.nachdenken-bitte.de/wissenschaft/scientabilitat-kritik-einer-gegenrede/

viele Grüße
Stephan

Letzte Blog Einträge

Die Sache mit dem ADHS

Ein erwachsener ADHSler schildert wie er immer wieder über Suizid nachdenkt. Und sein reales Leid durch eine unverstandene...

weiter lesen ...