Wissenschaftliche Publikationen einschätzen

© Bought from PowerUp, shutterstock

FAZIT

In vielen Artikeln und Blogs, die online verfügbar sind, finden sich Verweise auf wissenschaftliche Schlussfolgerungen mit Formulierungen wie "veröffentlicht in einer wissenschaftlichen Zeitschrift", "veröffentlicht in einem internationalen Journal" oder "veröffentlicht in einem von Experten begutachteten Journal". In der wissenschaftlichen Gemeinschaft ist bekannt, dass nicht alle wissenschaftlichen Daten "gute Daten" sind; und nur, weil etwas "veröffentlicht" ist, bedeutet das nicht, dass man dem Inhalt vertrauen kann.

In der Forschung ist es leider oft so, dass es kaum eine Studie gibt, die so schlecht ist, dass sie sich nicht irgendwo publizieren lässt. Wenn die Arbeit für ein renommiertes Journal nicht genügt, lässt sich in der Regel ein anderes mit weniger strengen qualitativen Auflagen finden, in dem der Artikel erscheint. Ob es sich nun um akademische Forscher handelt, die versuchen, unter dem Druck des "publish-or-perish"-Prinzips zu überleben (entweder, man publiziert und erhält Geld, oder man muss die Forschungen einstellen), oder um Aktivisten und Organisationen, die ihre Agenda in die Öffentlichkeit tragen, oder um einen "harmlosen" Studenten, der versucht, ein paar Publikationen in seinem Lebenslauf unterzubringen - unzuverlässige Veröffentlichungen können aus verschiedenen Quellen stammen.

Dies macht es äusserst schwierig, fundierte Entscheidungen auf der Grundlage wissenschaftlicher Daten zu treffen. Im Folgenden finden Sie einige Hinweise, die Ihnen helfen können, die Zuverlässigkeit der Veröffentlichung zu beurteilen, die Studie zu interpretieren und kritisch zu überlegen, ob die Daten vertrauenswürdig sind.

Wissenschaftliche Publikationen interpretieren

Wenn es darum geht, eine wissenschaftliche Veröffentlichung kritisch zu bewerten, lassen sich zwei Aspekte analysieren: die Quelle der Arbeit und die Qualität der Studie. Zur Quelle gehört, wo die Arbeit veröffentlicht ist und wer die Studie durchgeführt hat. Die Qualität der Studie umfasst das Studiendesign, den Stichprobenumfang, die Dauer, die statistische Signifikanz usw.

Quelle der Arbeit

1) Peer-Review oder nicht: In wissenschaftlichen Arbeiten bringt man der Leserschaft oft komplexe Konzepte näher. Nicht nur, dass es für den "Normalbürger" unmöglich ist, die Gültigkeit solcher Konzepte zu verstehen; auch wissenschaftliche Forscher, die nicht in diesem speziellen Bereich arbeiten, sind nicht in der Lage, die Gültigkeit der Behauptungen zu bestätigen. Daher gibt es in vielen wissenschaftlichen Zeitschriften erst eine Veröffentlichung einer Arbeit, nachdem man diese durch "Peers" überprüft hat. Bei den "Peers" handelt es sich um Wissenschaftler, die in einem ähnlichen Forschungsbereich tätig sind und sich mit dem spezifischen wissenschaftlichen Gebiet, das in der Arbeit im Fokus steht, auskennen. Es geht dabei um eine "Qualitätskontrolle", bei der man nur wissenschaftlich fundierte Arbeiten aussucht. Deshalb ist es bei der Auswahl von wissenschaftlichen Arbeiten wichtig, zu prüfen, ob man es mit einer "peer-reviewed"-Veröffentlichung zu tun hat. Auf den Websites der Zeitschriften sind diese Informationen zu finden.

2) Qualität der Zeitschrift: Nicht alle von Fachleuten begutachteten Zeitschriften sind von gleicher "Qualität". Einige Zeitschriften sind seriöser und zuverlässiger als andere. Der "Impact-Faktor" (engl. Impact Factor) ist ein Mass für die Zuverlässigkeit der Zeitschrift. Der Impact-Faktor misst, wie oft sich die in dieser Zeitschrift veröffentlichten Arbeiten in anderen Publikationen als Zitat wiederfinden. Allgemein gilt: Je höher der Impact-Faktor, desto zuverlässiger die Zeitschrift. Allerdings steht der Impact-Faktor in der wissenschaftlichen Gemeinschaft auch wegen seiner zahlreichen Einschränkungen in der Kritik.

• Der Impact-Faktor ist definiert als eine einfache mathematische Formel, welche die Anzahl der Zitate aus einer Zeitschrift - geteilt durch die Anzahl der zitierfähigen Veröffentlichungen dieser Zeitschrift - wiedergibt.¹ Obwohl man die Zuweisung eines Impact-Faktors ursprünglich entwickelt hat, um sich in der Vielzahl wissenschaftlicher Zeitschriften zurechtzufinden und sie nach ihrer Effektivität einzustufen, hat dieses System mehrere Einschränkungen. Zeitschriften, in denen man grundlagenwissenschaftliche Arbeiten veröffentlicht, lassen sich meist öfter zitieren als Fachzeitschriften für angewandte Wissenschaften, da die Grundlagenforschung ein grösseres Publikum hat. Darüber hinaus beeinflusst der Umfang der Zeitschrift die Anzahl der Zitierungen der Artikel. Zeitschriften, die Artikel mit grösserem Umfang enthalten (wie The Lancet, Science oder Nature), haben einen höheren Impact-Faktor als Zeitschriften mit einem engeren Umfang (wie Progress in Retinal and Eye Research), da diese viel spezifischer sind.
• Den Impact-Faktor (IF) berechnet man nach der folgenden Formel: IF = A/B, wobei A = Gesamtzahl der Zitierungen der Artikel der Zeitschrift in den vorangegangenen zwei Jahren für das betreffende Jahr; B = Gesamtzahl der in denselben zwei Jahren wie in A veröffentlichten Artikel.
• Beispiel: Zeitschrift X hat in den Jahren 2017 bis 2018 insgesamt 250 Artikel publiziert (B = 250) und im Jahr 2019 hat man alle Publikationen dieser Zeitschrift aus den vergangenen zwei Jahren insgesamt 500-mal zitiert (A = 500). Somit ergibt sich ein Impact-Faktor von 2 (A/B = 500 / 250).
• Hier sieht man weitere Limitationen – das Alter der Zeitschrift. Ist diese weniger als 2 Jahre alt, kann der IF tiefer ausfallen. Auch hat eine solch junge Zeitschrift oft einen tieferen Bekanntheitsgrad. Zusätzlich gibt es Berichte, dass einige Zeitschriften den Impact-Faktor "optimieren", indem sie "A", d.h. die Zahl der in der Zeitschrift veröffentlichten Artikel, verringern.

Obwohl der Impact-Faktor ein einfaches Mittel ist, um die Qualität einer Zeitschrift zu bewerten, sollte man als LeserIn Artikel in Zeitschriften mit geringerem Impact-Faktor nicht allein auf der Grundlage dieser Zahl ignorieren.

3) Interessenkonflikte der Autoren: Wenn jemand eine Forschungsarbeit über die Vorteile von pflanzlichen Fleischersatzprodukten veröffentlicht - und gleichzeitig mit einem Unternehmen verbunden ist, das diese Erzeugnisse herstellt, kann die Forschung von Geschäftsinteressen beeinflusst sein. Ähnlich verhält es sich, wenn eine Studie über den ökologischen Landbau durch einen Öko-Anbauverband finanziert ist: Es ist wahrscheinlich, dass man die Forschung "eingerichtet" hat, um eine Agenda zu unterstützen, welche die finanzierende Einrichtung fördert. Daher ist es wichtig, die Autoren und ihre Zugehörigkeit zu überprüfen. Diese Angaben sind in der Regel unter dem Titel der Arbeit zu finden. Die meisten Arbeiten enthalten auch einen Abschnitt "Interessenkonflikte" und "Finanzierung", in dem die Autoren angeben müssen, ob ein Interessenkonflikt besteht und wie man die Studie finanziert hat. Allerdings gibt es auch Schlupflöcher – so könnte eine grössere Firma eine andere (nicht in direktem Zusammenhang stehende) Firma mittels Transaktionen dazu bewegen, eine Studie zu finanzieren, die für sie von Interesse ist.

4) Fragestellung: Eine gute wissenschaftliche Studie beginnt mit einer Fragestellung, die sich in der Regel auf Voruntersuchungen stützt. Diese Frage muss objektiv sein und es sollte eine Möglichkeit geben, sie zu überprüfen. Sobald die Frage definiert ist, stellen die Wissenschaftler eine Hypothese auf. Die Hypothese ist eine Vorhersage darüber, wie die Antwort auf die Frage lauten könnte, und kann in zwei Alternativen auftreten: Nullhypothese (H0) und Alternativhypothese (H1).

In einer von uns gezeigten Studie zielen die Autoren beispielsweise darauf ab, die Frage zu beantworten: Verringert der Verzehr von Walnüssen das Risiko einer koronaren Herzkrankheit?
Um diese Frage zu beantworten, definierten die Wissenschaftler einige Variablen wie LDL-Cholesterin, HDL-Cholesterin und Triglyceride, die sich als Mass für die kardiovaskuläre Gesundheit verwenden lassen. Die Nullhypothese (H0) lautet: Der Walnusskonsum hat keinen Einfluss auf die Messgrössen für die kardiovaskuläre Gesundheit wie LDL-Cholesterin, HDL-Cholesterin und Triglyceride. Die Alternativhypothese (H1) lautet: Der Verzehr von Walnüssen wirkt sich positiv auf die genannten Messgrössen aus (LDL-Cholesterin, HDL-Cholesterin und Triglyzeride) - und somit auf die Messung der kardiovaskulären Gesundheit.

Als Nächstes legen die Autoren den Versuchsplan, die Stichprobengrösse, die Dauer der Studie, die Häufigkeit der Datenerhebung und die Methoden der Datenanalyse fest (mehr dazu weiter unten). Sobald die Daten zur Verfügung stehen und man sie analysiert hat, liegt es in der Verantwortung der Forscher, die Daten zu interpretieren, Schlussfolgerungen abzuleiten und zu bestimmen, ob die Nullhypothese oder die Alternativhypothese bewiesen ist.

Qualität der Studie

Bei der Durchsicht einer wissenschaftlichen Publikation ist es wichtig, darauf zu achten, ob die Hintergrundinformationen (in der Einleitung und in der Diskussion) ein ausgewogenes Bild der vorhandenen Informationen vermitteln und alle Beweise und Argumente berücksichtigen. Wenn die Hintergrundinformationen einseitig sind und von einer bestimmten "Denkschule" beeinflusst zu sein scheinen, könnte dies ein Hinweis darauf sein, dass die Forscher Daten zur Unterstützung einer vorgegebenen Schlussfolgerung ableiten wollten.

Die Daten

Ob mit oder ohne Peer-Review, nur weil eine wissenschaftliche Arbeit veröffentlicht ist, heisst das nicht, dass es sich um gute Daten handelt. Der Leser muss die Studie kritisch prüfen und eine fundierte Entscheidung treffen, ob er den Schlussfolgerungen trauen kann oder nicht. Es ist jedoch nicht einfach, sich im wissenschaftlichen Fachjargon zurechtzufinden. Hier sind einige Hinweise, die helfen sollen, den Jargon zu entschlüsseln und zu verstehen, wie die wissenschaftlichen Studien und ihre Daten aussehen.

Studienart: Wissenschaftliche Studien verwenden unterschiedliche Versuchspläne (klinische Studien, randomisierte Kontrollstudien, Beobachtungsstudien, Kohortenstudien usw.) und all diese Begriffe können verwirrend sein. Im Folgenden finden Sie eine vereinfachte Erklärung dieser Begriffe.

• Experimentelle Studie oder Interventionsstudie: Ein kontrolliertes Studiendesign, bei dem man eine oder mehrere unabhängige Variablen manipuliert und ihre Auswirkungen auf abhängige Variablen misst, ist eine experimentelle Studie. Beispielsweise können die Forscher einer Gruppe von Personen über einen bestimmten Zeitraum eine bestimmte Dosis Zimt und der Kontrollgruppe ein Placebo (Scheinmedikament, enthält keine wirksame Substanz) verabreichen. Danach können sie bestimmte Gesundheitsparameter messen, um festzustellen, ob Zimt eine Wirkung auf diese Parameter hat. Beispiele davon sind:
  • Klinische Studie: Das National Institute of Health (NIH) definiert klinische Studien als Forschungsstudien, die man an Menschen durchführt, um einen medizinischen, chirurgischen oder verhaltensbezogenen Eingriff zu bewerten. Klinische Studien dienen in der Regel dazu, die Wirksamkeit und die unerwünschten Wirkungen von neuen medizinischen Behandlungen zu ermitteln. Klinische Studien führt man in vier Phasen mit einer immer grösseren Gruppe von Personen durch. Die Forscher sammeln in jeder Phase detaillierte Daten über die Wirksamkeit und Sicherheit der Medikamente.
  • Randomisierte Kontrollstudie (RCT): Bei einer RCT weist man die StudienteilnehmerInnen nach dem Zufallsprinzip zwei Gruppen zu: der Studiengruppe und der Kontrollgruppe. Dieser Schritt dient dazu, Verzerrungen zu verringern, die durch inhärente Unterschiede zwischen den TeilnehmerInnen entstehen können, die sich der Kontrolle der Forscher entziehen.
• Beobachtungsstudie: Wenn die Forscher die Wirkung eines Nährstoffs oder einer Exposition gegenüber bestimmten Bedingungen auf eine Gruppe (von Menschen oder Nicht-Menschen) beobachten, spricht man von einer Beobachtungsstudie. Der Unterschied zu einer experimentellen Studie besteht darin, dass man die Gruppe in keiner Weise manipuliert und nicht zwischen Kontroll- oder Behandlungsgruppe unterscheidet. Die Forscher ziehen ihre Schlussfolgerungen auf der Grundlage von Beobachtungen, die sie an den Probanden in ihrem "natürlichen Zustand" machen. Ein Beispiel wäre eine Studie über die Gewohnheiten des Zuckerkonsums in einer bestimmten Bevölkerungsgruppe. Kohortenstudien und Fallstudien sind Beispiele für Beobachtungsstudien.
  • Kohortenstudie: Eine Kohorte ist eine Gruppe von Menschen (oder anderen Versuchsorganismen), die man nach bestimmten Kriterien (Einschlusskriterien) auswählt. Wenn Forscher beispielsweise die Wirkung eines bestimmten Nährstoffs auf die Herzgesundheit untersuchen möchten, können die Einschlusskriterien ein Alter von über 60 Jahren und eine Vordiagnose von Herzproblemen sein. Die auf der Grundlage dieser Kriterien ausgewählten Personen bilden eine Kohorte, die man in der Regel über einen bestimmten Zeitraum hinweg wiederholt beobachtet. Dabei nimmt eine der Gruppen diesen Nährstoff zu sich, während es die andere nicht tut. Am Ende ermöglicht ein Vergleich eine Abschätzung des Nutzpotentials dieses Nährstoffs.
  • Fallstudie: Eine Fallstudie ist eine retrospektive (zurückblickende) Studie eines Ereignisses oder eines Phänomens und lässt sich an einer einzelnen Person oder einer Gruppe durchführen. Eine Fallstudie kann z.B. eine detaillierte Analyse eines bestimmten medizinischen Zustands bei einem Patienten und seiner Reaktion auf die Behandlung sein.
  • Querschnittsstudie: Bei einer Querschnittsstudie erheben die Forscher Daten über eine Population von Personen zu einem einzigen Zeitpunkt. Ein Beispiel für eine Querschnittsstudie ist die Bewertung der Ernährung und des Ernährungszustands von heranwachsenden Mädchen, die in einer bestimmten Region leben, durch Umfragen und Interviews. Die Querschnittsstudie ist somit eine «Momentaufnahme» einer bestimmten Situation und der Parameter, die man zu diesem Zeitpunkt erfasst.

Stichprobengrösse: Die in einer Studie verwendete Stichprobengrösse, also die Anzahl der untersuchten TeilnehmerInnen/Versuchsorganismen, bestimmt die Genauigkeit und Aussagekraft der Daten sowie die Schlussfolgerungen. Obwohl grössere Stichproben zu einer grösseren statistischen Aussagekraft führen können, müssen Forscher bei der Entscheidung über die Stichprobengrösse auch die Durchführbarkeit und Sinnhaftigkeit des Experiments berücksichtigen. Gleichzeitig ist es unwahrscheinlich, dass Daten, die man bei sehr wenigen Personen erhoben hat, die Auswirkungen auf die Gesamtbevölkerung korrekt wiedergeben. Statistiker verbringen viele Stunden damit, den für eine Studie erforderlichen Mindeststichprobenumfang zu berechnen.

Dauer: Die Dauer von experimentellen/interventionellen Studien kann variieren. In der Regel gibt es keine spezifische Methode zur Berechnung der Dauer einer Studie. Es ist jedoch wichtig, die Forschungsfrage kritisch zu bewerten und die praktischen Auswirkungen der vorgeschlagenen Interventionen zu bestimmen. Wenn die Forscher beispielsweise den gesundheitlichen Nutzen eines Nahrungsergänzungsmittels untersuchen, ist es unwahrscheinlich, dass die Verabreichung des Mittels über einen Zeitraum von 7 bis 10 Tagen eine dauerhafte Wirkung auf die Gesundheit hat. Untersuchen die Forscher hingegen die Wirksamkeit eines Antibiotikums, dann kann eine 7- bis 10-tägige Studie wahrscheinlich konkrete Ergebnisse liefern, da der Effekt der Antibiotika schnell eintritt.

Statistische Analyse

Was ist der p-Wert?

• In vielen Forschungspublikationen gibt man zusammen mit den Ergebnissen einen "p-Wert" an. Der "p-Wert" ist die Wahrscheinlichkeit, dass die beobachteten Ergebnisse korrekt sind, falls die Nullhypothese wahr ist. Ein niedriger p-Wert bedeutet eine höhere statistische Signifikanz, also eine höhere Wahrscheinlichkeit der Korrektheit der Annahme.
• Hier ein erfundenes Beispiel: Man will untersuchen, ob Inhaltsstoffe von Wassermelonen den Bluthochdruck senken können. Um das zu testen, stellt man die folgende Nullhypothese auf: Inhaltsstoffe von Wassermelonen können den Blutdruck von Personen mit Bluthochdruck nicht senken. Gemäss der Nullhypothese gibt es also keinen Unterschied. Dies möchten die Forscher widerlegen. Da man nicht alle Menschen auf dem Planeten mit Bluthochdruck testen kann, rekrutiert das Forschungsteam 100 Leute mit Bluthochdruck, die in puncto Risikofaktoren (Ernährung, Körpergewicht, Medikamente, Alter, Geschlecht etc.) sehr ähnlich sind. Diese teilen sie per Zufallsprinzip in zwei Gruppen à 50 Personen auf, von denen eine Gruppe während 6 Wochen täglich gewisse Inhaltsstoffe (Extrakte) der Wassermelone erhält. Der p-Wert funktioniert nun umgekehrt proportional zur Forschungserkenntnis: Er gibt einen Hinweis, wie wahrscheinlich es ist, dass sich der Blutdruck durch die Wassermelonenextrakte reduzieren lässt, falls die Nullhypothese wahr ist. Das Ergebnis der Untersuchung hat gezeigt, dass die Wassermelonenextrakte im Schnitt den Blutdruck um 2 mmHg (Millimeter-Quecksilbersäule) senken konnten. Der p-Wert, den man berechnet hat, liegt bei 0,04. Somit liegt die Wahrscheinlichkeit, dass die Wassermelone den Blutdruck doch nicht senken kann, nur bei 4 %: mit anderen Worten, nur bei 4 von 100 Personen kann die Wassermelone den Blutdruck nicht senken. Somit ist es sehr wahrscheinlich, dass die Wassermelone den Blutdruck doch senkt, und man verwirft die Nullhypothese, da diese unkorrekt erscheint. Folglich können Wassermelonen in 96 % der Fälle den Blutdruck senken. Um Forschungsergebnisse besser zu vergleichen, einigt man sich vor dem Versuch auf ein Signifikanzniveau (a-Niveau). Meist liegt dieses bei 5 % (= 0,05). Ist ein p-Wert also kleiner als 0,05, ist das Ergebnis "signifikant". Das heisst, bei diesem Experiment machen wir nur bei weniger als 5 % der Personen einen Fehler, wenn wir davon ausgehen, dass sich deren Blutdruck mit Wassermelonenextrakt senken lässt.

Was ist ein Konfidenzintervall?

• Ein weiterer Begriff, der häufig im Zusammenhang mit statistischen Analysen auftaucht, ist das "Konfidenzintervall". Das Konfidenzniveau legt man in der Regel auf 95 % fest. Das Konfidenzintervall ist ein Bereich von Werten eines Parameters, innerhalb dessen wir mit 95%iger Sicherheit davon ausgehen können, dass dort der wahre Mittelwert der Bevölkerung liegt. Anders ausgedrückt: Wir können mit 95%iger Sicherheit davon ausgehen, dass der Bereich repräsentativ ist und auch der Mehrheit der Bevölkerung entspricht.
• Die berechneten Mittelwerte von Stichproben können aufgrund der Stichprobenvariabilität abweichen. Daher gibt man ein Konfidenzintervall an, um den Mittelwert der grösseren Grundgesamtheit zu erfassen. Kleinere Stichprobengrössen (weniger untersuchte Personen/Objekte) haben breitere Konfidenzintervalle; mit zunehmender Stichprobengrösse nähert sich der berechnete Mittelwert dem Mittelwert der Grundgesamtheit an.

Primärforschung vs. Sekundärforschung

• In der Primärforschung führt der Forscher ein Experiment durch, sammelt Originaldaten, analysiert und interpretiert die Daten und schafft so "neues Wissen". Eine Studie, welche die Auswirkungen einer mit Walnüssen angereicherten Ernährung auf die kardiovaskuläre Gesundheit untersucht, ist ein Beispiel für Primärforschung.
• Die Sekundärforschung stellt Forschungsergebnisse zusammen, die andere veröffentlicht haben. Der Zugang zu diesen Daten erfolgt in der Regel über Bibliotheken und Online-Recherchen. Die Sekundärforschung fasst alle vorhandenen Daten in einem bestimmten Bereich zusammen und hilft so dem Primärforscher, Lücken und Bereiche für die künftige Forschung zu ermitteln. Ein Beispiel für Sekundärforschung ist eine Überprüfung des vorhandenen Wissens über natürliche Produkte zur Krebsbekämpfung.

Systematische Überprüfung vs. Meta-Analyse

• Eine systematische Übersichtsarbeit sammelt alle veröffentlichten Informationen zu einem bestimmten Thema und stellt eine kritische Überprüfung der vorhandenen Informationen dar. Eine Metaanalyse ist eine systematische Überprüfung, die eine statistische Analyse aller relevanten Daten in vorhandenen Veröffentlichungen umfasst. Systematische Übersichten und Meta-Analysen gehören zu den besten Quellen, um ein umfassendes und tiefgehendes Verständnis eines bestimmten Themas zu erlangen. Doch kann man da auch viele kleine Studien mit fraglichem Aufbau zusammenfassen und das dann eine Meta-Analyse nennen.

In vitro, in vivo, in silico

• In-vivo-Studien sind Studien, die man an einem lebenden Organismus durchführt. Ein Beispiel für eine solche Studie ist die Verabreichung von Wassermelonenextrakten an eine Gruppe von Personen und die Beobachtung der Auswirkungen auf kardiovaskuläre (das Herz und das Gefässsystem betreffende) Symptome über einen bestimmten Zeitraum.
• In-vitro-Studien führt man ausserhalb eines lebenden Organismus durch, in Zellkulturen von Menschen, Tieren, Pflanzen oder Mikroorganismen. Das bekannteste Beispiel ist die In-vitro-Fertilisation (IVF), bei der die Befruchtung von Ei- und Samenzellen in einer Petrischale stattfindet. Neue Moleküle, die man in der medizinischen Behandlung einsetzt, testen Forscher häufig zunächst an tierischen Zellen.
• In-silico-Studien führt man mithilfe von Screening-Datenbanken und Computersimulationen durch. Sie finden häufig in der pharmazeutischen Arzneimittelentwicklung einen Einsatz, wo man z.B. mit einer Computersimulation untersucht, ob eine Substanz im Vorfeld toxisch für den Menschen sein könnte - oder ob sie überhaupt mit einer genug hohen Stärke eine Bindung mit dem Zielmolekül eingehen kann.

Leider lassen sich Statistiken manipulieren

Mark Twain sagte einmal: Es gibt drei Arten von Lügen: Lügen, verdammte Lügen und Statistiken. In einem Artikel der Fakultät der Wharton School der University of Pennsylvania hat man den Missbrauch von Statistiken wie folgt zusammengefasst: Die Aussagekraft einer statistischen Analyse ist nur so gut wie ihre einzelnen Bestandteile.² Unabhängig davon, ob es sich um eine Voreingenommenheit handelt oder um die "Notwendigkeit", eine bestimmte Schlussfolgerung zu ziehen, sind Forscher dafür bekannt, das Publikum durch Statistiken in die Irre zu führen. Interessengesteuerte (nicht objektive) Stichproben, unvollständige Daten, die ausschliessliche Analyse derjenigen Variablen, die vorgegebene Schlussfolgerungen unterstützen, fehlerhafte Korrelationen und ausgefallene (aber irreführende) Diagramme sind nur einige Möglichkeiten, wie Statistiken uns blenden können³.

Ein Beispiel dafür ist eine "umstrittene Statistik" zur Förderung von kommerziellen Interessen. Eine solche Verwendung von statistischen Daten ist die Behauptung der Firma Coca-Cola, dass der Konsum von 3 Dosen Enviga pro Tag, einem von Coca-Cola vertriebenen grünen Tee, zu einer Gewichtsabnahme führt. Die Analyse der Behauptungen ergab jedoch, dass man 35 Tage lang ständig Enviga konsumieren müsste, also 105 Dosen zu einem Preis von etwa 146 Dollar, um auch nur ein Pfund möglichen Gewichtsverlust zu erzielen.⁴ Eine Meta-Analyse von Erhebungen über wissenschaftliches Fehlverhalten ergab, dass bis zu 33,7 % der befragten Wissenschaftler fragwürdige Forschungspraktiken zugaben, einschliesslich der Fälschung und Verfälschung von Daten. Dieser Anteil lag bei 72 %, wenn man die Befragten danach gefragt hat, ob ihre Kollegen wissenschaftliches Fehlverhalten an den Tag legten.⁵ Diese Zahlen sind in der Tat besorgniserregend und machen es für den Durchschnittsbürger schwierig, Schlussfolgerungen aus wissenschaftlichen Berichten zu ziehen.

Daher ist es wichtig, bei der Überprüfung von wissenschaftlichen Daten stets skeptisch und kritisch zu sein. Der gesunde Menschenverstand ist wahrscheinlich unser bester 'Schutz' gegen schlechte Daten. Wir müssen die Daten und Versuchsmethoden kritisch analysieren, den Hintergrund des Forschers untersuchen, uns über etwaige Interessen und Interessenkonflikte im Klaren sein und eine fundierte Entscheidung darüber treffen, ob wir den Daten vertrauen können oder nicht.

Dazu kommt, dass die Wirtschaft die allermeisten Studien veranlasst und/oder finanziert, oft mit klarem Ziel. Stimmt das Resultat, kommt das gross in die Medien, die es dann als reine Echokammern vervielfachen. Schliesslich nehmen das auch zahlreiche ErnährungsberaterInnen kritiklos auf.