Nein. Wir haben weder eine weitere Übersichtsarbeit des NHMRC noch einer anderen Forschungsgruppe gefunden, in der die Ergebnisse aller Studien mit N < 150 aufgrund unzureichender Teilnehmerzahlen pauschal abgelehnt werden.

Das ist jedoch nicht überraschend, da Statistiker bestätigen werden, dass die Anzahl an Teilnehmern, die für eine bestimmte Studie nötig sind, damit sie als hinreichend ‚aussagekräftig‘ gilt (d. h. ausreichend Teilnehmer vorhanden sind, um bedeutsame Ergebnisse zu liefern), von einer Reihe von Faktoren abhängt, die nur auf diese Studie zutreffen. Daher gibt es weder eine festgelegte ‚Mindestprobengröße‘ für jede Studie noch eine statistische Begründung, dass ein derartiges ‚Minimum‘ (willkürlich) bei N > 150 festgelegt werden sollte.

Darüber hinaus finanziert der NHMRC regelmäßig Studien mit weniger als 150 Teilnehmern und wirkt an derartigen Studien mit. Wenn diese Studien allesamt als von Natur aus unzuverlässig gelten, weil sie nicht genügend Teilnehmer aufweisen, warum werden sie dann durch den NHMRC finanziert?

Der NHMRC erwähnt nur auf Seite 275 des Dokuments, das die Anhänge zum Übersichtsbericht enthält, explizit, dass Studien mehr als 150 Teilnehmer haben müssen, damit die Teilnehmerzahl als ‚ausreichend‘ gilt:

„Für den Homöopathie-Review wurden Studien mit N > 150 als ausreichend groß erachtet(d. h. solche Studien, die als ‚mittelgroß‘ oder größer eingestuft wurden), da es sich bei den Ergebnissen generell um kontinuierliche Ergebnisse handelte.“

Der NHMRC stellte die Ergebnisse seiner Bewertung dahingehend vor, ob es ‚zuverlässige Nachweise‘ für die Wirksamkeit der Homöopathie gefunden hat. Allerdings lässt sich anhand der Dokumente des NHMRC nur schwer nachvollziehen, wie ‚zuverlässige Nachweise‘ definiert wurden.

Der australische Bericht (‚Australian Report‘) umfasst drei Hauptdokumente:

• die Informationsschrift (‚Information Paper‘, IP)– eine Zusammenfassung in verständlicher Sprache für die Öffentlichkeit (40 Seiten)
• den Übersichtsbericht (‚Overview Report‘)– eine vollständige wissenschaftliche Bewertung der Nachweise (300 Seiten)
• die Anhänge zum Übersichtsbericht (‚Overview Report Appendices‘)– umfassende zusätzliche Hintergrundinformationen (282 Seiten).

In der Informationsschrift definiert der NHMRC eine ‚zuverlässige‘ Studie indirekt als „hochwertig, gut konzipiert und mit ausreichenden Teilnehmerzahlen für ein aussagekräftiges Ergebnis“ (IP, S. 11 unter „Findings of the NHMRC overview“ [Ergebnisse – Überblick], Anmerkung: Unterstreichungen stammen vom HRI):

‚Aus der Forschung am Menschen gingen keine zuverlässigen Nachweisedafür hervor, dass die Homöopathie ein wirksamer Ansatz zur Behandlung der diversen Erkrankungen ist, die betrachtet wurden: „Keine hochwertige, gut konzipierte Studie mit ausreichenden Teilnehmerzahlen für ein aussagekräftiges Ergebniswies aus, dass eine homöopathische Behandlung den Gesundheitszustand entweder deutlicher als Placebo oder ihn in ähnlicher Weise wie eine andere Behandlung besserte.‘

Der NHMRC erwähnt nur auf Seite 275 des Dokuments, das die Anhänge zum Übersichtsbericht enthält,explizit, dass Studien mehr als 150 Teilnehmer haben müssen, damit die Teilnehmerzahl als ‚ausreichend‘ gilt.

Kein Bürger, nur sehr wenige Interessenvertreter oder politische Entscheidungsträger und nur die engagiertesten Forscher werden dieses Dokument aber wohl jemals lesen. Ein solcher Mangel an Transparenz ist typisch für den australischen Bericht; der Leser muss selbst herausarbeiten, wie die Daten analysiert wurden, indem er die Informationen zusammenfügt, die über die drei Dokumente verteilt bereitgestellt werden (siehe unten).

1. Informationsschrift (‚Information Paper‘, IP)

Trotz der Tatsache, dass die Informationsschriftals Hauptdokument verwendet wird, um die Ergebnisse des NHMRC der Öffentlichkeit zu präsentieren, wird die Teilnehmerzahl, die für eine Studie mit ‚genügend Teilnehmern‘ für ein aussagekräftiges Ergebnis“ benötigt werden, an keiner Stelle in diesem Dokument definiert.

In der Informationsschriftwird ausdrücklich darauf hingewiesen, dass der NHMRC bei der Bewertung der Nachweisemehrere Faktoren betrachtet hat, einschließlich der Frage„ob die eingeschlossenen Studien genügend Teilnehmer für aussagekräftige Ergebnisse aufweisen“ (IP, S. 14).

Es finden sich elf Varianten der beschreibenden Angabe „genügend Teilnehmer für ein aussagekräftiges Ergebnis“ in der Informationsschrift, aber die erforderliche Probengröße wird nirgends erwähnt.

2. Übersichtsbericht (‚Overview Report‘)

Der Übersichtsbericht ist das wissenschaftliche Hauptdokument, das die technischen Details zur Art und Weise, wie der NHMRC seine Bewertung durchgeführt hat, darlegen soll. Der NHMRC definiert an keiner Stelle des Dokuments klar und unmissverständlich, dass in einer Einzelstudie „genügend Teilnehmer für ein aussagekräftiges Ergebnis“ N > 150 entsprechen.

Der Grenzwert für die Probengröße wird nur indirekt erwähnt, z. B.

im Kapitel 4.14.22 Allergic rhinitisin der Zusammenfassung auf den Seiten 169f unter dem Überschriftspunkt Evidence Statement:, 2. Abschnitt)
„Obwohl es sich dabei nicht um die größte Studie handelt, die in diesem Evidenzkorpus bestimmt wurde, und obwohl sie unter dem vereinbarten Grenzwert für eine Studie von ausreichender Größe liegt, wurde in einer hochwertigen Studie mit 144 Teilnehmern (Reilly et al., 1986) ein signifikanter Unterschied zugunsten der Homöopathie anstelle von Placebo berichtet. Allerdings wurden die Ergebnisse dieser Studie nicht durch andere hochwertige Studien von ausreichender Größe bestätigt.“

S. 284, Kapitel 5.1 Summary of main results, 2. Abschnitt:

„(…) Bei 36 der 61 Erkrankungen betrug die Gesamtanzahl der Teilnehmer, die in die Studie(n) eingeschlossen wurden, weniger als 150; daher wurde die Evidenzbasisfür den Großteil der klinischen Erkrankungen als unzureichend in Bezug auf ihre Größe angesehen, sodass keine eindeutigen Schlussfolgerungen zur Wirksamkeit der Homöopathie gezogen werden können. (…)“

Das zweite Beispiel führte bei vielen Lesern des Berichts zu Verwirrung. Es nimmt Bezug auf die Tatsache, dass der NHMRC den Grenzwert von N > 150 auf zweierlei Weise verwendet hat – nämlich sowohl zur Definition der ausreichenden Teilnehmeranzahl in Gruppen von Studien als auch in einer einzelnen Studie.

Der NHMRC hat alle Studien unter denselben Bedingungen gemeinsam analysiert (unabhängig von der angewandten homöopathischen Therapieform und den verwendeten Zielkriterien). Bei der Durchführungdieser Analyse entschied das NHMRC, dass die Evidenzbasis von unzureichender Größe für eindeutige Schlussfolgerungen war, wenn die Gesamtanzahl der Teilnehmer in den Gruppen von Studien insgesamt weniger als 150 Personen betrug.

3. Anhänge zum Übersichtsbericht (‚Overview Report Appendices‘)

Der NHMRC definiert nur an einer Stelle direkt und eindeutig, was „genügend Teilnehmer für ein aussagekräftiges Ergebnis“ entspricht, und zwar auf Seite 275 des separaten Dokuments, das die Anhänge enthält (d.h. im Anhang C ‚Criteria for development of evidence statements‘, unter Kapitel ‚Guidance for Element 1 – Describing the body of evidence‘, Punkt 7 der Auflistung, zweiter Gliederungspunkt:

„Für den Homöopathie-Review wurden Studien mit N > 150 als ausreichend groß erachtet(d. h. solche Studien, die als ‚mittelgroß‘ oder größer eingestuft wurden), da es sich bei den Ergebnissen generell um kontinuierliche Ergebnisse handelte.“

Wir konnten weder eine weitere Übersichtsarbeit des NHMRC noch einer anderen Forschungsgruppe finden, in der die Ergebnisse aller Studien mit N < 150 pauschal abgelehnt werden, da sie nicht genügend Teilnehmer aufweisen, um als ‚zuverlässig‘ zu gelten.

Das überrascht jedoch nicht. Statistiker werden bestätigen, dass die Teilnehmerzahl, die für eine bestimmte Studie nötig ist, damit sie genügend ‚Substanz‘ hat (d. h. ausreichend Teilnehmer vorhanden sind, um aussagekräftige Ergebnisse zu liefern), von einer Reihe von Faktoren abhängt, die nur auf diese Studie zutreffen. Daher gibt es weder eine festgelegte ‚Mindestprobengröße‘ für jede Studie noch eine statistische Begründung, dass ein derartiges ‚Minimum‘ (willkürlich) bei N > 150 festgelegt werden sollte.

Die Gutachter bewerteten 176 Studien als geeignet, um in die Studie aufgenommenwerden zu können. Diese Studien werden allesamt im Übersichtsbericht beschriebenund evaluiert, wurden technisch gesehen also in die Studie eingeschlossen.

Allerdings wurden auf der Grundlage, dass „diese Studien von unzureichender Qualität und/oder Größe sind, um eine weiterführende Prüfung ihrer Ergebnisse zu rechtfertigen“, alle Ergebnisse bis auf die von fünf Studien gänzlich abgelehnt (Übersichtsbericht, S. 38). Im Hinblick auf die Ergebnisse und Schlussfolgerungen des NHMRC-Berichts bedeutet das, dass bis auf fünf Studien alle anderen tatsächlich ausgeschlossen wurden.

Diese Subtilität hat offenkundig zu einiger Verwirrung und dem Missverständnis geführt, dass die 171 Studien überhaupt nicht im australischen Bericht aufgetaucht sind.

In diesem Zusammenhang ist darauf hinzuweisen, dass das HRI Studien mit wenigerals 150 Teilnehmern und/oder von ‚unzureichender Qualität‘ immer als ‚abgelehnt‘ anstatt als ‚ausgeschlossen‘ bezeichnet. Diese Terminologie wurde absichtlich gewählt, da ‚ausgeschlossen‘ in systematischen Übersichtsarbeiten eine bestimmteBedeutung hat: Ausgeschlossene Studien werden überhaupt nicht in die Datenanalyseeingeschlossen, da sie in irgendeiner Form als ungeeignet eingestuft werden. So wurden im Falle des Homöopathie-Reviews beispielsweise Studien ausgeschlossen, weil es sich dabei um die falsche Art von Studie gehandelt habe oder die Studien nicht in der richtigen Sprache verfasst worden seien.

Studien, die nicht die NHMRC-Kriterien für ‚Zuverlässigkeit‘ erfüllten, wurden in demSinne ‚eingeschlossen‘, dass sie während der ‚angepassten GRADE-Analyse‘ zu der Gesamtanzahl an Studien gezählt wurden. Jedoch fanden ihre Ergebnisse im Entwurf der ‚evidence statements‘ selbst dann keine Berücksichtigung, wenn die Studien die Wirksamkeit der Homöopathie aufgezeigt haben (siehe FAQ Nr. 8).

Dies ist ein typisches Beispiel für das Ausmaß an Verschleierung innerhalb dieses Berichts.

Durchfall bei Kindern

Die entsprechenden Nachweisefür homöopathische Behandlungen werden in Kapitel 4.5.2 des Übersichtsberichtsvorgestellt (S. 36–42). Sie umfassen:

• Eine Übersichtstabelle, in der alle systematischen Übersichtsarbeiten (SÜ), die Studien zu Durchfall bei Kindern beinhalten, aufgeführt werden
• Eine Kurzbeschreibung dieser SÜ sowie der darin enthaltenen Studien
• Gutachterkommentare
• Evidence statement‘– dies entspricht den Gesamtergebnissen des NHMRC, einschließlich eines ‚Konfidenzniveaus‘ für das Evidenzmaterial (siehe FAQ Nr. 7) sowie einer finalen Schlussfolgerung dahingehend, ob es Belegefür die Wirksamkeit der Homöopathie bei dieser Erkrankung gibt.
• Tabelle mit vollständigen Details der Evidenzmaterials aus den SÜ.

Das HRI hat den Umgang des NHMRC mit dem Evidenzmaterialdetailliert analysiert.

Die folgenden fünf Studien erfüllten die NHMRC-Definition von ‚zuverlässig‘:

• Lewith et al. (2002) Double blind placebo-controlled RCT on isopathy for dust mite allergy¹
• Jacobs et al. (2006) Double blind placebo-controlled RCT assessing non-individualised complex remedy for diarrhoea in children.²
• Stam et al. (2001) Randomised, double-blind equivalence trial on homeopathic gel and capsicum-based product for acute low back pain.³Anmerkung: Das Ergebnis der Studie war positiv.
• Grecho (1989) Assessing two homeopathic products for resumption of transit after digestive surgery.⁴Anmerkung: Studie in französischer Sprache, die laut NHMRC-Protokoll hätte ausgeschlossen werden müssen.
• Steinsbekk et al. (2005) Double blind placebo-controlled RCT assessing self-treatment (choice of 3 remedies) for prevention of URTIs in children.⁵Anmerkung:Präventionsstudie, die laut NHMRC-Protokoll hätte ausgeschlossen werden müssen.

Literaturhinweise

1. Lewith, G. T., Watkins, A. D., et al. (2002). „Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite: double blind randomised controlled clinical trial.“ BMJ 324(7336): 520.
2. Jacobs, J., Guthrie, B. L., et al. (2006). „Homeopathic combination remedy in the treatment of acute childhood diarrhea in Honduras.“ Journal of alternative and complementary medicine 12(8): 723-732
3. Stam, C., Bonnet, M. S., et al. (2001). „The efficacy and safety of a homeopathic gel in the treatment of acute low back pain: a multi-centre, randomised, double-blind comparative clinical trial.“ British Homeopathic Journal 90(1): 21-28
4. Grecho (1989). „[Evaluation of 2 homeopathic products on the resumption of transit after digestive surgery. A multicenter controlled trial].“ Presse medicale 18(2): 59-62
5. Steinsbekk, A., Bentzen, N., et al. (2005). „Self treatment with one of three self selected, ultramolecular homeopathic medicines for the prevention of upper respiratory tract infections in children. A double-blind randomized placebo controlled trial.“ British Journal of Clinical Pharmacology 59(4): 447-455

Die Liste der Studien, die die NHMRC-Definition von ‚zuverlässig‘ erfüllten, ist im Australischen Bericht nicht enthalten. Erst eine Analyse des HRI brachte Klarheit:

• 176 Studien wurden in den Homöopathie-Review eingeschlossen
• Laut NHMRC musste eine Studie 150 Teilnehmer aufweisen, um als zuverlässig zu gelten. Das HRI fand heraus, dass von diesen 176 Studien nur 30 diese Größenschwelle erfüllten
• Laut NHMRC musste eine Studie außerdem eine Qualitätsbewertung von 5/5 auf der Jadad-Skala (oder eine gleichwertige Bewertung auf alternativen Skalen) aufweisen, um als zuverlässig zu gelten. Das HRI fand auf Grundlage der Angaben im NHMRC-Übersichtsbericht („Overview Report“) heraus, dass von diesen 30 Studien nur fünf auch diese Qualitätsgrenze erfüllten
• Daher erfüllten nur fünf Studien die NHMRC-Definition einer zuverlässigen Studie.

Die Datenanalysetabelle des HRI veranschaulicht die Auswirkungen der NHMRC-Definition einer ‚zuverlässigen‘ Studie. Dies konnte so nicht aus dem NHMRC-Bericht abgeleitet werden, da diese Daten nicht zur Verfügung gestellt wurden, da die entsprechenden Daten nicht zur Verfügung gestellt worden waren.

In seiner Kurzfassung des Berichts gibt der NHMRC an, dass „…keine hochwertige, gut konzipierte Studie mit ausreichenden Teilnehmerzahlen für ein aussagekräftiges Ergebnis auswies, dass eine homöopathische Behandlung den Gesundheitszustand entweder deutlicher als Placebo oder ihn in ähnlicher Weise wie eine andere Behandlung besserte.“ (Informationsschrift, S. 6).

Das stimmt jedoch nicht. Die folgenden Studien erfüllten die NHMRC-Definition von ‚hochwertig‘, waren gut konzipiert und wiesen ausreichende Teilnehmerzahlen für ein aussagekräftiges Ergebnis auf (die Ergebnisse sind statistisch signifikant).

Laut den folgenden Studien ‚besserteeine homöopathische Behandlung den Gesundheitszustand deutlicher als Placebo.‘:

These studies reported that ‘homeopathy caused greater health improvements than placebo’:

• In zwei Studien war eine individualisierte homöopathische Behandlung gegen Durchfall bei Kindernwirksamer als ein Placebo (N = 92¹und N = 126²
• Das rezeptfreie homöopathische Präparat Sinfrontal war bei der Behandlung von Sinusitisnachweislich wirksamer als ein Placebo (N = 113) (p < 0,0001)³
• Das homöopathische Kombinationspräparat Pollen C30 sprach bei der Behandlung von Heuschnupfen(allergische Rhinitis) nachweislich besser an als ein Placebo (N = 144) (p = 0,02)⁴
• Eine individualisierte Immuntherapie (unter Verwendung homöopathischer Arzneimittel, die aus der Substanz hergestellt werden, gegen die der Patient allergisch ist, wie z. B. Hausstaubmilben oder Katzenhaare) wirkte besser gegen Heuschnupfen(allergische Rhinitis) als ein Placebo (N = 51) (p = 0,0001)⁵
• Bei der Behandlung von Husten, der durch eine Infektion der oberen Atemwege verursacht wurde, wirkte ein homöopathischer Hustensirup besser als Placebo (N = 80)⁶.
• Laut den folgenden Studien ‚besserteeine homöopathische Behandlung den Gesundheitszustand in ähnlicher Weise wie eine andere Behandlung.‘:
• Das rezeptfreie homöopathische Nasenspray Luffa compositum S gegen Heuschnupfen (allergische Rhinitis) (N = 146)⁷
• Das homöopathische Gel Spiroflor SRL war bei der Behandlung von Schmerzen im unteren Rücken genauso wirksam wie die Standardbehandlung mit Cremor capsici comp. (N = 161).⁸

An dieser Stelle ist darauf hinzuweisen, dass die positiven Ergebnisse dieser Studien nicht durch andere Studien widerlegt wurden, in denen dieselben Behandlungen gegen diese Erkrankungen untersucht wurden.

Literaturhinweise

1. Jacobs, J., Jiménez, L. M., Gloyd, S. S., Gale, J. L. & Crothers, D. (1994) Treatment of acute childhood diarrhea with homeopathic medicine: a randomized clinical trial in Nicaragua, Pediatrics, 93:719-725
2. Jacobs, J., Malthouse, S. & et al. (1997) Childhood diarrhea: Results from Nepal and combined analysis, Proceedings of the 52nd Congress of LMHL, Seattle, WA
3. Zabolotnyi, D. I. et al. (2007) Efficacy of a complex homeopathic medication (Sinfrontal) in patients with acute maxillary sinusitis: a prospective, randomized, double-blind, placebo-controlled, multicenter clinical trial, Explore (New York, N.Y.), 3:98-109
4. Reilly, D. T., Taylor, M. A., McSharry, C. & Aitchison, T. (1986) Is homoeopathy a placebo response? Controlled trial of homoeopathic potency, with pollen in hayfever as model, Lancet (London, England), 2:881-886
5. Taylor, M. A., Reilly, D., Llewellyn-Jones, R. H., McSharry, C. & Aitchison, T. C. (2000) Randomised controlled trial of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial series, BMJ (Clinical research ed.), 321:471-476
6. Zanasi, A. et al. (2014) Homeopathic medicine for acute cough in upper respiratory tract infections and acute bronchitis: a randomized, double-blind, placebo-controlled trial, Pulmonary Pharmacology & Therapeutics, 27:102-108
7. Weiser, M., Gegenheimer, L. H. & Klein, P. (1999) A randomized equivalence trial comparing the efficacy and safety of Luffa comp.-Heel nasal spray with cromolyn sodium spray in the treatment of seasonal allergic rhinitis, Forschende Komplementärmedizin, 6:142-148
8. Stam, C., Bonnet, M. S. & van Haselen, R. A. (2001) The efficacy and safety of a homeopathic gel in the treatment of acute low back pain: a multi-centre, randomised, double-blind comparative clinical trial, The British Homoeopathic Journal, 90:21-28

Dem NHMRC zufolge fand der Homöopathie-Review unter Verwendung der üblichen Methoden statt; dies ist jedoch nicht der Fall.

Vergleich mit anderen Cochrane-Übersichten

Nach Angabe des NHMRC wurde eine Übersicht unter Verwendung einer Methode erstellt, die „aus Kapitel 22 des ‚Cochrane Handbook of Systematic Reviews of Interventions‘ abgeleitet wurde“ (Übersichtsbericht, S. 12), in dem die ‚Cochrane Overview‘-Methode dargelegt ist¹. Bislang wurden 16 weitere Cochrane-Übersichten veröffentlicht, von denen keine eine Mindeststudiengröße oder Mindestqualität aufweist.

Vergleich mit anderen Evidenzüberprüfungendes NHMRC

Andere durch den NHMRC veröffentlichte Evidenzüberprüfungen wiesen keine Mindeststudiengröße auf, um als zuverlässig zu gelten. So kam der NHMRC in der Informationsschrift The Effects of Lead on Human Health, beispielsweise auf Grundlage von Studien mit Teilnehmerzahlen zwischen N = 52 und 780 zu Schlussfolgerungen hinsichtlich der Wirksamkeit diverser Interventionen.²

In der Clinical Practice Guideline for the Management of Borderline Personality Disorder³ des NHMRC werden dessen Schlussfolgerungen und Empfehlungen in Bezug auf die Behandlung der Borderline-Persönlichkeitsstörung auf Grundlage pharmakologischer Behandlungen mit Teilnehmerzahlen zwischen N = 16 und 263 sowie psychologischen Behandlungen mit Teilnehmerzahlen zwischen N = 19 und 137 vorgestellt⁴.

Vergleich mit klinischen Evidenzüberprüfungen von The BMJ

Die hoch angesehenen klinischen Evidenzüberprüfungen der medizinischen Fachzeitschrift The BMJ(früherer Name: British Medical Journal) weisen eine Mindestgröße auf und sehen vor, dass randomisierte kontrollierte Studien (RKT) „mindestens 20 Teilnehmer“ (N > 20) umfassen müssen, obwohl „… diese Kriterien von Überprüfung zu Überprüfung in Abhängigkeit vom Themenbereich variieren; liegen beispielsweise nur wenige oder gar keine Studiendaten vor, schließen wir unter Umständen auch RKT mit weniger als 20 Teilnehmern ein.“⁵

Die Analyse des HRI zeigt, dass, wenn der NHMRC den BMJ-Größenschwelle von N = 20 verwendet hätte, nur die Ergebnisse von zehn statt 146 Studien abgelehnt worden wären, so wie im Fall des Grenzwerts von N = 150.

Dieser Ansatz durch The BMJunterstreicht den Hauptzweck von Übersichten und klinischen Evidenzüberprüfungen, d. h., alle verfügbaren Nachweisezu einem Thema in seiner Gesamtheit zusammenzufassen, insbesondere in Bereichen, in denen nur wenig Forschung betrieben wurde. Dies steht in krassem Gegensatz zum Ansatz des NHMRC mit einem entscheidenden, Größenschwelle von N > 150‘ und einem Qualitätswert von 5/5, damit positive Studien der Öffentlichkeit in der Informationsschriftals zuverlässige Nachweisefür die Wirksamkeit der Homöopathie präsentiert werden können.

Es liegt daher auf der Hand, dass bestimmte Aspekte der einmaligen Methodik, die der NHMRC für den Homöopathie-Review geschaffen hat, beispiellos sind und jeder wissenschaftlichen Begründung entbehren.

Literaturhinweise

1. Becker, L. A. & Oxman, A. D. (2011) Chapter 22: Overviews of reviews. Cochrane Handbook for Systematic Reviews of Interventions [Link]
2. NHMRC (2015) Section 3. Evaluation of evidence related to exposure to lead : p94–98 [link]
3. NHMRC (2012) Clinical Practice Guideline for the Management of Borderline Personality Disorder. [Link]
4. NHMRC (2012) Appendix H: Clinical Practice Guideline for the Management of Borderline Personality Disorder : Clinical Qs 6, 7 and 9 [Link]
5. BMJ Clinical Evidence (2016) Nuts, bolts, and tiny little screws: how Clinical Evidence works. [Link] (Accessed: 18th February 1016)

Bei der GRADE-Analyse handelt es sich um eine standardisierte Methode zur Bestimmung der Qualität eines bestimmten Datenmaterialsim Hinblick darauf, wie sicher man sich der Genauigkeit einer Schätzung der klinischen Wirksamkeit sein kann, die von der Gruppe von Studien ermittelt wurde.¹ Mittels GRADE wird beurteilt,wie sicher man sein kann, dass eine bestimmte Behandlung bei einem bestimmten‚ klinischen Ergebnis‘ wie beispielsweise einem Symptom wie Schmerzen oder Husten Wirkung zeigt. Aus diesem Grund findet die GRADE-Analyse normalerweisenur dann Anwendung, wenn alle Studien der Gruppe die Wirksamkeit derselben Behandlung für dasselbe klinische Ergebnis gemessen haben¹.

Eine GRADE-Analyse wird nur dann durchgeführt, wenn die Daten für diese Methode geeignet sind. Für den Großteil der dem Homöopathie-Review zugrundeliegenden Erkrankungen gab es nicht genügend Studien mit demselben klinischen Ergebnis, so dass GRADE kein geeignetes Bewertungsinstrument war. Anstatt sich dementsprechend jedoch gegen die Verwendung von GRADE zu entscheiden, entwarf das Homeopathy Working Committee (HWC) seine eigene „angepasste Version von GRADE […], um umfassende Aussagen über das Konfidenzniveau im Datenmaterial als Ganzes treffen zu können“ (Informationsschrift, S. 36).

Mit dieser ‚angepassten GRADE-Analyse‘ wies das HWC dem Datenmaterial von Studien, in denen homöopathische Behandlungen für jede Erkrankung im Vergleich zu Placebo oder einer anderen Behandlung untersucht wurden, ein Konfidenzniveau zu.

Obwohl die GRADE-Analyse so konzipiert ist, dass sie sich an unterschiedliche klinische Fragen und Szenarien anpassen lässt, gibt es Grundprinzipien, die bei dieser Methode einzuhalten sind – ganz besonders im Hinblick auf ihre Anwendungauf einzelne Ergebnisse sowie auf Studien, in denen dieselbe Behandlung untersucht wird. Das HWC hat sich nicht an diese Prinzipien gehalten; stattdessen hat es seineneuartige Methode auf Gruppen von Studien angewendet, in denen eine Reihe unterschiedlicher klinischer Ergebnisseuntersucht wurde, sowie (in manchen Fällen) auf Studien, in denen unterschiedliche homöopathische Behandlungen Gegenstand der Untersuchung waren. Bei diesem Vorgehen handelt es sich um eine beispiellose und unangemessene Verwendung des GRADE-Ansatzes.

Das vom HWC geschaffene ‚angepasste GRADE‘-System stützt sich in erster Linie auf ‚Qualität‘ und ‚Präzision‘ (also auf die beiden Kriterien, für die in den ausfindig gemachten 176  Primärstudien ausreichend Information vorlagen), da die „übrigen GRADE-Faktoren schwierig anzuwenden waren“ (IP, S. 37).Aufgrund dieser Entscheidung hatten die Studienqualität und Stichprobengröße(Präzision) im Vergleich zu einer normalen GRADE-Beurteilung einen übermäßigen Einfluss auf das Konfidenzniveau, das dem Datenmaterial pro klinischer Erkrankung zugewiesen wurde. Infolgedessen wurden 66 der 71 Evidenzmaterialiennur basierend auf diesen beiden Kriterien mit einem ‚niedrigen‘ oder ‚sehr niedrigen‘ Konfidenzniveau bewertet, noch bevor weitere Faktoren Berücksichtigung fanden.

Transparenz ist ein wesentlicher Bestandteil hochwertiger Forschungsarbeiten, da sie es anderen Forschern ermöglicht, die Angemessenheit der verwendeten Methode sowie die Gültigkeit der erzielten Ergebnisse zu beurteilen. Wir behaupten, dass dies umso wichtiger ist, wenn ein neuartiger Ansatz – wie beispielsweise die angepassteGRADE-Beurteilung von Evidenzmaterial durch das HWC – verwendet wird, der unterschiedliche klinische Ergebnisse und Erkrankungen abdeckt.

In Übersichtsarbeiten finden sich normalerweise GRADE-Tabellen, aus denen genau hervorgeht, wie Entscheidungen über die Qualität der Nachweise gefällt wurden¹– ein Transparenzniveau, das in anderen NHMRC-Reviews deutlich wird, z. B. in der Informationsschrift The Effects of Lead on Human Health².

Der NHMRC behauptet, dass der Homöopathie-Review ethisch korrekt und transparent durchgeführt wurde; allerdings finden sich die ‚angepassten GRADE‘-Berechnungen nirgendwo in der 600-seitigen Dokumentation des NHMRC. Demnach muss sich der Leser vollkommen auf das Urteilsvermögen und die Expertise‘ des HWC verlassen (IP, S. 36) und darauf vertrauen, dass die Qualität des Studienmaterials genau und fair beurteilt wurde.

Die beispiellose Methode, die der NHMRC benutzte, um dem gesamten identifizierten Studienmaterial zur Homöopathie in Konfidenzniveau zuzuweisen, ist eindeutig weder eine standardisierte noch eine akzeptierte Methode. Es fehlt ihr  außerdem an Transparenz und durchlief keinen Peer Review. Die Beurteilungen der Konfidenzniveaus können daher nicht als solide angesehen werden.

Literaturhinweise

1. GRADE Working Group (2004) Grading quality of evidence and strength of recommendations, BMJ, 328:1490
2.  NHMRC (2015) NHMRC Statement and Information Paper: Evidence on the Effects of Lead on Human Health https://www.nhmrc.gov.au/guidelines-publications/eh58 (Appendix15,p283-4)

Es ist verständlich, dass die Verwendung von N > 150im australischen Bericht zu einiger Verwirrung geführt hat. Die Stichprobengröße von 150wurde auf zweierlei Art verwendet.

Firstly, NHMRC have used it as a threshold when describing the size of trials (Information Paper, p.35):

• < 50: sehr klein
• 50 bis 149: klein
• 150 bis 499: mittelgro
• 500 bis 999: groß
• ≥ 1.000: sehr groß.

Diese Beschreibungen der Studiengrößen fanden Anwendung, wenn das NHMRC eine ‚angepasste GRADE‘-Analyse durchgeführt hat, um das ‚Konfidenzniveau‘ seiner Ergebnisse für jede Erkrankung zu beurteilen (siehe FAQ Nr. 8).

Die Verwendung von N = 150 als Abgrenzung zwischen einer kleinen und mittelgroßen Studie ist aus wissenschaftlicher Sicht in Ordnung, da es keine Standarddefinitionfür eine sehr kleine, kleine, mittelgroße, große oder sehr große Studie gibt. Daher entscheidet üblicherweise jedes Team selbst, das eine Übersichtsarbeit verfasst, wie Studiengrößen in seiner Übersichtsarbeit beschriebenwerden.

Zum anderen setzte der NHMRC den „N > 150“-Wert als Grenzwert an, um zu beurteilen, ob eine Studie als zuverlässig oder unzuverlässig einzustufenDies ist jedoch eine vollkommen andere Sache, die aus wissenschaftlicher Sicht beispiellos ist und jeder wissenschaftlichen Begründung entbehrt (siehe FAQ Nr. 1).

Die Ergebnissedes NHMRC für jede Erkrankung wurden ausschließlich dadurch bestimmt, welche Studien als ‚zuverlässig‘ angesehen wurden. Die Ergebnisse aller Studien mit weniger als 150 Teilnehmern wurden als unzuverlässig abgetan, auch wenn sie hochwertig, positiv und statistisch signifikant waren (siehe FAQ Nr. 1). Die Anwendung dieser beispiellosen Regel hat daher zu einer vollständigen Verzerrung der Ergebnisse des NHMRC geführt.

Angesichts der beispiellosen Verwendung von N > 150 als Größenschwelle für die Studienzuverlässigkeit in diesem Homöopathie-Review würde man eine stichhaltige Begründung für diese Regel erwarten; allerdings wird sie an keiner Stelle im Bericht erklärt oder begründet.

In seiner Erklärung der Entscheidung, Studien mit weniger als N = 150 als ‚klein‘ oder ‚sehr klein‘ zu beschreiben, beruft sich der NHMRC auf die hoch angesehene medizinische Fachzeitschrift The BMJ BMJ.¹Laut NHMRC: „hat das HWC [Homeopathy Working Committee] bei der Entwicklung dieser Größenschwelle die folgende Studie berücksichtigt: Influence of trial sample size on treatment effect estimates: meta-epidemiological study.“ (s. Dokument, das die Anhänge zum Übersichtsbericht enthält, S. 274). Dies impliziert, dass die Entscheidung des NHMRC, Studien mit weniger als N = 150 als ‚unzuverlässig‘ abzulehnen, durch diese Abhandlung wissenschaftlich begründet wird. Das wird sie jedoch nicht.

Zum einen geht aus dieser Abhandlung nicht hervor, dass die Ergebnisse von Studien einer bestimmten Größe als unzuverlässig abgelehnt werden sollten. Zum anderen führt der NHMRC hierzu richtigerweise an, dass bei den meisten Homöopathie-Studien, die er bewertet hat, ‚kontinuierliche Ergebnisse‘ verwendet wurden. Allerdings wird in der Abhandlung von The BMJ strikt darauf verwiesen, dass ihre Erkenntnisse nicht auf Studien dieser Art angewendet werden können.

Literaturhinweise:

1. Dechartres, A., Trinquart, L., Boutron, I. & Ravaud, P. (2013) Influence of trial sample size on treatment effect estimates: meta-epidemiological study, BMJ, 346:f2304