Non. Nous n’avons trouvé aucune autre revue, qu’elle soit menée par NHMRC ou un autre groupe de recherche, qui ait écarté l’ensemble des résultats des essais où N<150 sous le prétexte que le nombre de participants était insuffisant.

Rien d’étonnant à cela : comme les statisticiens pourront le confirmer, le nombre de participants nécessaires pour qu’un essai donné soit suffisamment « fonctionnel » (autrement dit, pour que ses résultats soient significatifs) dépend d’une série de facteurs propres à chaque essai. Il n’y a donc pas de taille d’échantillon minimum commune à tous les essais, ni de raison statistique pour fixer (arbitrairement) ce seuil à N>150.

Par ailleurs, le NHMRC apporte régulièrement des fonds et sa collaboration à des essais de moins de 150 participants. Si ces essais doivent tous être jugés peu fiables du fait d’un nombre insuffisant de participants, pourquoi le NHMRC les finance-t-il ?

NHMRC affirme à deux reprises de façon explicite que les essais doivent compter sur plus de 150 participants pour avoir un « nombre de participants suffisant » : À l’Annexe C de la note d’information (p. 35) et à l’Annexe C des annexes du rapport récapitulatif (p. 275) :

« Pour les besoins de la synthèse de l’homéopathie, les études ont été considérées comme étant de taille suffisante quand N>150 (ce qui correspond aux études classées comme étant de taille « moyenne » ou plus), car leurs résultats étaient généralement continus ».

Le NHMRC a présenté les résultats de sa revue de façon à déterminer s’ils apportaient une « preuve fiable » de l’efficacité de l’homéopathie. Pourtant, il est difficile de trouver une définition de « preuve fiable » dans les différents documents du rapport.

Le Rapport australien contient trois principaux documents :

• Note d’information (NI) : un résumé au langage non spécialisé destiné au grand public
• Rapport récapitulatif : une évaluation scientifique complète des preuves
• Annexes du rapport récapitulatif : des informations générales complémentaires

Dans la note d’information, le NHMRC définit indirectement une étude ou un essai « fiable » comme étant « de bonne qualité, bien conçu et avec suffisamment de participants pour obtenir un résultat significatif » (NI, Résultats – Synthèse, p. 6 ; les parties soulignées ne le sont pas dans le texte original) :

sont pas dans le texte original) :

« Les recherches effectuées sur l’être humain n’ont pas apporté de preuve fiable de l’efficacité de l’homéopathie pour traiter l’ensemble des problèmes de santé considérés : aucune étude de bonne qualité, bien conçue, avec suffisamment de participants pour obtenir un résultat significatif, n’a conclu que l’homéopathie entraînait des améliorations de santé plus importantes qu’un placebo, ou équivalentes à celles d’un autre traitement. »

Note d’information
Le principal document utilisé pour présenter au public les résultats du rapport du NHMRC a été la note d’information. Pourtant, il faut se reporter à l’annexe de ce document (p. 35) pour trouver une description du nombre de participants nécessaire pour qu’un essai soit jugé fiable. Bien que 11 variantes de la phrase « suffisamment de participants pour donner un résultat significatif » figurent dans la note d’information, la taille réelle de l’échantillon requis n’est pas établie.

Rapport récapitulatif
Le rapport récapitulatif est le principal document scientifique de la revue. Il livre les détails techniques sur la façon dont le NHMRC a mené sa revue. Dans ce document, le NHMRC ne stipule jamais de façon claire et explicite que le « nombre suffisant de participants pour un résultat significatif » dans un essai donné doit être N>150.

La taille minimum de l’échantillon n’est mentionnée qu’indirectement, comme à la page 170, « Résumé des données sur la rhinite allergique », second point de liste :

« Bien que ce ne soit pas la plus grande étude de ce faisceau de preuves, et bien qu’elle soit en dessous du seuil convenu pour une étude de taille suffisante, une étude de bonne qualité avec 144 participants (Reilly et al, 1986) a rapporté une différence significative en faveur de l’homéopathie par rapport au placebo. Toutefois, les conclusions de cette étude n’ont pas été corroborées par d’autres études de bonne qualité et de taille suffisante. »

Un autre exemple se trouve à la page 284, point 5.1 « Résumé des principaux résultats » :

« Dans 36 des 61 affections, le nombre total de participants inclus dans le ou les essai(s) était inférieur à 150 ; par conséquent, la base de données probantes pour la plupart des problèmes de santé a été considérée de taille insuffisante pour permettre de tirer des conclusions claires sur l’efficacité de l’homéopathie ».

Ce dernier exemple a été une source de confusion pour de nombreux lecteurs du rapport australien. En effet, le NHMRC a fixé à N>150 le seuil minimum de participants à un groupe d’essais (pour calculer le niveau de confiance dans un faisceau de données probantes pour un problème de santé), tout en l’utilisant comme seuil minimum pour qu’un essai soit jugé fiable (voir FAQ 10 pour plus de précision).

Annexes du rapport récapitulatif
L’expression « des participants suffisants pour un résultat significatif » est définie de façon directe et explicite par le NHMRC dans les Annexes du rapport récapitulatif : Annexe C – Critères pour élaborer l’exposé de données probantes, Guide pour l’élément 1 : Description des données disponibles, Point 7, 2^ème point de liste (p. 275-282).

Nous n’avons trouvé aucune autre revue, qu’elle soit menée par NHMRC ou un autre groupe de recherche, qui ait écarté les résultats de tous les essais où N<150 sous le prétexte que le nombre de participants était insuffisant pour être jugés fiables.

Rien d’étonnant à cela : comme les statisticiens pourront le confirmer, le nombre de participants nécessaires pour qu’un essai donné soit suffisamment « fonctionnel » (autrement dit, pour que ses résultats soient significatifs) dépend d’une série de facteurs propres à chaque essai. Il n’y a donc aucune raison statistique pour fixer (arbitrairement) ce seuil à N>150.

Les auteurs de la revue ont estimé que 176 essais pouvaient être inclus à l’étude. Tous ces essais sont décrits et évalués dans le rapport récapitulatif. Ainsi, techniquement parlant, ils ont été inclus à l’étude.

Mais par la suite, les résultats de tous ces essais sauf 5 ont été écartés sous prétexte qu’ils étaient « d’une qualité et/ou d’une taille insuffisante pour justifier un examen plus approfondi de leurs résultats ». (Rapport récapitulatif, p. 38). Autrement dit, aux fins des résultats et des conclusions du rapport du NHMRC, tous ses essais sauf 5 ont été exclus dans les faits.

Il va sans dire que ces subtilités ont provoqué une certaine confusion et on a cru à tort que les 171 essais ne figuraient pas du tout dans le Rapport australien.

Il faut noter que le HRI s’est toujours référé aux essais de moins de 150 participants et/ou de « qualité insuffisante » comme ayant été écartés et non pas exclus. Il s’agit d’un choix terminologique délibéré étant donné que le terme « exclu » a un sens précis dans les revues systématiques. En effet, les études exclues ne figurent absolument pas dans l’analyse des données car elles ont été jugées inadéquates pour une raison donnée. Dans le cas de la Revue de l’homéopathie, par exemple, certaines études ont été exclues pour des raisons telles que le mauvais type d’essai ou le fait de ne pas être rédigées dans la langue voulue.

Les essais qui ne remplissaient pas le critère de fiabilité du NHMRC ont été « inclus », dans le sens où ils ont été comptabilisés dans le nombre d’essais total au cours de « l’analyse GRADE adaptée ». En revanche, leurs résultats n’ont pas été pris en compte dans l’exposé de données probantes, même si ces essais démontraient l’efficacité de l’homéopathie (Voir FAQ #8).

Cet exemple illustre bien la façon dont le rapport porte à confusion.

Diarrhée chez l’enfant

Les données probantes de l’homéopathie pour traiter la diarrhée chez l’enfant sont présentées au Chapitre 4.5.2 du rapport récapitulatif (p. 36-42). Elles comprennent :

• Un tableau récapitulatif de toutes les revues systématiques (RS), y compris les essais sur la diarrhée chez l’enfant
• Une brève description des RS et des essais qui y sont inclus
• Des commentaires des réviseurs
• Un Exposé de données probantes– il s’agit des conclusions générales du NHMRC, qui comprennent le « niveau de confiance » à l’égard des données probantes (voir FAQ#7) et une conclusion finale concernant l’existence de preuves de l’efficacité de l’homéopathie pour cette affection
• Un tableau détaillé sur les données probantes tirées des RS.

Une analyse du HRI sur le traitement des données par le NHMRC 

Les 5 essais qui remplissent le critère de fiabilité défini par NHMRC sont les suivants :

• Lewith et al. (2002) Double blind placebo-controlled RCT on isopathy for dust mite allergy¹
• Jacobs et al. (2006) Double blind placebo-controlled RCT assessing non-individualised complex remedy for diarrhoea in children.²
• Stam et al. (2001) Randomised, double-blind equivalence trial on homeopathic gel and capsicum-based product for acute low back pain.³Remarque : Le résultat de l’essai était positif
• Grecho (1989), Évaluation de deux produits homéopathiques sur le reprise du transit après chirurgie digestive.⁴Remarque : Selon leur protocole, cette étude aurait dû être exclue car elle est rédigée en français
• Steinsbekk et al. (2005) Double blind placebo-controlled RCT assessing self-treatment (choice of 3 remedies) for prevention of URTIs in children.⁵Remarque : Selon leur protocole, cette étude aurait dû être exclue car il s’agit d’un essai préventif

Références

1. Lewith, G. T., Watkins, A. D., et al. (2002). « Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite: double blind randomised controlled clinical trial. » BMJ 324(7336): 520.
2. Jacobs, J., Guthrie, B. L., et al. (2006). « Homeopathic combination remedy in the treatment of acute childhood diarrhea in Honduras. » Journal of alternative and complementary medicine 12(8): 723-732
3. Stam, C., Bonnet, M. S., et al. (2001). « The efficacy and safety of a homeopathic gel in the treatment of acute low back pain: a multi-centre, randomised, double-blind comparative clinical trial. » British Homeopathic Journal 90(1): 21-28
4. Grecho (1989). « [Evaluation of 2 homeopathic products on the resumption of transit after digestive surgery. A multicenter controlled trial]. » Presse medicale 18(2): 59-62
5. Steinsbekk, A., Bentzen, N., et al. (2005). « Self treatment with one of three self selected, ultramolecular homeopathic medicines for the prevention of upper respiratory tract infections in children. A double-blind randomized placebo controlled trial. » British Journal of Clinical Pharmacology 59(4): 447-455

La liste des essais jugés « fiables » selon la définition du NHMRC ne figure pas dans le Rapport australien. Elle a été dressée dans l’analyse menée par le HRI comme suit :

• 176 essaisont été inclus à la Revue de l’homéopathie
• Le NHMRC a affirmé qu’un essai devait avoir impliqué 150 participants pour être jugé fiable. Le HRI a constaté que sur ces 176 essais, 30 essais à peine remplissaient ce critère de taille (d’après les tailles d’échantillon indiqués dans le rapport récapitulatif)
• Le NHMRC a également affirmé que pour qu’un essai soit jugé fiable, il devait obtenir un score de 5/5 sur l’échelle de qualité d’Oxford (ou un équivalent sur d’autres échelles). Le HRI a constaté que sur ces 30 essais, 5 essais à peine se situaient au-dessus de ce seuil de qualité
• Ainsi, 5 essais seulement répondaient à la définition d’essai fiable établie par le NHMRC.

Le tableau d’analyse de données du HRI révèle l’impact de la définition donnée par le NHMRC d’un essai « fiable », ce qui ne peut être apprécié dans le rapport lui-même étant donné que de telles données n’y figurent pas.

Dans son résume, le NHMRC affirme qu’« aucune étude de bonne qualité, bien conçue et avec assez de participants pour donner un résultat significatif n’a conclu que l’homéopathie entraînait des améliorations de santé plus importantes qu’un placebo, ou équivalentes à celles d’un autre traitement. »(Note d’information, p. 6).

C’est faux. Les études suivantes répondent à sa définition de bonne qualité, elles sont bien conçues et ont eu suffisamment de participants pour donner un résultat significatif (les résultats sont statistiquement significatifs).

Ces études ont conclu que « l’homéopathie entraîne des améliorations de la santé plus importantes qu’un placebo »:

• Deux essais ont montré qu’un traitement homéopathique individualisé était meilleur qu’un placebo pour traiter ladiarrhée chez l’enfant (N=92¹ et N=126²)
• Le Sinfrontal, médicament homéopathique sans ordonnance, s’est avéré meilleur qu’un placebo pour traiter la sinusite(N=113) (p<0,0001)³
• Le remède homéopathique combiné Pollen C30 s’est avéré meilleur qu’un placebo pour traiter le rhume des foins(rhinite allergique) (N=144) (p=0,02)⁴
• L’immunothérapie individualisée (qui utilise des médicaments homéopathiques fabriqués à partir de la substance à laquelle le patient est allergique, comme les acariens ou les poils de chat) a mieux fonctionné que le placebo pour traiter le rhume des foins(rhinite allergique) (N=51)(p=0,0001)⁵
• Le sirop pour la toux homéopathique s’est avéré meilleur qu’un placebo pour traiter la touxprovoquée par une infection des voies respiratoires supérieures (N=80)⁶

Les études suivantes ont conclu qu’un traitement homéopathique entraînait « des améliorations de santé équivalentes à celles d’un autre traitement » :

• Le médicament homéopathique sans ordonnance Luffa compositum S spray nasal, pour le rhume des foins(rhinite allergique) (N=146)⁷
• Le gel homéopathique Spiroflor SRL s’est avéré aussi efficace que le traitement standard à base de Cremor Capsici Compositus pour traiter la lombalgie (N=161).⁸

Il est important de noter que les résultats positifs de ces essais ne sont réfutés par aucun autre essai portant sur les mêmes traitements pour les mêmes problèmes de santé.

Références

1. Jacobs, J., Jiménez, L. M., Gloyd, S. S., Gale, J. L. & Crothers, D. (1994) Treatment of acute childhood diarrhea with homeopathic medicine: a randomized clinical trial in Nicaragua, Pediatrics, 93:719-725
2. Jacobs, J., Malthouse, S. & et al. (1997) Childhood diarrhea: Results from Nepal and combined analysis, Proceedings of the 52nd Congress of LMHL, Seattle, WA
3. Zabolotnyi, D. I. et al. (2007) Efficacy of a complex homeopathic medication (Sinfrontal) in patients with acute maxillary sinusitis: a prospective, randomized, double-blind, placebo-controlled, multicenter clinical trial, Explore (New York, N.Y.), 3:98-109
4. Reilly, D. T., Taylor, M. A., McSharry, C. & Aitchison, T. (1986) Is homoeopathy a placebo response? Controlled trial of homoeopathic potency, with pollen in hayfever as model, Lancet (London, England), 2:881-886
5. Taylor, M. A., Reilly, D., Llewellyn-Jones, R. H., McSharry, C. & Aitchison, T. C. (2000) Randomised controlled trial of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial series, BMJ (Clinical research ed.), 321:471-476
6. Zanasi, A. et al. (2014) Homeopathic medicine for acute cough in upper respiratory tract infections and acute bronchitis: a randomized, double-blind, placebo-controlled trial, Pulmonary Pharmacology & Therapeutics, 27:102-108
7. Weiser, M., Gegenheimer, L. H. & Klein, P. (1999) A randomized equivalence trial comparing the efficacy and safety of Luffa comp.-Heel nasal spray with cromolyn sodium spray in the treatment of seasonal allergic rhinitis, Forschende Komplementärmedizin, 6:142-148
8. Stam, C., Bonnet, M. S. & van Haselen, R. A. (2001) The efficacy and safety of a homeopathic gel in the treatment of acute low back pain: a multi-centre, randomised, double-blind comparative clinical trial, The British Homoeopathic Journal, 90:21-28

Le NHMRC affirme avoir appliqué sa méthode habituelle d’analyse des données probantes à sa Revue de l’homéopathie, mais ce n’est pas le cas.

Comparaison avec d’autres revues Cochrane

Le NHMRC affirme avoir mené sa Synthèse en utilisant une méthode « issue du chapitre 22 du guide Cochrane pour l’élaboration des revues systématiques d’intervention » (Rapport récapitulatif, p. 12), qui décrit la méthode de revue de Cochrane ¹. Lors de la rédaction de la plainte adressée au Médiateur fédéral (février-août 2016), nous avons identifié 16 revues Cochrane publiées, donc aucune ne prévoyait une taille ou un seuil de qualité minium pour les essais.

Comparaison avec d’autres revues NHMRC

D’autres revues de preuves publiées par le NHMRC n’établissent pas non plus de taille minimale pour juger de la fiabilité d’un essai. Ainsi, dans la Note d’information sur Les effets du plomb sur la santé humaine, le NHMRC tire des conclusions sur l’efficacité d’une série d’interventions à partir des résultats d’essais d’une taille comprise entre N=52 et N=780.²

Dans sa publication Clinical Practice Guideline for the Management of Borderline Personality Disorder (« Guide de pratique clinique pour la gestion du trouble de la personnalité limite ») ³ le NHMRC formule des conclusions et des recommandations sur le traitement de cette affection à partir des résultats de traitements pharmacologiques d’une taille comprise entre N=16 et N=263 et des traitements psychologiques d’une taille comprise entre N=19 et N=137 ⁴.

Comparaison avec les revues de preuves cliniques BMJ

Les revues de preuves cliniques publiées par le prestigieux British Medical Journal (BMJ) établissent un seuil minimal pour la taille des essais. Ainsi, les essais contrôlés randomisés doivent inclure « au moins 20 personnes » (N>20), bien que « de tels critères varient en fonction du domaine traité : ainsi, si les données disponibles sont limitées ou inexistantes, on peut inclure des essais contrôlés randomisés de moins de 20 personnes. »⁵

L’analyse du HRI montre que si le NHMRC avait utilisé le seuil BMJ de N=20, il n’aurait écarté que les résultats de 10 essais et non de 146 essais comme dans le cas d’un seuil fixé à N=150.

L’approche du BMJ traduit l’objectif premier des synthèses et des revues cliniques, qui est de résumer toutes les preuves disponibles sur un sujet, en particulier dans les domaines où le nombre de recherches effectuées est limité. Cela contraste fortement avec l’approche du NHMRC, qui exige que les essais positifs aient un « seuil de N>150 » et un score de qualité de 5/5 pour être présentés au public dans la note d’information comme des preuves fiables de l’efficacité de l’homéopathie.

Il apparaît donc clairement que certains aspects de la méthodologie créée par le NHMRC pour sa Revue de l’homéopathie sont sans précédent et n’ont aucun fondement scientifique.

Références

1. Becker, L. A. & Oxman, A. D. (2011) Chapter 22: Overviews of reviews. Cochrane Handbook for Systematic Reviews of Interventions [Link]
2. NHMRC (2015) Section 3. Evaluation of evidence related to exposure to lead : p94–98 [link]
3. NHMRC (2012) Clinical Practice Guideline for the Management of Borderline Personality Disorder. [Link]
4. NHMRC (2012) Appendix H: Clinical Practice Guideline for the Management of Borderline Personality Disorder : Clinical Qs 6, 7 and 9 [Link]
5. BMJ Clinical Evidence (2016) Nuts, bolts, and tiny little screws: how Clinical Evidence works. [Link] (Accessed: 18th February 1016)

L’analyse GRADE est une méthode normalisée pour définir la qualité d’un faisceau de preuves en fonction de la fiabilité d’une estimation de l’effet clinique détecté par le groupe d’études ¹. L’analyse GRADE sert à évaluer le degré de confiance que l’on peut avoir quant à l’efficacité d’un traitement donné pour un « signe clinique » spécifique, c’est-à-dire un symptôme comme la douleur ou la toux par exemple. En ce sens, l’analyse GRADE n’est en général utilisée que si « toutes les études du groupe ont mesuré l’effet du même traitement par rapport au même signe clinique ¹.

L’analyse GRADE n’est effectuée que si les données sont adaptées à cette méthode. Pour la plupart des affections identifiées dans la Revue de l’homéopathie, il n’y avait pas suffisamment d’essais portant sur le même signe clinique pour que GRADE soit un outil d’évaluation approprié. Or, au lieu de prendre la décision raisonnable de ne pas avoir recours à cette méthode, le comité de travail sur l’homéopathie a créé une « version adaptée du GRADE… afin d’obtenir un relevé général sur le niveau de confiance des données disponibles »(note d’information, p. 36).

Cette analyse GRADE adaptée leur a donc permis d’attribuer un niveau de confiance au faisceau de preuves pour des essais d’homéopathie contre placebo, ou un autre traitement, pour chaque problème de santé.

Bien que la méthode GRADE soit conçue pour s’adapter à différents scénarios et questions cliniques, il convient de respecter certains principes fondamentaux : d’abord et avant tout, appliquer ce processus à des signes cliniques uniques et ensuite, l’appliquer à des essais portant sur le même traitement. Le comité de travail n’a pas respecté ces principes. Il a appliqué sa nouvelle méthode à des groupes d’essais couvrant une série de signes cliniques différents et (dans certains cas) à des essais portant sur différents traitements homéopathiques. On voit donc que la méthode GRADE a été utilisé de façon inédite et inadéquate.

La méthode adaptée du GRADE créée par le comité de travail sur l’homéopathie repose principalement sur la « qualité » et la « précision » (les deux critères pour lesquels il y avait suffisamment d’informations disponibles parmi les 176 études primaires identifiées) parce que « les autres facteurs GRADE étaient difficiles à appliquer » (Note d’information, p. 37). Cette décision a exacerbé l’impact de la qualité de l’essai et de sa précision (taille de l’échantillon) sur le niveau de confiance attribué au faisceau de preuves pour chaque affection, par rapport à une évaluation GRADE classique. Résultat, pour 66 des 71 séries de données disponibles , le niveau de confiance a été jugé « bas » ou « très bas »«  sur la base de ces deux seuls critères, sans prendre en compte les autres facteurs.

La transparence est l’un des piliers d’une recherche de qualité. Elle permet aux autres chercheurs d’évaluer la pertinence de l’approche adoptée et la validité des résultats obtenus. Elle est d’autant plus cruciale que le comité de travail avait adopté une approche entièrement nouvelle, consistant à analyser un faisceau de données couvrant des affections et des signes cliniques divers à partir d’une adaptation de la méthode GRADE.

Les revues contiennent en général des tableaux GRADE montrant avec précision la façon dont sont prises les décisions sur la qualité des preuves ¹. Cet exercice de transparence se retrouve dans d’autres revues du NHMRC, comme la note d’information sur les effets du plomb sur la santé humaine ².

Le NHMRC affirme que sa Revue de l’homéopathie a été menée de manière éthique et transparente. Pourtant, on ne trouve aucune mention de ses calculs adaptés du GRADE dans les 600 pages du rapport. Autrement dit, le lecteur doit se fier entièrement au « jugement et à l’expertise » du Comité de travail sur l’homéopathie (NI, p. 36) et tabler sur le fait que la qualité des preuves a été évaluée de manière précise et équitable.

Cette méthode sans précédent utilisée par le NHMRC pour attribuer une note de confiance aux données probantes de l’homéopathie n’est en aucun cas une méthode normalisée ou ratifiée : outre son manque de transparence, elle n’a été soumise à aucun examen par les pairs. On ne peut donc pas prendre pour argent comptant ces évaluations du niveau de confiance.

Références

1. GRADE Working Group (2004) Grading quality of evidence and strength of recommendations, BMJ, 328:1490
2.  NHMRC (2015) NHMRC Statement and Information Paper: Evidence on the Effects of Lead on Human Health https://www.nhmrc.gov.au/guidelines-publications/eh58 (Appendix15,p283-4)

Il est logique que le recours au seuil N>150 dans le Rapport australien porte à confusion, étant donné que la taille d’échantillon de 150 y est utilisée de deux façons différents.

D’abord, le NHMRC s’en sert de seuil pour décrire la taille des essais (Note d’information, p. 35) :

• < 50 : très petit
• de 50 à 149 : petit
• de 150 à 499 : moyen
• de 500 à 999 : grand
• ≥ 1000 : très grand.

Cette échelle est utilisée par le NHMRC dans son analyse GRADE adaptée pour évaluer le niveau de confiance à accorder aux résultats obtenus pour chaque problème de santé (voir FAQ #8)

Sur le plan scientifique, le recours à un seuil de N=150 pour distinguer entre petits et grands essais est justifié, étant donné qu’il n’existe pas de définition standard pour qualifier la taille d’un essai. Il est donc courant que les équipes de révision optent pour une façon de décrire les tailles d’essai dans leur revue.

Mais le NHMRC établit également un seul de N>150 pour déterminer la fiabilité d’un essai. Ce n’est pas du tout la même chose. Sur le plan scientifique, c’est une méthode sans précédent ni fondement (voir FAQ #1).

Les résultats obtenus par NHMRC pour chaque problème de santé sont entièrement déterminés par les études qui ont été jugées « fiables ». Les résultats de tous les essais de moins de 150 participants ont été écartés pour leur manque de fiabilité, alors même qu’il s’agissait d’études de grande qualité, positives et significatives d’un point de vue statistique (voir FAQ #1). Ainsi, les conclusions du NHMRC sont totalement biaisées par le recours à cette règle inédite.

Étant donné que la définition d’un seuil de N>150 pour déterminer la fiabilité d’un essai est une règle sans précédents, on pourrait s’attendre à trouver une justification claire de ce choix dans la Revue de l’homéopathie. Or, aucune explication ou justification de ce choix ne figurent dans le rapport.

Pour expliquer sa décision de décrire les essais de moins de N=150 comme « petits » ou « très petits », le NHMRC fait référence à un article publié dans la prestigieuse revue BMJ. ¹ Le NHMRC dit : « Pour fixer ces seuils, le Comité de travail sur l’homéopathie a pris en compte l’étude Influence of trial sample size on treatment effect estimates: meta-epidemiological study (Influence de la taille de l’échantillon de l’essai sur les estimations de l’effet du traitement : étude méta-épidémiologique) » (Annexes du rapport récapitulatif, p. 274). Cet article est donc le fondement scientifique utilisé pour justifier la décision du Conseil d’écarter les essais plus petits que N=150 en raison de leur manque de fiabilité. Mais ce n’est pas le cas.

D’abord, l’article ne dit pas que les résultats des essais d’une taille particulière doivent être écartés pour leur manque de fiabilité. Ensuite, le NHMRC précise que la plupart des essais homéopathiques qu’il a évalué utilisent des « résultats continus ». Or l’article de BMJ stipule clairement que ses conclusions ne concernent pas les essais de ce type.

Références:

1. Dechartres, A., Trinquart, L., Boutron, I. & Ravaud, P. (2013) Influence of trial sample size on treatment effect estimates: meta-epidemiological study, BMJ, 346:f2304