Metanalisi o analisi a metà?

di Francesco Macrì, da “HIMed” 18 di novembre 2018

La recente espulsione di Peter Gøtzsche, direttore del Nordic Cochrane Centre di Copenhagen (Danimarca), dal board della Cochrane Collaboration, per la sua presa di posizione critica sulla revisione effettuata sulla efficacia del vaccino HPV da molto da pensare.

La Cochrane è uno dei santuari della Evidence Based Medicine (EBM) e l’episodio mette in crisi il concetto della sua inequivocabilità: le critiche all’EBM hanno sempre avuto, come spunto, gli aspetti negativi legati a come il medico si possa sentire compresso da una Medicina che fa dell’evidenza scientifica unico parametro da considerare per le decisioni cliniche nell’ambito della sua attività di cura, non essendo considerata la possibilità della sua equivocabilità: risulta, ad esempio, che l’82% dei pediatri americani conosce le Linee Guida che riguardano la pediatria, ma che soltanto il 35%, per i motivi sopra accennati, le rispetta!

L’EBM è nata ufficialmente nel 1992 con un articolo comparso su JAMA (1) e sicuramente ha rappresentato una tappa fondamentale nella storia della medicina contemporanea, affermando il principio che il medico, nella sua attività di cura sul paziente, deve attenersi, sia dal punto di vista diagnostico che terapeutico, alle conclusioni che la letteratura scientifica mette a disposizione, sempre alla luce della propria esperienza, come affermava David Sacket nel suo famoso articolo “Evidence based medicine: what it is and what it isn’t” (2). E nell’ambito dell’EBM viene anche prodotto un elenco sulla validità scientifica delle diverse fonti a disposizione, elenco che mette al primo posto le metanalisi e le revisioni sistematiche, agli ultimi posti la descrizione di casi clinici e il parere di esperti.

Il termine metanalisi fu coniato da Gene Glass nel 1976 (3) intendendo la combinazione di dati ottenuti da più studi sullo stesso argomento al fine di valutarne l’effetto cumulativo, effect size, fornendo informazioni sia quantitative (ad esempio la reale consistenza dell’effetto cumulativo) che qualitative (ad esempio qual è il trend prevalente della ricerca in quell’ambito e quali sono i gap delle conoscenze disponibili). Ma è un dato di fatto indiscutibile che le conclusioni di una metanalisi dipendano soprattutto dalla metodologia utilizzata nella selezione degli studi. Di fatto, anche con gli stessi studi a disposizione, le conclusioni possono essere sorprendentemente diverse in base a come i dati vengono qualificati: Nakagawa et al in un articolo recente affrontano il problema della qualità di una metanalisi indicando dieci domande alle quali bisognerebbe rispondere prima di accettarne le conclusioni (4). Ecco perché parliamo di metanalisi e, in senso polemico, di analisi a metà. Questo fenomeno delle metanalisi o revisioni o editoriali con conclusioni per lo meno discutibili, per quanto riguarda l’omeopatia, è particolarmente frequente.

Partiamo dallo studio di Shang et al. (5) comparso su Lancet nel 2005 che portò all’editoriale dal titolo The End of Homeopathy. In questo lavoro gli autori compiono una metanalisi su 110 lavori sull’omeopatia; i lavori vengono però suddivisi in sottogruppi a scapito dell’omogeneità. I risultati che mostrano un effetto positivo dell’omeopatia in base alla valutazione di 21 studi di piccole dimensioni vengono ignorati, mentre vengono riportati i risultati ottenuti da 8 megastudi sull’omeopatia confrontati con 6 megastudi di medicina convenzionale, essendo degli 8 studi 4 a favore e 4 a sfavore, questi ultimi però di peso statistico maggiore per le dimensioni del campione. Rutten e Stolper (6) nel 2006 evidenziano, in un Editoriale su Homeopathy dal titolo “The 2005 metanalysis of homeopathy: the importance of post pubblication data”, le distorsioni metodologiche del lavoro di Shang. Stesse conclusioni sulle anomalie metodologiche del lavoro di Shang sono riportate nel lavoro pubblicato dallo stesso Rutten insieme a Ludtke su Journal of Clinical Epidemiology nel 2008 (7).
Passa qualche anno, e questa volta sono Pandolfi e Carreras che nel 2014 su European Journal of Internal Medicine, affermano che

…the prior probability of a research hypothesis is directly related to its scientific plausibility, is particularty unsuitable for studies exploring matters in various degree disconnected from science such as CAM interventions.

Come a dire che la ricerca non è attuabile in campi che non hanno una plausibilità scientifica e che in pratica non è possibile dimostrare la scientificità delle CAM perché non sono, per definizione, scientifiche!8. Sulla stessa rivista la replica di Wallach e Roberti di Sarsina che affermano come la scienza non può essere l’arbitro che stabilisce di cosa rappresenta o no una buona ipotesi di ricerca. (9)

Ancora lo studio Australiano dell’ottobre del 2015 da parte del NHMRC (National Health Medical Research Council) pubblicato su Optum che conclude:

The available evidence fails to demonstrate that homeopathy is an effective treatment for any of the reported clinical conditions in humans. (10)

Ma recentemente, in occasione di un’inchiesta condotta dal Senato Australiano, gli autori della pubblicazione hanno ammesso che le conclusioni dell’articolo furono manipolate in quanto dei 176 lavori selezionati, deliberatamente e non in accordo con la metodologia scientifica corrente, 171 furono scartati perché giudicati non affidabili e le conclusioni furono basate soltanto su 5 lavori, ovviamente negativi sugli effetti dell’omeopatia: dei 171 scartati, ben 88 hanno conclusioni favorevoli all’omeopatia. Il fatto è stato reso noto ora perché al tempo della pubblicazione era necessario raggiungere lo scopo di escludere le spese per l’omeopatia dalla rimborsabilità da parte del Sistema Sanitario Australiano.

Bisogna quindi ammettere che ci troviamo ad atteggiamenti pregiudizialmente negativi nei confronti dell’omeopatia che portano il mondo scientifico ad emettere giudizi non sempre coerenti ed oggettivi, sino al punto di indurre oramai a diffidare di fronte alle metanalisi o alle revisioni sistematiche che bollano l’omeopatia inefficace e paragonabile all’effetto placebo, accogliendo al contrario favorevolmente quelle che emettono il giudizio, che sentiamo di poter condividere, che gli studi clinici in omeopatia sono purtroppo spesso gravati da una scarsa metodologia.
D’altronde, a tale proposito, va anche considerato che uno studio clinico, per avere una sua dignità, dovrebbe essere condotto all’interno di strutture pubbliche e che nelle strutture pubbliche i comitati etici sono poco inclini a dare l’approvazione agli studi condotti sull’efficacia dell’omeopatia; inoltre, anche ammettendo di trovare un comitato etico aperto e privo di pregiudizi che approvi lo studio e che lo studio porti a risultati positivi, risulta comunque arduo trovare una rivista di livello disposta alla pubblicazione; se poi la fortuna vuole che si trovi la rivista, il lavoro non viene letto o, nella migliore delle ipotesi, viene letto e arbitrariamente escluso dalla valutazione, come i fatti australiani ci insegnano.

Ecco perché le metanalisi sono in effetti analisi a metà, valutano soltanto una metà della scienza, ma anche in quella metà “non tutto è oro quello che riluce” perchè i conflitti di interesse condizionano pesantemente la ricerca: sono sotto gli occhi di tutti ma restano invisibili. Un gruppo di ricercatori ha avuto una bella idea: rendere immediatamente espliciti su Pubmed i conflitti di interesse degli autori di ogni articolo. Del resto, quello della National Library of Medicine (NLM) è un servizio pubblico finanziato con le tasse dei cittadini e le istituzioni statunitensi sarebbero per certi aspetti obbligate a tenere in considerazione le esigenze di trasparenza espresse dagli utenti. D’altronde il mondo della letteratura scientifica consta di 10 miliardi di budget, 8 milioni di autori, 110mila dipendenti, 30mila riviste, 2,5 milioni di articoli per anno. L’1-2% di questi articoli, per ammissione degli stessi autori, presenta rilevanti scorrettezze: parliamo quindi di circa 50.000 articoli!

Il numero delle ritrattazioni negli ultimi anni è decuplicato e la rivista Nature nel 2011 ha reso pubblico il dato che nel 44% delle ritrattazioni gli autori hanno ammesso una condotta scorretta, consistita nella falsificazione dei dati nel 11% dei casi, nel copiare da propri lavori precedenti nel 17 % dei casi, nel copiare da altri nel 16% dei casi. Ha preso piede anche la pubblicazione di lavori “fake” effettuata con software ad hoc in grado di scrivere testi falsi, i cui pionieri furono nel 2005 tre studenti dell’Institute of Technology del Massachussets che hanno anche diffuso il software incriminato, denominato SciGen, proprio allo scopo di mettere allo scoperto le criticità di questo mondo dell’editoria scientifica; le principali case editrici (vedi Springer) e le principali strutture di ricerca a livello internazionale (vedi il CNR in Italia) si sono dotate di programmi per intercettare lavori generati con SciGen.

Ancora più raffinato e pericoloso è il fenomeno dell’hackeraggio dei siti delle riviste peer reviewed (valutazione tra pari) che prevedono, ai fini della pubblicazione, che il lavoro sia valutato da esperti nella materia: gli autori del lavoro possono suggerire esperti alla cui valutazione sottoporre il lavoro e la procedura è stata in certi casi raggirata dagli stessi autori che hanno “hackerato” gli account dei revisori per effettuare loro stessi la valutazione; il tutto è stato denunciato nel 2015 su NEJM da Charlotte Haug con il suo articolo “Peer review fraud – Hacking the scientific publication process” (11).

E’ stato il motto “publish or perish” a portare a questa situazione, chi pubblica riesce ad avere notorietà, finanziamenti, possibilità di carriera. Il problema è che ora lo stesso motto è rivolto all’omeopatia, forse anche con il significato più letterale del termine: se l’omeopatia non riesce a pubblicare rischia di perire, di essere messa da parte, quindi gli omeopati devono imparare a farlo, ci auguriamo con strategie diverse da quelle adottate dalla scienza ufficiale o, per meglio dire, scegliendo quelle adottate dalla parte buona della scienza.

Non sfuggano, a tale proposito, alcuni aspetti: il primo è che la ricerca clinica in omeopatia ha difficoltà a pianificare studi per verificare l’efficacia di un farmaco in una data patologia, perché per la stessa patologia possono essere indicati più farmaci, motivo per cui ci si dedica fondamentalmente a dimostrare l’efficacia della terapia in generale e non quella del singolo farmaco, quindi pochi spazi per le sponsorizzazioni alla ricerca; il secondo aspetto importante è legato al fatto che nel settore della preparazione e della commercializzazione dei farmaci omeopatici i brevetti esistono soltanto in pochi casi (le cosiddette specialità), quindi è difficile immaginare che le aziende produttrici abbiano forti interessi nel condizionare la ricerca scientifica, a meno che non si consorzino per uno scopo commerciale condiviso. Sono due motivi per partire con il piede giusto.

Bibliografia

1. Evidence-Based Medicine Working Group Evidence-based medicine. A new approach to teaching the practice of medicine. JAMA 1992 nov 4; 268:2420-5.
2. Sacket D – Evidence-Based Medicine: what is it and what it isn’t. BMJ 1996; 312:71-72.
3. Glass GV – Primary, Secondary, and Meta-Analysis of Research. AERA 1976; 10: 3-8.
4. Nagakawa S, Noble DWA, Senior AM et al -Meta-evaluation of metanalysis: ten appraisal questions for biologists. BMC Biology 2017; 15:18.
5. Shang A, Huwiler-Müntener K, Nartey L, et al – Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. Lancet. 2005 Aug 27-Sep 2; 366(9487): 726-32.
   .6 Rutten LB, Stolper – The 2005 meta-analysis of homeopathy: The importance of post-publication data. Homeopathy 2008; 97(4): 169-77.
6. Rutten LB, Ludtke R – The conclusions on the effectiveness of homeopathy highly depend on the set of analyzed trials. Journal of Clinical Epidemiology 2008; 61(12): 1197-204·
   8 Pandolfi M, Carreras G – The faulty statistics of complementary alternative medicine. European Journal of Internal Medicine 2014; 25:607-609.
7. Walach H, Roberti di Sarsina P. Tassinari M – Data about(complementary and alternative) medicine are irrelevant, because we are all Bayesians. European Journal of Internal Medicine 2014NHMRC.
   10 NHMRC Homeopathy Working Committee – Effectiveness of homeopathy for clinical conditions. OPTUM oct 2013 pp1-301.
   11 Haugh CJ – Peer review fraud – Hacking the scientific publication process. NEJM 2015; 373: 2393-95.