[..] per la prima parte di questo articolo, qui.

Obiettivi cambiati in corso d’opera

Si tratta di un problema emerso negli ultimi anni, proprio perché strettamente correlato al bias di pubblicazione (vedi Mentire con i numeri I parte). Nel tentativo di evitare che i risultati negativi o non statisticamente significativi non arrivassero mai a pubblicazione[1], alcune riviste hanno cominciato a richiedere che gli studi presentati venissero pre-registrati (cioè protocollati prima della raccolta dati e dell’analisi), con organizzazioni come il Center for Open Science[2]. In questo modo i dati dovrebbero essere aggiornati durante tutto lo svolgimento della ricerca, fino a inserire i risultati finali, qualunque essi siano, positivi o negativi, una volta che gli studi si sono conclusi.
Purtroppo, questa strategia di prevenzione non sta sortendo gli effetti desiderati. Analisi recenti[3] mostrano che sui 323 studi controllati e randomizzati, pubblicati sulle 10 più importanti riviste di cardiologia, gastroenterologia e reumatologia[4], ben il 12% era stato registrato nella banca dati senza indicare in partenza l’esito che sarebbe stato valutato; inoltre, il 31% degli studi regolarmente protocollati riportava, al termine della ricerca, un obiettivo diverso nel lavoro pubblicato (ad esempio, se nella pre-registrazione la ricerca si prefigurava di indagare il calo della mortalità in seguito alla somministrazione di un farmaco,  nella pubblicazione definitiva l’obiettivo principe appariva la riduzione del colesterolo. Forse non c’erano evidenze nel calo della mortalità?).
Se i ricercatori nel corso dello studio cambiano l’esito valutato, il sospetto che l’abbiano fatto perché l’esito primario posto in partenza dava risultati negativi è fondato[5].

Risultati multipli/compositi

A volte, per aumentare la significatività di un certo dato, i risultati vengono accorpati tra loro in esiti più ampi definiti come esiti multipli o compositi. Spesso si assiste a una scelta di questo tipo quando si tenta di dimostrare e/o amplificare i risultati che dimostrano l’efficacia di un farmaco: vengono sommati esiti molto rilevanti a esiti di scarsa importanza, rendendo impossibile stabilire quale componente pesi di più nel risultato finale.
Quindi, è bene diffidare dagli esiti compositi, soprattutto perché non c’è modo di effettuare una lettura critica a posteriori. Un’analisi separata dei singoli esiti contenuti in un risultato composito, infatti, fatta ad articolo pubblicato, non è corretta dal punto di vista metodologico.

Rischio assoluto e rischio relativo

Quando si leggono i risultati di uno studio è sempre bene chiedersi in quale forma i ricercatori stiano proponendo i dati. Sembra paradossale, eppure a seconda del metodo che viene usato si ha una percezione molto diversa dei risultati a favore o a sfavore dell’intervento esaminato.

Anche in questo caso c’è un esempio ormai storico che chiarisce alla perfezione questo concetto[6]. Tutto nasce con un importante studio, l’Helsinki Heart Study, pubblicato sul New England Journal of Medicine nel 1987[7]. Questa ricerca si proponeva di indagare l’efficacia di un farmaco anticolesterolo, il gemfibrozil.  A questo scopo, 4.081 pazienti con dislipidemia erano stati randomizzati e assegnati a trattamenti differenti: alcuni di essi avrebbero ricevuto il farmaco, altri un placebo. L’esito primario indagato era l’incidenza di nuovi casi di malattia coronarica. Come si vede dall’abstract (figura 1), l’incidenza di malattia coronarica acuta era del 2,73% nei trattati rispetto al 4,11% nei soggetti che ricevevano il placebo, con una riduzione del 34% di incidenza della malattia coronarica (4,11 – 2,73 = 1,38, che corrisponde appunto al 34% di 4,11).

Figura 1

In altre parole, il farmaco sembrava efficace sia nel ridurre i valori di colesterolo cattivo (LDL) che nell’aumentare quelli di colesterolo buono (HDL), ma anche nel ridurre l’incidenza della malattia coronarica, con una diminuzione significativa pari al 34%.
Sembra tutto assolutamente corretto e intuitivo, ma non è così. Anche noi, a distanza di trent’anni, siamo caduti nel trabocchetto. Nessuna critica: molti altri prima di noi ci sono cascati, tanto che questo studio è stato pubblicato su una delle più importanti e famose riviste di medicina del mondo.
La questione si riduce all’uso tendenzioso del rischio relativo al posto di quello assoluto. Quello indicato nell’abstract del New England Journal of Medicine (riduzione del 34%), infatti, è il rischio relativo: il rapporto tra l’incidenza di eventi coronarici nei pazienti trattati con il gemfibrozil rispetto ai controlli. Se avessero voluto usare il rischio assoluto (rapporto tra l’incidenza di eventi coronarici nei pazienti trattati con il gemfibrozil rispetto al totale) avrebbero affermato che il farmaco ha ridotto dell’1,4% il rischio di avere un evento coronarico acuto essendo il rischio passato dal 4,14% nei non trattati al 2,73% nei trattati (4,14%-2,73%=1,4%).
Infine, avrebbero potuto utilizzare il numero di casi da trattare (NNT: numero di pazienti da trattare per ottenere un beneficio terapeutico) ottenendo che occorreva trattare ben 71 soggetti per evitare un evento cardiaco. In altre parole, su 71 soggetti trattati solo 1 ne trarrà beneficio, gli altri no.  Infatti, l’NNT è il reciproco del rischio assoluto, quindi 1/1,4% che fa, appunto, 71.

Anni dopo, uno studio tutto italiano[8] si è proposto di riprendere l’Helsinki Heart Study per indagare come variano le percezioni dei medici a seconda della presentazione dei risultati. Ad alcuni medici di medicina generale veniva chiesto se avrebbero prescritto o meno ai propri pazienti, sulla base dei risultati di uno studio, un farmaco che riduceva il rischio di eventi coronarici. L’unica differenza era che ad alcuni veniva presentato il farmaco A (rischio relativo: riduzione del 34% degli episodi), ad altri il farmaco B (rischio assoluto: riduzione dell’1,4% degli episodi). Il risultato? L’86% dei medici avrebbe prescritto il farmaco A e solo il 25% avrebbe prescritto il farmaco B.
Ormai sappiamo che il farmaco A e il farmaco B sono esattamente lo stesso farmaco, il gemfibrozil, solo che la sua efficacia è presentata in maniera differente.

Analisi dei sottogruppi condotta a posteriori

Onestà vuole che i ricercatori dichiarino prima di iniziare qualunque studio che tipo di analisi dei dati intendono compiere e su quali campioni. A volte, infatti, capita che, invece di riportare il risultato misurato sulla popolazione scelta inizialmente, vengano pubblicati gli esiti calcolati su frazioni della mia popolazione di partenza (nella speranza di ottenere una significatività maggiore). Facciamo un esempio: immaginiamo che io voglia testare l’efficacia di un farmaco contro la depressione su una popolazione clinica. Non trovando significatività sul campione totale preso in esame, potrei cominciare col dividerlo tra maschi e femmine. Se non fossi ancora soddisfatta, potrei dividere ulteriormente ciascuno dei due gruppi così ottenuti in 4 fasce di età (per esempio tra 30 e 40 anni, tra 40 e 50, tra 50 e 60, oltre i 60), ottenendo così 8 gruppi eterogenei. A quel punto potrei definire anche 4 livelli di gravità della sintomatologia depressiva. In questo modo avrei 32 gruppi di pazienti (1+1=2, 2×4=8, 8×4=32) e per la legge del caso, in assenza di significatività statistica ho il 19% di probabilità che in almeno uno dei 32 sottogruppi, per esempio i maschi oltre i sessant’anni con sintomatologia depressiva di lieve entità, il mio farmaco risulti efficace.