“Certo che è vero! L’hanno pubblicato su ***”. Quante volte abbiamo sentito questa affermazione? Tante, forse troppe.

Tutte le volte che è successo a me, questa frase ha avuto il potere di catapultarmi nel passato: ecco mia nonna che, nel tinello di una vecchia casa di periferia, scuote la testa di fronte al mio scetticismo e mi ripete risoluta: “Certo che è vero! L’hanno detto alla televisione”.

Cambiano i tempi, ma non la sostanza.

Un oceano di pubblicazioni

Attualmente la banca dati di PubMed1 contiene oltre 25 milioni di citazioni bibliografiche (tra articoli e libri) e si stima che queste cifre aumentino ogni anno. Basti pensare che ogni settimana vengono inseriti in Medline 12.000 nuovi articoli2 di ambito esclusivamente medico.

Quantità però non è sinonimo di qualità.

Senza dubbio la pressione a pubblicare, per i ricercatori che inseguono il sogno di una carriera accademica, è altissima e, inevitabilmente, finisce col peggiorare la qualità della ricerca. A questo semplice fatto si aggiunge il fenomeno delle pubblicazioni predatorie, che è una piaga in aumento e una delle più serie minacce per la scienza contemporanea. Si tratta di “vanity press”: un mercato editoriale scientifico dove chiunque, a fronte di un pagamento, può pubblicare un articolo. Lo scopo? Far lievitare il proprio indice di citazioni.

Il vero problema resta la qualità degli studi prodotti e pubblicati. In uno studio del 2006, ma ancora attuale, William Miser, medico e ricercatore dell’Ohio State University, analizzando tutti gli articoli in ambito medico e sanitario pubblicati fino ad allora, verifica come meno del 15% di essi siano stati in qualche modo utili per la pratica clinica e come, nonostante sia un trend in miglioramento, il punteggio medio di qualità per i trial clinici sia inferiore alla sufficienza3.

Alla luce di tutto questo appare evidente la difficoltà nel dirigere la propria rotta nell’oceano insidioso delle pubblicazioni scientifiche. Non basta più dire “È stato pubblicato su ***”.

Come facciamo a essere sicuri che l’articolo che stiamo leggendo sia un buon articolo scientifico delle cui conclusioni ci possiamo fidare? Come fare per distinguere tra un articolo scientifico di non buona qualità e uno metodologicamente corretto? Quanto possiamo basare il nostro comportamento futuro rispetto a ciò che abbiamo letto?

La definizione di lettura critica

La risposta a queste domande può derivare dalla lettura critica dell’articolo scientifico. La lettura critica può essere definita, parafrasando l’enciclopedia Treccani, come “l’applicazione di regole oggettive a uno studio per valutarne la validità dei dati, la completezza, i metodi, le procedure, le conclusioni, il rispetto dei principi etici e l’indipendenza dei contenuti”4 .

Ognuno dovrebbe essere in grado di applicare il proprio spirito critico, senza confondere l’autorevolezza della rivista o degli autori con l’autorevolezza dell’articolo sotto esame. Non è detto infatti che un articolo sia un buon articolo solo perché viene pubblicato su una delle più importanti riviste al mondo. Anche i lavori pubblicati sul New England Journal of Medicine, su JAMA o su Lancet possono in realtà avere difetti di vario genere5. Forse in tal senso l’esempio più famoso è lo studio pubblicato da Lancet che metteva in relazione vaccini e autismo6, e che riportava dati falsi7.

La sfida, quindi, è di riuscire a distinguere il grano dal loglio usando un setaccio che sia adeguato a far passare soltanto gli studi che meritano di essere letti e fatti propri8.

La struttura di un paper scientifico

Prima di cominciare è necessario precisare che ogni sezione di un articolo scientifico può fornire informazioni importanti per valutarne l’attendibilità e il valore specifico

Dal punto di vista del metodo scientifico la struttura di un articolo può essere così riassunta:

9

Per quanto riguarda invece la composizione e gli obiettivi di ogni sezione:

La sezione del Metodi è senza dubbio la più ostica e controversa da comrendere e da leggere criticamente. Nel dettaglio:

• in primo luogo, è necessario capire quale sia il disegno di studio adottato e se sia adeguato a rispondere alla domanda di ricerca (ad es. uno studio controllato o randomizzato, doppio cieco, per valutare l’efficacia di un trattamento farmacologico è perfetto, uno studio di coorte molto meno). Inoltre, anche i disegni di ricerca stessi, hanno una loro forza intrinseca (nella figura sono elencati alcuni disegni disposti gerarchicamente in base alla piramide delle prove di efficacia)10
  
   

Figura 1 Immagine tratta da " ResearchGate" by Dale Hattis11

• il secondo parametro fondamentale di cui tenere conto è il campione. Bisogna valutarne la numerosità, ma anche la significatività in base al disegno di ricerca. Il numero è rilevante, ma va concepito sulla base dell’indagine. Per semplificare: uno studio su 50 pazienti con una malattia rara è uno studio di grosse dimensioni per la casistica, mentre uno studio con un campione della medesima numerosità per valutare alcune caratteristiche del comune diabete di tipo II che colpisce la popolazione anziana è uno studio minuscolo.

Inoltre, è fondamentale capire come sono stati arruolati i partecipanti. Il campione è stato randomizzato? Ci sono stati dei criteri di scelta o di esclusione? È stata applicata la cecità?

• vanno analizzati criticamente gli strumenti utilizzati per la raccolta dati

• va tenuto conto della presenza di eventuali fattori di confondimento rispetto ai quali i dati sono stati corretti e/o aggiustati12

   

In conclusione, nella lettura di un articolo scientifico occorre un po’ di malizia, sia per comprendere la buona fede di alcuni ricercatori che tendono a “magnificare” i risultati ottenuti dopo anni di duro lavoro, sia per imparare a riconoscere i possibili trabocchetti statistico/linguistici che altri, più scaltri, utilizzano nel condurre la ricerca e nel presentare i risultati.
Nel prossimo articolo “Mentire con i numeri” mi soffermerò su di essi, facendo riferimento, in particolare a: la scelta di enfatizzare risultati poco rilevanti ma statisticamente significativi, le modalità tendenziose di presentazione dei risultati, le analisi condotte al termine dello studio e non previste nel disegno iniziale, la mancata pubblicazione degli studi con esito negativo e, in ultimo, le vere e proprie frodi scientifiche

NOTE