Sinossi degli elementi di validità metodologica di uno studio di intervento TABELLA 2 - GUIDA ALL' ANALISI DELLA VALIDITA' METODOLOGICA DI UNO STUDIO DI INTERVENTO a cura di Alessandro Battaggia item 1
esiste un braccio di controllo?
2
le dimensioni del campione sono adeguate?
3
4
lo studio è 'di superiorità' o 'di equvalenza'?
i due bracci sono ben confrontabili nelle condizioni di base? ossia: le caratteristiche dei soggetti arruolati sono pressochè identiche nell' uno e nell' altro braccio?
note
decisioni operative
no osserva la tabella 1 dell' articolo per esaminare le caratteristiche basali dei due gruppi a confronto
uno sbilanciamento delle caratteristiche basali in un RCT suggerisce una bassa numerosità del campione
osserva l' ampiezza degli intervalli di confidenza dei risultati di efficacia
un intervallo ampio (bassa precisione dei risultati) suggerisce una bassa numerosità del campione
valuta attentamente l' attendibilità delle conclusioni degli autori quando parlano di 'equivalenza' tra i trattamenti'
verifica qual' è l' ipotesi di partenza alla voce ' metodi statistici'
non considerare la ricerca affidabile uno studio sottocampionato fornisce stime imprecise ed espone ad un maggior rischio di risultati casuali
cautela
cautela
in uno studio di superiorità l' ipotesi nulla è 'non esistono differenze tra i due bracci'; l' ipotesi alternativa è 'esistono'
se non è stata esplicitata, cautela
in uno studio di equivalenza o di non inferiorità l' ipotesi nulla è 'esistono differenze tra i due bracci'; l' ipotesi alternativa è 'non esistono'
idem
verifica se gli autori hanno esplicitato un 'intervallo di equivalenza'
se non viene esplicitato considera il trial uno studio 'di superiorità': gli autori allora hanno erroneamente identificato la 'non significatività statistica' con la 'equivalenza dei due trattamenti'
le conclusioni degli autori non vanno confermate
osserva la tabella 1 dell' articolo per esaminare le caratteristiche basali dei due bracci a confronto
uno sbilanciamento delle caratteristiche basali può suggerire un bias di selezione
gli autori in questo caso dovrebbero utilizzare tecniche statistiche idonee a migliorare la confrontabilità (analisi multivariata)
cautela; se lo sbilanciamento è eccessivo e non cono state fatte correzioni le conclusioni sono poco attendibili
valuta la qualità dell' allocation
sono stati utilizzati i numeri random?
gli studi in cui l' allocation è stata eseguita con tecniche 'alternative' alla randomizzazione (giorni della settimana, data di nascita, ecc) si definiscono 'quasi randomizzati'
considerali poco affidabili : sono in genere gravati da bias di selezione; sopravvalutano del 40% l' efficacia degli interventi sanitari
è specificato dall' articolo come sono stati generati i numeri random?
l' articolo dovrebbe specificarlo alla voce 'metodi statistici'
cautela
è stata descritta la tecnica materiale di allocation?
condizione ideale: un operatore esterno esegue l' allocation per telefono
idem
5
I due bracci mantengono una buona confrontabilità per tutta la conduzione dello studio?
è stata descritta la tecnica di mascheramento dell' allocation?
l' articolo dovrebbe specificare come è stato realizzato il mascheramento
idem
lo studio è in doppio cieco?
la 'cecità' è definita dalla non conoscenza del braccio a cui è stato allocato il paziente; dovrebbe interessare sia il paziente che gli operatori
lo studio è 'in aperto' (=non è in doppio cieco)
cautela; gli studi non in doppio cieco sopravvalutano del 13% l' efficacia degli interventi sanitari
viene mascherata la somministrazione dell' intervento?
gli operatori dovrebbero ignorare il braccio a cui è stato assegnato il paziente
viene mascherata la raccolta dei dati?
idem
il mascheramento della raccolta dei dati e della interpretazione dei risultati è l' unica tecnica di mascheramento possibile nei trial chirurgici e nelle altre condizioni in cui la cecità non è possibile
idem
viene mascherata la interpretazione dei dati?
idem
idem
idem
lo studio ha subito perdite al follow-up (= pazienti di cui non si conosce l' outcome alla fine della ricerca)?
si, le perdite sono superiori al 10% dei pazienti reclutati si, le perdite sono inferiori al 10% dei pazienti reclutati
considera se gli autori hanno eseguito una sensitivity analysis per valutare la robustezza delle conclusioni del trial
cautela
come sono state gestite le violazioni del protocollo?
attraverso una Analisi ITT (Intention To Treat) : nel calcolo del Rischio Assoluto dell' evento al denominatore sono stati posti tutti i pazienti randomizzati a quel braccio
gli autori dovrebbero sempre eseguire una analisi Intention To Treat
in assenza di una analisi ITT i risultati possono essere molto poco affidabili
attraverso una Analisi Per Protocol : nel calcolo del Rischio Assoluto dell' evento al denominatore sono stati esclusi tutti i pazienti che hanno violato il protocollo
una analisi Per Protocol , se eseguita, dovrebbe essere sempre confrontata con una analisi ITT
se l' analisi Per Protocol rappresenta l' unica modalità di analisi i risultati sono probabilmente distorti
attraverso una Analisi As Treated : sono stati creati due gruppi artificiali a confronto costituiti rispettivamente dai pazienti che hanno e che non hanno ricevuto il trattamento e in ciascun gruppo è stato calcolato il Rischio Assoluto dell' evento con al denominatore il numero di pazienti assegnati al gruppo
Annulla i benefici della randomizzazione (ciascun gruppo è formato da soggetti randomizzati all' uno e all' altro braccio)
questo tipo di analisi comoporta gravi distorsioni dei risultati
idem
considera inaffidabili i risultati della ricerca
6
La durata del follow-up è risultata adeguata alla raccolta degli outcome?
uno studio di eventi implica follow-up più lunghi di uno studio in cui si considerino outcome surrogati
in genere gli studi di eventi durano 3-5 anni
7
La scelta dell' outcome è adeguata?
sono stati considerati outcome 'maggiori' (= fortemente correlati con la salute del paziente)?
i risultati di efficacia rilevati per outcome surrogati non necessariamente implicano importanti risultati per la salute del paziente
sono stati considerati outcome 'hard' (= facili da rilevare e misurare)?
i risultati rilevati per un outcome facile da misurare sono più attendibili dei risultati rilevati per outcome difficili da misurare
es: mortalità vs QoL
cautela: outcome 'soft' possono essere soggetti a misclassificazione
sono stati utilizzati endpoint compositi?
l' utilizzo di questi end-point dovrebbe essere limitato all' analisi primaria dello studio
se vengono utilizzati come outcome secondari i risultati rilevati sono difficili da interpretare
estrema cautela; non è prudente trasferire ai pazienti i risultati di queste analisi
dovrebbe essere evitato l' utilizzo di end-point compositi troppo complessi
i risultati rilevati sono difficili da interpretare sprattutto se l' importanza clinica dei singoli sottocomponenti è diversa
cautela
8
gli autori hanno intepretato correttamente le Analisi di Outcome Secondari?
gli autori hanno enfatizzato la significatività statistica di risultati rilevati nell' analisi di Outcome Secondari?
cautela; trasferire ai pazienti i risultati di ricerche su outcome surrogati solo se non sono a disposizione studi su outcome maggiori
Si. Inoltre, non avendo riscontrato significatività per i risultati rilevati per l' Outcome Primario hanno basato su analisi secondarie le conclusioni della ricerca Si. Avevano peraltro dimostrato risultati significativi anche per l' Outcome Primario
le conclusioni degli autori vanno ricusate
le analisi riferite agli Outcome Secondari devono essere utilizzate solo a sostegno dei risultati rilevati per l' Outcome Primario o in alternativa solo come ipotesi di lavoro (la significatività statistica rilevata nominalmente per i risultati che si riferiscono a Outcome Secondari è molto poco affidabile perchè queste analisi rappresentano confronti multipli eseguiti su un unico campione)
estrema cautela; non è prudente trasferire ai pazienti i risultati di analisi riguardanti Outcome Secondari se non concordano con i risultati rilevati per l' Outcome Primario
9
10
gli autori hanno iterpretato correttamente le analisi per Sottogruppi?
come hanno analizzato e intepretato gli autori la precisione della stima relativamente ai risultati rilevati per l' outcome primario?
gli autori hanno enfatizzato commentando le conclusioni della ricerca la significatività statistica dei risultati rilevati nominalmente per qualche Outcome in Sottogruppi particolari di pazienti ?
hanno utilizzato i valori di P
hanno utilizzato gli intervalli di confidenza:
si
non è corretto : le analisi di Sottogruppi espongono ad alto rischio di risultati casuali perchè rappresentano confronti multipli eseguiti entro l' ambito di un unico campione ; dovrebbero essere utilizzate solo per fornire ipotesi di lavoro
le conclusioni degli autori vanno ricusate
no
i risultati più attendibili sono quelli : a) rilevati in sottogruppi prestabiliti ex ante dal protocollo b) caretterizzati da elevata plausibilità biologica c) caratterizzati da significatività statistica associata a d) dimensioni rilevanti dell' effetto
estrema cautela; non trasferire ai pazienti i risultati di queste analisi se non concordano con i risultati rilevati per l' Outcome Primario
non è corretto: i valori di P devono essere esplicitati
diffida ; non è possibile formulare giudizi sulla precisione della stima
riportano i valori di P solo in modo dicotomico (es: P<0.05) riportano in modo completo i valori di P (es: P=0.003)
diffida da valori di P troppo vicini al cut off 0.05 (es: P= 0.049; P= 0.054) in quanto esprimono imprecisione della stima
a) l' intervallo di confidenza comprende il cut off della misura di efficacia che esprime soddisfacimento dell' ipotesi nulla (vedi tabella 1)
interpreta il risultato come 'non significativo' (l' intervallo comprende il cut off) ; se la stima puntuale è molto distante dal cut off i risultati possono essere però incoraggianti e degni di essere verificati su casistiche maggiori
b) l' intervallo di confidenza non comprende il cut off ma uno dei due estremi dell' intervallo è vicino al cut off
intervallo largo (stima imprecisa)
diffida ; il risultato è significativo (l' intervallo non comprende il cut off) ma la stima è imprecisa (l' intervallo è largo) e il significato clinico del risultato può essere modesto con valori di NNT molto grandi (vicinanza dell' estremo al cut off)
c) l' intervallo di confidenza non comprende il cut off e i due estremi dell' intervallo sono lontani dal cut off
intervallo stretto (stima precisa)
cautela ; il risultato è significativo (l' intervallo non comprende il cut off) e preciso (l' intervallo è stretto) ma il significato clinico del risultato può essere modesto con valori di NNT molto grandi (vicinanza dell' estremo al cut off)
intervallo largo (stima imprecisa)
cautela ; il risultato è significativo (l' intervallo non comprende il cut off) e rilevante (lontananza dell' estremo dal cut off) ma la stima è imprecisa (l' intervallo è largo)
intervallo stretto (stima precisa)
il risultato è significativo (l' intervallo non comprende il cut off) , rilevante (lontananza dell' estremo dal cut off) e preciso (l' intervallo è stretto)