Una misura può essere considerata "buona" se è affidabile, sensibile e valida; l'affidabilità (reliability) dipende dalla consistenza dello strumento (i cui item devono misurare sempre ed allo stesso modo la stessa entità), la sensibilità è la sua capacità di discriminare fra fenomeni diversi, la validità (validity) dipende dall'accuratezza con cui misura ciò che si presume debba misurare. La mancanza di affidabilità e di validità è responsabile, rispettivamente, di errori casuali e di errori sistematici.
Se un test che misura il livello di intelligenza fornisce, a distanza di pochi giorni (o se somministrato da valutatori diversi) ed a parità di condizioni, valori molto diversi, è evidente che i risultati di quel test saranno poco credibili ed il test stesso sarà poco affidabile. L'affidabilità (reliability) è la possibilità che una scala, usata da osservatori diversi, in contesti o in tempi diversi, consenta di ripetere la misurazione dello stesso fenomeno con risultati sostanzialmente non dissimili. Per valutare l'affidabilità di uno strumento è necessario stabilire se i singoli item che esplorano una dimensione sono coerenti tra di loro (consistenza interna), se i punteggi sono stabili nel tempo (test-retest reliability), se osservatori diversi che valutano indipendentemente la stessa serie di pazienti danno punteggi sostanzialmente simili (inter-rater reliability) e se due forme diverse dello stesso strumento danno risultati sovrapponibili (parallel form reliability). Si può dire che l'affidabilità è il livello più alto di verifica della validità: se una RS non è in grado di fornire risultati riproducibili in tempi diversi, fra valutatori diversi o fra i suoi stessi item, i risultati con essa ottenuti sono inconsistenti e non è possibile definire che cosa misura quella scala.
L'affidabilità può essere valutata a vari livelli, a livello di sintomo, di sindrome o di diagnosi . Il livello di analisi a cui deve essere valutata l'affidabilità è in funzione degli obiettivi della ricerca; se, per esempio, siamo interessati più all'inquadramento diagnostico che alle modificazioni dei sintomi nel tempo, un'affidabilità a livello di diagnosi è senz'altro più importante di quella a livello di sintomi.
