Validación de Métodos Cualitativos “Caso de Aplicación”

Validación de Métodos Cualitativos “Caso de Aplicación”

Agenda Introducción Definiciones Clasificación Validación Evaluación de Métodos Cualitativos Caso de Aplicación Conclusiones

Introducción La validación de métodos debe llevarse a cabo cada vez

que se incorpore un nuevo método en el laboratorio. VALIDAR / VERIFICAR EL DESEMPEÑO DEL MÉTODO

ASEGURAR LA CALIDAD DE LOS RESULTADOS

Introducción En el laboratorio existen métodos: - Cuantitativos - Semi-cuantitativos - Cualitativos

Introducción Existen guías claramente definidas para la

validación de métodos cuantitativos. No existen lineamientos claros para los

métodos cualitativos y semi-cuantitativos. Los parámetros de calidad que caracterizan a

los métodos cualitativos son distintos.


Definiciones Métodos Cualitativos “Aseguran la presencia o ausencia de uno o más analitos en una muestra considerando sus propiedades físicas, biológicas o químicas”. “Métodos de análisis cuya respuesta es la presencia o ausencia de un analito, detectado en forma directa o indirecta en una muestra”. Se emplean para saber si una muestra contiene uno o más

analitos. Presencia/ausencia con respecto a un nivel de concentración. Por debajo de ese límite la concentración del analito se considera despreciable.

Definiciones Puede ser necesario un instrumento para la detección del

analito o se puede aplicar únicamente los sentidos.

La respuesta de estos métodos suele ser binaria (más allá del

tipo de detección)

-SI / NO -POSITIVO / NEGATIVO -REACTIVO / NO REACTIVO Existen otros tipos de respuesta

-POSITIVO / Zona Gris / NEGATIVO -REACTIVO / Zona Gris / NO REACTIVO

Definiciones Métodos Semi-cuantitativos Se encuentran entre los métodos cualitativos y

cuantitativos. Ofrecen una cuantificación somera con una incertidumbre importante. Los resultados se terminan agrupando en clases: - Positivo (+ + +) - Positivo Débil (+) - Zona Gris (+ / -) - Negativo (-)

Definiciones “Los métodos cualitativos o semi-cualitativos se emplean como métodos de screening” Métodos (tests) de “Screening” - Separan o discriminan muestras de un grupo más grande. - Uno o más analitos por encima o por debajo de un valor

preestablecido. - Este valor preestablecido puede haber sido establecido de distintas formas: 1) Organismo oficial Límite de Especificación 2) Control de Calidad Interno Valor de Corte 3) Requerimientos del Cliente

Definiciones Hay analito por encima de un determinado valor, Xsl? >Xsl
SISTEMA DE SCREENING MUESTRAS NO NO SE ANALIZA

SI

ANÁLISIS CUANTITATIVO


Clasificación Existen distintos criterios de clasificación.

Clasificación Detección sensorial • •

A través de la vista Ejemplos:¿?

Detección Instrumental •

•

•

La respuesta instrumental se transforma en respuesta binaria Se trabaja con la respuesta del límite de especificación o calor de corte Ejemplos: ¿?


Validaciones Los métodos cualitativos deben Validarse / Verificarse

VALIDACIÓN Validation es la confirmación mediante el exámen y la provisión de una evidencia objetiva de que se han satisfecho unos requisitos particulares para un uso retendido y específico (1).

(1) Definición según la norma ISO 8402 – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis.

Validaciones Establecer parámetros de desempeño.

¿Los mismos que en los métodos cuantitativos?

Validaciones Verificar o Validar los parámetros de desempeño 9 Trazabilidad 9 Sensibilidad 9 Especificidad 9 Tasa de Falsos positivos 9 Tasa de falsos negativos 9 Límite de corte y su incertidumbre 9 Límite de detección

Validaciones Trazabilidad y Veracidad - Algunas consideraciones 1)- Por lo general no existen CRMs para métodos cualitativos 2)- El uso de CRMs en métodos cualitativos es complicado 3)- Comparación frente a Métodos de Referencia 4)- Los métodos de referencia suelen ser métodos cuantitativos 5)- Participación en esquemas interlaboratorio

Validaciones Valor de corte “Cut Off” En

un mundo ideal!!!

En

el mundo real!!!

Validaciones Falso Positivo (FP)

“Muestras (+) por el “test de screening” y (-) por el método de referencia”

Falso Negativo (FN)

“Muestras (-) por el “test de screening” y (+) por el método de referencia”

Validaciones Positivo Verdadero (TP)

“Muestra (+) por el “test de screening” y (+) por el método de referencia”

Negativo Verdadero (TN)

“Muestra (-) por el “test de screening” y (-) por el método de referencia”

Validaciones Tasa de Falsos Positivos

“Probabilidad de que una muestra con valor verdadero negativo dé un valor positivo por el test de screening”

Tasa de FP =

FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero

FP FP + TN

Validaciones Tasa de Falsos Negativos

“Probabilidad de que una muestra con valor verdadero positivo dé un valor negativo por el test de screening”

Tasa de FN =


FN FN + TP

Validaciones Sensibilidad

“Capacidad o habilidad de un test de screening de detectar muestras positivas cuando realmente son positivas”

TP Sensibilidad = TP + FN


Validaciones Especificidad

“Capacidad o habilidad de un test de screening de detectar muestras negativas cuando realmente son negativas”

TN Especificidad = TN + FP


Validaciones Zona de Incertidumbre

“Corresponde a la región en la cual se obtienen respuestas falsas (falso negativo o falso positivo)”

Validaciones Límite de Detección y Cut Off Error Beta: Tasa de FN Error Alfa: Tasa de FP “Menor cantidad de analito que puede ser detectada en una matriz” Error: Tipo Beta 5 % Máximo nivel de concentración permitido Límite superior de la zona de incertidumbre Sensibilidad 95% Cut Off

Validaciones Límite de Detección y Cut Off Error Beta: Tasa de FN Error Alfa: Tasa de FP

“Si consideramos el caso de mínima concentración permitida” Error Alfa: 5 % Límite inferior de la Zona de incertidumbre

Validaciones Cut Off

“Nivel de concentración en el cual el test de screening diferencia las muestras con una probabilidad de error aceptable ( 5 %)” Si hablamos de máximo nivel permitido: - Cut Off se relaciona con sensibilidad - Corresponde a la concentración donde la sensibilidad es del 95 % y el error de tipo Beta (Falso negativo) ha sido fijado al 5 % Error Beta: Tasa de FN Error Alfa: Tasa de FP


Evaluación de Métodos Cualitativos Básicamente existen varias formas de evaluar los

parámetros de desempeño de los métodos cualitativos Destacamos cuatro, todas ellas con ventajas y desventajas:

- Tablas de Contingencias - Teorema de Bayes - Test Estadísticos de Hipótesis - Curvas Características de Desempeño

Evaluación de Métodos Cualitativos Tablas de Contingencia Diferencian las muestras en 2 categorías ( + y -) por el test de screening y establecen una tabla de comparación con respecto al método de referencia o confirmación.

Fuente – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis.

FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero N: Número total de ensayos

Evaluación de Métodos Cualitativos Tablas de Contingencia Permiten calcular 4 parámetros de desempeño

- Falsos Positivos - Falsos Negativos - Sensibilidad - Especificidad Permiten calcular 2 valores predictivos

- Probabilidad de Resultado positivo (PVP) - Probabilidad de Resultado negativo (PVN)

Validaciones Probabilidad de Resultado Positivo (PVP)

“Probabilidad de que un individuo con un resultado positivo del test tenga una enfermedad o característica, que el test está diseñado para detectar”

TP PVP = TP + FP FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero

Validaciones Probabilidad de Resultado Negativo (PVN)

“Probabilidad de que un individuo con un resultado negativo del test no tenga una enfermedad o característica, que el test está diseñado para detectar”

TN PVN = TN + FN


Evaluación de Métodos Cualitativos Tablas de Contingencia – Desventajas Asume

que las muestras desconocidas tienen el mismo comportamiento que las que se emplearon en el estudio.

Su

capacidad depende del número de muestras analizadas.

Requiere

el procesamiento de las muestras por 2 métodos.

Evaluación de Métodos Cualitativos Teorema de Bayes Calcula la probabilidad de dar un resultado correcto (+ o -)

cuando realmente lo es. Trabaja con probabilidades condicionales. Requiere de muchos análisis. Terminología compleja. Muchos cálculos (Probabilidades intermedias)

Evaluación de Métodos Cualitativos Test Estadísticos de Hipótesis Aplica únicamente a test con una respuesta instrumental. Se establece la respuesta a nivel del corte. Se compara la respuesta de la muestra con el valor

previamente establecido de corte. Comparación a través de Test de Hipótesis Trabaja con los errores alfa y beta. Permite estimar la incertidumbre o probabilidad de equivocarnos empleando el test de screening.

Evaluación de Métodos Cualitativos Curvas Características de Desempeño

Fuente – Validación de métodos analíticos cualitativos. I. Ruisánchez, E. Trullols, X. Ruis.

Evaluación de Métodos Cualitativos Curvas Características de Desempeño “Probabilidad de tener un resultado positivo en función de la concentración del analito” - Permiten calcular los 4 parámetros clásicos - Permiten calcular el límite de detección - Permiten calcular el Cut Off - Permiten calcular la zona de incertidumbre Desventajas - Requieren realizar el ensayo repetidas veces por cada concentración

Evaluación de Métodos Cualitativos Guía para la Evaluación de Desempeño de Tests Cualitativos.

Evaluación de Métodos Cualitativos EP12 - Estudios de Precisión 9 Recomienda desarrollar experimentos de precisión en concentraciones cercanas al Cut Off. Intervalo 95 % (C5-C95) C5

Cut Off – C50

C95

5 % (+) 95 % ( -)

50 % (+) 50 % ( -)

95 % (+) 5 % ( -)

Evaluación de Métodos Cualitativos EP12 - Estudios de Precisión Establecer la concentración de Cut Off Establecer que el Cut Off +/- un 20 % está dentro del intervalo del 95%. El Cut Off puede estar en el inserto del reactivo El Cut Off puede ser estimado por repeticiones de diluciones sucesivas de una muestra +. Preparar muestras en las siguientes concentraciones: 1) Cut Off + 20 % 3) Cut Off 2) Cut Off – 20 % Repetir las muestras 20 veces

Evaluación de Métodos Cualitativos EP12 - Estudios de Precisión Para cada una de las tres muestras determinar el % de resultados + y-. Verificar los resultados.

Evaluación de Métodos Cualitativos EP12 - Estudio de Comparación

Puntos Críticos:

- Muestras - Número de muestras - Duración - Inspección de datos - Manejo de datos discordantes - Método de comparación

Evaluación de Métodos Cualitativos EP12 - Estudio de Comparación Análisis

de Datos de acuerdo al Comparador

El comparador es Criterio de Exactitud Diagnóstica El comparador no es Criterio de Exactitud Diagnóstica

Evaluación de Métodos Cualitativos EP12 - Estudio de Comparación Si el comparador es Criterio de Exactitud Diagnóstica Se puede estimar: 9 SENSIBILIDAD 9 ESPECIFICIDAD 9 TASA DE FALSOS POSITIVOS 9 TASA DE FALSOS NEGATIVOS 9 PVP 9 PVN

Evaluación de Métodos Cualitativos EP12 - Estudio de Comparación Si el comparador NO es Criterio de Exactitud Diagnóstica Se puede estimar: 9 Porcentaje de Acuerdo Positivo 9 Porcentaje de Acuerdo Negativo


Caso de Aplicación

Anticuerpos totales para HIV1 y HIV2. Elecsys HIV combi – Modular Analytics E170

Caso de Aplicación EL ENSAYO

ECLIA – Principio sandwich El Cut Off se calcula a partir de los calibradores: CAL-1 (negativo) y CAL-2 (positivo). (1)

El resultado se expresa como Cot Off Index. (2)

Interpretación de resultados: COI < 0.9 No Reactivo COI > 1 Reactivo COI > 0.9 a < 1 Indeterminado

(1) (2) Fuente

Caso de Aplicación Estudios de Precisión Se ensayan los CONTROLES DE CALIDAD INTERNOS durante 20 días. C 1 – Negativo (Cut Off Index: 0.237) C2 – Positivo (Cut Off index: 9.96) C3 – Positivo (Cut Off index: 11.33)

Caso de Aplicación Estudios de Precisión CONTROLES DE CALIDAD INTERNOS SD Claim = CV inserto x Claim Concentration/100

Laboratorio Dr House

INSERTO DEL REACTIVO

EP Evaluator R8

Caso de Aplicación Estudios de Precisión CONTROLES DE CALIDAD INTERNOS

EP Evaluator R8

Caso de Aplicación Estudios de Precisión CONTROLES DE CALIDAD INTERNOS

EP Evaluator R8

Caso de Aplicación Estudios de Precisión C5 – C95 Se ensayan dos diluciones con valores de COI cercanos al Cut Off. ¿ Cómo seleccionamos las diluciones ? Se desarrolla un perfil de precisión cercano al Cut Off. C5 dil 1/32 C95 dil 1/16

Caso de Aplicación Estudios de Precisión C5 – C95 Se ensayan las diluciones al menos 20 veces cada una. Se emplean los operadores estadísticos para demostrar que: Ambas poblaciones tienen una distribución normal. Ambas poblaciones son estadísticamente diferentes del Cut Off (1). Ambas poblaciones son estadísticamente diferentes entre sí.

Caso de Aplicación Estudios de Precisión C5 – α 0.05

CV= 4.6 %

Programa NCSS

Caso de Aplicación Estudios de Precisión C95 – β 0.01

CV= 4.1 %

Programa NCSS

Caso de Aplicación Estudios de Precisión C5 – C95

Programa NCSS

Caso de Aplicación Estudios de Precisión C5 – C95

Programa NCSS

Caso de Aplicación Estudios de Precisión C5 – C95 CV C5= 4.6 % CV C95= 4.1 %

Caso de Aplicación Estudios de Comparación Se estudian dos poblaciones de pacientes: 9 150 pacientes sanos (no reactivos) 9 50 pacientes con diagnóstico de HIV (Western

blot y clínica)

Caso de Aplicación Estudios de Comparación

EP Evaluator R8

Caso de Aplicación Estudios de Comparación EP Evaluator R8

Comparar los valores obtenidos con las especificaciones de performance declaradas por el fabricante.

Sensibilidad declarada: 100% Especificidad declarada: 99.63%

Caso de Aplicación BUBBLE CHART

Falsos Pos.+ Zonas de Acuerdo

Falsos Neg.EP Evaluator R8 Las áreas de las circunferencias dependen de la cantidad de muestras

Caso de Aplicación ALGUNAS DEFINICIONES ADICIONALES Acuerdo % total de los casos en que los 2 métodos dan el mismo resultado Acuerdo + % de los casos en que hay acuerdo cuando el método de referencia da +: TP/ (TP+FP) Acuerdo – % de los casos en que hay acuerdo cuando el método de referencia da -: TN/ (TN+FN)

Caso de Aplicación ALGUNAS DEFINICIONES ADICIONALES Prevalencia: “Frecuencia de datos positivos en una población estudiada” -Dato experimental -Dato de Bibliografía -Cantidad de datos evaluados

Caso de Aplicación Estimación de la ZONA DE NO CONFIABILIDAD Se estima a través de resultados de calibraciones y empleando la Ley de Propagación de Errores. 1) Buscar la ecuación utilizada para el cálculo del Cut Off. 2) Calcular el Cut Off. 3) Estimar el CV del cut Off. 4) Comparar el CV del Cut Off con la zona de no confiabilidad declarada por el fabricante.

Caso de Aplicación Estimación de la ZONA DE NO CONFIABILIDAD

Cut Off Promedio: 23997 RLU S2co =

2

2

∂CO x Scal12 + ∂CO x Scal2 ∂Cal1 ∂Cal2

S co= 1680 RLU Æ CV co = 7.0% < 10% (ZNC)

Evaluación de Métodos Cualitativos

Un ejemplo… El comparador no es Criterio de Exactitud Diagnóstica




Indica el nivel de acuerdo entre 2 métodos Puede adoptar valores entre -100% y 100% Un valor de 0% indica ausencia de acuerdo Un valor de 100% indica acuerdo perfecto Es deseable un valor por encima de 75%


Indica la probabilidad de que los métodos

sean significativamente diferentes. Si son diferentes indica en qué dirección. Evalúa simetría entre los dos métodos.


Conclusiones Existen cada vez más métodos cualitativos. Hay confusión en la nomenclatura. Hay confusión en la clasificación de métodos

cualitativos. La validación de métodos cualitativos es un tema importante para asegurar la calidad de los resultados que estos métodos generan. No existe consenso sobre cómo realizar estas validaciones. Los parámetros de desempeño están bien definidos. Guía de consenso: EP 12-A2 de la CLSi

MUCHAS GRACIAS!

Validación de Métodos Cualitativos “Caso de Aplicación”

Recommend Documents