Evaluacin del riesgo de sesgo de los estudios incluidos

Pasos de una revisin sistemtica Cochrane

1. Formular la pregunta 2. Planificar los criterios de elegibilidad 3. Planificar la metodologa 4. Buscar los estudios 5. Aplicar los criterios de elegibilidad 6. Obtener los datos 7. Evaluar el riesgo de sesgo de los estudios 8. Analizar y presentar los resultados 9. Interpretar los resultados y obtener conclusiones 10. Mejorar y actualizar la revisin
cochrane training

ndice
Riesgo de sesgo en las revisiones sistemticas Evaluacin de las fuentes de sesgo Llevndolo a la prctica: tablas de riesgo de sesgo Incorporacin de los hallazgos en la revisin

Ver el Captulo 8 del Cochrane Handbook

cochrane training

Qu es el sesgo?
Error sistemtico o desviacin de la verdad

Las revisiones sistemticas dependen de los estudios incluidos

Estudios incorrectos = revisiones con resultados engaosos Nos podemos creer los resultados?

Evaluar el riesgo de sesgo de cada estudio

No podemos medir la presencia de sesgo Los sesgos pueden sobreestimar o subestimar el efecto Debemos buscar mtodos que minimizan el riesgo de sesgo

cochrane training

Sesgo no es lo mismo que

Imprecisin
Error aleatorio debido a variaciones en el muestreo Se refleja en el intervalo de confianza

Calidad

Informe

Estudios desarrollados Puede que los correctamente tambin mtodos utilizados pueden estar sesgados sean apropiados, No todas las debilidades pero que stos no metodolgicas estn descritos introducen sesgos adecuadamente

cochrane training

Escalas de calidad y listas de verificacin (checklists)

Hay muchas escalas disponibles No hay evidencia emprica que avale su uso Diferentes escalas llegan a diferentes conclusiones Pueden incluir criterios no relacionados con el sesgo La ponderacin numrica no est justificada Puntuaciones difciles de interpretar por los lectores

Las revisiones Cochrane no deben utilizar escalas de calidad

cochrane training

Herramienta de la Colaboracin Cochrane para evaluar el riesgo de sesgo

Valora 7 dominios apoyados por evidencia cientfica Valoracin de los revisores:

Bajo riesgo de sesgo Alto riesgo de sesgo ? Riesgo de sesgo poco claro
Apoyo para la valoracin
Pruebas/citas del artculo o de otras fuentes Explicacin del autor de la revisin cochrane training

Dominios a evaluar
Generacin de la secuencia aleatoria Ocultamiento de la asignacin Cegamiento de los participantes y del personal Cegamiento de los evaluadores del resultado Datos de resultado incompletos Notificacin selectiva de los resultados Otras fuentes de sesgo

Es IMPRESCINDIBLE consultar el Manual Cochrane antes de realizar la evaluacin del riesgo de sesgo
cochrane training

Qu ocurre con los estudios no-aleatorizados?

El riesgo de sesgo tambin debe evaluarse cuidadosamente
El revisor puede querer aadir dominios a evaluar El revisor puede utilizar otro instrumento que sea apropiado El Grupo de Revisin puede tener una opcin recomendada

Ver Seccin 13.5 del Manual Cochrane

cochrane training

ndice
Riesgo de sesgo en las revisiones sistemticas Evaluacin de las fuentes de sesgo Llevndolo a la prctica: tablas de riesgo de sesgo Incorporacin de los hallazgos en la revisin

Ver el Captulo 8 del Cochrane Handbook

cochrane training

Fuentes de sesgo
Generacin aleatoria de la secuencia
Seleccin

Poblacin diana

Ocultacin de la secuencia

Asignacin Grupo Intervencin Grupo Control

e Realizacin

Deteccin

Desgaste

Evaluacin del resultado

Notificacin

Evaluacin del resultado

Publicacin de los resultados

cochrane training

Generacin de la secuencia aleatoria

Se realiza al inicio del estudio, antes de la asignacin de los participantes a los grupos de estudio Evita el sesgo de seleccin Determina un orden de asignacin aleatorio de los participantes al grupo intervencin y control Evita diferencias sistemticas entre los grupos Tiene en cuenta los factores de confusin conocidos y desconocidos

cochrane training

Generacin de la secuencia aleatoria

Bajo riesgo no predecible Tabla de nmeros aleatorios Generacin de nmeros aleatorios por ordenador Aleatorizacin estratificada o en bloque Minimizacin Recursos ms rudimentarios - lanzamiento de una moneda, barajar cartas o sobres, lanzar dados, sorteo de tarjetas

Alto riesgo predecible Mtodo cuasi-aleatorio fecha de nacimiento, da de visita, identificador o nmero de registro, alternancia Mtodo no-aleatorio eleccin por parte del clnico o del paciente, resultados de pruebas, disponibilidad

Ver Seccin 8.9 del Cochrane Handbook cochrane training

Ocultamiento de la secuencia
Ocurre al inicio del estudio, durante la asignacin de los participantes Evita el sesgo de seleccin Cuando una persona es reclutada para el estudio nadie puede predecir a qu grupo ser asignada Asegura una implementacin estricta de la secuencia de aleatorizacin
Previene cambios de orden Previene seleccionar los participantes a los que reclutar

cochrane training

Ocultamiento de la secuencia
Bajo riesgo no predecible Asignacin centralizada (telfono, pgina web, servicio de farmacia ) Sobres opacos, sellados y numerados de manera secuencial Envases de frmaco idnticos y numerados de manera secuencial Alto riesgo- predecible Secuencia conocida previamente por parte del personal Sobres o envases sin una proteccin apropiada Secuencia no aleatoria, predecible

Ver Seccin 8.10 del Cochrane Handbook cochrane training

Fuentes de sesgo
Poblacin diana
Seleccin

Asignacin
Cegamiento de participantes, personal

Realizacin

Grupo Intervencin Grupo Control

Deteccin

Desgaste

Evaluacin del resultado

Notificacin

Evaluacin del resutlado

Publicacin de los resultados

cochrane training

Cegamiento de los participantes y del personal

Evita el sesgo de realizacin
Trato diferente a los grupos del estudio Diferentes expectativas de los participantes

Puede conducir a cambios en los propios resultados

Evaluar de forma cuidadosa

Evitar trminos como simple ciego y doble ciego

Es probable que el cegamiento se rompiera?

Considerar el impacto, incluso aunque el cegamiento no sea factible para una determinada intervencin cochrane training

Cegamiento de los participantes y del personal

Bajo riesgo El cegamiento es correcto y es poco probable que se haya roto Falta de cegamiento o cegamiento incompleto, pero no es probable que influya en los resultados Alto riesgo Falta de cegamiento, cegamiento incompleto o roto, y es probable que influya en los resultados

Ver Seccin 8.11 del Cochrane Handbook cochrane training

Fuentes de sesgo
Poblacin diana
Seleccin

Asignacin Grupo Intervencin Grupo Control

Cegamiento de los evaluadores de los resultados

Realizacin

Deteccin

Desgaste

Evaluacin del resultado

Notificacin

Evaluacin del resutlado

Publicacin de los resultados

cochrane training

Cegamiento de los evaluadores de los resultados

Evita el sesgo de deteccin
Conocer la intervencin recibida puede afectar la medicin de los resultados

Evaluar de forma cuidadosa

Evitar trminos como simple ciego y doble ciego Es probable que el cegamiento se rompiera?

Puede ser factible incluso cuando no es posible cegar a los participantes y al personal
Recordar que tanto los participantes como el personal pueden ser evaluadores del resultado cochrane training

Cegamiento de los evaluadores de los resultados

Bajo riesgo El cegamiento es correcto y es poco probable que se haya roto Falta de cegamiento, pero no es probable que influya en la evaluacin de los resultados
Alto riesgo Falta de cegamiento o cegamiento roto, y es probable que influya en la evaluacin de los resultados Ver Seccin 8.12 del Cochrane Handbook cochrane training

Evaluacin del cegamiento en cada variable resultado

Se puede alcanzar conclusiones distintas segn la variable resultado
Puede que slo sea ciega la medida de algunos resultados Los desenlaces subjetivos pueden ser ms vulnerables a este tipo de sesgo. Ej. muerte vs calidad de vida

Puede aplicarse tanto al sesgo de realizacin como al sesgo de deteccin Una opcin es recoger en la tabla la evaluacin de dos o ms variables de resultado para estas categoras

cochrane training

Fuentes de sesgo
Poblacin diana
Seleccin

Asignacin Grupo Intervencin Grupo Control

Realizacin

Deteccin

Desgaste

Datos de resultado incompletos

Evaluacin del resultado

Evaluacin del resutlado

Notificacin

Publicacin de los resultados

cochrane training

Datos de resultado incompletos

Cuando no se dispone de datos completos de los resultados para todos los participantes
Desgaste (attrition) prdidas durante el seguimiento (loss to follow up), abandono (withdrawals), otros datos faltantes Exclusiones (exclusions) algunos datos disponibles no estn descritos en el informe

Puede dar lugar a un sesgo de desgaste (attrition bias) Consideraciones:

Cuntos datos de resultado incompletos por cada grupo? (incluir nmeros en la descripcin) Motivos de los datos de resultado incompletos? Cmo se analizaron los datos?

cochrane training

Cundo son demasiados los datos faltantes?

No existe una regla simple Si son suficientes para afectar de forma relevante los resultados
Proporcin total de datos faltantes Riesgo de evento (resultados dicotmicos) Posible tamao del efecto (resultados continuos)

Cuando las razones pueden estar relacionadas con los resultados del estudio
Ej. recuperacin, eventos adversos, rechazos Las razones pueden tener significados diferentes en cada grupo

Existe un desequilibrio entre los grupos en cuanto a los datos faltantes o sus razones
cochrane training

Anlisis por intencin de tratar

Todos los participantes se analizan en el grupo al que fueron aleatorizados
A pesar de lo que haya ocurrido durante el estudio

Temas que pueden surgir

Anlisis por protocolo Los participantes no cumplidores se excluyen del anlisis Anlisis como se trat Los participantes no cumplidores cambian de grupo Imputacin de valores faltantes Las asunciones pueden ser inapropiadas- consultar con un estadstico Es posible re-incluir algunos datos excluidos cochrane training

Evaluacin de los datos incompletos para cada resultado

Se puede llegar a conclusiones diferentes para cada resultado
Puede haber ms datos faltantes en distintos puntos temporales

Algunos resultados pueden tener ms datos faltantes que otros . Ej. preguntas sensibles, pruebas invasivas

Una opcin es recoger en la tabla la evaluacin de dos o ms variables de resultado para datos incompletos

cochrane training

Datos de resultado incompletos

Bajo riesgo
Se dispone de los datos completos para todos los resultados Las razones que han motivado la falta de datos no se relacionan con el resultado Cantidad de datos de resultado faltantes equilibrados entre los grupos de intervencin, y con motivos similares; La proporcin de datos faltantes o su posible efecto no es suficiente para tener un impacto clnicamente relevante

Alto riesgo

Razones relacionadas con los desenlaces, y desequilibrio en el nmero de datos faltantes o en las razones que han provocado los datos faltantes La proporcin de datos faltantes es suficiente para tener un efecto clnicamente relevante Anlisis como se trat con diferencias importantes respecto a la aleatorizacin Uso inapropiado de los mtodos de imputacin

Ver Seccin 8.13 del Cochrane Handbook cochrane training

Fuentes de sesgo
Poblacin diana
Seleccin

Asignacin Grupo Intervencin Grupo Control

Realizacin

Deteccin

Desgaste

Notificacin

Notificacin selectiva de los resultados

Evaluacin del resultado

Evaluacin del resutlado

Publicacin de los resultados

cochrane training

Notificacin selectiva de los resultados

Puede dar lugar a un sesgo de notificacin Es ms probable que se describan los resultados estadsticamente significativos
Tal como estaba planificado en el protocolo del estudio Con mayor detalle

Sesgo difcil de determinar

Comparar los mtodos con los resultados y buscar:
Resultados medidos (o probablemente medidos) pero no notificados Resultados aadidos, cambios estadsticos, slo subgrupos Descripciones que no pueden utilizarse en una revisin (Ej. decir que no hay diferencias estadsticamente significativas sin aportar resultados numricos)

Referencia al protocolo de estudio o al registro del ensayo

Centrarse en los resultados de inters para la revisin

cochrane training

Notificacin selectiva de los resultados

Bajo riesgo Se dispone del protocolo de estudio y todos los resultados de inters de la revisin estn descritos de la forma prevista en el protocolo No disponemos del protocolo, pero est claro que se notifican todos los resultados esperables y especificados previamente

Riesgo poco claro La mayor parte de los estudios entrarn en est categora
Alto riesgo Resultados no descritos como estaba pre-especificado o era esperable
Ej. perdidos, aadidos, subconjuntos, medidas o mtodos no esperados

Resultados descritos de forma incompleta por lo que no pueden utilizarse en un metanlisis

Ver Seccin 8.14 del Cochrane Handbook cochrane training

Otras fuentes de sesgo

Se requiere una justificacin clara de por qu un factor puede ser causa de sesgo No incluir:
Imprecisin (Ej. tamao de la muestra pequeo) Heterogeneidad (Ej. dosis inadecuada, poblacin inusual) Otras medidas de calidad (Ej. aprobacin por el comit de tica, financiacin)

Siempre que sea posible, identificar factores importantes en el protocolo Se pueden aadir filas en la tabla para evaluar factores importantes para todos los estudios

cochrane training

Otras fuentes de sesgo

Bajo riesgo El estudio parece no estar afectado por otras fuentes de sesgo Alto riesgo Factores ligados a diseo de estudio especficos: Efecto de arrastre (carry-over) en los ensayos cruzados Sesgo de reclutamiento en los ensayos aleatorizados por conglomerados (cluster-randomised trials) Estudios no aleatorios Desequilibrio inicial entre los grupos Asignacin en bloques en ensayos no cegados Actividad diagnstica diferencial Otros sesgos

Ver Seccin 8.15 del Cochrane Handbook cochrane training

ndice
Riesgo de sesgo en las revisiones sistemticas Evaluacin de las fuentes de sesgo Llevndolo a la prctica: tablas de riesgo de sesgo Incorporacin de los hallazgos en la revisin

Ver el Captulo 8 del Cochrane Handbook

cochrane training

Cmo hacer la evaluacin del riesgo de sesgo

Como mnimo dos evaluadores
Asegurar que los evaluadores conocen los mtodos Incluir expertos en contenido y metodlogos

Pilotar en 3-6 estudios para comprobar la consistencia de la evaluacin Definir de antemano cmo resolver los desacuerdos Buscar la informacin faltante en la publicacin:
Protocolo de estudio Contactar con los autores

cochrane training

Tablas de Riesgo de sesgo

Una tabla para cada estudio incluido Decisin para cada dominio

Bajo riesgo
Alto riesgo - considerar el sesgo material, en lugar de cualquier sesgo ? Riesgo poco claro = no se dispone de suficiente informacin para emitir un juicio claro

Apoyo a la decisin
Se pueden utilizar citas directas del artculo Comentarios adicionales
Justificar cualquier asuncin (ej., probablemente se realiz correctamente)

Si no se dispone de informacin, notificarlo de forma explcita

cochrane training

cochrane training

ndice
Riesgo de sesgo en las revisiones sistemticas Evaluacin de las fuentes de sesgo Llevndolo a la prctica: tablas de riesgo de sesgo Incorporacin de los hallazgos en la revisin

Ver el Captulo 8 del Cochrane Handbook

cochrane training

Priorizar los dominios para la revisin

Todas las revisiones evalan todos los dominios, pero puede seleccionar uno o varios como prioritarios para la revisin
Especificarlo en el protocolo

Justificarlo, considerando:
Evidencia emprica del impacto del sesgo Direccin probable del impacto del sesgo:
Los sesgos probablemente exageran el efecto En caso que el sesgo subestime el efecto y observemos un efecto relevante, tiene menos importancia

Magnitud probable del impacto del sesgo en relacin al efecto observado

cochrane training Ver Cochrane Handbook Secciones 8.5-8.14

Realizar una interpretacin global

No intentar resumir todos los resultado y todos los estudios a la vez Resumir por desenlace Cada desenlace puede tener su evaluacin propia del riesgo de sesgo (ej. cegamiento, datos de resultado incompleto) No todos los estudios aportan informacin a cada desenlace Empezar resumiendo el riesgo de sesgo dentro de cada estudio y luego entre los estudios No agrupar los estudios de riesgo poco claro con los estudios de bajo riesgo sin una justificacin

cochrane training

Incorporar los hallazgos a la revisin

Hacer siempre una descripcin narrativa
Puede que los lectores no la lean No evala el impacto en los resultados

Se puede restringir el anlisis principal a los estudios con bajo riesgo de sesgo
Basado en dominios clave elegidos de forma razonada (aunque arbitraria) Hacer siempre un anlisis de sensibilidad

Se puede presentar un anlisis estratificado Tambin podemos explorar el impacto mediante:

Anlisis de subgrupos Meta-regresin obtener asesora estadstica cochrane training

Resumen del riesgo de sesgo

cochrane training

Grfico del riesgo de sesgo

cochrane training

Qu se debe incluir en el protocolo?

Consultar las normas del Grupo Cochrane de Revisin Breve descripcin de la herramienta Cochrane que se utilizar para evaluar el riesgo de sesgo
Listar los dominios Referenciar el captulo 8 del Cochrane Handbook

Ms de un autor evaluar el riesgo de sesgo Como se resolvern las discrepancias? Hay dominios especficos importantes para la revisin? Cmo se incorporarn los hallazgos al anlisis?
cochrane training

cochrane training

Mensaje final
Estudios sesgados pueden conducir a unas conclusiones de la revisin engaosas Se evaluarn siete dominios de sesgo Describir detalladamente lo que ocurri en los estudios y hacer un juicio sobre el riesgo de sesgo Considerar los posibles efectos de los sesgos y ser cautos a la hora de interpretar los resultados

cochrane training

Referencias
Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Disponible en www.cochrane-handbook.org.

Agradecimientos

Compilado por Miranda Cumpston. Basado en los materiales de Cochrane Bias Methods Group and the Australasian Cochrane Centre. Aprobado por the Cochrane Methods Board Traducido por Anna Selva, Ivan Sol y Jess Lpez-Alcalde

cochrane training