¿Cómo aleatorizar?

José Tessada
Profesor Asociado
Pontificia Universidad Católica
 Propiedad intelectual

El contenido de la siguiente clase es propiedad del Abdul

Latif Jameel Poverty Action Lab (J-PAL).

El material está destinado a su uso como material de

estudio del curso en línea JPAL101SPAx Evaluación de
Impacto de Programas Sociales y no debe ser utilizado
para otros medios sin la autorización expresa de J-PAL.
Importancia

Los experimentos aleatorizados constituyen el método más

confiable para estimar el impacto de un programa,
siempre y cuando sean correctamente diseñados y
realizados.
Objetivos

• Entender que se puede aleatorizar de muchas maneras

distintas.

• Comprender que la mejor manera no existe: depende

del contexto.

• Ser capaz de identificar la manera más adecuada para

un programa determinado.
Estructura de la clase

• ¿Qué es una evaluación aleatorizada?

• Tipos de aleatorización

• Diseños de aleatorización
¿Qué es una evaluación
aleatorizada?
¿Qué significa “aleatorio”?

• RAE: “Que depende del azar (‖ casualidad).”

• En estadística
– No contiene patrones reconocibles o regularidades
– Cada posible resultado tiene la misma probabilidad de
producirse
Muestreo aleatorio vs. asignación
aleatoria
Muestreo Asignación
(opcional)

Tratamiento
Población
Muestra
de interés
Control

En esta clase veremos

diferentes maneras para
aleatorizar la asignación
Tipos de aleatorización
Tipos de aleatorización

• Aleatorización completa

• Aleatorización restrictiva

• Aleatorización por clúster

• Aleatorización estratificada
Aleatorización completa: Probabilidad fija

• Aleatorización sin ninguna

restricción

ID Moneda Grupo
• Probabilidad fija de ser 1 Cara Tratamiento
asignado al grupo de 2 Cara Tratamiento
tratamiento (ej: 50%) 3 Sello Control
4 Cara Tratamiento
5 Sello Control
6 Cara Tratamiento
• Puede resultar en grupo de
7 Sello Control
tratamiento un poco más
8 Sello Control
grande/pequeño de lo
9 Cara Tratamiento
esperado 10 Cara Tratamiento
T: 6
Total
C: 4
Aleatorización restrictiva: Proporción fija

• Se predetermina el número de
personas en T y C

• Se determina de manera
aleatoria quiénes conforman
ambos grupos:
• Ordenar a las personas de
manera aleatoria
• Sacar números de una urna
• Usar generador de números
aleatorios
Fuente: Chris Blattman

• Requiere marco muestral

Aleatorización estratificada
 Muestra de evaluación

Dividir la muestra por región

Chiapas Jalisco Oaxaca

Aleatorizar dentro de cada región

Crear grupos tratamiento y control

Grupo Tratamiento Grupo Control

Aleatorización estratificada

• ¿Por qué estratificar?

– Para asegurar balance en variables de interés
– Para aumentar el poder estadístico
– Para estudiar subgrupos
– Por razones políticas o logísticas

• ¿Qué variables utilizar?

– Variables correlacionadas con el resultado de interés
– Variables por las cuales se quiere hacer análisis de
subgrupo
Aleatorización por clúster

• La unidad de aleatorización no es el individuo sino un

grupo de individuos (escuelas, municipios, ciudades
etc.)

• Todos los individuos de un mismo clúster reciben la

misma asignación
Unidad de aleatorización: Individual
Unidad de aleatorización: Individual
Tratamiento
Control
Unidad de aleatorización: Clúster
Unidad de aleatorización: Colegio
Unidad de aleatorización: Colegio
Tratamiento
Control
Diseños de aleatorización
Diseños de aleatorización
Diferentes opciones de diseño incluyen:
– Lotería básica
– Por etapas
– Tratamientos múltiples
– De estímulos

Estas alternativa no son excluyentes

Lotería básica
Lotería básica
• Las unidades (individuos, hogares, escuelas, etc.) se
asignan aleatoriamente al grupo de tratamiento y al
grupo de control

– El grupo de tratamiento obtiene acceso al programa.

– El grupo de control NO obtiene acceso al programa.

Lotería básica

Tratamiento
Control
Lotería básica
• ¿Cuándo es útil?
– Cuando no hay suficientes recursos para cubrir a
todas las personas que son elegibles al programa.

• ¿Qué posible restricción podría tener?

– El grupo que no recibe el programa (el grupo de
control) puede no cooperar con la evaluación.
Ejemplo:
Programa de Ampliación de Cobertura de la Educación
Secundaria (Colombia)

• Becas a más de 125.000 estudiantes de barrios

desaventajados: cubren más de la mitad del costo de
asistir a una escuela privada en Colombia.
• Demanda excede el número de becas disponibles
• Se aleatoriza la entrega de las becas.
• Muestra de 1.600 postulantes a la beca.
Lotería básica: Ejemplo

Tratamiento
800 estudiantes
reciben beca

Muestra
1.600
postulantes a
la beca
Control
800 estudiantes
no reciben
beca
Diseño por etapas
Diseño por etapas
• Cuando todos los candidatos deben recibir el programa
pero el programa se implementa en etapas.
– Podemos escoger aleatoriamente quién participa en
la primera etapa y quién participa en las etapas
subsiguientes.

• En una fase dada, los grupos que no han recibido el

programa aún forman parte del grupo de control.
Diseño por etapas

Ronda 1 2
Tratamiento: 1/3 3 3 2
1 3 3
Control: 2/3 2 1
1 3 2
2 1
Ronda 2
3 2 3 3
Tratamiento: 2/3
Control: 1/3 2 3
3 1 2 2
1
Finaliza evaluación 2 1
aleatoria 2 1 1
3 3
Ronda 3 3 1
3 1 2 3
Tratamiento: 3/3
Control: 0 1 1
2
Diseño por etapas
• ¿Cuándo es útil?
– Cuando implementar el programa de una sola vez no es
factible.
– Cuándo no se puede excluir a nadie totalmente.
– A la larga, todos reciben el programa.

• ¿Qué posible restricción podría tener?

– Difícil de medir efectos de largo plazo.
Ejemplo
Proyecto de pavimentación de caminos en Acayucan
(México)
• 56 proyectos de pavimentación.
• Por restricción presupuestarias,
seleccionaron aleatoriamente 28
calles para ser pavimentadas primero.
• Después de 2 años de tratamiento, se
observó aumento en:
– Consumo de bienes durables
– Adquisición de vehículos a motor
– Valor de las propiedades

Fuente: Gonzalez-Navarro
y Quintana-Domeque
Diseño por etapas: Ejemplo

Fase 1 Fase 2

Tratamiento Tratamiento
28 calles son 28 calles ya
pavimentadas pavimentadas

Muestra
56 caminos y
calles no
pavimentados

Control Tratamiento
28 calles no son 28 calles son
pavimentadas pavimentadas
Diseños de aleatorización
Diseño de tratamientos
múltiples
Diseño de tratamientos múltiples
A veces queremos testear:
• ¿Cuál de varias intervenciones tiene mayor impacto?
• ¿Cuál es el componente más efectivo del programa?
• ¿Cuál es la intensidad ideal del tratamiento?
• ¿Cuál es la interacción entre diferentes componentes
de un programa?

Se puede aleatorizar múltiples tratamientos y analizar

cómo se comparan unos con otros y cómo se
complementan.
Tratamientos múltiples

Tratamiento 1
Tratamiento 2
Tratamiento 3

39
Tratamientos múltiples

¿Qué posible restricción podría tener?

• Cuando no hay un grupo de control puro, el impacto

estimado mide solo el impacto relativo de una
intervención versus otra.

• Se necesitan muestras muy grandes en casos donde

hay varios tratamientos y se desea comparar entre ellos.
Ejemplo:
Recordatorios de mensajes de texto e incentivos para
ahorro (Bolivia)

• Para incentivar el ahorro se enviaron mensajes de textos

a dueños de cuentas de ahorro.
• Se quería ver si diferentes mensajes de texto causarían
diferentes niveles de ahorro.
• Algunos mensajes enfatizaban:
– La posibilidad de alcanzar una meta de ahorro.
– La posibilidad de perderse la meta.
– Recordaban una recompensa si alcanzaban su meta.
Ejemplo:
Recordatorios de mensajes de texto e incentivos para
ahorro (Bolivia)
Tratamiento 1
Reciben mensaje tipo 1
(Meta – Ganancia)

Tratamiento 2
Reciben mensaje tipo 2
(Meta – Pérdida)
Muestra
Clientes con Tratamiento 3
celular y una Reciben mensaje tipo 3
cuenta (Recompensa – Ganancia)
“Ecoaguinaldo”
Tratamiento 4
Reciben mensaje tipo 4
(Recompensa – Pérdida)

Control
No recibe mensajes
Diseños de estímulos
Diseño de estímulos
• En ocasiones, es práctica o éticamente imposible
asignar el acceso a un programa de forma aleatoria.

– Pero la mayoría de los programas tienen una participación

inferior al 100% de la población objetivo.

• En esos casos, se puede ofrecer aleatoriamente un

estímulo para participar en la intervención.
Diseño de estímulos

Estímulo
Sin estímulo

Participan
No participan

Cumplen
No cumplen
Diseño de estímulos

Estímulo
Comparar estimulados con no estimulados
Sin estímulo

Estos deben estar correlacionados

Participan
No participan No comparar participantes con no
participantes

Cumplen
No cumplen
Ajustar por no-cumplimiento en la fase de análisis
Diseño de estímulos

¿Qué posible restricción podría tener?

• Mide el impacto de aquellos que responden al estímulo.

• Necesita un estímulo suficientemente potente para

mejorar la participación.

• El estímulo mismo puede tener un efecto directo sobre

la variable de interés.
Ejemplo:
Programa de capacitación a micro-emprendedores en
(Chile)
• Se ofrecen 20 horas de talleres de capacitación a
microempresas.
• Cuatro módulos: presupuesto, ahorro, endeudamiento
responsable e inversión.
• Cobertura:
– Beneficiarios de algunos programas de emprendimiento
del Fondo de Solidaridad e Inversión Social (FOSIS).
– Tres regiones de Chile (V, VII, Región Metropolitana).
Ejemplo:
Programa de capacitación a micro-emprendedores en
(Chile)

Tratamiento Capacitados
1959 personas
reciben
Muestra invitación
4570 No capacitados
beneficiarios
de programas
de emprendi-
miento de
FOSIS Control No capacitados
2611 personas
no reciben
invitación
Capacitados
Conclusiones
En resumen

• Se puede aleatorizar de muchas maneras distintas

– diferentes opciones para tipo y diseño de aleatorización

• La mejor manera no existe: depende del contexto

• Pensar bien cómo aleatorizar…

– asegura validez interna
– permite responder preguntas más interesantes