Como leer y supervisar una

evaluacin de Impacto:
Mtodos de diferencia
simple y doubl con
apareamiento basado en
puntaje de propensin

La estructura del curso

1. Por qu preocuparnos por la evaluacin del impacto?
2. Sobre qu trata una evaluacin de impacto?
3. Cul fue el impacto reportado?, Fue este
estadsticamente significativo?
4. Cul fue el mtodo usado por el evaluador para construir
los grupos de tratamiento y comparacin?
5. Cmo definir si el grupo de comparacin usado fue bueno
o no?
6. Qu tan sensibles son las estimaciones del impacto a los
diferentes mtodos usados en el proceso de
emparejamiento por Puntaje de Propensin?
7. Tienen sentido los resultados encontrados en la
evaluacin?

1. Por qu preocuparnos por la

evaluacin del impacto?

Cules son las preguntas de

una evaluacin de impacto?
Cul fue el efecto causal de un
programa dado (tratamiento) en el
resultado(s) de inters?
Hay un efecto causal de dosificacin
en programa con diferentes niveles de
tratamiento (e.j: mas o menos
transferencias de dinero, diferentes
periodos del entrenamiento)?
Hay un efecto causal de multitratamiento para programas con

El mtodo tpico antes

despus
Variable de
inters

Efecto de
desarrollo = B -A

Linea
base

Tratamient
o

Pero lo que parece, no es

Linea
final

Lo que parece, no es: ej.

prevencin de crimen
Efecto de desarrollo

Impacto

Pero lo que parece, no es: provisin

publica y privado de hipotecas y la tasa
de mora en pago

Se necesita un contrafactual o grupo de comparacin

 Impacto?
ATE: impacto promedio, se interpreta como el
cambio promedio en la variable de resultado
cuando un individuo escogido al azar pasa
aleatoriamente de ser participante a ser no
participante. ATE es relevante para evaluar un
programa universal.
ATT: impacto promedio del programa sobre los
tratados. Este corresponde a la diferencia entre
la media de la variable de resultado en el grupo
de los participantes y la media que hubieran
obtenido los participantes si el programa no
hubiera existido. ATT es relevante para evaluar un
programa focalizado.

2. Sobre qu trata una

evaluacin de impacto
usando mtodos de
diferencia simple y doble con
emparejamiento basado en
puntaje de propensin?

Diferencia simple (DS) y doble (DD)

Diferencia simple (DS) y doble (DD)

Lne Lnea final
a
base

Diferencia

Tratado

B- A

No tratado

D-C

DS = (B
D)

DD = (B- A) (D C)

Impacto

Pero no todas las observaciones son usadas

Emparejamiento basado en puntaje de

propensin: creacin de grupos tratados y de comparacin

El mtodo se puede usar solamente si hay soporte comn

Soporte Comn

La interpretacin de casualidad depende del supuesto de exogeneidad

Exogeneidad
Exogeneidad = supuesto de
independencia condicional = no
confundido:
El impacto, estimado como la diferencia en el
promedio de las variables de resultado del grupo
de tratamiento y del grupo de comparacin esta
compuesto por el efecto veredero del programa y
el sesgo de seleccin. Estos dos componentes se
pude separar si se asume que el sesgo de
seleccin se debe nicamente a diferencias en
caractersticas observables. Entonces el sesgo de

3. Cul fue el impacto

reportado?, Fue ste
estadsticamente significativo?

Clculos del Impacto:

presentado como cuadro

Efectos Heterogneos

Clculos del Impacto:

presentado como grficas

Tres enfoques de significancia estadstica

Reglas practicas
Ho: promedio de tratado es igual el promedio de grupo de
comparacin

t: si el valor de t> 2 o t<-2 se rechaza el hiptesis

nula. Hay un impacto.
Valor de P: si el valor de P < 0.05 se rechaza el hiptesis
nula. Hay un impacto. \1
Intervalo de confianza: si el intervalo de confianza no
cruza cero se rechaza el hiptesis nula. Hay un impacto.

\1 por convencin * = 0.1; ** = 0.05,*** = 0.01

por el evaluador para

construir los grupos de
tratamiento y comparacin?
1.La ecuacin de
participacin
2.Algoritmo de
emparejamiento

Ecuacin de participacin
Objetivo: Estimar el puntaje de propensin para cada sujeto
(empresa, hogar, persona, etc)
Escoger la forma funcional:
1. Tratamiento binario (estar o no tratado): Logit y/o probit
2. Tratamientos mltiples (estar tratado por varios tratamientos):
Logit Multinomial o Probit Multinomial
3. Duracin (estar tratado por un periodo de tiempo): modelos de
duracin
Escoger las variables relevantes: solamente incluir las variables
que influyen simultneamente la decisin de perticipacin y la
variable de resultado.
Opciones:
1. Prueba y error,
2. Significancia estadstica,
3. Dejar una afuera con validacin cruzada

Escoger las variables relevantes:

1.Si d

La ecuacin de
participacin:

2.No x
3.No d
4.No d

d
y
e1
e2

y
w
y

5.Si-No d
6. Si-No d

y
y

puntaje de propensin

w
D tratamiento; y variable de inters ;
x pre-tratamiento; w post- tratamiento;
e cadena de influencia

Balanceo con diferentes algoritmos

Otros algoritmos: kernel, radio, estratificado, Mahalanobis, etc.

Dilemas
El objetivo de la ecuacin de
participacin es incluir todas las
variables
relevantes
que
determinan la participacin en el
programa, de esta forma, reducir
el sesgo. De manera simultnea,
el evaluador requiere reducir la
varianza.
Estos dos objetivos
conflictan dado que reduciendo
el sesgo, se incrementa la
varianza
El mtodo es ms confiables con
un mayor nmero de variables de
control en la ecuacin, pero esto
implica reducir el grado de
traslape del soporte comn

5. Cmo determinar si el grupo

de comparacin usado fue
adecuado?

Enfoques para evaluar el grupo

de comparacin:
Tabla de balanceo
Grafico del sesgo estandarizado de las medias de
covariables individuales
Estratificacin
Prueba de Hotelling
Prueba de Kolmogorov-Smirnov de igualdad de
distribucin
Grafico de fraccin acumulativa
Distribucin del puntaje de propensin ante y
despus del emparejamiento.
Grficas Q-Q antes y despus de emparejamiento

Tabla de balanceo

El sesgo estandarizado de las

medias, MSE, de covariables
individuales

Regla practica: si la MSE>10%, el emparejamiento est desbalanceado;

si la MSE<10% el emparejamiento esta balanceado

Prueba de Hotelling
Ho: el vector de medias es igual entre los dos grupos

Regla prctica: si P > 0.05 se acepta la hiptesis nula, el emparejamie

ha sido exitoso

Distribucin del puntaje de propensin

antes y despus del emparejamiento
Sin emparejar

Emparejados

Regla prctica: si las distribuciones del puntaje de propensin

son parecidas (panel derecho), el emparejamiento ha sido
exitoso

Fraccin Acumulativa

Regla prctica: si las distribuciones del puntaje de propensin

son parecidas (panel derecho), el emparejamiento ha sido
exitoso

Prueba de KolmogorovSmirnov de igualdad de

distribucin
Sin emparejar

Emparejados

egla prctica: si P > 0.05 en el K-S combinado se acepta la hiptesis nul

emparejamiento ha sido exitoso

Grficas Q-Q antes y despus

de emparejamiento
Sin emparejar

Emparejados

Regla prctica: Si los valores del puntaje de propensin para

los dos grupos estn cercanos a la lnea de 45 grados, el
emparejamiento ha sido exitoso

6. Qu tan sensibles son las

estimaciones del impacto
ante los diferentes mtodos
usados en el proceso de
emparejamiento por puntaje
de propensin?

Enfoques para evaluar la

sensibilidad de los impactos
Sensibilidad de resultados del
balanceo bajo diferentes algoritmos
Sensibilidad de los clculos de
impacto ante cambios en el algoritmo
de emparejamiento
Sensibilidad del soporte comn
despus de recorte: lmites de
Lechner
Sensibilidad a sesgo escondido
Sensibilidad a la atricin

Sensibilidad de resultados del

balanceo bajo diferentes
algoritmos

Sensibilidad de los clculos de

impacto ante cambios en el
algoritmo de emparejamiento

Regla prctica: Si los resultados de ATT no cambian de signo y

si son estadsticamente significativos, los resultados no son
sensibles a cambios en el algoritmo usado

Soporte comn: desechando

observaciones extremas

Opciones:

1. El investigador desecha
todas aquellas
observaciones para las
cuales el puntaje de
propensin es menor al
mnimo del puntaje de los
tratados y mayor al
mximo del puntaje de
los no tratados

2. El investigador desecha
todas las observaciones
(en los grupos de tratados
y no tratados) tal que el
soporte comn slo
incluye los puntajes de
propensin que tienen
una densidad positiva

3. El investigador desecha
las observaciones con
puntaje de propensin
menor a , donde es
definida como una
distancia desde los
puntos extremos de la
distribucin [0, 1]

Sensibilidad del soporte comn

despus de recorte: lmites de
Interpretacin de la tabla.
cada programa , la
Lechner Para
columna I tiene la informacin
sobre
el
signo
y
la
significancia estadstica del
efecto estimado (donde ++/-indica que los resultados son
significativos al 0.01, mientras
que si es +/- la significancia es
la 0.05). Columna II tiene la
misma informacin pero toma
en cuenta los lmites de
Lechner. Si los resultados en
las dos columnas difiere para
un programa dado entonces el
efecto
del
tratamiento
estimado
es
sensible
al
problema del soporte comn.
En el cuadro se resalta con un
color gris suave los resultados
que tienen un gran efecto
cuando se usa el enfoque de

Sensibilidad a sesgo
escondido: tendencias
comunes

Regla prctica: si la tendencia de la variable de inters difiere

entre los dos grupos, hay un sesgo escondido

Sensibilidad a sesgo
escondido: limites de
Rosembaum
Regla prctica: Mientras el
lmite inferior y el lmite
superior tengan el mismo
signo, el Gama (influencia de
una variable no observada) no
tiene
efecto
en
las
estimaciones.
Si hay una
diferencia de signo, en el
presente caso Gama=1.55, la
variable no observada tiene
influencia (la variable no
observada necesita aumentar
la verosimilitud de seleccin
en el grupo tratado por 51%) y
hay un sesgo escondido con
Gama=1.55 .

Placebo
Placebo I, o sea usando un grupo de
control : si el impacto no es cero el
impacto calculado es dudoso
Placebo II, o sea usando una variable
de inters que no puede ser influida
por el tratamiento

Exogeneidad: Prueba de
Casualidad de Granger (por
cada variable de inters)
Para una interpretacin
causal de resultados,
en una regresin de los
valores
pasados
y
futuros de la variable
de inters, se espera
que los valores del
pasado
sean
estadsticamente
iguales a cero. Si en
los valores del futuro
hay
significancia
estadstica,
entonces
hubo un impacto.

Sesgo debido a la atricin

Comparacin univariada de medias de grupos
salientes y que permanecen
Regresin logstica: factores que contribuyen al
atricin.
Regresin de Cox: informacin de probabilidad
de atricin en el tiempo y los factores que
contribuyen al atricin.

Sesgo debido a la atricin:

Comparacin univariada

Sesgo debido a la atricin:

Regresin Cox

Sesgo debido a la atricin:

Regresin logstica

Bondad de ajuste de Hosmer y Lemeshow = 4.91. Valor

P = 0.77. Todas las proporciones de posibilidades tiene
valor P:0.5

7. Tienen sentido los

resultados encontrados en la
evaluacin?

Validacin externa: el mismo

resultado para varios estudios
sobre programas similares
Meta-evaluacin
Los resultados de una Metaevaluacin
comunmente
se
presentan en un Grfico de
Bosque donde el eje horizontal
mide el efecto del tratamiento,
mientras que la lnea vertical
representa el estudio donde los
grupos
de
tratamiento
y
comparacin tienen la misma
media, es decir donde no hay
diferencia entre ambos. Para cada
estudio individual, la estimacin
es representada por un cuadrado
y a su vez, la lnea horizontal
representa
el
intervalo
de
confianza al 5%.
El anlisis
agrupado es representado por un
diamante,
cuyo
centro
es
localizado en el punto estimado y

Caja Negra: Cadena de

causalidad