Teora de cambio e

indicadores

Ximena Pea
Universidad de los Andes, Colombia
xpena@uniandes.edu.co
Contexto del Curso
1. Introduccin a las Evaluaciones de Impacto
2. Teora de Cambio e Indicadores
3. Por qu y Cmo Aleatorizar
4. Tamao de Muestra y Clculos de Poder
5. Inferencia Causal
6. Evaluaciones Experimentales y Polticas
Pblicas
7. Evidencia de Evaluaciones Experimentales
8. Evaluacin Experimental de Principio a Fin
Esquema de presentacin

I. Introduccin
II. Evaluacin de necesidades
III. Teora de cambio
IV. Indicadores
V. Ejemplo Repblica Dominicana
VI. Datos
I. Introduccin
La presentacin pasada
Se habl de:
1. Cmo se decide qu programas se van
a implementar?
2. Qu tan riguroso es el proceso?
3. Las razones por las cuales es importante
una evaluacin de impacto.
Teora de Cambio

Pero, antes de salir a

terreno, es importante
tener bien pensado lo
que estamos evaluando
y cmo medirlo.
Componentes de las Evaluaciones de Programas
Componente Descripcin
Evaluacin de Necesidades Cul es el problema?

Teora de Cambio Cmo, en teora, el

programa resuelve el
problema?
Evaluacin de Proceso Ha funcionado el programa
como fue planeado?

Evaluacin de Impacto Se han cumplido los

objetivos? En qu
magnitudes?
Costo-Efectividad Cmo se compara este
proyecto con respecto a las
alternativas?
Teora de Cambio

En esta presentacin hablamos de los dos

primeros pasos que se requieren para
evaluar programas y que sientan las bases
lgicas detrs de la evaluacin.
Componentes de las Evaluaciones de Programas
Componente Descripcin
Evaluacin de Cul es el problema?
Necesidades
Teora de Cambio Cmo, en teora, el
programa resuelve el
problema?
Evaluacin de Proceso Ha funcionado el
programa como fue
planeado?
Evaluacin de Impacto Se han cumplido los
objetivos? En qu
magnitudes?
Costo-Efectividad Cmo se compara este
proyecto respeto a las
alternativas?
II. Evaluacin de necesidades
Qu es la evaluacin de necesidades?

La evaluacin de necesidades es un enfoque

sistemtico para:

identificar la naturaleza y el alcance de un

problema social
definir la poblacin objetivo a ser
atendida
determinar la atencin que necesitan para
hacer frente al problema
 Qu pasara si el diseo del programa no
es acorde con la necesidad identificada?
1. No se puede hacer
evaluacin de
impacto
2. El programa podra
no tener un efecto
directo sobre la
necesidad
3. Ambas
4. Ninguna
0% 0% 0% 0%
1. 2. 3. 4.

12
Qu es la evaluacin de necesidades?

Cmo hago una evaluacin de necesidades?

La evaluacin de necesidades se construye a

partir de:
indicadores sociales,
encuestas,
censos,
entrevistas, etc.
Ejemplo 1: Incrementando el ahorro
Componente Descripcin
Necesidad Incrementar el ahorro formal

Problema Costos de retiro de bancos

son muy altos
Solucin Reducir los costos de
transaccin de retiros
Solucin Alternativa Publicitar cuentas para los
ms pobres

Diseo Una cuenta bancaria con

tarjeta de dbito gratis que
rebaja el costo de realizar
retiros bancarios
Ejemplo 1: Incrementando el ahorro
Por qu incrementar el ahorro?
Falta de acceso al ahorro no significa que los pobres no
quieran o no puedan ahorrar.

Collins et al. (2009) demuestran que hogares en situacin

de pobreza ahorran de diversas manera informales, pero
que estos mtodos son usualmente costosos.

Aportela (1999) sugiere que banca formal incrementa

ahorro, inversiones e ingresos.

Mecanismo de proteccin contra choques.

Ejemplo 1: Incrementando el ahorro
Cul es el obstculo al ahorro formal?
Altas comisiones de retiro hacen menos probable que
las personas ahorren en el sector formal.

>
Cules son otros obstculos al ahorro formal?

1. No tienen ingresos
suficientes
2. Falta de informacin
sobre la banca
formal
3. Distancia de bancos
4. Todas

0% 0% 0% 0%
1. 2. 3. 4.

17
Ejemplo 1: Incrementando el ahorro

Cmo atacar este

problema para incrementar
el ahorro?

Hacerlo menos costoso y

ms conveniente para el
usuario.
Ejemplo 1: Incrementando el ahorro
Cul es una solucin?
Reducir las tasas de transaccin
de retiro (comisin) que cobra el
banco y dar tarjetas de dbito
gratis.

Esto responde a la necesidad si

logra hacer del ahorro formal ms
atractivo.
Ejemplo 2: Pobreza y salario mnimo

Componente Descripcin
Necesidad Disminuir los niveles de
pobreza
Problema Salarios muy bajos
Solucin Instaurar un salario mnimo
ms alto
Solucin Alternativa Incentivar la entrada al
sector formal
Diseo Aumentar el salario mnimo
real
Ejemplo 3: Desnutricin y computadoras

Componente Descripcin
Necesidad Mejor la nutricin de los
nios de bajos recursos
Problema Desnutricin crnica
Solucin Mejorar el acceso a la
informacin sobre comidas
de alto valor nutricional
Solucin Alternativa Subsidiar la compra de
comidas de alto valor
nutricional
Diseo Entregar laptops con libros
de nutricin pre-cargados
III. Teora de cambio
Teora de Cambio
Representa la cadena CAUSAL entre:
Necesidades/Objetivos
Insumos
Productos
Resultados intermedios
Impactos (esperados y no deseados)

Facilita definicin de hiptesis a verificar.

Facilita construccin de indicadores para medir distintas
metas del programa.
Cadena de causalidad

Objetivos Resultados
Insumos Productos Impactos
Intermedios

Son Medibles
Ejemplo 1: Incrementando el ahorro

Insumos Productos Resultados Impactos

Objetivos
Intermedios

Aumenta el
Incrementa
Clientes ahorro
la cantidad
Incentivar el Cuenta abren cuenta (inversin,
de dinero
ahorro bancaria con y reciben consumo
que guardan
retiros gratis tarjeta de durables,
en los
dbito gratis fluctuaciones
bancos
etc.)
Ejemplo 2: Pobreza y salario mnimo

Insumos Productos Resultados Impactos

Objetivos
Intermedios

Mayor
Reducir la Mayores
Aprobacin de Aumento en consumo y
pobreza ingresos entre
ley/negociacin mnimo real ahorro entre los
los ms pobres
ms pobres
 Ejemplo 3: Desnutricin y computadoras

Insumos Productos Resultados Impactos

Objetivos
Intermedios

Mejorar la Computadoras
Padres y nios
nutricin de Informacin que incluyan Disminuir la
ms
los nios de sobre el valor libros pre- desnutricin
informados
escasos nutricional de grabados de los nios
sobre la
recursos las comidas sobre la ms pobres
nutricin
nutricin
 Cul es el mejor momento para definir la
teora de cambio?

1. Antes de la evaluacin,
para que todas las
partes tengan claros los
objetivos del programa
y cmo se alzan.
2. Despus de la
evaluacin, para
entender lo que pas a
lo largo de la cadena 0% 0%
causal.
1. 2.

28
IV. Indicadores
Indicadores
Una definicin objetiva del xito de un programa
tiene que estar basado en resultados tangibles.

Para esto necesitamos desarrollar indicadores

que nos permitan:
Cuantificar los insumos en la intervencin
Evaluar la implementacin de la intervencin
Cuantificar los resultados e impactos
Registrar las percepciones de la
intervencin.
 Indicadores
En algunos casos el desafo est en definir indicadores.
Programa de capacitacin para micro-emprendedores vs.
empoderamiento femenino.

Buenos indicadores deben ser:

C laros: precisos y sin ambigedad

R elevantes: apropiados para la medicin en cuestin
E conmicos: fciles de medir y recolectar
A decuados: suficientes para detectar impactos en hiptesis
claves
 Indicadores
En otros casos el desafo est en la medicin.
Por ejemplo:

Corrupcin: Los actos de corrupcin son difciles de medir

porque por definicin quienes comenten estos actos tienden a
esconderlos.

Ahorro: El ahorro es difcil de medir:

Problemas de agregado: existen diferentes fuentes de
ahorro, incluyendo formales e informales.
Problemas de medicin a travs de tiempo: El momento de
la medicin (justo antes o despus de un retiro) puede
afectar en gran medida los resultados.
Indicadores: Ejemplo
Resultados
Insumos Productos Intermedios Impactos

Clientes abren Incrementa la Aumenta el ahorro

Cuenta bancaria cuenta y reciben cantidad de dinero (inversin, consumo
con retiros graris tarjeta de dbito que guardan en los durables,
gratis bancos fluctuaciones etc)

Insumos Productos Resultados Impactos Impactos de

Intermedios largo plazo

Saldos de
Nmero de Nmero de Monto y ahorro en
cuentas cuentas frecuencia de cuentas ?
ofrecidas abiertas depsitos formales
Cul de los siguientes es un buen indicador de
impactos de largo plazo?

1. Inversin en activos
2. Cambios en
consumo
3. Felicidad de los
hogares
4. 1 y 2
5. Ninguno
0% 0% 0% 0% 0%

1. 2. 3. 4. 5.

34
Indicadores: Ejemplo
Insumos
Cuenta bancaria que
incentiva los retiros
Resultados
Productos Intermedios Impactos
Incrementa la
Clientes abren Aumenta el ahorro
cantidad de dinero
cuenta y reciben (inversin, consumo
que los ahorrantes
tarjeta de dbito durables,
estn dispuestos a
gratis fluctuaciones etc)
poner en cuentas

Insumos Productos Resultados Impactos Impactos de

Intermedios largo plazo

Cuenta bancaria Inversin en

Numero de
est en Tasa de Saldos de ahorro activos
retiros de
operacin de adopcin de los
efectivo y Consumo
acuerdo a su cuentas.
montos.
diseo original ingresos
 V. Ejemplo
Repblica Dominicana
Juventud y Empleo
Antecedentes
En Repblica Dominicana, la tasa de
desempleo juvenil era de 34% en el ao 2011

Problema de desempleo entre los jvenes,

atribuible a falta de habilidades.
Adems de una falta de habilidades, que
ms podra explicar el problema de
desempleo juvenil?
Programa

El gobierno de la Repblica
Dominicana implement un
programa de capacitacin entre
los aos 2001 y 2006 que le ofreca
a jvenes vulnerables en zonas
urbanas una combinacin de
orientacin laboral y pasantas que
duraban dos meses.
Estructura
El gobierno subcontrat a
instituciones privadas para
impartir clases.

Estas instituciones tenan

que constatar que haban
empresas dispuestas a
ofrecer pasantas de dos
meses para los
participantes.
Estructura
Despus de una campaa de comunicacin
aquellos interesados en el programa postularon en
la oficina local de empleo del gobierno.
Imaginemos que debemos evaluar el impacto de
este programa de capacitacin.
Cules son los resultados de inters ms
importantes?
Cmo los podemos medir?
Qu datos tienen que ser recolectados para
medir impacto?
Teora de cambio
Recordemos:

Una teora de cambio identifica la cadena causal

entre la intervencin y los resultados finales
esperados.
 Teora de cambio

Insumos Productos Resultados Impactos

Necesidades
Intermedios

Jvenes
Alta tasa de Aumenta la
capacitados y Jvenes
desempleo Programa de probabilidad
con encuentran
entre los capacitacin de que los
habilidades ms y
jvenes de Jvenes y jvenes
valoradas por mejores
bajos recurso empleo encuentren
el mercado trabajos
empleo
labora
Teora de cambio

Cules son los supuestos necesarios

para esta cadena causal?

Qu tiene que ocurrir para que esta

cadena causal funcione?
 Teora de cambio

Insumos Productos Resultados Impactos

Necesidades
Intermedios

Alta tasa de Jvenes

Aumenta
desempleo capacitados y Jvenes
Programa de probabilidad
entre los con encuentran
capacitacin de que
jvenes de habilidades ms y
Jvenes y jvenes
bajos valoradas por mejores
empleo encuentren
recursos el mercado trabajos
trabajo
laboral
 Cul de los siguientes no es un supuesto
necesario?
1. Desempleo juvenil es
ms alto para las
mujeres
2. Programa incrementa
participacin en el sector
formal
3. Desempleo juvenil es
causado por poca
experiencia
4. Programa puede
entregar habilidades
valoradas por el 0% 0% 0% 0%
mercado
1. 2. 3. 4.
45
 Teora de cambio

Algunas preguntas:
Qu indicadores mediran en cada paso de su
teora de cambio?
Cmo recolectara datos para estos indicadores?
Cree que tendra dificultades en recolectar
estos datos?
 Teora de cambio

Insumos Productos Resultados Impactos

Necesidades
Intermedios

Jvenes
Alta tasa de Aumenta
capacitados y Jvenes
desempleo Programa de probabilidad
con encuentran
entre los capacitacin de que
habilidades ms y
jvenes de Jvenes y jvenes
valoradas por mejores
bajos recurso empleo encuentren
el mercado trabajos
trabajo
laboral
VI. Datos
 Una ltima consideracin
antes de lanzarse a realizar
evaluaciones de impacto
Dnde podemos conseguir informacin?

Datos administrativos
Otros Datos Secundarios
Datos primarios
Dnde podemos conseguir informacin?
Datos primarios:
Encuestas auto-reportadas
Examenes, tests, etc.
Algunos juegos para
notar preferencias
Observacin, Logs

Cules podran ser algunos problemas con

estos recursos?
 Teora de cambio

Insumos Productos Resultados Impactos

Necesidades
Intermedios

Jvenes
Alta tasa de Aumenta
capacitados y Jvenes
desempleo Programa de probabilidad
con encuentran
entre los capacitacin de que
habilidades ms y
jvenes de Jvenes y jvenes
valoradas por mejores
bajos recurso empleo encuentren
el mercado trabajos
trabajo
laboral

Certificado/ Encuestas Encuestas

Tasa de
Desempleo/ Exmen de Registros de
Encuestas Habilidades, Seguridad Social
Carta Recom.
Empleador
Conclusin

La Teora de cambio nos ayuda a ordenar ideas

y pensar bien sobre las preguntas que se estn
haciendo y cmo medir las respuestas.

Una buena evaluacin experimental depende en

gran medida del trabajo que se haga con
anterioridad.
Gracias
 Bibliografa

Card, David, Pablo Ibarrarn, Ferdinando Regalia, David Rosas-Shady and

Yuri Soares. The Labor Market Imapacts of Youth Training in the
Dominican Republic. Journal of Labor Economics, 2011, vol 29, no 2.
Gertler, Paul, Sebastin Martnez, Patrick Premand, Laura B. Rawlings, and
Christel M.J. Vermeersch. Impact Evaluation in Practice. Washington, D.C.:
World bank, 2011.
Schaner, Simone G. The Cost of Convenience? Transactions Costs,
Bargaining Power, and Savings Account Use in Kenya. July 7, 2011