Modulo IV Evaluacion Ex Post

UNIVERSIDAD NACIONAL DEL CENTRO DEL PERÚ
FACULTAD DE ECONOMÍA
UNIDAD DE POSGRADO
MAESTRÍA: PLANIFICACIÓN Y PROYECTOS DE INVERSIÓN
Curso
“ EVALUACION SOCIAL DE
PROYECTOS DE INVERSION”
Dr. Econ. Juan ESTELA y NALVARTE

Correo electrónico: juanestelaconsultor@yahoo.es
juanestelaconsultor@hotmail.com
1
EVALUACIÓN EX POST
Y DE IMPACTO
Evaluación Ex Post: Motivación e Introducción

Evaluación ExPost: Introducción
Definición general
 Expost (después del proyecto) en contraposición
a Ex- ante (antes del proyecto).
Aplicación Ex - post es limitada

 No es sistemática en Sistema Nacional de
Inversión Pública con 30 años de vigencia como
Colombia o Chile
 Sistemática en Departamentos de evaluación y
operaciones del Banco Mundial y el BID, pero es
para gestión interna de estas entidades
 No desarrollado en Sistema de Inversión Pública
Peruano
Evaluación Ex - Post (SNIP): Introducción
Evaluación Ex - Post: Introducción
Evaluación Ex - post
 Sin embargo, la tendencia actual es a un mayor
desarrollo sistemático de Evaluación Ex post en
proyectos en general (Estado, Bancos de
Desarrollo, ONGs, etc.)
 ¿Por qué?: Mayor “demanda” Vinculado a
impulso de “Rendición de cuentas” de eficacia
de proyectos
 Se esta desarrollando “oferta” de instrumentos
de seguimiento (=monitoreo) y evaluación
 Evaluación Ex post es un “instrumento”
específico de la evaluación de proyectos pero
estrechamente vinculado a otros más generales
de evaluación y seguimiento
Complicaciones
 Relación ciclo de proyectos y ciclo de evaluación
 Existencia de proyectos continuos donde operación e
inversión se realizan simultáneamente o no es
necesario que se realice toda la inversión para generar
beneficios
 Definiciones no estándares. El uso de estas se refiere
a diferentes contextos:
->Proyectos de inversión pública
->Gestión basada en resultados
->Sistemas de seguimiento sectoriales, etc.
Evaluación Ex - Post: introducción
Preinversión Inversión Post Inversión
Depende de la Factibilidad Estudios y Evaluación

envergadura
del proyecto expediente técnico Ex post
Prefactibilidad
Operación y
Ejecución
Idea Perfil mantenimiento
Evaluación Ex - Post: Ciclo de Evaluación de
Proyectos
ESTADO ETAPA TIPO DE EVALUACIÓN AMBITO DE
EVALUACIÓN
Idea
Preinversión Perfil Evaluación ex- Preinversión
ante
Prefactibilidad
Factibilidad
Inversión Ejecución Seguimiento físico Inversión

financiero
Término de la Informe de
Inversión inversión término de Inversión
proyecto (ITP)=
Evaluación de la
Ejecución
Seguimiento de la
Operación Operación operación, Operación
Evaluación
Intermedia
Evaluación Operación /
Operación Término de la ex-post Inversión
operación
Evaluación Ex-Post: Ciclo de Evaluación de
Proyectos
Evaluación ExPost y Ciclo de Evaluación en Proyecto Secuencial
Fin Inversión=
Inicio Operación Fin Operación
C p
i r >>>>>>Inversión>>>>>>> >>>>>>Inversión>>>>>>> >>>>>>Operación>>>>>>> >>>>>>Operación>>>>>>>
c o
l y
o e
c
d t
e o t
0 1 2 3 4 5 6 7 8 9 10
----->>>>Seguimiento---->>>>>----->>>>Seguimiento---->>>>> ---->>>>Seguimiento---->>>> ---->>>>Seguimiento---->>>>
E
C
v Evaluación de la ejecución Evaluación Intermedia
i
a (Evaluación de operación)
c
l (Evaluación de impacto parcial)
l
u
o
a
c
d
i
e
ó
n Línea de base Evaluación ExPost
Evaluación Ejecucicón Final (Evaluación Ejecución Final,
Evaluación Operación Final
Evaluación Impacto Final)
>>>>>>>>>>>>>>>>>Inversión>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>Operación>>>>>>>>>>>>>>>>>>>
Evaluación Ex-Post: Ciclo de Evaluación de
Proyectos
Evaluación ExPost y Ciclo de Evaluación en Proyecto Continuo
Inicio Inversión y Fin Operación=

Operación Fin de Inversión
C p >>>>>>Inversión>>>>>>> >>>>>>Inversión>>>>>>>
i r >>>>>>Operación>>>>>>> >>>>>>Operación>>>>>>>
c o
l y
o e
c
d t
e o t
0 1 2 3 4 5 6 7 8 9 10
---->>>>Seguimiento---->>>> ---->>>>Seguimiento---->>>>
E
C
v
i
a Evaluación Intermedia
c
l (Evaluación de ejecución,
l
u
o Evaluación de operación y
a
Evaluación de impacto parcial)
c
d
i
e
ó
n Línea de base Evaluación ExPost
(Evaluación Ejecución Final,
Evaluación Operación Final y
Evaluación Impacto Final)
>>>>>>>>>>>>>>>>>Operación>>>>>>>>>>>>>>>>>>>
>>>>>>>>>>>>>>>>>Inversión>>>>>>>>>>>>>>>>>>>
Evaluación Ex-Post: Introducción
Semántica básica
 Evaluación: Verificación del cumplimiento de un
objetivo (Ej. Impacto, eficiencia, eficacia,
sostenibilidad, etc.) en un momento del tiempo
 Seguimiento: Verificación continua del
cumplimiento de objetivos (Ej. Eficiencia,
eficacia, etc.)
 Línea de Base: Situación previa a la operación
del proyecto a partir del cual se puede medir su
contribución
Evaluación Ex-Post: Introducción
Enfoque Benchmark
 Benchmark de Evaluación Expost: Diseño de
Evaluación Expost en la etapa de diseño
(preinversión) del proyecto.
 Ello supone la ejecución de: (i) Una línea de
base y (ii) Seguimiento de la ejecución y
operación del proyecto.
 Sin (i) y (ii) la Evaluación Expost no cumple sus
objetivos
INTRODUCCIÓN A LA EVALUACIÓN
EX POST Y DE IMPACTO
Evaluación de Impacto:
Introducción a conceptos y
técnicas para la evaluación de
impacto
Introducción
Evaluación de impacto (EI) como parte

del Ciclo de Evaluación de Proyectos
 Ámbito: Centrada en los resultados u

outcomes de un Proyecto
 Metodológica: Metodologías de recolección

de información primaria y modelos analíticos
más complejos
1. Ámbito de Evaluación de Impacto (EI)
El Propósito y/o Fin de un Proyecto
Objetivos Indicadores Fuentes Supuestos

Fin Objetivo de Desarrollo Outcomes Evaluación de Impacto
Ámbito de evaluación de
Propósito Objetivo General Outcomes Evaluación de Impacto impacto de un proyecto
Productos Objetvos Específicos Output Seguimiento y Evaluación

de Operación Ámbito de seguimiento y
evaluación de ejecución y
Actividades Input Seguimiento y Evaluación operación de un proyecto
de Ejecución
2. Objetivo a evaluar por EI
Los beneficiarios están mejor “con” Proyecto frente a su

situación “sin” proyecto = “debido a” su participación en
Proyecto
 “Mejor” en qué?: En el “outcome” del proyecto
Objetivos Indicadores
Fin Objetivo de Desarrollo

Propósito Objetivo General Indicador 01:
"Los beneficiarios están "mejor" Los beneficiarios presenta un incremento de impacto de un proyecto
"debido a" o "con" Proyecto" X% en variable de "outcome" frente a un grupo
de control, debido al proyecto
2. Objetivo a evaluar por EI
Objetivo a evaluar por EI
 Ejemplos de “outcomes”
Ejemplos de Proyectos Objetivos Indicadores
Propósito Objetivo General: Rendimiento educativo
Educación
Los alumnos beneficiarios alcanzan mayor Los beneficiarios presenta un incremento de X% en
rendimiento e lectura y escritura inicial con Proyecto rendimiento en LEI frente a un grupo de control
Salud Propósito Objetivo General: Mortalidad infantil
Los niños beneficiarios presentan una menor tasa de Los beneficiarios presenta una disminución de X% en la
mortalidad tasa de mortalidad infantil frente a un grupo de control
Caminos Rurales Propósito Objetivo General: Costos Logísticos
Los productores beneficiarios alcanzan menores Los beneficiarios presenta una disminución de X% en sus
costos logísticos con Proyecto costos logísticos frente a un grupo de control
Pobreza Propósito Objetivo General: Alivio de pobreza
Los hogares beneficiarios presentan una menor tasa Los beneficiarios presenta una disminución de X% en la
de pobreza con Proyecto tasa de pobreza frente a un grupo de control
Información Agraria Propósito Objetivo General: Margen de comercialización
Los productores beneficiarios presentan un mejor Los beneficiarios presenta un aumento de X% en el
margen de comercialización con Proyecto margen de comercialización frente a un grupo de control
3. Población objetivo y beneficiarios
Población objetivo: Aquella que el proyecto tiene programado

atender en un período dado de tiempo, pudiendo corresponder a
la totalidad de la población potencial o a una parte e ella
 Beneficiarios: son aquellos que están siendo o han sido
atendidos por el proyecto
Beneficiarios
Población
Objetivo
Población No Beneficiarios Potenciales

Total Controles
Población No
Objetivo
3. Población objetivo y beneficiarios
Ejemplos de beneficiarios:
 individuos (Ej. Alumnos), hogares y
empresas/unidades de producción
Localidades/regiones= conjunto de individuos y/o
hogares y/o empresas
4. Identificación del Impacto de un Proyecto
Estimador de EI “ingenuo” (naive)

 YB1-YB0
 ¿Porqué no identifica el impacto de un
proyecto?
Estimador de EI “ingenuo” (naive) (YB1-YB0)

Indicadores 2005 2010
Ejemplos de Proyectos Objetivos YB0 YB1

Educación
Los alumnos beneficiarios alcanzan mayor Los beneficiarios presenta un incremento de X% en
rendimiento en lectura y escritura inicial con rendimiento en LEI frente a un grupo de control 50 65
Salud Propósito Proyecto
Objetivo General: Mortalidad infantil
Los niños beneficiarios presentan una menor tasa Los beneficiarios presenta una disminución de X% en la
de mortalidad tasa de desnutrición cronica frente a un grupo de control
25% 15%
Los productores beneficiarios alcanzan menores Los beneficiarios presenta una disminución de X% en
costos logísticos con Proyecto sus costos logísticos frente a un grupo de control 20% 18%
Los hogares beneficiarios presentan una menor tasa Los beneficiarios presenta una disminución de X% en la
de pobreza con Proyecto tasa de pobreza frente a un grupo de control 51% 40%
Los productores beneficiarios presentan un mejor Los beneficiarios presenta un aumento de X% en el
margen de comercialización con Proyecto margen de comercialización frente a un grupo de control
10% 20%
2005 2010 Diferencia Diferencia

2010-2005 2010-2005
Ejemplos de Proyectos Objetivos YB0 YC0 YB1 YC1 YB1-YB0 (YC1-YC0)
Objetivo General: Rendimiento
Propósito
Educación educativo
Los alumnos beneficiarios alcanzan
mayor rendimiento en lectura y 50 50 65 55 15.0 5.0
Salud Propósito escritura inicial conMortalidad
Objetivo General: Proyecto infantil
Los niños beneficiarios presentan una
menor tasa de mortalidad
25% 25% 15% 15% -10.0% -10%
Los productores beneficiarios alcanzan
menores costos logísticos con
Proyecto 20% 20% 18% 19% -2.0% -1.0%
Los hogares beneficiarios presentan
una menor tasa de pobreza con
Proyecto 51% 51% 40% 45% -11.0% -6%
Objetivo General: Margen de
Propósito
Información Agraria comercialización
Problema de la atribución (causalidad) de un
Proyecto
 Múltiples factores cambian de forma simultanea
durante la ejecución y operación del Proyecto
 Estos factores externos al Proyecto son, por ejemplo,

cambios normales en el entorno o cambios no
normales (“shocks”)
Cambios normales: Evolución de la economía (Ej.
Crecimiento del PBI) y evolución de los individuos (Ej.
Niños crecen)
Cambios no normales: Presencia de otros proyectos
públicos y privados que afectan el “outcome” del
Proyecto, etc.
…Problema de la atribución (causalidad) de un
Proyecto
 Estos cambios en el “outcome” debido a factores
externos hubieran ocurrido de todas maneras sin
proyecto
 Problema: Puedo confundir (subestimar o sobreestimar)
la medición del verdadero impacto del proyecto debido
a estos factores externos
 Solución:
Paso 01: Generar situación de comparación “sin
proyecto” denominado escenario contrafactual
Paso 02: Comparar situación “con proyecto” con
“escenario contrafactual”
5. Escenario contrafactual
Definición
 ¿Qué outcome hubieran presentado los
beneficiarios sin proyecto?
 Situación del beneficiario “sin proyecto”
Problema con escenario contrafactual
 No se puede observar el escenario
contrafactual
 Observo a la unidad de la población objetivo
(individuos, hogares, empresas, etc.) como
beneficiarios (con proyecto) o no beneficiarios
(sin proyecto) pero no ambos en un particular
momento del tiempo
Estados posibles para beneficiarios y controles
Antes del proyecto Después del proyecto
A: Estado de “tratamiento”
E: situación
(YB1, XB1 y UB1)
antes del
Beneficiarios proyecto (YB0,
XB0 y UB0) B: Estado de “no-
tratamiento”
(YB1*, XB1* y UB1)
C: Estado de “tratamiento”
F: situación
Controles antes del
proyecto (YC0,
XC0 y UC0) D: Estado de “no-
tratamiento” (YC1, XC1 y
UC1)
Situaciones Situaciones no
observables observables
Semántica básica y notación
 Impacto: comparación del outcome del beneficiario con
un “correcto” grupo contrafactual
 Tratamiento: Estado que identifica la participación en el
proyecto
 Grupo de tratamiento o beneficiario: Quienes participan
en el proyecto
 Grupo de control: El grupo contrafactual que no
participa en el proyecto
 No observable: Lo que no puedo medir o mido mal
...Semántica básica y notación
 t=0: periodo “0” o antes del proyecto (línea de base)

 t=1: periodo “1” o después del proyecto
 Cualquier variable (Y, X, U) siempre se refiere a la media
del grupo o muestra respectivo
 YB0: Outcome del beneficiario antes del proyecto (=línea
de base)
 YB1: Outcome del beneficiarios después del treatment o
proyecto
 YC0: Outcome de los controles antes del proyecto
 YC1: Outcome de los controles después del proyecto
 XB0: Variables características observables del beneficiario
antes del proyecto (=línea de base)
...Semántica básica y notación
 XB1: Variables características observables del beneficiario
después del proyecto
 UB0: Variables características no observables del
beneficiario antes del proyecto (=línea de base)
 UB1: Variables características no observables del
beneficiario después del proyecto
 XC0, XC1, UC0 y UC1 ídem para los controles
 YB1*: Outcome del beneficiarios en estado de no
tratamiento
 XB1*: Variables características observables del
beneficiario después del proyecto en estado no
tratamiento
Solución: “Construir” un escenario contrafactual
para los beneficiarios
 Paso 01: Seleccionar grupo “control” o de
“comparación” como escenario contrafactual de los
beneficiarios
 Paso 02: Comparar el outcome de los beneficiarios y
controles luego del Proyecto
Problema: Sesgo de selección

 Sesgo de selección: No beneficiarios difieren
sistemáticamente de beneficiarios
Beneficiarios
(YBt, XBt y UBt)
Controles o Grupo
Población Contrafactual
Objetivo (YCt, XCt y UCt)
No Beneficiarios Potenciales
(YNBt, XNBt y Controles
UNBt) (YPCt, XPCt y
UPCt) No Contrafactuales
Población No (YNCt, XNCt y
Objetivo UNCt)
6. Sesgo de selección
 Definición: Existen diferencias sistemáticas entre los
que participan en un proyecto y quienes no, aún siendo
definidos estos como población objetivo no beneficiaria
 Problema: Las muestras de beneficiarios y no

beneficiarios están sesgadas y no podemos usar los
“outcome” promedio de estos grupos para identificar el
impacto del proyecto
Cuál es el origen del sesgo?

 Participación en un proyecto es casi siempre una
opción. Los no beneficiarios van a diferir en
características observables o no observables de los
beneficiarios
 Diferencia en características observables: Ej. Sexo y
situación laboral (Ej. Activo o No activo):
_ En el proyecto “Modalidad flexible de educación de

adultos (culminar secundaria)” las mujeres amas de
casa (no activas laboralmente) tuvieron mayor
propensión a participar que los hombres adultos jefes
de hogar (activos laboralmente)
_ Ambos subgrupos son población objetivo pero la mayor

propensión de mujeres amas de casa a participar tuvo
como consecuencia que beneficiarios y no beneficiarios
difirieran sistemáticamente en características
observables sexo y situación laboral
…Cuál es el origen del sesgo?

 Diferencia en características observables: Ej. Selección
de beneficiarios por los operadores del proyecto
_ Este problema está presente siempre. Se denomina
selección por la “oferta”
_ Se elige:
Ej01: “localidades” más organizadas, en proyectos de
alivio de pobreza rural
Ej02: “colegios” con “mejor” director, en proyectos de
educación
Ej03: “alumnos” con padres más motivados
…Cuál es el origen del sesgo?
 Diferencia en características no observables:
Motivación de los individuos
_ Este problema está presente siempre.
_ Ej01: Padres motivados y proyecto de educación

> Alumnos con padres con alta valoración de la
educación (más información y dedican más esfuerzo a
educación de sus hijos) tienen alta probabilidad de
participar en “mejores” colegios o en “proyectos”
educativos de innovación.
..._ Ej01: Padres motivados y proyecto de educación
>El sesgo proviene de comparar alumnos beneficiarios
con padres altamente motivados frente a alumnos no
beneficiarios con padres no motivados
>Alumnos beneficiarios y no beneficiarios son idénticos

en todas las variables observables pero con variable no
observable “padres motivados” distinta
Corregir el sesgo implica
 Equivalencia estadística en variables observables en el
período 0
>YB0=YC0 y XB0=XC0
 Equivalencia estadística en variables no observables en
el periodo 0
>UB0=UC0
 Equivalencia estadística en variables no observables en
el periodo 0 y 1
>UB1=UB0
7. Estimador de EI
Estimador de Diferencias en Diferencias
 Definición: (YB1-YB0) – (YC1-YC0)
 (YC1-YC0) = ? (Tarea para el control)
 La validez del estimador depende de nuestros
supuestos y data disponible.
 Cuando existen problemas de variables no-observables
y estas son invariantes en el tiempo no cambian con el
tiempo) estas puede ser corregida mediante el
estimador de Diferencia en Diferencia
Ej.
(YB1+UB1)-(YB0+UB0) – (YC1+UC1)-(YC0-UC0)
No observable invariante en t: UB1=UB0 y UC1=UC0
 (YB1-YB0)-(YC1-YC0)= Estimador de Impacto,
A pesar de: UB1=UB0 =~ UC1=UC0
7. Uso de diferentes estimadores de impacto
1. Uso y/o aplicación de los distintos estimadores presentados en clase: corte transversal, comparación reflexiva, dobles
diferencias y comparación de medias. Cuándo se utiliza uno ó el otro? se pueden utilizar de manera complementaria?
Ejemplos
3.1 Caso 01: Corte Transversal = Diferencias a Diferencias. Por tanto, Corte Transversal calcula el verdadero impacto del proyecto.
Comparación reflexiva es diferente del estimador de Diferencias a Diferencias. Por consiguiente, no calcula el verdadero impacto del
proyecto
Variable (Y)= Ingresos por hora promedio Cálculo de estimadores de impacto cuasi experimentales
Línea de base 18 meses Fórmula Cálculo
(t0) (t1)
Control S/. 1.14 S/. 1.40 Corte Transversal YB1-YC1 S/1.54-S/.1.4 S/. 0.14
Beneficiario S/. 1.14 S/. 1.54 Comparación reflexiva YB1-YB0 S/1.54-S/.1.14 S/. 0.40
Diferencias en Diferencias (YB1-YB0)-(YC1-YC0) (S/1.54-S/.1.14)-(S/1.40-S/.1.14) S/. 0.14
3.2 Caso 02: Corte Transversal y Comparación Reflexiva no son iguales al estimador de Diferencias a Diferencias. Por tanto, Corte
Transversal y Comparación reflexiva no calculan el verdadero impacto del proyecto
Variable (Y)= Ingresos por hora promedio Cálculo de estimadores de impacto cuasiexperimentales
Línea de 18 meses Fórmula Cálculo

base (t0) (t1)
3.3 ¿Cómo sé si estoy en el Caso 01 o Caso 02? No puedo saberlo. Por ello, corte transversal tiene como supuesto que YB0=YC0
3.4 Tiene que utilizarse siempre el de diferencias en diferencias. Cuando no tengo línea de base o medición del momento t0 sólo puedo
aplicar corte transversal.
8. Tipos de diseño o metodología de EI
 El diseño de la EI presenta opciones metodológicas que
son críticas para la calidad de la EI
 La más importante es la disponibilidad de data en t=0 y
t=1
 La EI óptima es aquella que se diseña cuando el proyecto
se está diseñando (Evaluación Ex Ante)
 La mayoría de las EI son diseñadas luego que el
programa ha sido ejecutado y se encuentra en operación
 Esta situación restringe severamente las opciones de la EI
 La EI del presente curso es una donde se hace línea de
base y mediciones posteriores y se construye un grupo
mediante métodos cuasi - experimentales. En esta
medida no es el benchmark de EI (diseño experimental)
pero es el “second best”
 Cuasi Experimental
 Experimental
Experimental
 Grupo contrafactual formado a través de aleatorización
(Sorteo)
 Controles tienen que estar igualmente interesados en
participar en el proyecto
 Requiere de mucha planificación antes del inicio del
proyecto (la línea de base)
 Se tiene que aplicar un registro o censo de beneficiarios
en algunas variables características básicas antes de
hacer la línea de base
 Políticamente controversial cuando la aleatorización es
a nivel de individuos y más aceptada a nivel de
localidades
Experimental
 Ejemplos de experimentos
Ej01: Progresa (México), RPS (Nicaragua), “NN01”
(Honduras) y NN02 (Colombia)
Outcome: Asistencia al colegio, nutrición y salud
Treatment: Cash Transfer
Aleatorización: A nivel de localidad
Ej02: Proyecto STAR (Kentucky-USA)
Outcome: Rendimiento educativo
Treatment: Disminución del ratio alumno por profesor
Aleatorización: A nivel de alumno
Cuasi -Experimental
 Grupo contrafactual se construye con individuos con
similares características (beneficiario no tratado)
 Formalmente se refiere a este grupo contrafactual como de
“comparación” no de “control”
 Estos métodos de selección de controles con base a su
probabilidad de participación se conocen como estimadores
de “matching”.
Cuasi-Experimental
 Estos métodos de selección de controles con base a su
probabilidad de participación se conocen como estimadores
de “matching” o emparejamiento.
 Existe una variedad de estimadores de matching
 El emparejamiento (matching) consiste en asignar para
cada beneficiario un control. Dicha asignación se realiza
sobre la base de emparejar aquel beneficiario con aquel
control que sea “lo más parecido”. Una vez establecida las
parejas de beneficiarios y controles “emparejadas” se podrá
estimar el impacto promedio del programa como el
promedio del impacto para cada pareja.
Cuasi-Experimental (Ejemplo Projoven)
 Las variables que deben de ser incorporadas en este

emparejamiento son aquellas que tienen un efecto
significativo en el impacto en el programa y al no ser
controladas pueden sesgar los resultados.
Etapa de Campo
1.1 A partir de las viviendas de cada beneficiario se ubicó a los
potenciales controles a través de 5 variables de decisión:
sexo, edad, situación laboral, educación y nivel de pobreza..
En principio se podrían (deberían) seleccionar más de 01
potencial control por beneficiario pero lo que debe de
quedar claro es que por lo menos se debe seleccionar a 01.
1.2 En el proceso de trabajo de campo incorpora en el

emparejamiento variable que pueden ser identificadas en
esta etapa como: Sexo, edad, situación ocupacional, región,
etc.
1.3 Sin embargo, en el trabajo de campo no se puedo

emparejar a los beneficiarios en variables que también
deben de ser controladas como los ingresos, por ejemplo. El
análisis de equivalencia estadística (test t de medias) de la
variable ingresos de la muestra original de beneficiarios y
controles encuentra que diferían significativamente en esta
variable.
1.4 Por ello, se debe completar el proceso de

emparejamiento realizado en el campo por uno
computacional que incorpore variables adicionales de
emparejamiento.
2.1 En primer lugar, tenemos una base de datos

preparada para los cálculos como en la Tabla 01 con la
información disponible para 1018 beneficiarios del
programa y 1561 posibles controles
2.2Procedemos a calcular el propensity score para cada

beneficiario y control. Para ello estimamos un modelo
probit o probabilidad de ser beneficiario donde la
variable dependiente toma valor “1” si el individuo es
un beneficiario y valor “0” si es un control. El modelo
estimado es el siguiente:
P(y  1)  F(π̂1Hijo  π̂ 2 Labor  π̂ 3 Ing.famili ar  π̂ 4 Edu.Padre  π̂ 5 Edu.Madre)  e


 Donde las variables consideradas son:
hijo2: si es mujer con hijo
curso: si llevó algún curso técnico
labora: si laboraba antes
ingreso familiar: logaritmo del ingreso familiar mensual
per capita del resto de individuos del hogar
pedu2: padre con educación superior
medu2: madre con educación superior
 Los modelo probit estimado se presenta en la tabla
siguiente:

2.2 Luego, se reemplaza – para cada beneficiario y
control- sus valores respectivos de las variables
consideradas: hijo2, curso, labora, ingreso familiar,
pedu2 y medu2 en la ecuación del probit y con los
estimadores obtenidos de la regresión probit se calcula
“propensity score” para cada individuo. Este cálculo lo
hace el paquete estadístico en la medida que tiene que
considerar los errores estimados del probit para cada
beneficiario y control. Este cálculo del probit se
presenta en la Tabla 2
2.3 El procedimiento de emparejamiento consistió en aparear a
un beneficiario con un control que cumpliera con las
siguientes características:
a. sea de la misma ciudad y
b. sea del mismo sexo y
c. cuya edad sea, a lo más, dos años distinta y
d. con un nivel educativo que, a lo más, discrepe en un año de
educación y
e. que tenga la misma situación laboral y
f. cuyo índice de pobreza discrepe en no más de 4 puntos y
g. tenga un “propensity score” que sea distinto en a lo más 0.2
puntos

2.4 Dentro de ese grupo posible de controles finalmente se
eligió sólo a uno. Éste era aquel control que tuviera:
h. Mayor similitud en el ingreso por hora percibido y en el total
de horas trabajadas por semana a partir de la menor
distancia euclideana, previa estandarización de las variables.
2.5 Si para un beneficiario no se encontraba un control que

cumpliera con todos los requisitos previamente descritos,
ese beneficiario era eliminado de la muestra para efectos de
la presente evaluación de impacto. Por otro lado, debe
tenerse en cuenta que no todos los controles disponibles
han sido asignados necesariamente a algún beneficiario, por
lo que algunos no han sido utilizados.
2. PROCEDIMIENTO DE CÁLCULO
 2.6 Así, se obtuvo una muestra de 842 beneficiarios
apareados con sus respectivos controles, a partir de los
cuales se cuantifica el impacto de PROJoven como se
muestra en la tabla 4
Cuasi-Experimental (BREVE REVISION DEL MARCO
TEORICO DEL EMPAREJAMIENTO (MATCHING)
1. El ideal para la identificación de los efectos de un programa

sobre un grupo de beneficiarios es que el proceso de
asignación en este sea de manera aleatoria. Es decir, sobre
los que están interesados o pre - inscritos en el Proyecto se
define mediante un sorteo quienes pasan a formar parte del
grupo de beneficiarios y quienes forman parte de un grupo
de control. Sin embargo, este tipo de diseños presenta una
serie de problemas para la gestión del programa al tener
que limitar la participación en este a una fracción de la
población objetivo[1].

1. Por ello se optan por métodos cuasi - experimentales

como el que se desarrolla aquí donde se trata de replicar
mediante procesos de emparejamiento (en campo y
computacionales) el ideal o “benchmark” que constituye el
proceso experimental que permite una equivalencia
estadística inicial entre beneficiarios y controles mediante
una asignación aleatoria.
[1] Ello a pesar que la limitación es temporal en la medida que se

convierten en beneficiarios en etapas posteriores.
Cuasi - Experimental (BREVE REVISION DEL MARCO

2. Son 03 los métodos más usados para llevar a cabo el

emparejamiento. El primero de ellos es el Nearest Neighbor
Matching (NNM) que realiza el emparejamiento con base a
la mínima distancia (nearest neighbor) en valor absoluto
entre la probabilidad de participar de un beneficiario y un
control. De esta forma, el NNM selecciona para cada
beneficiario a un solo control que es el que tiene la
probabilidad de participar más cercana.

2 El NNM presenta el problema que podemos elegir controles

que aunque sean malos candidatos para un beneficiario -
difieren significativamente en la probabilidad de
participación- es la mejor alternativa que disponemos en la
base de datos (mínima distancia) y por ello los elegimos. El
segundo método denominado Radius Matching (RM)
pretende corregir el problema señalado para el NNM
estableciendo un valor arbitrario (Por ejemplo, 0.05) de
diferencias en probabilidad en valor absoluto entre un
beneficiario y un control.
2. De esta forma, se establece un valor único de lo que
consideramos lo mas parecido y lo usamos como regla
general para todos los emparejamientos. RM a diferencia
de NNM suele seleccionar para cada beneficiario más de
un control, en la medida que varios de ellos pueden
cumplir con este valor o distancia arbitrario.
3. Sin embargo, RM al igual que el NNM presentan el

problema que al considerar una diferencia en probabilidad
en valor absoluto no dan cuenta de si estas pueden estar
seleccionando a aquellos controles que sistemáticamente
tienen una mayor probabilidad de participar o una menor.
Cuasi- Experimental (BREVE REVISION DEL MARCO
3. De esta forma, luego del emparejamiento podemos
terminar con una muestra de controles con una media de
probabilidad de participación significativamente diferente,
más alta o más baja, y, no similar como se espera de la
aplicación de estos procedimientos.
4. El tercer método es el de Kernels Uniformes (KU) a

diferencia de NNM y RM no es un emparejamiento uno a
uno sino del tipo uno a varios donde a cada beneficiario se
le asigna una combinación de miembros del grupo de
control ponderados y las distancias no son en valores
absolutos.
4. Este enfoque tiene como ventaja hacer un mejor uso de la
información de los controles, pues genera individuos ficticios
con las características promedio de varios controles
aprovechando de forma más eficiente la información
disponible.
5 En la practica lo que se emplea son técnicas híbridas que
combinan estos enfoques de matching bajo las propensiones
a participar con criterios de emparejamiento por
características de manera directa. Cierta nueva literatura
esta destacando la importancia del emparejamiento directo
(Ej. Ingreso mas parecido) sobre las técnicas de matching
que emplean propensiones a participar.

6. La bondad de un método u otro debe de establecerse sobre
la base de dos aspectos. El primero se refiere a que tan
efectivo es en establecer la equivalencia inicial entre las
variables más importantes como el ingreso o la propensión
de participación. Lo segundo es si es eficiente en aprovechar
la información disponible de los controles. Esto último es
particularmente relevante en la medida que bajo cualquier
enfoque de emparejamiento se pierde un conjunto de
información en la medida que se descartan beneficiarios
para los cuales no se disponen de controles apropiados. De
esta forma se induce salidas de beneficiarios de la muestra.
6. Por otro lado, se descartan controles o no se utilizan en la
medida que no se asignan a ningún beneficiario. En ambos
casos, este proceso puede ser fuente de sesgos adicionales y
debe de ser considerado en el análisis.
7 Los “test” de los métodos cuasi experimentales se hacen a

partir de los estimadores de Diferencia en Diferencia de tipo
experimental. El “test” consiste en contrastar el estimador de
Diferencias en Diferencias experimental con el
cuasiexperimental. Cuando el DD cuasiexperimental se
aproxime (se igual) al experimental entonces se concluye que
el método es el mejor en tanto replica el diseño experimental.
Evaluación de Impacto:
Introducción a conceptos y
técnicas para la evaluación de
impacto
1. ¿Cómo identificar indicadores de impacto?
1. ¿Cómo identificar los indicadores de impacto?
Respuesta
1.1 Los indicadores de impacto se establecen para medir el Fin y Propósito del Proyecto en la terminología del Marco Lógico.
Marco Lógico
Objetivos Indicadores Fuentes Supuestos

Fin Objetivo de Desarrollo Outcomes Evaluación de Impacto
Propósito Objetivo General Outcomes Evaluación de Impacto impacto de un proyecto
Productos Objetvos Específicos Output Seguimiento y Evaluación

de Operación Ámbito de seguimiento y
evaluación de ejecución y
Actividades Input Seguimiento y Evaluación operación de un proyecto
de Ejecución
1.2 El Fin y el Propósito es lo que se quiere obtener ejecutando el proyecto. Se denomina impacto (efecto) porque es una consecuencia
lógica de la ejecución del proyecto (si está bien formulado). A esta consecuencia lógica se denomina la lógica vertical del marco lógico
donde las actividades generan productos; y los productos generan el propósito/fin.
1.3 Por ello, para identificar los indicadores de impacto primero es necesario identificar el propósito/fin del proyecto que está en el marco
lógico. El siguiente cuadro muestra un ejemplo de marcos lógicos con su propósito/fin
Ejemplos de Proyectos Objetivos

Educación
Los alumnos beneficiarios alcanzan mayor rendimiento e lectu
y escritura inicial con Proyecto
Salud Propósito Objetivo General: Desnutrición crónica
Los niños beneficiarios presentan una menor tasa de
desnutrición crónica con proyecto
Los productores agrícolas beneficiarios alcanzan menores
costos logísticos con Proyecto
Los productores agrícolas beneficiarios presentan un mejor
margen de comercialización con Proyecto
Objetivo General: Enfermedades Diarreicas Agudas (EDAs) e
Propósito
Saneamiento Rural niños de 0 a 5 años
Los niños de 0 a 5 años presentan una menor tasa de EDA co
Proyecto
Los productores agrícolas beneficiarios presentan un mejor
margen de comercialización con Proyecto
1.4 Luego, para cada uno de estos propósito/fin se establecen indicadores para poder medirlos. A continuación se presentan los
indicadores de impacto para algunos ejemplos de proyectos.
Ejemplos de Proyectos Objetivos Indicador
Variable Formulación Formula de cálculo:
Objetivo General:
Propósito
Educación Rendimiento
educativo
Los alumnos Lectura 6to grado Indicador 1.1: Porcentaje de alumnos de 6to grado con nivel de (Formula de cálculo: N° de alumnos 6to grado con nivel de logro
beneficiarios logro suficiente en comprensión lectora suficiente en la prueba nacional de comprensión lectora/ N° de alumnos
alcanzan mayor Indicador 1.2: Puntaje promedio de alumnos de 6to grado en 6to grado)de cálculo: Σ Puntaje de alumnos 6to grado en la prueba
(Formula
comprensión lectora nacional de comprensión lectora/ N° de alumnos 6to grado)
Matemática 6to Indicador 2.1: Porcentaje de alumnos de 6to grado con nivel de (Formula de cálculo: N° de alumnos 6to grado con nivel de logro
grado logro suficiente en matemática suficiente en la prueba nacional de matemáticas/ N° de alumnos 6to
(Formula de cálculo: Σ Puntaje de alumnos 6to grado en la prueba
Indicador 2.2: Puntaje promedio de alumnos de 6to grado en grado)
matemáticas nacional de matemáticas/ N° de alumnos 6to grado)
Lectura inicial Indicador 1.1: Porcentaje de alumnos de 2do-3er grado con nivel (Formula de cálculo: N° de alumnos 2do-3er grado con nivel de logro
(2do-3er grado) de logro suficiente en comprensión lectora suficiente en la prueba nacional de comprensión lectora/ N° de alumnos
2do-3er grado)
Indicador 1.2: Puntaje promedio de alumnos de 2do-3er grado en (Formula de cálculo: Σ Puntaje de alumnos 2do-3er grado en la prueba
comprensión lectora nacional de comprensión lectora/ N° de alumnos 2do-3er grado)
Matemática inicial Indicador 2.1: Porcentaje de alumnos de 2do-3er grado con nivel (Formula de cálculo: N° de alumnos 2do-3er grado con nivel de logro
(2do-3er grado) de logro suficiente en matemática suficiente en la prueba nacional de matemáticas/ N° de alumnos 2do-3er
grado)
Indicador 2.2: Puntaje promedio de alumnos de 2do-3er grado en (Formula de cálculo: Σ Puntaje de alumnos 2do-3er grado en la prueba
matemáticas nacional de matemáticas/ N° de alumnos 2do-3er grado)
Ejemplos de Proyectos Objetivos Indicador

Variable Formulación Formula de cálculo:
Objetivo General:
Propósito
Salud Desnutrición crónica
Los niños beneficiarios Desnutrición Indicador: Porcentaje de niños de 5 años con Formula de cálculo: N° de niños de 0 a 5 años con z-score tal a/edad
presentan una menor tasa crónica desnutrición crónica en el rango (-6 a -2 ó menor a –2Z) / N° de niños de 0 a 5 años
deObjdesnut riciónacrl: ónica
etivo Gener
Propósito Enfermedades Diar eicas
Saneamiento Rural Agudas (EDAs) en niños
Los niños de 0 a 5 años Tasa de Formula de cálculo: N° de madres de niños de 0 a 5 años que
presentan una menor tasa EDAs Indicador:Porcentaje deniñosde0a5añoscon declaran episodio de EDAs en los últimos 15 días / Número de niños de
de EDA con Proyecto episodio de EDA 0 a 5 años)
2. ¿Qué son los outcomes?
2.1 Los outcomes son las variables y/o indicadores centrales o más importantes del propósito/fin del proyecto. En este sentido, son
variables de impacto, en la medida que miden propósito o fin del proyecto, pero además, son las principales.
2.2 Se pueden establecer dos consideraciones para tener una definición más precisa de ellos. La primera es su ubicación en la
secuencia lógica del marco lógico. La segunda, es su relación con el bienestar de las beneficiarios.
2.3 La consideración sobre su ubicación en el la secuencia del marco lógico las define como las variables y/o indicadores últimos o
finales. Por ejemplo, en educación, un indicador de vocabulario, que puede ser medido en la preescolar (3-4-5 años) o incluso en los
dos primero años de educación primaria (6-7 años), puede ser considerado como un una variable o indicador “intermedio” en la
medida que tiene una importante asociación –basado en evidencias- con el outcome “final” que es un nivel de suficiencia de
comprensión lectora a los 7-8 años.
2.4 La consideración con en el bienestar de las personas se refiere a que es una variable y/o indicador con una probada asociación
con el consumo o ingreso de los beneficiarios. En educación son los indicadores de escolaridad (años de educación aprobados) que
representan 10% de ingresos anuales adicionales por año de escolar aprobado y el rendimiento educativo (comprensión lectora en
16 años) que representan 12% de ingresos anuales adicionales por punto de desviación estándar en el rendimiento educativo. En
salud son los indicadores de morbilidad/mortalidad como la desnutrición crónica (ser desnutrido crónico) que reduce en 10% de
ingresos anuales de los beneficiarios.
Lectura 6to grado Indicador 1.1: Porcentaje de alumnos de 6to grado
con nivel de logro suficiente en comprensión lectora Outcome
Indicador 1.2: Puntaje promedio de alumnos de 6to
P
r
o
p F Lectura inicial (2do-3er grado) Indicador 1.1: Porcentaje de alumnos de 2do-3er Outcome intermedio
ó i Indicador 1.2: Puntaje promedio de alumnos de 2do-
s n 3er grado en comprensión lectora
i
t
o
Vocabulario (2do-3er grado) Indicador 1.1: Porcentaje de niños de 2-3 años con Outcome intermedio
deficiencias en vocabulario
3. Uso de diferentes estimadores de impacto
1. Uso y/o aplicación de los distintos estimadores presentados en clase: corte transversal, comparación reflexiva, dobles
diferencias y comparación de medias. Cuándo se utiliza uno ó el otro? se pueden utilizar de manera complementaria?
Ejemplos
3.1 Caso 01: Corte Transversal = Diferencias a Diferencias. Por tanto, Corte Transversal calcula el verdadero impacto del proyecto.
Comparación reflexiva es diferente del estimador de Diferencias a Diferencias. Por consiguiente, no calcula el verdadero impacto del
proyecto
Variable (Y)= Ingresos por hora promedio Cálculo de estimadores de impacto cuasi experimentales
Línea de base 18 meses Fórmula Cálculo
(t0) (t1)
3.2 Caso 02: Corte Transversal y Comparación Reflexiva no son iguales al estimador de Diferencias a Diferencias. Por tanto, Corte
Transversal y Comparación reflexiva no calculan el verdadero impacto del proyecto
Variable (Y)= Ingresos por hora promedio Cálculo de estimadores de impacto cuasiexperimentales
Línea de 18 meses Fórmula Cálculo

base (t0) (t1)
3.3 ¿Cómo sé si estoy en el Caso 01 o Caso 02? No puedo saberlo. Por ello, corte transversal tiene como supuesto que YB0=YC0
3.4 Tiene que utilizarse siempre el de diferencias en diferencias. Cuando no tengo línea de base o medición del momento t0 sólo puedo
aplicar corte transversal.
4.Análisis de equivalencia estadística
4. Equivalencia estadística entre muestras de beneficiarios y controles
4.1 En la evaluación expost, para dar cuenta del problema de la atribución, buscamos encontrar el escenario contrafactual de los
beneficiarios. Este escenario contrafactual se mide a través de un grupo control. Sin embargo, este grupo control debe cumplir con
ser “exactamente igual” al grupo beneficiario en la línea de base o momento t0. Caso contrario, no es un buen grupo control de los
beneficiarios y el estimador de diferencias en diferencias estará sesgado.
4.2 Evaluar si un grupo control es “exactamente igual” al grupo beneficiario se hace con un análisis de equivalencia estadística.
4.3 Para ello se deben de considerar 02 aspectos. La primera es igualdad en qué?. La segunda es cómo se mide o analiza esta
igualdad?.
4.4 La igualdad en qué se hace a través de buscar que los beneficiarios y controles sean iguales en un conjunto de variables que
describen sus características más importantes relacionadas con el outcome y/o impacto del proyecto. Estas variables son las propias
variables de outcome / impacto y de control. Las variables de control son un conjunto amplio de variables sobre las características de
los beneficiarios que explican un conjunto importante de la varianza de la variable de outcome o impacto.
4.5 La segunda consideración, cómo se mide o analiza esta igualdad en estas variables, se hace mediante la comparación de las
muestras de beneficiarios y controles a través de la aplicación de un test de medias a todas las variables consideradas (impacto y
control) donde la hipótesis nula es que la media de cada variable son diferentes en ambas muestras. Este análisis –aplicación de test
de medias a las variables de impacto y control-es el que se denomina análisis de equivalencia estadística de muestras de
beneficiarios y controles.
4.6 En un ejemplo, entonces lo primero es considerar en qué variables (impacto y control) vamos a considerar en el análisis de
equivalencia estadística. La tabla 01 muestra las variables y los valores de sus medias en las muestras de beneficiarios y controles.
4.7 Sin embargo, en esta tabla sólo tenemos el valor de las medias de las variables en las muestras de beneficiarios y controles pero
no sabemos si estas son iguales (estadísticamente). Por ello, debemos proceder a aplicar los test de medias en cada una de las
variables. En la tabla 02 se presenta un ejemplo del test de medias para la variable ingreso mensual donde se acepta la hipótesis
nula de que ambas muestras sean iguales en la medida que la posibilidad que sean diferentes tiene una confiabilidad menor al 90%.
Este análisis se hace antes y después de la aplicación del propensity score. El cálculo del estimador de diferencias en diferencias
supone que esta equivalencia estadística ha sido ya lograda luego de la aplicación del propensity score.
Muestra Línea de Base
Beneficiarios Controles
Número de observaciones 1000 1000
Variables de Impacto
Distribucion segun situacion laboral (%) Inactivo 27.00% 26.00%

Desempleado 14.00% 17.00%
Ocupado 59.00% 57.00%
Horas de trabajo a la semana Media 41 48
Ingreso Mensual (S/.) Media 252 165
Ingreso por hora (S/.) Media 1.41 1.03
Variables de Control
Mujeres % 42% 50%
Educación Ninguna 3% 5%
Primaria Incompleta 8% 6%
Primaria Completa 10% 6%
Secundaria Incompleta 10% 14%
Secundaria Completa 67% 64%
Técnica 2% 5%
Universitaria 0% 0%
Años de estudio (Media) 8.5 8
Edad Media 23 22
4. Análisis de equivalencia estadística
Muestra Línea de Base
Beneficiarios Controles
Tipo de trabajo Permanente 23% 35%

Ocasional 36% 22%
No trabaja 41% 43%
Ocupación Patron o empleador 3% 20%

Trabajador por cuenta propia 22% 15%
Empleado (Administ. Pub./ Priv.) 5% 2%
Obrero u operario 61% 48%
Servicio domestico 10% 15%
Otros
Educación de la madre Años de estudio (Media) 7 7.5
Educación del padre Años de estudio (Media) 9 9.5
Ingreso del Hogar (S/.) Media 753 650
Ingreso per cápita en el Hogar Media 139 130
Número de personas en el Hogar Media 5.4 5
Número de perceptores en el hogar Media 2 1.8
Número de dependientes por perceptorMedia 1.8 2.2
Número de habitaciones en la vivienda Media 2.8 3
Propiedad de la Vivienda Propia 83% 91%

Alquilada 17% 9%
Otras 0% 0%
Equipamiento del Hogar Auto (%) 3% 2%

Computadora (%) 5% 1%
TV a Color (%) 44% 49%
TV Blanco y Negro (%) 33% 26%
Teléfono Fijo (%) 44% 54%
Teléfono Celular (%) 26% 34%
Tabla 02: Test de medias en la variable ingreso mensual en las muestras de beneficiarios y controles
Two-sample t test with equal variances
------------------------------------------------------------------------------
Group | Obs Mean Std. Err. Std. Dev. [95% Conf. Interval]
---------+--------------------------------------------------------------------
0 | 1000 165.2418 7.117667 49.82367 389.9308 418.5528
1 | 1000 252.9801 7.426426 51.98498 396.0482 425.9119
---------+--------------------------------------------------------------------
combined |2000 207.6109 5.128114 50.76574 397.4331 417.7888
---------+--------------------------------------------------------------------
diff | -6.738265 10.28654 -27.15689 13.68036
------------------------------------------------------------------------------
Degrees of freedom: 96
Ho: mean(0) - mean(1) = diff = 0
Ha: diff < 0 Ha: diff ~= 0 Ha: diff > 0

t = -0.6551 t = -0.6551 t = -0.6551
P < t = 0.2570 P > |t| = 0.5140 P > t = 0.7430
Variable Descripción de las muestras Test t de medias
Dif.a<0 Dif.>0
Media de la Media de la
variable "X" en variable "X"
la muestra de en la muestra
beneficiarios > de
Media de la beneficiarios
variable "X" en <Media de la
la muestra de variable "X"
beneficiarios en la muestra
Distribucion segun Inactivo Muestra 1 Control
situacion laboral (%) Muestra 2 Beneficiario > 10% > 10%
Distribucion segun Desempleado Muestra 1 Control
situacion laboral (%) Muestra 2 Beneficiario > 10% > 10%
Distribucion segun Ocupado Muestra 1 Control
situacion laboral (%) Muestra 2 Beneficiario
> 10% > 10%
Horas de trabajo a la Muestra 1 Control
semana Muestra 2 Beneficiario > 10% > 10%
Ingreso Mensual Muestra 1 Control
(S/.) Muestra 2 Beneficiario > 10% > 10%
Ingreso por hora (S/.) Muestra 1 Control
Muestra 2 Beneficiario > 10% > 10%
. Muestra 1 Control
Muestra 2 Beneficiario
. Muestra 1 Control
Muestra 2 Beneficiario
Edad Muestra 1 Control
Tipo de trabajo Muestra 1 Control
.
Equipamiento del Muestra 1 Control

Hogar Muestra 2 Beneficiario > 10% > 10%
Evaluación Ex Post en Proyectos de Empleo:
Estudio de Caso Projoven-Diseño
1. Objetivos e instrumentos
 Objetivo 01: Mejorar la inserción laboral de los jóvenes

de hogares pobres de zonas urbanas
 Instrumento 01: Capacitación en ocupaciones de

calificación inicial mediante una fase lectiva o teórica de
03 meses en una entidad de capacitación y 03 meses de
fase práctica en una empresa
2. Detalles operacionales relevantes para
la EI
2.1 Descripción del tratamiento

 Projoven opera como entidad de segundo piso donde
convoca a entidades de capacitación (ECAPs) a participar
en concursos públicos de selección de cursos según
criterios de calidad y costos
 La ECAPs son previamente precalificadas según su
experiencia, RR.HH.s, infraestructura, vínculo con las
empresas, etc.
 El costo promedio de capacitación por beneficiario es de
aproximadamente US$ 570
 Se organiza por “convocatoria” o “llamados” (ciclos)
donde se capacitan unos 2,000 beneficiarios
la EI

 Para ello las ECAPs proceden a presentar su oferta de
capacitación en ocupaciones de calificación inicial y el
programa procede a seleccionar los jóvenes beneficiarios
 Luego se realiza un proceso en el que tanto jóvenes
como ECAPS proceden al “matching”. Así, las ECAPs
tienen un margen para seleccionar beneficiarios y por
supuesto la inscripción en las ECAPs es voluntaria. Sin
embargo, en la medida que se agotan los cupos, los
“últimos” beneficiarios proceden a seleccionar los
“cursos” que quedan
la EI

 A cada beneficiario se le proporciona un estipendio diario
para pasajes y alimentación durante la fase de
entrenamiento en ECAPs
 Adicionalmente a los beneficiarios madre se les da un
soporte o subsidio para financiar cuidado de sus hijos
durante entrenamiento en ECAPs
 Durante la fase de entrenamiento en empresas los
beneficiarios reciben la remuneración mínima vital por
jornada de 8 horas.
la EI
2.2 Descripción del proceso de selección de

beneficiarios
 Población objetivo: Jóvenes entre 16 y 24 años urbanos
pobres
 En cada “convocatoria” o “llamado” se procede a realizar
campañas de promoción en zonas urbano marginales
mediante charlas en parroquias, colegios, etc.
 Cuando el joven se acerca a un centro de inscripción
procede a registrarse en una ficha socioeconómica
 En esta ficha de inscripción se consigna información
como educación de los padres, características de la
vivienda que permite construir un puntaje de pobreza.
la EI
2.2 Descripción del proceso de selección de

beneficiarios
 Cuando el puntaje de pobreza lo califica como pobre
entonces el beneficiario es visitado en su casa para
corroborar sus datos y confirmarle que está registrado
en el programa
la EI
2.3 Cobertura y ámbito

 Lima, Arequipa, Trujillo, Chiclayo, Piura, Cusco,
Huancayo, Chimbote e Iquitos
 De 1997 al 2002 (8 convocatorias) : 30,283
 De 2003 al 2005: 51,900
la EI
2.3 Cobertura y ámbito

CUADRO 6. Descripción de Alumnos por Fase completada en PROjoven
Convocatorias
1 2 3 4 5 6 7 8 Total
1996 1997 1998 1998 1999 2000 2001 2002
Formación Técnica 1.505 1.807 2.243 2.671 3.075 3.651 4.179 5.157 24.288
Alumnos egresados 1.450 1.729 2.146 2.527 2.945 3.481 4.052 5.010 23.340
Alumnos que abandonaron el curso 55 78 97 114 130 170 127 147 918
Formación Práctico-Laboral 1.450 1.729 2.146 2.527 2.945 3.481 4.052 5.010 23.340
Alumnos con prácticas 1.201 1.443 1.762 2.056 2.267 2.768 3.106 3.880 18.483
Prácticas concluidas 861 909 1.247 1.385 1.593 1.968 2.295 3.097 13.355
Prácticas menores a 3 meses 340 534 515 671 674 760 811 783 5.088
Inserción laboral autonoma 25 28 40 50 77 95 102 220 637
Prácticas pendientes 155 145 230 275 382 409 485 590 2.671
Salida del programa antes de las prácticas 69 113 114 166 219 249 224 320 1.474
Fuente: Actualización de Burga (2003)

3. Hipótesis a evaluar en la EI
 H1: Nivel de empleo de beneficiarios es X% mayor que

los no participantes debido al proyecto
 H2:Nivel de ingreso de los beneficiarios es X% mayor
que los no participantes debido al proyecto
 H3: Calidad de empleo (contrato laboral, seguro de
salud, CTS, etc.) es mayor que los no participantes
debido al proyecto
 H4: Segregación ocupacional por género es menor en los
beneficiarios que en los no participantes debido al
proyecto
4. Marco conceptual de la generación de
impacto
Capital humano: ecuaciones de ingreso

Ingreso F ˆ Sexo  ˆ Experienci
1 2
a  ˆ Educacion e
3
 Variables observables (Xs) que debemos considerar para

identificar el verdadero impacto según marco conceptual
son: Sexo, experiencia laboral (edad) y educación entre las
más importantes.
5. Diseño de la metodología de la
evaluación de impacto.
5.1 Estrategia de estimación de resultados o

impacto
Dobles diferencias: (YB1-YB1) - (YC1-YC0). Es decir, 02
mediciones (momento 0 y momento 1) a una muestra de
beneficiarios y controles
Cuasiexperimental: Selección de controles no aleatoria (no
experimental) mediante matching o pareo incial en
observables con grupo de control
Las mediciones han sido en 03 momentos t0, t1, t3, pero el
estimador en DD siempre relaciona la última medición (en
este caso t3) con la inicial o línea de base (t0)
5.2 Indicadores o medidas de resultados o impacto
VI1-Empleo: II1-Tasa de ocupación e II2-Horas trabajadas
VI2-Ingreso: II3-Ingreso mensual e II4-Ingreso por hora
VI3-Calidad de empleo: II5-Situación contractual (Firma de

contrato, cotización para vejez, salud, etc.)
VI4-Segregación: I6-Índice de Duncan
Nota: VI: Variable de Impacto e II: Indicador de Impacto

5.3 Indicadores o medidas de control

 VC1-Experiencia laboral: IC1-Edad
 VC2-Sexo: IC2-Sexo
 VC3-Educación: IC3-Nivel educativo alcanzado
 VC4-Antecedentes familiares: IC4-Nivel educativo

alcanzado por los padres
 VC5-Características del hogar: IC6-Hijos

5. Diseño de la metodología de la evaluación
de impacto.
5.4 Procedimiento de selección de grupo de

comparación o control
Etapa de Campo
1.1 A partir de las viviendas de cada beneficiario se ubicó a los
potenciales controles a través de 5 variables de decisión:
sexo, edad, situación laboral, educación y nivel de pobreza..
En principio se podrían (deberían) seleccionar más de 01
potencial control por beneficiario pero lo que debe de
quedar claro es que por lo menos se debe seleccionar a 01.
de impacto.

1.2 En el proceso de trabajo de campo incorpora en el

emparejamiento variable que pueden ser identificadas en
esta etapa como: Sexo, edad, situación ocupacional, región,
etc.
1.3 Sin embargo, en el trabajo de campo no se puedo

emparejar a los beneficiarios en variables que también
deben de ser controladas como los ingresos, por ejemplo. El
análisis de equivalencia estadística (test t de medias) de la
variable ingresos de la muestra original de beneficiarios y
controles encuentra que diferían significativamente en esta
variable.
de impacto.
1.4 Por ello, se debe completar el proceso de

emparejamiento realizado en el campo por uno
computacional que incorpore variables
adicionales de emparejamiento.
de impacto.
2.1 En primer lugar, tenemos una base de datos
preparada para los cálculos como en la Tabla 01 con la
la información disponible para 1018 beneficiarios del
programa y 1561 posibles controles
2.2Procedemos a calcular el propensity score para cada

beneficiario y control. Para ello estimamos un modelo
probit o probabilidad de ser beneficiario donde la
variable dependiente toma valor “1” si el individuo es
un beneficiario y valor “0” si es un control. El modelo
estimado es el siguiente:
5.4 Procedimiento de selección de grupo de comparación

o control
P(y  1)  F(π̂1Hijo  π̂ 2 Labor  π̂ 3 Ing.famili ar  π̂ 4 Edu.Padre  π̂ 5 Edu.Madre)  e

de impacto.

 Donde las variables consideradas son:
hijo2: si es mujer con hijo
curso: si llevó algún curso técnico
labora: si laboraba antes
ingreso familiar: logaritmo del ingreso familiar mensual
per capita del resto de individuos del hogar
pedu2: padre con educación superior
medu2: madre con educación superior
 Los modelo probit estimado se presenta en la tabla
siguiente:
de impacto.

2.2 Luego, se reemplaza – para cada beneficiario y
control- sus valores respectivos de las variables
consideradas: hijo2, curso, labora, ingreso familiar,
pedu2 y medu2 en la ecuación del probit y con los
estimadores obtenidos de la regresión probit se calcula
“propensity score” para cada individuo. Este cálculo lo
hace el paquete estadístico en la medida que tiene que
considerar los errores estimados del probit para cada
beneficiario y control. Este cálculo del probit se
presenta en la Tabla 2
de impacto.
2.3 El procedimiento de emparejamiento consistió en aparear a
un beneficiario con un control que cumpliera con las
siguientes características:
a. sea de la misma ciudad y
b. sea del mismo sexo y
c. cuya edad sea, a lo más, dos años distinta y
d. con un nivel educativo que, a lo más, discrepe en un año de
educación y
e. que tenga la misma situación laboral y
f. cuyo índice de pobreza discrepe en no más de 4 puntos y
g. tenga un “propensity score” que sea distinto en a lo más 0.2
puntos
de impacto.
2.4 Dentro de ese grupo posible de controles finalmente se
eligió sólo a uno. Éste era aquel control que tuviera:
h. Mayor similitud en el ingreso por hora percibido y en el total
de horas trabajadas por semana a partir de la menor
distancia euclideana, previa estandarización de las variables.
2.5 Si para un beneficiario no se encontraba un control que

cumpliera con todos los requisitos previamente descritos,
ese beneficiario era eliminado de la muestra para efectos de
la presente evaluación de impacto. Por otro lado, debe
tenerse en cuenta que no todos los controles disponibles
han sido asignados necesariamente a algún beneficiario, por
lo que algunos no han sido utilizados.
2. PROCEDIMIENTO DE CÁLCULO
 2.6 Así, se obtuvo una muestra de 842 beneficiarios
apareados con sus respectivos controles, a partir de los
cuales se cuantifica el impacto de PROJoven como se
muestra en la tabla 4
6. Diseño y selección de muestras de
beneficiarios y control
 Probabilístico sobre el listado de beneficiarios y en base a

pareo para la selección de grupo de control.
 Muestra inicial: 1034 beneficiarios y 1561 controles.
 Estratificación muestral en base a Ciudad, sexo y dos rangos

de edades (16-20 y 21-25)
7. Contenidos y características de los
instrumentos de medición de variables
7.2 Cronograma de aplicación de instrumentos

 t0: Antes de inicio del proyecto
 t1: 06 meses después de egreso del proyecto (12 meses
de inicio del proyecto o tratamiento)
 t2: 12 meses después de egreso del proyecto
 t3: 18 meses después de egreso del proyecto
7. Contenidos y características de los
instrumentos de medición de variables
7.3 Diseño preliminar de los instrumentos (Ej.

Encuestas)
 Modulo de Empleo de la ENAHO
8. Marco Lógico
Objetivos Indicadores Fuentes

Fin Objetivo General Contribuir a Outcomes Evaluación de Impacto
mejorar el nivel de empleabilidad de
VI1:Nivel de empleo de beneficiarios es a lo menos 6% mayor que los
jóvenes de bajos ingresos
no participantes debido al proyecto
VI2:Nivel de ingreso laboral de beneficiarios es a lo menos 18% mayor
que los no participantes debido al proyecto
VI3: La calidad de los empleos (contrato, seguros, etc.) de
beneficiarios es mejor que los no participantes debido al proyecto
VI4: La segregación ocupacional por genero de beneficiarios es
menor que los no participantes debido al proyecto
8. Marco Lógico
Propósito Objetivo General X% de los beneficiarios mejora sus competencias básicas Evaluación de de la operación
Facilitar el acceso de jovenes de 16
a 24 años de escaos recurso
económicos al mercado laboral X% de los jóvenes mejora su nivel de competencias genericas
formal, a través de acciones
específicas de capacitación técnica
90% de los beneficiarios mejora su conocimiento de la demanda laboral
y experiencia laboral articuladas a
servicios de informac
24% de los beneficiarios son colocados por acciones del SIL-MTPS
OG2: Adicionalmente, impulsar el Mejora promedio de puntaje de desempeño de ECAPs en Registro de Evaluación de de la operación
nivel de competencia y eficiencia del ECAPS entre 1ra y 5ta convocatoria
mercado de las instituciones
proveedoreas de entrenamiento y
capacitación a través de una mayor
interacción entre dichas
instituciones y las empresas, y
generar con esto un efecto demo
8. Marco Lógico
Com ponente 01 Evaluación de de la
Entrenamiento laboral en ECAPs y operación/Ejecución y
Output empresas para jóvenes de bajos seguimiento
recursos II1: 97% de los beneficiarios completan la fase de entrenamiento en
ECAPs
II2: 85% de los beneficiarios que culminan la fase de entrenamiento en

ECAPs completan la fase de entrenamiento laboral en empresas
II3: 100% de los beneficiarios que efectivamente asisten al
entrenamiento en ECAPs recibe estipendio de alimentación y
transporte y el 100% de las madres recibe subsidios
II4: 97% de los beneficiarios completan la fase de entrenamiento en
ECAPs
II5: El proceso de focalización presenta un error no mayor de 8% en
filtración y 12% para subcobertura
II4: 97% de los beneficiarios completan la fase de entrenamiento en
ECAPs
Com ponente 02
ECAPs proveen entrenamiento II5: Entre 130 y 150 ECAPs inscritas en el registro con respectivo
ligado a necesidades de sector puntaje institucional
productivo, que se conecta a un II6: 100% de os cursos seleccionados en base a evaluación
entrenamiento en empresas y que institucional y de desempeño de las ECAPs y evaluación de calidad y
mejora competencias de los jóvenes costos de los cursos
II7: 100% de las ECAPs incorporadas en registro reciben material de
apoyo metodológico
II8: 75% de las ECAPs reciben asistencia en áreas temáticas
específicas
Com ponente 03
Sistema de información e II9: 100% de los beneficiarios recibe servicios de información sobre
intermediación laboral apoya características del proyecto por parte del SIL
efectivamente el proceso de II10: 97% de los beneficiarios recibe los servicios de habilitación por
inserción de beneficiarios del parte del SIL
proyecto II11: 60% de los beneficiarios que no ha culminado la practica o no
consigue empleo, recibe los servicios de conexión por parte del SIL
CUASIEXPERIMENTAL: MATCHING
Nearest-neighbour matching (one-to-one matching)
Tratados (D=1) No Tratados (D=0)
P P
0.73 0.22
0.58 0.78
0.85 0.52
0.67 0.31
0.96 0.65
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
Min = 0.05
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
Min = 0.05
P P Diferencia
0.73 0.22 │0.58 - 0.22 │=0.36
0.58 0.78 │0. 58 - 0.78 │=0.20
0.85 0.52 │0. 58 - 0.52 │=0.06
0.67 0.31 │0. 58 - 0.31 │=0.27
0.96 0.65 │0. 58 - 0.65 │=0.07
Min = 0.06
Número de veces
Tratados (D=1) No Tratados (D=0) en que es
“matcheado”
Y(d=1) P P Y(d=0)
Constituyen los
120 0.73 0.22 96 0
“pesos” a ser
165 0.58 0.78 105 3 utilizados para
calcular el
132 0.85 0.52 111 1
promedio del
99 0.67 0.31 99 0 “outcome” bajo
el escenario
117 0.96 0.65 122 1
contrafactual
Número de veces
“matcheado”
Y(d=1) P P Y(d=0)
Constituyen los
120 0.73 0.22 96 0
“pesos” a ser
calcular el
132 0.85 0.52 111 1
promedio del
99 0.67 0.31 99 0 “outcome” bajo
el escenario
117 0.96 0.65 122 1
contrafactual
Y promedio (D=1) = (120 + 165 + 132 + 99 + 117) / 5 = 126.60

Y promedio (D=0) = (96(0) + 105(3) + 111(1) + 99(0) + 122(1)) / 5 = 109.06
Efecto del tratamiento = 126.6 – 109.06 = 17.54
k-Nearest neighbors matching (one-to-k matching),
Ejemplo con k=2
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
2-Min = [0.05 y 0.08]

k-Nearest neighbors matching (one-to-k matching)
Número de veces 1/k

Tratados (D=1) No Tratados (D=0) en que es (=0.5) Pesos
“matcheado”
Y(d=1) P P Y(d=0) (a) (b) (a*b)
120 0.73 0.22 96 0 0.5 0
165 0.58 0.78 105 4 0.5 2
132 0.85 0.52 111 1 0.5 0.5
99 0.67 0.31 99 0 0.5 0
117 0.96 0.65 122 5 0.5 2.5
Y promedio (D=1) = (120 + 165 + 132 + 99 + 117) / 5 = 126.60

Y promedio (D=0) = (96(0) + 105(2) + 111(0.5) + 99(0) + 122(2.5)) / 5 = 114.1
Caliper matching
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
Min = 0.05
Una vez se determina cual es el individuo no tratado con el cual se minimiza el

valor absoluto de la diferencia en probabilidades, se evalúa si el mismo es menor
a un parámetro especificado por el investigador (p.e. 0.10).
En este caso, 0.05 < 0.10, se selecciona el control y se pasa al siguiente caso.
Caliper matching
Diferencia P P
│0.73 - 0.78 │=0.05 < 0.10 OK 0.73 0.22
│0.58 - 0..52 │=0.06 < 0.10 OK 0.58 0.78
│0.85 - 0.78 │=0.07 < 0.10 OK 0.85 0.52
│0.67 - 0.65 │=0.02 < 0.10 OK 0.67 0.31
│0.96 - 0.78 │=0.18 > 0.10 0.96 0.65
Al evaluar todos los casos, el valor absoluto de la diferencia en probabilidades

para el último individuo es mayor al valor establecido, por lo que no es
considerado para evaluar el impacto de la intervención , pues se encuentra
fuera de la región de soporte común (common support region)
La Región de Soporte Común
15
10
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
D=1
10 D=0
Fuera de la región de soporte común
15
Caliper matching
Número de veces
“matcheado”
Y(d=1) P P Y(d=0)
Constituyen los
120 0.73 0.22 96 0
“pesos” a ser
calcular el
132 0.85 0.52 111 1
promedio del
99 0.67 0.31 99 0 “outcome” bajo
el escenario
117 0.96 0.65 122 1
contrafactual
Y promedio (D=1) = (120 + 165 + 132 + 99) / 4 = 129

Y promedio (D=0) = (96(0) + 105(2) + 111(1) + 99(0) + 122(1)) / 5 = 110.75
Efecto del tratamiento = 129 – 110.75 = 18.25
Radius matching
P P Diferencia
0.73 0.22 │0.73 - 0.22 │=0.51
0.58 0.78 │0.73 - 0.78 │=0.05
0.85 0.52 │0.73 - 0.52 │=0.21
0.67 0.31 │0.73 - 0.31 │=0.42
0.96 0.65 │0.73 - 0.65 │=0.08
En este caso, a diferencia del método de caliper matching, se seleccionan a

todos aquellos controles que cumplen con el requisito de tener un valor absoluto
en la diferencia en probabilidades menor al valor establecido (i.e. < 0.10).
Radius matching
P P Y(d=0)
0.73 0.22 96
0.58 0.78 105
0.85 0.52 111
0.67 0.31 99
0.96 0.65 122
El número de controles para cada individuo tratado, y el número de veces que un

mismo control es seleccionado son usados para determinar los pesos en cada
caso.
Y promedio (D=0) = [½ (105+122) + …] / (# tratados matcheados)
Radius matching
P P Y(d=0)
0.73 0.22 96
0.58 0.78 105
0.85 0.52 111
0.67 0.31 99
0.96 0.65 122
Y promedio (D=0) = [½ (105+122) + ½ (111+122) + ….] / (# tratados matcheados)

Radius matching
P P Y(d=0) En este caso solo

uno de los controles
0.73 0.22 96
cumple con el
0.58 0.78 105 requisito de que el
valor absoluto de la
0.85 0.52 111
diferencia en
0.67 0.31 99 probabilidades es <
0.10
0.96 0.65 122
Y prom. (D=0) = [½ (105+122) + ½ (105+111) + 1 (105) +….] / (# tratados matcheados)

Radius matching
Siguiendo el mismo procedimiento tendremos:
Y promedio (D=1) = (120 + 165 + 132 + 99) / 4 = 129

Y promedio (D=0) = [½ (105+122) + ½ (111+122) + 1 (105) + 1 (122) ] / 4 = 114.25
Efecto del tratamiento = 129 – 114.25 = 14.75
* Nótese que el último de los individuos tratados no fue matcheado, por caer
fuera de la región de soporte común
Kernel matching
Bajo este método se matchea el outcome yi del individuo tratado i con un

promedio ponderado de los outcomes de todos los individuos no tratados,
El peso dado al individuo no tratado j es proporcional a la cercanía entre i y j
(definida sobre la base de las probabilidades estimadas).
Donde K es una función de distribución Kernel (como una normal o una chi-
cuadrado) de esta forma la diferencia de probabilidad es transformada en el
valor de la función K
La función de distribución K se usa para a partir de los datos generar una
distribución (y no predeterminarla como una normal)
Kernel matching
Kernel matching
Donde h es el parámetro de suavidad (bandwidth) para la distribución K

Un valor alto del parámetro h genera estimaciones más “suaves”, lo cual
reduce la varianza entre los valor estimados y los valores reales de la función
de densidad.
No obstante, una función más suave tiende a recoger de manera imprecisa
los valores subyacentes de la función de densidad.
Epanechn. Kernel, bandwidth = 0.5
Epanechn. Kernel, bandwidth = 2.0

Kernel matching
La función K(.) es la función kernel, que cumple con ciertas propiedades

matemáticas (no negativa, simétrica, continua, unimodal). Entre las más comunes
funciones kernel tenemos:
si
1.Epanechnikov Kernel si
2.Gaussian Kernel
si
3.Biweight Kernel
si
Es posible matchear cada unidad de tratamiento con el promedio ponderado de las

unidades de control más cercanas definiendo combinando el Kernel matching con el
caliper matching.
Kernel matching
Ejemplo, bandwidth = 0.5, Epanechnikov Kernel

Peso
P P Y(d=0)
0.73 0.22 96 1.02 0 0
0.58 0.78 105 -0.10 0.74 0.32
0.85 0.52 111 0.42 0.62 0.27
0.67 0.31 99 0.84 0.22 0.10
0.96 0.65 122 0.16 0.73 0.32
2.31
Y1hat = 96(0) + 105(0.32) + 111(0.27) + 99(0.10) + 122(0.32) = 111.40

Y prom (D=0) =(111.4 + 108.5 + 112.4 + 110.0 + 111.9) / 5 = 110.8
Y promedio (D=1) = (120 + 165 + 132 + 99 + 117) / 5 = 126.60
Algunos otros matching
Mahalanobis
Bajo este método, se minimiza la “Distancia de Mahalanobis” entre cada
individuo tratado y los individuos no tratados. A diferencia de una la distancia
(diferencia en probabilidad) que usan los otros matchin, la “Distancia de
Mahalanobis” incorpora la correlación entre dos variables aleatorias
Local linear regression matching

Hace una regresión bajo un proceso de generación de datos bajo la función
Kernel
Evaluación Ex Post en Proyectos de
Empleo: Estudio de Caso Projoven
1.1 Análisis de diferencia de medias
1.2 Emparejamiento 01: Propensity score y

variables observables sexo, ciudad, educación y
edad
Ingresos diferentes entre muestra de

beneficiarios y controles
Posible causa: “pre-program earning dip”

1. Análisis de equivalencia estadística: matching o
emparejamiento
 Inclusión en el emparejamiento las

variables de:
 Ingreso por Hora
 Horas Trabajadas
 El Propensity Score
 A pesar de esto el Problema no se corrige

totalmente
2. Estimación del impacto de projoven
 Inserción Laboral
Variable: Tasa de Ocupación
 Ingreso
Variable 1: Ingreso por Hora
Variable 2: Horas trabajadas
2.1 En la Inserción Laboral


Beneficiarios Después
Antes / Después Ocupado Desempleado Inactivo Total
A Ocupado 396 80 62 538
n Desempleado 88 43 29 160
t
e
Inactivo 82 32 30 144
s Total 566 155 121 842
Grupo Control Después

Antes / Después Ocupado Desempleado Inactivo Total
A Ocupado 386 78 74 538
n Desempleado 63 47 50 160
t
e
Inactivo 66 25 53 144
s Total 515 150 177 842
Cuadro No5: Tasas de ocupación

(Muestras Emparejadas)
Línea de 6 meses 12 meses 18 meses
base
Control 63.90% 61.16%
Beneficiario 63.90% 67.22%
6 meses 12 meses 18 meses

Dif-Dif 01 6.06% 0.0% 0.0%

 Resultado: El efecto sobre la inserción laboral
es del 6.06% del total de beneficiarios.
 Valorización: Se cuantifican los Ingresos
adicionales generados por la inserción laboral
considerando el ingreso medio de los
controles.
 Valor Excedente = (Variación Ocupados x
I.Medio controles)
 Valor Excedente = US$ 207 mil
2.1 En el ingreso por hora

2.1 En el ingreso por hora
Cuadro No 6: Ingresos por hora promedio
base
Control 1.37 1.45
Beneficiario 1.25 1.57
Dif-Dif 01 0.237

base
Control 1.37 6.1%

base
Control (*) 1.25 1.33
Dif-Dif 02 0.244
Dif-Dif 02 %
18.4%
Valorización: Ingresos adicionales por la mejora en
los ingresos de los beneficiarios = US$ 452 mil.
2.2 Horas trabajadas

Cuadro No4: Horas trabajadas a la semana
base
Control 44.3 53.1
Dif-Dif 01 2.1

base
Control 44.3 19.9%

base
Control (*) 41.4 49.6
Dif-Dif 02 2.71
Dif-Dif 02 %
5.5%

Valorización:
3. Valorización $ del impacto projoven
Cálculo de los beneficios monetarios a partir del estimador de Diferencias de Diferencias
Beneficiarios Ocupados Semanas Horas Semana Ingreso Hora Ingreso Total

(N) (L) (S) (H) (Ih) (I)
= (L*S*H*lh)
US$ US$
Datos 3940 2410 52 49.6 0.38 2,389,723
Diferencias en diferencias
Variación L Variación S Variación H Variación Ih
ΔL ΔS ΔH Δ lh
En % 6.06% 0 5.5% 18%

En valor 239 2.7 0.071
Valoración Cálculo Datos de

Fórmula Valor publicación
Variación en Ocupados ΔL*S*H*lh 236,652 207,000 - 29,652
Variación en H L*S*ΔH*lh 130,556 129,841 - 715
Variación en Ih L*S*H*Δlh 440,314 452,000 11,686
3. Valorización $ del impacto de projoven
 La suma de los 3
efectos alcanza los
US$ 789 mil.
 Considerando que
los ingresos
generado en
ausencia del
programa son US$
2.15 millones, la
masa global de
ingresos se
incrementa en 38%
4. Otros resultados de projoven
4.4 Segregación por género
 Utilizando el
Índice de
Duncan
 Resultado: El
Indice de
Duncan
disminuye en
0.1207 puntos
(disminuye la
segregación)
4.5 Tipo de empresas donde se ocupan

4.6 Dimensión de empresas donde se ocupan
5. Análisis costo beneficio
5.1 Estimación de los Costos:

 Costos de la Capacitación: US$ 520 por
beneficiario. US$ 1.865 millones.
 Costo de Oportunidad de los Beneficiarios:
US$ 558,885
 Total de Costos: US$ 2´423,605
5.2 Estimación de los Beneficios

 Beneficios recibidos durante la capacitación
(subsidios y pagos de las empresa por
prácticas)
 Beneficios derivados del incremento de la tasa
de inserción laboral, aumento de horas de
trabajo a la semana y aumento de ingreso por
hora
IMPORTANTE: Definir efectos permanentes y
transitorios (diferentes escenarios)
5.2.1 Estimación de beneficios: Flujo de beneficios
en escenario optimista
 Escenario
Optimista:
Inserción Laboral
1 año;
Horas/semana se
diluye en el
tiempo e
Ingreso/hora es
permanente.
en escenario conservador
 Escenario
Conservador:
Inserción laboral 1
año; Horas/semana
1 año e
Ingreso/hora se
separa en
componente
temporal (30%) y
permanente (70%).
en escenario pesimista
 Escenario
Pesimista:
Inserción
laboral 1 año;
Horas/semana
1 año e
Ingreso/hora se
diluye en el
tiempo.
5.3 Estimación de TIR y VAN
 TIR: 36% en
Escenario
Optimista,
20% en
Conservador y
13% en
Pesimista
6. Conclusiones de resultados
 La cuantificación del proyecto tiene los siguientes
resultados:
 El efecto del programa sobre la inserción laboral
es del orden del 6%
 PROJoven contribuye a elevar en 18% el
ingreso por hora de los beneficiarios ocupados
 Con relación al número de horas a la semana
que trabaja un beneficiario, se estima que el
programa tiene un efecto de 5.5% horas
adicionales a la semana
 La suma de los tres efectos se valoriza en US$
789 mil al año.
6. Conclusiones de resultados
 Disminuye la segregación de genero

 Cambia la estructura sectorial de empleo
de los beneficiarios
 Considerando 3 escenarios, se obtiene una
variación e la TIR de 13% a 36%
6. Limitaciones de resultados
 La cuantificación del impacto de PROJoven

sobre los beneficiarios no necesariamente es
válida para cualquier otro grupo de potenciales
participantes.
 La validez del impacto del programa no es
lineal con la escala del mismo
 Futuras evaluaciones deberían considerar la
externalidades derivadas del proyecto como el
descenso de la delincuencia
 Se jugó con supuestos de permanencia de los
efectos del Programa
MEDICIÓN DE IMPACTO
DE MEDIANO PLAZO
Caso: Programa de Capacitación

Laboral Juvenil PROJoven
1. Análisis de equivalencia estadística:
matching o emparejamiento
1.1 Cambio en procedimiento de matching

 Emparejamiento computacional: del tipo uno a
varios, donde se generan individuos ficticios
(kernels uniformes). Las variables son:
 Mismo sexo
 Difieren en no mas de 0.05 en puntaje de propensión a
participar estimada en muestra de cada ciudad
 Elección de 03 controles cuyo logaritmo de ingresos
era más similar al del beneficiario siempre y cuando no
excedan 0.3
 Ventaja: Se obtiene estimaciones de los efectos
diferenciados por sexo y por ciudad
1.2 Análisis de diferencia de medias

1.3 Análisis de funciones de densidad
Antes matching Después de matching

2.1 Tasas de ocupación

 Negativo en las primeras dos mediciones

 Impacto positivo que se va diluyendo.
2.3 Ingresos por hora

 Impacto positivo
2.4 Ingresos Mensuales Promedio:

 Las 2 variables (horas trabajadas e ingreso por
hora) determinan un impacto positivo
2.5 Segregación Ocupacional por Género
 Reducción de la Segregación.
2.6 Impacto para distintos Grupos Poblacionales
2.6.1 Hombres vs Mujeres

 Impacto en mujeres es mayor al de los hombres
2.6.2 Impacto diferenciado por Ciudades

2.7 Otros Efectos

 Induce cambios en las ramas de actividad laboral
de los Beneficiarios
 Induce a cambios en el tamaño de las empresas
donde trabajan los Beneficiarios
 Cambios en la modalidad de contrato de los
Beneficiarios (aumenta los contratos
“Permanentes” y “a Plazo”)
 Actividades Secundarias: Aumenta la dedicación
del tiempo en la Actividad principal en detrimento
de la actividad Secundaria
3.1 Costos y beneficios
 Costos:
 Costos de funcionamiento: US$ 1`877,200
 Costos de Oportunidad: US$ 68,209
 Beneficios:
 Beneficiosmensuales:
Seis meses: US$ 53,863
Doce meses: US$ 34,663
Dieciocho meses: US$ 47,669
3.2 Flujo de beneficios en escenarios y TIR
Escenarios:
Optimista: al 82% cada año
Conservador: al 76% cada año
Pesimista: al 70% cada año
Resultados de la TIR:
 Optimista: 14%
 Conservador: 10%
 Pesimista: 5.5%
GRACIAS, MUCHAS
GRACIAS

Modulo IV Evaluacion Ex Post

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Modulo IV Evaluacion Ex Post

Uploaded by

Copyright:

Available Formats

UNIVERSIDAD NACIONAL DEL CENTRO DEL PERÚ

MAESTRÍA: PLANIFICACIÓN Y PROYECTOS DE INVERSIÓN

Dr. Econ. Juan ESTELA y NALVARTE

Evaluación Ex Post: Motivación e Introducción

Aplicación Ex - post es limitada

Preinversión Inversión Post Inversión

Depende de la Factibilidad Estudios y Evaluación

Inversión Ejecución Seguimiento físico Inversión

Inicio Inversión y Fin Operación=

Evaluación de impacto (EI) como parte

 Ámbito: Centrada en los resultados u

 Metodológica: Metodologías de recolección

Objetivos Indicadores Fuentes Supuestos

Productos Objetvos Específicos Output Seguimiento y Evaluación

Los beneficiarios están mejor “con” Proyecto frente a su

Fin Objetivo de Desarrollo

Población objetivo: Aquella que el proyecto tiene programado

Población No Beneficiarios Potenciales

Estimador de EI “ingenuo” (naive)

Estimador de EI “ingenuo” (naive) (YB1-YB0)

Ejemplos de Proyectos Objetivos YB0 YB1

2005 2010 Diferencia Diferencia

 Estos factores externos al Proyecto son, por ejemplo,

Antes del proyecto Después del proyecto

 t=0: periodo “0” o antes del proyecto (línea de base)

Problema: Sesgo de selección

 Problema: Las muestras de beneficiarios y no

Cuál es el origen del sesgo?

_ En el proyecto “Modalidad flexible de educación de

_ Ambos subgrupos son población objetivo pero la mayor

…Cuál es el origen del sesgo?

_ Ej01: Padres motivados y proyecto de educación

>Alumnos beneficiarios y no beneficiarios son idénticos

Línea de 18 meses Fórmula Cálculo

Cuasi-Experimental (Ejemplo Projoven)

 Las variables que deben de ser incorporadas en este

Cuasi-Experimental (Ejemplo Projoven)

1.2 En el proceso de trabajo de campo incorpora en el

1.3 Sin embargo, en el trabajo de campo no se puedo

1.4 Por ello, se debe completar el proceso de

2.1 En primer lugar, tenemos una base de datos

2.2Procedemos a calcular el propensity score para cada

Cuasi-Experimental (Ejemplo Projoven)

P(y  1)  F(π̂1Hijo  π̂ 2 Labor  π̂ 3 Ing.famili ar  π̂ 4 Edu.Padre  π̂ 5 Edu.Madre)  e

Cuasi-Experimental (Ejemplo Projoven)

Cuasi-Experimental (Ejemplo Projoven)

Cuasi-Experimental (Ejemplo Projoven)

2.5 Si para un beneficiario no se encontraba un control que

1. El ideal para la identificación de los efectos de un programa

Cuasi-Experimental (BREVE REVISION DEL MARCO

1. Por ello se optan por métodos cuasi - experimentales

[1] Ello a pesar que la limitación es temporal en la medida que se

Cuasi - Experimental (BREVE REVISION DEL MARCO

2. Son 03 los métodos más usados para llevar a cabo el

Cuasi-Experimental (BREVE REVISION DEL MARCO

2 El NNM presenta el problema que podemos elegir controles

3. Sin embargo, RM al igual que el NNM presentan el

4. El tercer método es el de Kernels Uniformes (KU) a

Cuasi-Experimental (BREVE REVISION DEL MARCO

7 Los “test” de los métodos cuasi experimentales se hacen a

Objetivos Indicadores Fuentes Supuestos

Productos Objetvos Específicos Output Seguimiento y Evaluación

Ejemplos de Proyectos Objetivos

Ejemplos de Proyectos Objetivos Indicador