1

Evaluacin de Resultados:
Metodologas
Curso Internacional
Polticas presupuestarias y gestin por resultados:
Santiago de Chile
20 de Noviembre al 1 de Diciembre 2006

Marianela Armijo
Consultora
rea de Polticas Presupuestarias y Gestin
Pblica
ILPES/CEPAL
Marianela.armijo@cepal.org
2
DISEO Y FORMULACIN DE
POLTICAS Y PROGRAMAS
EJECUCIN E IMPLEMENTACIN
TOMA DE
DECISIONES
EVALUACION GUBERNAMENTAL EX POST

EVALUACION
POLITICAS, PROGRAMAS
DESEMPEO, GESTION
3
EVALUACION Y GESTION POR
RESULTADOS
TIPO DE ACCION
GUBERNAMENTAL
QUE SE EVALUA METODOLOGIA
Estrategias Nacionales
Metas nacionales Proceso Poltico
Ciudadana, Encuestas,
Escrutinio Pblico
Polticas
Metas sectoriales Comits Cientficos de
Evaluacin, Paneles de
Expertos
Operativa-Instituciones
Cumplimiento de
metas de gestin y
resultados finales
Indicadores de
Eficiencia, Eficacia,
Calidad, Economa
Sistema de Indicadores de
Desempeo

Cuadro de Mando Integral
Programas
Resultados,
gestin, impacto
Marco Lgico
Evaluacin de Impacto
Inversiones
Rentabilidad Social
Costo-Beneficio
Evaluacin costo-beneficio
ex-ante
4
TIPOS DE EVALUACIONES
Evaluaciones de Programas Gubernamentales (EPG)
Evaluacin de consistencia en diseo, gestin y resultados
Basado en la metodologa de marco lgico
Realizadas por paneles de 3 expertos independientes, seleccionados por
concurso pblico
Informe Final en 6 meses
Evaluacin de Impacto (EI)
Evaluacin de los resultados finales de programas en base a mediciones
de impacto
Metodologa considera recoleccin de datos, tcnicas de medicin ms
sofisticadas (Matching, LATE), grupos de control
Realizadas por consultoras privadas, universidades, seleccionadas a travs
de licitacin pblica
Informe Final en 1-1/2 aos
Evaluacin Comprehensiva del Gasto (ECG)
Evaluacin del diseo y gestin institucional y resultados y uso de
recursos en la provisin de los productos estratgicos.
Se evala la posible existencia de duplicidades, inconsistencias,
oportunidades para generar sinergas y ahorros

5
EVALUACION DE PROGRAMAS
OBJETIVOS DE LA EVALUACION

METODOLOGIA

USO DE LA EVALUACION Y
CONSECUENCIAS PARA EL
PRESUPUESTO

6
OBJETIVOS DE LA EVALUACION
Apoyar la gestin, el anlisis y toma de decisiones de
asignacin de recursos pblicos.

Mejorar la gestin a travs del aprendizaje institucional de los
administradores o encargados de implementar las polticas y
programas

Generar aprendizajes derivados del desarrollo de la evaluacin
y anlisis de los resultados, contribuyendo as al objetivo de
eficiencia operacional del sistema presupuestario.

Contribuir a la transparencia y accountability o rendicin de
cuentas.

7
Ambitos de la evaluacin
Justificacin del Programa
Diseo.
Organizacin y Gestin..
Resultados: Eficacia, Eficiencia, Economia,
Calidad
Sostenibilidad/Continuidad.
Conclusiones y Recomendaciones.


8
9
Metodologa: Marco Lgico
10
RESULTADOS DE EVALUACIN DE PROGRAMAS Y SUS EFECTOS
FONDO DE PROMOCIN DE EXPORTACIONES (FPE) PROCHILE
(evaluacin ao 2002)
RESULTADOS Y EFECTOS
El FPE financia proyectos y actividades de promocin de exportaciones que permiten aumentar y
diversificar la oferta exportable y elevar el valor agregado de los bienes y servicios producidos en
Chile, adems de promover el desarrollo exportador de las regiones y ampliar las oportunidades
de exportacin de las pequeas y medianas empresas.
El FPE ha ha beneficiado a ms de 2.500 empresas en el perodo 1996-2001 a travs del
cofinanciamiento de proyectos de promocin de exportaciones.
La evaluacin no muestra resultados significativos del programa sobre el volumen de
exportaciones o el nivel de las ventas de las empresas beneficiarias respecto de aquellas del grupo
de control.
Sobre la base de los hallazgos de la evaluacin, el presupuesto se redujo para el ao 2004,
incluyndose tambin una reestructuracin de las partidas presupuestarias y la elaboracin de
compromisos en materia de gestin interna para asegurar un mejor desempeo.
DESCRIPCIN
USO DE LA EVALUACION DE PROGRAMAS
11
UTILIZACION DE LA EVALUACION DE PROGRAMAS EN EL
PRESUPUESTO Y EN EL MEJORAMIENTO DE LOS PROGRAMAS
12
13
Costo de la evaluacin
Evaluacin Comprehensiva del
Gasto
15
Objetivos
Evaluar el diseo institucional, la gestin de los
procesos claves, y los resultados y uso de recursos
en la provisin de los productos estratgicos (bienes
y servicios).

Utiliza como informacin base las prioridades
gubernamentales, las definiciones estratgicas
institucionales, las estadsticas de los
beneficiarios/usuarios/clientes respecto de cada uno
de los productos estratgicos, los indicadores que
dan cuenta del desempeo de stos, y los gastos
asociados a la provisin de dichos productos.
.

16
Modelo de Evaluacin Comprehensiva
del Gasto
Sistema de Control de Gestin y Presupuestos por Resultados. La Experiencia
Chilena. 2005
www.dipres.cl
EVALUACION DE IMPACTO
18
ESTRUCTURA DE LA EVALUACION DE
IMPACTO: CASO CHILE
INTEGRAN LA EVALUACION DE LOS
RESULTADOS DE CORTO, MEDIANO Y
LARGO PLAZO DE LOS PROGRAMAS
(EFICACIA), CON LOS PRINCIPALES
ASPECTOS DE EFICIENCIA Y
ECONOMIA EN EL USO DE LOS
RECURSOS.
19
PREGUNTAS QUE SE HACE LA
EVALUACION DE IMPACTO
Efectos de mediano y largo plazo sobre la poblacin beneficiaria
que espera obtener el Programa

Cules sern los beneficios con que quedar la poblacin
beneficiaria una vez que concluya su participacin en el
programa?

Incremento en el nivel de remuneraciones
Reduccin de la tasa de morbilidad de menores
beneficiados con un programa de vacunacin
Aumento del rendimiento escolar de los alumnos
participante en un programa de reforzamiento educativo
20
OBJETIVOS
Conocer si el programa produjo los efectos
deseados en los beneficiarios.

Conocer si los cambios observados en los
beneficiarios, pueden asociarse a los efectos
del programa (causalidad).

Cmo debiera mejorarse el programa para
maximizar sus beneficios en las variables de
impacto?

21
METODOLOGIAS
Diseo experimental tradicional y
aleatorio
Mtodo de doble diferencias
Mtodos de comparaciones
Pareadas (matching)
Seleccin de modelos ( variables
instrumentales)
Evaluaciones cualitativas

22
METODOLOGIAS
Requiere de la aplicacin de tcnicas, que
permitan conocer lo que habra ocurrido en
caso de que el programa no se hubiese
puesto en marcha.

Identificar las VARIABLES QUE DEBEN SER
MEDIDAS para determinar si el Programa ha
generado realmente los beneficios o
resultados finales o impacto esperados


23

El impacto del programa es:
La diferencia en la variable resultado (Y) que
registra el individuo (i) con y sin la intervencin
del programa
i = Y1i Yoi

i es el impacto del programa (tratamiento) sobre la persona i,

Yoi es resultado potencial que registrara el individuo i sin el
tratamiento,

Y1i es el resultado potencial que registrara el individuo i con el
tratamiento.
24
Problema fundamental de
identificacin
No es posible observar Yoi e Y1i, para
un mismo individuo en un momento del
tiempo.
Un individuo i en un momento del
tiempo puede presentar solo uno de los
dos estados posibles:
Intervencin en el programa
No intervencin en el programa
25
Problemas metodolgicos de la medicin
Medir el impacto esperado o promedio del programa
sobre el conjunto de los individuos.

Sesgo de seleccin: Seleccin de los individuos que
participan en el programa responde a ciertos criterios
de focalizacin u otros. Programa de Capacitacin,
Ingresos beneficiarios menores antes de la
capacitacin. En ausencia del Programa los ingresos
potenciales de los beneficiarios sern menores a los
de los no beneficiarios en el mismo perodo

26
METODOLOGIAS
Se requiere disponer de informacin para el
llamado grupo de control o de comparacin.

Estos grupos deben seleccionarse de manera
aleatoria, de la misma poblacin de la que
provienen los participantes.

Ambos grupos deben tener las mismas
caractersticas

27
METODOLOGIAS
Un grupo de control es bsicamente un segmento de
no beneficiarios que son parte de la poblacin
objetivo, es decir, un grupo que comparte las
caractersticas sociales, econmicas, educacionales,
etc, del grupo beneficiario. (dos grupos
estadsticamente idnticos entre s)

La nica diferencia entre los individuos del grupo de
control y los beneficiarios efectivos debe ser su
participacin en el programa.

28
Diseo experimental o aleatorio
Aislar los efectos que tienen sobre la variable resultado (Y)
factores externos al Programa

Seleccin de individuos beneficiarios del programa sea
independiente de sus resultados potenciales. Seleccin aleatoria
de los individuos que se beneficien del programa

La medicin de impacto consiste en cuantificar, una vez
transcurrido el tiempo pertinente de intervencin del programa,
la(s) variable(s) de impacto,tanto para el grupo de tratamiento y
como para el grupo de control en ambos simultneamente y
para el mismo perodo de tiempo para luego analizar las
diferencias que existen entre ambos.


29
Grupo de control aleatorio entre la
poblacin de individuos elegibles,
garantizndose que en el inicio ambos
grupos son estadsticamente iguales en
trminos de sus caractersticas como de
sus respectivas distribuciones
30
Diseo experimental o aleatorio
n1=nmero de individuos en el grupo de tratamiento

N0=nmero de individuos en el grupo de control.

Principal distorsin: posibles cambios del grupo de control
Durante el perodo de evaluacin (abandono rea geogrfica en
ese lapso=Grupo de control contaminado.
Viabilidad poltica de excluir de la cobertura de un programa
aleatoriamente a un grupo de beneficiarios elegibles y como tal
necesitan los beneficios del programa
31
Diseo cuasi experimental
Seleccin de beneficiarios no es aleatoria, se basa en
criterios de elegibilidad y focalizacin que establecen
diferencias observables como no observables, entre el
grupo de tratamiento y los no beneficiarios (grupo de
control)
Diferencias observables: responden a los criterios de
seleccin del programa
Diferencias no observables: caractersticas de la poblacin que
afectan su participacin pero para la cual no hay informacin
(habilidad individual, voluntad de participar, procesos subjetivos y
no formales que determinan que una persona acceda a los
beneficios del programa
32
Diseo cuasi experimental
El impacto del programa no podr ser estimado a travs de la
simple diferencia de medias entre la variable resultado del grupo
de tratamiento y el grupo control ya que las diferentes
caractersticas observables y no observables de los beneficiarios y
no beneficiarios implicar la existencia de sesgo de seleccin, la
medicin del impacto del programa resultar sesgada.

Solucin: diseo cuasi-experimental, que permita controlar por las
distintas caractersticas que posee el grupo de beneficiarios del
programa (tratamiento) respecto de los no beneficiarios (grupo
control) que pudiesen afectar el resultado o impacto del programa.


33
Metodologa
Construccin de dos escenarios.
Un escenario prefactual, es decir,la identificacin y medicin de las
condiciones del grupo de beneficiarios y no beneficiarios (control)
antes de la ejecucin del programa(construccin de la lnea de
base o situacin sin programa) y un escenario contrafactual, que
implica la medicin del cambio en las condiciones del grupo
beneficiario y grupo control, de modo de estimar lo ocurrido como
consecuencia directa de la intervencin del programa.

Cul sera la situacin actual de estos beneficiarios si no hubieran
participado en el programa?, comparando los resultados finales del
programa en los beneficiarios con respecto a un grupo de no
beneficiarios de caractersticas similares (grupo control), de modo de
aislar los efectos de otros factores externos al programa?

34
Condiciones
Existencia de una base de datos (o varias bases que permitan
formar una comn) de beneficiarios y no-beneficiarios, que
contenga para ambos grupos informacin sobre los criterios de
elegibilidad del programa:

Condicin socioeconmica, tamao de la familia, escolaridad,
ubicacin geogrfica o cualquier otra caracterstica que se haya
utilizado para seleccionar a los beneficiarios) e informacin sobre
las variables que permitirn medir los resultados finales o impactos
esperados de la intervencin (por ejemplo: nivel de ingresos,
condicin laboral, nivel de salud, etc.).

35
Metodologas cualitativas
Evaluacin participativa: incorpora a ls
beneficiarios en el diseo, la ejecucin
y la evaluacin de un programa.

Focus group

Entrevistas a informantes claves
36
RESULTADOS DE EVALUACIN DE PROGRAMAS Y SUS EFECTOS
PROGRAMA DE SALUD BUCAL JUNAEB (evaluacin ao 2004)
RESULTADOS Y EFECTOS
El programa de atiende a estudiantes de enseanza bsica de escuelas subvencionadas vulnerables
para mejorar su salud bucal mediante acciones clnicas y educativo-preventivas.
La cobertura de la Atencin Odontolgica Integral en el ao 2003 alcanz al 8% de la poblacin
objetivo. Un anlisis ms especfico para la cohorte de 6 aos de edad muestra que el sector
pblico atiende al 69% de los nios de esta edad, de los cuales el 49% es atendido en los
mdulos del programa, lo que se evala positivamente.
El ndice COP-D (C: caries; O: Obturados y P: perdidos) muestra que las caries entre el ingreso
y el alta de los escolares atendidos en el mdulo dental en primer ao bsico disminuyen en
98% en el ao 2003.
Como resultado de la evaluacin, el Presupuesto 2005 considera un incremento de cobertura
del programa en relacin a acciones educativas, preventivas y curativas de atencin dental.
DESCRIPCIN
USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO
VARIABLES DE
IMPACTO