You are on page 1of 44

UNIVERSIDAD NACIONAL DEL CENTRO DEL PERÚ

FACULTAD DE ECONOMÍA
UNIDAD DE POSGRADO

MAESTRÍA: PLANIFICACIÓN Y PROYECTOS DE INVERSIÓN

CURSO
“ EVALUACION SOCIAL DE
PROYECTOS DE INVERSION”

1
Dr. Econ. Juan ESTELA y NALVARTE
Correo electrónico: juanestelaconsultor@yahoo.es
juanestelaconsultor@hotmail.com
ACERCA DEL SEGUIMIENTO Y
EVALUACIÓN

Curso: Planeamiento Estratégico para el Desarrollo Regional


S&E Y EL CICLO DE GESTIÓN DE UN PROGRAMA, UN PROCESO
DINÁMICO
PRESUPUESTO
(financiamiento)

PLANIFICACIÓN

EJECUCIÓN
EJECUCIÓN

MONITOREO
MONITOREO

SUPERVISIÓN
SUPERVISIÓN

EVALUACIÓN

Fuente: GIZ, Programa de Formación en “Diseño e Implementación de un Sistema de Monitoreo y Evaluación (M&E) para Programas Sociales (PPSS)
- Recolección y análisis continuo de información para tomar
decisiones durante la implementación de Política/Prog/Py con
base en Resultados Esperados y estado de avance de
resultados.
- Debe orientar los criterios técnicos para desarrollar nuevas
intervenciones gubernamentales a partir de resultados
efectivamente obtenidos.

Valoración exhaustiva y sistemática de una intervención del Estado


y sus efectos (positivos/negativos; esperados o no) que busca
determinar su relevancia, eficiencia, efectividad, impacto o
sostenibilidad.
SEGUIMIENTO

DEFINICION

Es una función continua, que utiliza una recopilación


sistemática de datos sobre indicadores especificados para
proporcionar a los administradores y a las principales partes
interesadas de una intervención para el desarrollo,
indicaciones sobre el avance y el logro de los objetivos así
como de la utilización de los fondos asignados.
MODALIDADES DE SEGUIMIENTO

Automonitoreo
Monitoreo de Procesos Monitoreo Externo
Reflexiones de parte
de los actores
internos en cuanto al Observación y registro Observación, Análisis y
avance en los de información durante Registro de información en
resultados desde las la implementación. cuanto al desarrollo de todo
actividades el Programa o de parte una
Se trata del monitoreo de sus partes (líneas de
ejecutadas en tiempo, de rutina. intervención, componente, ejes,
costo y responsables etc.), a cargo de terceros.
establecidos.
SEGUIMIENTO DEL PROGRAMA O PROYECTO
 El objetivo de monitorear es dar oportunamente a la gerencia y a otros
involucrados, indicadores de problemas (potenciales) y de desviaciones en el logro
de los objetivos. Es la base para acciones correctivas y mejoras en marcha del
diseño del proyecto.

 Indica a la gerencia si el proyecto es relevante: si está en camino de lograr sus


metas, si se han alcanzado los grupos objetivo y si los objetivos continúan siendo
válidos a la luz de la evolución del entorno.

 Un monitoreo de actividades efectivo necesita datos de la línea base e indicadores


de desempeño y de resultados.

 El monitoreo es continuo, y entrega con anticipación señales de los problemas en


curso, en las que basar acciones correctivas que aseguren el cumplimiento de los
objetivos del proyecto o programa. También, recolecta datos para alimentar las
evaluaciones.
Seguimiento de un Programa, un proceso dinámico

Realidad que se Contribución al


Realidad cambiada
desea cambiar cambio

Intervención

Monitoreo de Monitoreo de Monitoreo de


Actividades Resultados Impactos

Monitoreo de Procesos

Fuente: GIZ, Programa de Formación en “Diseño e Implementación de un Sistema de Monitoreo y Evaluación (M&E) para Programas Sociales (PPSS)
SEGUIMIENTO:
CUESTIONES CLAVE QUE CONTESTAR
 ¿Se están generando los productos identificados previamente como estaba planeado
y de forma eficaz?

 ¿Cuáles son las cuestiones, riesgos y desafíos que afrontamos o pronosticamos que
se deben tener en cuenta para asegurar el logro de los resultados?

 ¿Continuarán siendo pertinentes para el logro de los resultados previstos los


productos planificados y entregados?

 ¿Siguen siendo pertinentes y eficaces los efectos que hemos previsto para lograr
todos los impactos, objetivos y prioridades nacionales?

 ¿Qué estamos aprendiendo?


EVALUACIÓN

DEFINICIÓN

 Apreciación sistemática y objetiva de un proyecto, programa o


política en curso o concluido, de su diseño, su puesta en práctica
y sus resultados.

 El objetivo es determinar la pertinencia y el logro de los


objetivos, así como la eficiencia, la eficacia, el impacto y la
sostenibilidad para el desarrollo.
¿POR QUÉ EVALUAR?
 Las evaluaciones permiten a los gestores
tomar decisiones fundamentadas y
planear de forma estratégica, basados en
“evidencias” e información objetiva.

 Las evaluaciones apoyan mejoras del


programa, la creación de conocimientos y  Proporcionar información creíble y útil.
la rendición de cuentas.
 Incorporar enseñanzas aprendidas en el
proceso de toma de decisiones.

 Determinar el valor o la significación de


una actividad, política o programa.
¿POR QUÉ EVALUAR?
Las políticas y programas de desarrollo están típicamente
diseñados para cambiar una realidad, por ejemplo, incrementar
ingresos, mejorar el aprendizaje, reducir las enfermedades crónicas.

Que se logren o no estos cambios, es una cuestión de la


política pública que no siempre se examina.

Más comúnmente, los gerentes de programas y los


hacedores de políticas se focalizan en controlar y medir los
insumos y los productos inmediatos de un programa -cuánto
dinero se gastó, cuántos libros se distribuyeron- en vez de evaluar si
estos programas han alcanzado sus objetivos propuestos
para mejorar el bienestar de la sociedad.

(Fuente: Paul J. Gertler et al. Impact evaluation in practice. World Bank, 2011, p.3 y ss. http://www.worldbank.org/pdt
Traducción libre)
PRINCIPIOS ORIENTADORES DE LAS EVALUACIONES

Indepen- Trans- Pertinen-


Ética Confiables Oportunas
dientes parentes tes
TIPOS DE EVALUACIÓN
LA EVALUACIÓN • Es una evaluación de amplias miras sobre los probables efectos futuros de nuevos
apoyos e iniciativas, tales como las políticas, los programas y las estrategias. Tiene
EX ANTE lugar antes de poner en práctica una iniciativa.

• Generalmente tiene una naturaleza formativa en la medida que comienza


LA EVALUACIÓN DE aproximadamente a mitad del periodo de ejecución de la iniciativa. La evaluación
TÉRMINO MEDIO formativa trata de mejorar el desempeño, y a menudo se realiza durante la fase de
ejecución de los proyectos o programas.

• Normalmente sirve como evaluación aditiva puesto que se realiza hacia el final de
la fase de ejecución de los proyectos y programas. La evaluación aditiva es
LA EVALUACIÓN
realizada al final de una iniciativa (o de una fase de esa iniciativa) para determinar
FINAL O TERMINAL
en qué medida se produjeron los efectos previstos. Está destinada a proporcionar
información sobre el valor del programa.

Es un tipo de evaluación aditiva de una iniciativa después de su conclusión, que


LA EVALUACIÓN generalmente se realiza dos años, o más, después de finalizar. Su objetivo es
estudiar lo bien que una iniciativa (programa o proyecto) ha servido para el
EX POST objetivo por el que fue creada, evaluar la sostenibilidad de los resultados e
impactos, y sacar conclusiones para iniciativas similares en el futuro.
EVALUACIÓN DE IMPACTO
DEFINICIÓN

 Es una evaluación de los efectos —positivos o negativos,


intencionados o no— sobre los hogares y las instituciones, y del
ambiente generado por una actividad de desarrollo dada, como
un programa o proyecto. Este tipo de evaluación alude tanto al
impacto final (largo plazo) como a los efectos a nivel de
resultado (medio plazo).

 También sirve para la función de rendición de cuentas.

 Pone énfasis en la necesidad de entender las consecuencias de


las iniciativas de desarrollo en el largo plazo.
PASOS EN EL PROCESO DE EVALUACIÓN

PASO 1: Preevaluación. Inicio del proceso


PASO 2: Preparación
de evaluación

 Verificar la “evaluabilidad”, o si  Acuerdo sobre la estructura de


está preparado, para la evaluación gestión de la evaluación, funciones
y responsabilidades de cada uno.
 Redacción de los términos de
referencia
 Organización de los documentos
pertinentes.
 Selección del equipo de evaluación.

Fuente: PNUD, MANUAL DE PLANIFICACIÓN, SEGUIMIENTO Y EVALUACIÓN DE LOS RESULTADOS DE DESARROLLO. 2009, p.145.
PASOS EN EL PROCESO DE EVALUACIÓN

PASO 3: Gestión de la ejecución de una PASO 4: Utilización de la evaluación.


evaluación (cuando los evaluadores Respuesta de la gerencia, intercambio del
externos realizan la evaluación) conocimiento y difusión

 Informar y apoyar al equipo de  Preparar las respuestas de la


evaluación gerencia e implementar las acciones
que darán seguimiento
 Revisión del informe inicial
preparado por el equipo de  Preparar y difundir los productos de
evaluación la evaluación y organizar
actividades para compartir los
 Revisión del borrador del
conocimientos
informe de evaluación
 Revisar las evaluaciones antes de
nuevos procesos de planificación
¿POR QUÉ HACER S&E?

El seguimiento y la evaluación siempre están


relacionados con resultados identificados
previamente en el plan de desarrollo.
SEGUIMIENTO Y EVALUACION

 El SyE puede ofrecer información exclusiva acerca del


desempeño de las políticas, programas y proyectos de un
gobierno.

 Puede identificar lo que funciona y lo que no funciona, y las


razones para cada caso.

 Ofrece información acerca del desempeño de un gobierno, de un


ministerio o de alguna dependencia en especial, así como de
gerentes y su equipo de trabajo.

 Aporta información sobre el desempeño de los donantes que


apoyan el trabajo de los gobiernos.
EL S&E Y LAS GRANDES FUNCIONES
DE GOBIERNO

Planificación:
El S&E relacionado a las
definiciones y metas de los
indicadores asociados a los Proceso Presupuestal:
objetivos estratégicos de la
El S&E entrega las metas de
Planificación y, a medida que
recursos, productos e impactos
procesa información real de los a lograr en el próximo ejercicio,
organismos, se los transfiere a para que se relacionen con los
Planificación, para la revisión de presupuestos de los organismos
ejecutores. Posteriormente se
los planes.
genera información de las
ejecuciones presupuestarias
para el control del presupuesto.
Administración:

El S&E, con información de


productos y resultados, hace
seguimiento de la ejecución de
los programas para el control de
su ejecución y apoyo de
decisiones que contribuyan a
Rendición de Cuentas:
elevar su eficacia.
Los sistemas de S&E informan
sobre resultados que son
incorporados en memorias y
cuentas de los organismos, en
informes a otras autoridades,
como los que van al Congreso, y
son puestos a disposición
general en la Web.
OBJETIVO DE UN SISTEMA DE S&E

Generar información de desempeño en


forma periódica y sistemática para ser
utilizada por parte de distintos actores
en la toma de decisiones que ocurre a lo
largo del ciclo de las políticas y
programas públicos. En nuestro caso
actores del SINAPLAN.

No existe un modelo único respecto de la forma


específica en que la información de desempeño es
utilizada.
CONSTRUCCIÓN DE SISTEMAS DE S&E

Fuente: PNUD, MANUAL DE PLANIFICACIÓN, SEGUIMIENTO Y EVALUACIÓN DE LOS RESULTADOS DE DESARROLLO. 2009, p.83.
CONSTRUCCIÓN DE SISTEMAS DE S&E

Fuente: PNUD, MANUAL DE PLANIFICACIÓN, SEGUIMIENTO Y EVALUACIÓN DE LOS RESULTADOS DE DESARROLLO. 2009, p.98.
CONSTRUCCIÓN DE SISTEMAS DE S&E

Fuente: Kusek y Rist (2004),10 Steps to Designing, Building and Sustaining a Results-Based Monitoring and Evaluation
System. Banco Mundial.
CONSTRUCCIÓN DE SISTEMAS DE S&E
Rol del/la
PASOS PARA EL DISEÑO DE SISTEMAS DE SyE ORIENTADOS AL IMPACTO Y AL APRENDIZAJE consultor/a
(10)

1. Identificación de los actores que participarán en el sistema SyE, garantizando la representatividad de todos (o de los principales actores) con
F
quienes se trabajará o que tienen interés en la intervención.
2. Identificación participativa de los intereses de los actores en el sistema de SyE
2.a. Definición de sus roles en la operación del sistema (es conveniente que, posteriormente, se acuerde directamente con cada uno de los F y/o A
actores, paso 8.c.)
3. Identificación del nivel y mecanismos de participación de cada actor durante el proceso de diseño del sistema de SyE A y/o F
4. Organización del Comité responsable del diseño participativo del sistema (debe tener representación de los distintos actores) F y/o A
5. Concertación, con el Comité de diseño, la agenda del proceso, los recursos, condiciones técnicas y logísticas, compromisos, el tiempo
F
disponible y los mecanismos de comunicación.
6. Definición participativa de los enfoques, lineamientos estratégicos, medios para aprendizaje y definiciones operacionales del sistema de SyE
6.a. Construcción de un lenguaje común reconocer los distintos conceptos - sentidos y formas de medirlos C y/o F

7. Revisión participativa, documentación y ajuste de los instrumentos de Marco Lógico/planificación del proyecto
F y/o A
7.a. Revisión y ajuste participativo de los indicadores
8. Definición participativa de los objetivos y alcances del sistema con relación al impacto
8. a. Definición participativa de los campos de interés para la toma de decisiones a partir del sistema de SyE
A y/o F
8.b. Identificación participativa de necesidades de información de cada actor
8.c. Definición de los roles de cada actor en la operación del sistema
9. Diseño participativo de mecanismos, herramientas e instrumentos de recolección, procesamiento, reporte, uso y aprendizaje A y/o C
9 a. Definición de la automatización del Sistema y requerimientos para su puesta en marcha AyC
10. Definición participativa de mecanismos de institucionalización11 del sistema SyE por parte de los actores A y/o C
11. Definición participativa de mecanismos de revisión y del sistema de retroalimentación A y/o C
12. Acuerdo sobre el plan de actividades para la aplicación y retroalimentación del sistema F y/o C

(10) Los roles de los Consultores son: F: Facilitador/a C: Capacitador/a A: Asesor/a


FUENTE: PREVAL, LOS SISTEMAS DE SEGUIMIENTO Y EVALUACIÓN. ENFOQUES, PASOS PARA SU DISEÑO Y FACTORES DE ÉXITO. 2005
CONSTRUCCIÓN DE SISTEMAS S&E:
REALIDAD LATINOAMERICANA
En el proyecto de Fortalecimiento de los Sistemas de Monitoreo y Evaluación (M&E)
en América Latina, llevado a cabo por el CLAD con apoyo del Banco Mundial, citando
su informe comparativo de 12 países, se observa que:

“una conclusión casi general es que, en gran parte como producto de los factores
anotados, los sistemas de S&E – salvo unos pocos – tienen un escaso impacto en
el mejoramiento de las funciones con que se relacionan, sea la planificación, la
presupuestación, la rendición de cuentas o el mejoramiento de las instituciones y
programas” (Cunill y Ospina, 2008).

Específicamente, aludiendo al mejoramiento de gestión, el informe apunta que “el


usuario que, en cualquier caso, tiende a ser marginal en prácticamente todos los
sistemas corresponde a los niveles directivos de la administración pública”.
CARACTERÍSTICAS MÍNIMAS DE UN S&E

 Existencia formal, bajo una Ley o decisión institucional (D.L. 1088)


 Posee una Unidad Coordinadora y nombre propio (CEPLAN)

 El S&E es administrado por esa Unidad/Entidad con funciones y


autoridad sobre toda la administración pública, ubicada en el
Ejecutivo
 Regularidad de las actividades de S&E

 Intención de que el S&E tenga una cobertura global (SINAPLAN)

 Uso de la información resultante de las actividades de S&E


FACTORES QUE INCIDEN EN LA
INSTITUCIONALIZACIÓN DEL SISTEMA DE S&E

1. FACTORES NORMATIVOS

 Desarrollo de normas y regulaciones


para el S&E.

 Desarrollo conjunto de guías


metodológicas para uso de los
organismos (SINAPLAN).
FACTORES QUE INCIDEN EN LA
INSTITUCIONALIZACIÓN DEL SISTEMA DE S&E

2. FACTORES TECNOLÓGICOS

 Información objetiva  Asegurar el flujo de información


generada por el sistema de (entrada - salida) de un sistema
S&E S&E y establecer canales de
información (CEPLAN–SII; GR-
Gerencia Planeamiento).
 Capacidad del sistema de
S&E de atender las
necesidades de información  Uso de la información generada
de distintos actores por el sistema de S&E
(Entidades del SINAPLAN;
GR)
FACTORES QUE INCIDEN EN LA
INSTITUCIONALIZACIÓN DEL SISTEMA DE S&E

3. DESARROLLO DE CAPACIDADES

 Desarrollo de las capacidades de S&E (proceso


interactivo y gradual de aprendizaje mutuo)

 Esfuerzo sostenido a largo plazo y desarrollo


gradual del sistema (varios años para generar
capacidades institucionales, procedimientos e
información de calidad)

 Diversificación de instrumentos (indicadores y


evaluaciones)
ENFOQUES EN LA INSTITUCIONALIZACIÓN DEL
SISTEMA DE S&E

ENFOQUE
INTEGRACIÓN INTEGRACIÓN
PARTICPATIVO DEL
VERTICAL TRANSVERSAL
S&E
• Mayor • Articulación del • Participación de
participación de los S&E con otros representantes de
diferentes niveles procesos de la los diferentes
generadores de administración grupos de actores
información, mayor pública: (género, edad,
probabilidad de planificación, etnia, etc.).
integración y uso presupuesto,
de la información estadísticas
del sistema de S&E nacionales, gestión
en las entidades. del recurso
humano, entre
otros.
RECOMENDACIONES PARA EL ÉXITO EN EL
DESARROLLO DE SISTEMAS DE S&E

Voluntad • Compromiso de las más altas autoridades/directivos


de participar en los procesos del S&E y de utilizar la
política información generada.

• Claridad conceptual y operativa del proyecto y


Claridad calidad de las hipótesis de cambio.

Lenguaje • Construir un lenguaje homogéneo entre quienes


homogéneo diseñan el S&E y entre quienes lo van a aplicar.

• Considerar la dinámica social (espacio, tiempo,


Contexto social cultura) de los participantes en el diseño y aplicación
del S&E.
CONSIDERACIONES PARA EVITAR EL FRACASO
EN EL DESARROLLO DE SISTEMAS DE S&E
 La excesiva delegación de
responsabilidades en consultores, sin
participación o con limitada
participación de los actores en el
proceso.

 Asumir las actividades del S&E como


una obligación o función impuesta  Desarticulación entre quienes
administrativamente. están aplicando el sistema,
generando análisis fragmentados.
 Establecer metodologías complejas
para recolectar datos, que demandan  Utilizar lenguajes y enfoques
mucho tiempo o recursos financieros distintos, generando confusión en
en su aplicación. la comprensión y aplicación de
conceptos.
BIBLIOGRAFÍA
 Berner, Heidi. Monitoreo y evaluación de programas sociales. Experiencias internacionales.
Santiago, 12 de abril de 2011.
 Centro Latinoamericano de Administración para el Desarrollo (CLAD) y Banco Mundial (BM).
Taxonomía en gestión para resultados y monitoreo y evaluación. Proyecto: Fortalecimiento de los
sistemas de monitoreo y evaluación en América Latina y el Caribe, a través del aprendizaje Sur-
Sur y del intercambio de conocimientos.
http://www.clad.org/siare_isis/innotend/evaluacion/evaluacion.html
 Cunill, N. y Ospina, S. Fortalecimiento de los Sistemas de Monitoreo y Evaluación (M&E) en
América Latina. Informe Comparativo de 12 Países. Banco Mundial y CLAD, 2008.
http://www.clad.org/siare_isis/innotend/evaluacion/evaluacion.html
 Gertler, Paul J., et al. Impact evaluation in practice. World Bank, 2011. .
http://www.worldbank.org/pdt
 GIZ, Programa de Formación en “Diseño e Implementación de un Sistema de Monitoreo y
Evaluación (M&E) para Programas Sociales (PPSS)
 Mackay, Keith. Cómo crear sistemas de SyE que contribuyan a un buen gobierno. 2007, Banco
Mundial, Washington, D.C. http://www.worldbank.org/ieg http://www.worldbank.org/ieg/ecd
 OECD. Glosario de los principales términos sobre evaluación y gestión basada en resultados.
 PNUD, Manual de planificación, seguimiento y evaluación de los resultados de desarrollo. 2009.
 PREVAL, Los sistemas de seguimiento y evaluación. Enfoques, pasos para su diseño y factores
de éxito. 2005.
EJEMPLO DE ANÁLISIS DE SISTEMAS DE
SEGUIMIENTO Y EVALUACIÓN DE PROGRAMAS
SOCIALES

 Fuente:
PCM-CIAS Y GTZ, Diagnóstico de los actuales sistemas y/o
instrumentos de monitoreo y evaluación de 15 programas
sociales. Lima, 2010, pp. 167 y ss
S&E DE PROGRAMAS SOCIALES EN EL PERU

Fuente: PCM-CIAS Y GTZ, Diagnóstico de los actuales sistemas y/o instrumentos de monitoreo y evaluación de 15 programas sociales. Lima, 2010, pp. 167 y ss.
S&E DE PROGRAMAS SOCIALES EN EL PERU

Fuente: PCM-CIAS Y GTZ, Diagnóstico de los actuales sistemas y/o instrumentos de monitoreo y evaluación de 15 programas sociales. Lima, 2010, pp. 167 y ss.
S&E DE PROGRAMAS SOCIALES EN EL
PERÚ
 Los sistemas de monitoreo y evaluación de los
programas sociales calificados como avanzados
comparten una característica común: cuentan con
equipos de monitoreo y evaluación directamente
responsables, con funciones establecidas por
mandato −MOF y/o MOP− afines a sus tema de
monitoreo y evaluación, con dedicación a tiempo
completo y con formación profesional o
complementación-actualización profesional en el
tema.
Las principales modalidades de evaluación según niveles son las siguientes:

 Evaluaciones de procesos. Buscan conocer el perfil de los beneficiarios -la


población objetivo- y su grado de satisfacción con los servicios del
programa. En este grupo están Construyendo Perú, Fitel, Electrificación
Rural y PRONAMA.

 Evaluaciones periódicas. Miden lo programado versus lo avanzado. Se


aplicaron en los programas AGRORURAL, FONCODES Y PRONAA.

 Evaluaciones de impacto. Se concentran en los avances de los resultados


de la intervención, y fueron desarrolladas por Provías Descentralizado y
Juntos.

 Indicadores de producto, procesos y resultados. En este nivel está Wawa


Wasi.
Muchas Gracias