Captulo IV

Sistemas de Monitoreo y Evaluacin

Un proyecto es, por definicin, una intervencin puntual en el proceso de

desarrollo del pas, ya sea a nivel local, regional, sectorial o nacional. El
proyecto en s mismo tiene un periodo de vida relativamente breve, pero el
proceso de desarrollo al cual pretende contribuir es de carcter continuo y
virtualmente infinito. En este contexto, una de las dificultades ms
comunes de la gerencia consiste en evaluar los resultados de una inversin.
Bajo el enfoque del marco lgico, los indicadores de desempeo ofrecen la
base para la construccin de slidos sistemas de monitoreo y evaluacin.

4.1 Sistemas de monitoreo y evaluacin

En el idioma espaol el trmino evaluacin de proyectos se usa en tres

contextos distintos: evaluacin ex-ante o previa, (appraisal), seguimiento o
evaluacin de la ejecucin (monitoring) y la evaluacin posterior, expost o de
resultados (evaluation). En el texto que sigue nos referimos, principalmente, a
la accin de seguimiento o monitoreo del proyecto y a la evaluacin ex-post.
La evaluacin ex-ante, que se realiza antes de la ejecucin del proyecto, como
parte del anlisis de la viabilidad del mismo, no forma parte del alcance del
presente manual.

En realidad, si excluimos la evaluacin ex ante, en el contexto del enfoque

del marco lgico se pueden establecer hasta tres tipos de evaluacin:
evaluacin de procesos (o monitoreo), evaluacin de resultados (o
simplemente evaluacin) y evaluacin de impacto. La evaluacin de procesos
se centra en el seguimiento de las actividades y de la ejecucin presupuestal, a
travs de los indicadores y metas correspondientes a las actividades contenidas
en el plan operativo. La evaluacin de resultados se interesa, principalmente,
por el control de avance en el logro de los productos y el propsito, y tiene por

63
Diseo de Sistemas de Monitoreo y Evaluacin de Proyectos de Promocin Empresarial

objeto evaluar la estrategia del proyecto. Finalmente, la evaluacin de

impacto est destinada a revelar la magnitud de los efectos del proyecto
sobre el desarrollo, haciendo uso de mtodos cuantitativos y cualitativos,
asumiendo el reto de clarificar la atribuibilidad de los cambios en el bienestar
de la poblacin.

Concepto general de evaluacin

En trminos generales, la evaluacin ex - post es la comparacin de lo

planificado con lo realizado, de lo previsto con lo que efectivamente ocurri.
En palabras de Cohen y Franco,6 la evaluacin es la pretensin de comparar
un patrn de deseabilidad (imagen-objetivo hacia la cual se orienta la accin)
con la realidad (la medida potencial en la cual esta va a ser modificada, o lo
que realmente sucedi como consecuencia de la actividad desplegada). La
evaluacin es la disciplina que se ocupa de la comparacin de los efectos de
un proyecto o programa con las metas que se propuso alcanzar y que, por
ende, mide hasta que punto un proyecto alcanza ciertos objetivos. En esta
definicin hay dos tipos de riesgos:

En primer lugar, podra existir una sobreestimacin de las metas,

en cuyo caso, independientemente de la calidad del diseo y de
la implementacin, se consideraran como deficientes aqullos
proyectos que no alcancen dichas metas, an cuando desde una
perspectiva realista, pudieran haber sido considerados exitosos.
Tambin existe el riesgo contrario: la subestimacin de las
metas. En este caso, proyectos mal concebidos y ejecutados,
podran tener una evaluacin aparentemente positiva, debido a
que sus formuladores, cautos en el momento de plantearse las
metas, situaron stas en un nivel ostensiblemente bajo.

Segn Cohen y Franco, la evaluacin es una actividad que tiene por objeto
maximizar la eficacia de los proyectos en la obtencin de sus fines y optimizar la
eficiencia en la asignacin de los recursos orientados a dichos fines. Las

6
Cohen y Franco, Evaluacin de Proyectos Sociales. ILPES, Santiago de Chile, 2001

64
Sistemas de Monitoreo y Evaluacin

evaluaciones, por otra parte, establecen un vnculo entre los resultados

obtenidos en los proyectos y las ventajas que aportan al desarrollo. Para la
Agencia Canadiense de Desarrollo Internacional (ACDI), por ejemplo, la
medicin del rendimiento que emerge de una evaluacin es un elemento
esencial para lograr el xito de los proyectos de inversin pblica. Las
lecciones que se aprenden con la experiencia contribuyen a tomar decisiones
bien fundamentadas, lo que a su vez favorece la adopcin de polticas,
estrategias y practicas de desarrollo mas eficaces y efectivas 7. Las
evaluaciones nicamente son tiles si los resultados que generan aportan un
valor agregado, en trminos de lecciones aprendidas que puedan ser
incorporadas en el diseo de intervenciones futuras.

GRFICO N 23
PLANIFICACIN Y EVALUACIN

Lo planificado Lo realizado

Objetivos Objetivos

Costos Costos

Tiempo Tiempo

El sistema de monitoreo y evaluacin es, en esencia, un sistema de

informacin sobre la marcha del proyecto que conduce a decisiones destinadas a
mejorar la calidad de la ejecucin y, por ende, el impacto de la intervencin
sobre el proceso de desarrollo. El monitoreo implica el seguimiento peridico
de la informacin referida a la implementacin de las actividades, con el objeto
de establecer en que medida los planes previstos se vienen cumpliendo de
manera de hacer las correcciones necesarias a tiempo. En algunos proyectos, el

7
Vase: Gua de Evaluacin, Agencia Canadiense de Desarrollo Internacional, 2000.

65
Diseo de Sistemas de Monitoreo y Evaluacin de Proyectos de Promocin Empresarial

monitoreo tambin es til para registrar sistemticamente la evolucin de las

condiciones que se quieren afectar mediante las actividades del proyecto. La
evaluacin es un proceso que busca determinar de la manera ms precisa y
objetiva posible, la relevancia, efectividad, eficiencia y/o impacto de las
actividades desarrolladas, a la luz de los objetivos especificados para el
proyecto. Aunque la evaluacin suele ser retrospectiva, su objeto es
esencialmente de planeamiento hacia el futuro. En los casos en que el
monitoreo tambin incluye el seguimiento continuo de resultados o impactos
del proyecto, se le conoce como evaluacin continua.
GRFICO N 24
CICLO DE GESTIN

Diseo

Evaluacin Ejecucin

Tanto el monitoreo como evaluacin son herramientas de gestin, que

responden a necesidades distintas. En el caso del monitoreo, se establece una
rutina de recojo de informacin que registra los avances con relacin a lo
programado. Las discrepancias entre lo planeado y lo ejecutado que se
identifican a travs del monitoreo sirven para evaluar la adopcin de posibles
acciones correctivas sobre la marcha del proyecto. La evaluacin, en cambio, es
ms episdica. Aunque utiliza la informacin recolectada por el sistema de
monitoreo, utiliza fuentes adicionales de informacin. La evaluacin se centra
en preguntas especficas referidas a su eficacia y eficiencia, para influenciar la
toma de decisiones en el futuro. De manera general, y con el objeto de ilustrar el
concepto, se podra decir que el monitoreo corresponde a la gerencia, en tanto

66
Sistemas de Monitoreo y Evaluacin

que la evaluacin al directorio. O bien, que el primero tiene que ver con la
administracin del proyecto, mientras que la segunda esta vinculada al
planeamiento estratgico.

Sistema de informacin gerencial

En efecto el sistema de M+E es un sistema de informacin gerencial, en

tanto que rene tres caractersticas esenciales:
Contiene informacin sobre la ejecucin.
Contiene informacin resumida en indicadores de lectura rpida.
Contiene indicadores indispensables para la toma de decisiones.
El peligro principal de los sistemas de informacin gerencial es la
generacin de datos en cantidades mayores a las necesarias y de una
calidad poco confiable e inoportuna.

4.2 Tipos de evaluacin

Como ya ha sido sealado, en el contexto del enfoque del marco lgico

se pueden establecer hasta tres tipos de evaluacin: evaluacin de procesos
(monitoreo), evaluacin de resultados (o simplemente evaluacin) y
evaluacin de impacto.

La evaluacin de procesos se centra en el seguimiento de las

actividades y de la ejecucin presupuestal, a travs de los
indicadores y metas especificadas en el plan operativo.
La evaluacin de resultados se interesa principalmente, por el
control del avance en el logro de los productos y el propsito, y
tiene por objeto evaluar la estrategia del proyecto.
Finalmente, la evaluacin de impacto est destinada a revelar la
magnitud de los cambios en el bienestar de las personas que se
pueden atribuir a un proyecto, haciendo uso de mtodos
cuantitativos y cualitativos.

67
Diseo de Sistemas de Monitoreo y Evaluacin de Proyectos de Promocin Empresarial

Cabe destacar que estos tres tipos de evaluacin tienen su razn de ser
en el hecho que, por lo general, cuando se evala un proyecto se busca
responder a tres preguntas fundamentales:

1. Cmo est funcionando el proyecto?

2. Se logr o no el cambio deseado?
3. Si se logr el cambio, en qu medida este se puede atribuir al proyecto?

GRFICO N 25
TIPOS DE EVALUACIN

TIPO FRECUENCIA INDICADORES PROPSITO

Evaluacin Baja, luego de Cambios Estimar impacto

de impacto un tiempo de sustentables en el en la poblacin
maduracin nivel de la
poblacin objetivo

Evaluacin Anual o al final Productos o Evaluar cumplimiento

de resultados del proyecto resultados de objetivos
propuestos especficos o
productos ofrecidos
Evaluacin Alta (mensual, Actividades Estimar avance
de procesos trimestral) realizadas, gasto (monitoreo)
ejecutado
(indicadores de
proceso)

Evaluacin de procesos

La evaluacin de procesos o monitoreo nos permite conocer a fondo la

dinmica de implementacin del proyecto, incluyendo:

La cantidad de actividades realizadas.

La calidad realizada de las actividades.
El costo de las actividades realizadas.

68
Sistemas de Monitoreo y Evaluacin

Este tipo de evaluacin esta destinada a responder preguntas como las

siguientes:

Cunto hemos hecho?

Qu tan bien lo hemos hecho?
Cmo podramos mejorar?

La evaluacin de procesos se enfoca ntegramente en la implementacin

de las actividades del proyecto. Este tipo de evaluacin no investiga cun
eficaces fueron estas actividades en producir resultados. Por lo tanto la gran
utilidad de este tipo de evaluacin es identificar mientras el proyecto est es
plena marcha los aspectos exitosos para replicarlos y los aspectos deficientes
para mejorarlos. Efectuado oportunamente, la evaluacin de procesos, permite
realizar modificaciones en la ejecucin de actividades con base en los hallazgos,
incrementando as la probabilidad de que el proyecto logre sus objetivos.

Evaluacin de resultados

Todo proyecto se realiza con algn objetivo. La evaluacin de

resultados permite determinar en que grado se logra el objetivo o cambio
deseado. Generalmente, se busca un cambio en las condiciones de vida de la
poblacin, en trminos de ingresos, acceso a servicios o ejercicio de derechos
polticos. Este tipo de evaluacin busca determinar la medida en la que se ha
logrado el resultado deseado en la poblacin objetivo. Al evaluar los
resultados de un proyecto, a fin de determinar si el diseo y la gerencia del
mismo fueron adecuados, se pone nfasis en cinco aspectos importantes:

1. Pertinencia. Grado en el cual el objetivo del proyecto es

consistente con las prioridades de desarrollo de la poblacin
objetivo y las polticas de la entidad ejecutora y el organismo
donante o financiador.

2. Eficacia. Grado en el cual se logran los objetivos especficos y

el propsito del proyecto.

69
Diseo de Sistemas de Monitoreo y Evaluacin de Proyectos de Promocin Empresarial

3. Eficiencia. Anlisis de los resultados con relacin al costo; es

decir un anlisis de la transformacin de los insumos en
producto mediante la realizacin de determinadas actividades.

4. Impacto. Valoracin socioeconmica global, incluyendo los

efectos positivos y negativos, tanto aquellos que son deseados y
estaban previstos, como los no previstos y no deseados.

5. Sostenibilidad. Apreciacin de la capacidad para mantener los

impactos positivos del proyecto por un largo periodo de tiempo.
Anlisis sobre si el efecto global en trminos, por ejemplo, de
empleo e ingresos es positiva tambin en el largo plazo.

Estos aspectos estn estrechamente relacionados al enfoque del marco

lgico. As, la pertinencia alude a la relacin del propsito con las prioridades
de desarrollo; la eficacia a la relacin entre los productos y el propsito; la
eficiencia es una comparacin de los insumos con los productos; el impacto
establece relaciones entre las variables controlables por el proyecto y el fin; y,
por ultimo, la sostenibilidad analiza la interaccin entre el fin y los supuestos al
mismo nivel. Cabe reiterar que en la evaluacin ex-post se suele convenir que el
concepto de resultado abarca tres niveles de la columna de objetivos del marco
lgico: los productos (o componentes), los efectos (p propsito) y los impactos
(o fin). En ocasiones se suele diferenciar a la evaluacin de resultados del
anlisis de impactos, con la intencin de estimar cualitativa y cuantitativamente
la incidencia del proyecto sobre determinados aspectos o reas del desarrollo. A
este anlisis se le denomina evaluacin de impacto.

70
Sistemas de Monitoreo y Evaluacin

GRFICO N 26
CRITERIOS DE EVALUACIN

Pertinencia
El programa sigue
respondiendo a
las necesidades

Sostenibilidad
Eficacia
Se mantienen los
Logro de resultados resultados despus del
La evaluacin retiro del apoyo externo
se interesa
principalmente
en los
resultados
Eficiencia obtenidos Resultados no previstos
Los resultados respecto Efectos significativos
de los costos del rendimiento

Impacto
Cambios de largo plazo
en el bienestar de la
poblacin

Para medir los resultados (detectar un cambio), idealmente es necesario

contar con datos antes y despus de la intervencin sobre la poblacin
beneficiaria. Alternativamente, es posible fijar una meta ideal y compararla
con la meta realmente lograda al final de la ejecucin del proyecto.

Evaluacin de impacto

Las evaluaciones de impacto permiten determinar con mayor certeza la

relacin causa-efecto de un proyecto dado y sus resultados en la poblacin
beneficiaria. Por lo general, la metodologa de evaluacin de impacto consiste

71
Diseo de Sistemas de Monitoreo y Evaluacin de Proyectos de Promocin Empresarial

en la construccin de un escenario contrafactual, a travs del cual se

compara la situacin con proyecto versus la situacin sin proyecto y, de este
modo, se estima tanto la magnitud de los cambios como la proporcin de
dicho cambio atribuible al proyecto.

Las evaluaciones de impacto apuntan a medir el grado de cambio que

se puede atribuir a una intervencin, eliminando el sesgo de los factores
ajenos al proyecto que podran haber influido en los resultados obtenidos. La
evaluacin de impacto es la base para dar respuesta a la pregunta: que
hubiera ocurrido si no se hubiera ejecutado el proyecto?

Como sealan algunos autores, para asegurar rigor metodolgico, una

evaluacin del impacto debe estimar el escenario contrafactual o escenario
simulado alternativo, que seria lo que habra ocurrido si el proyecto nunca se
hubiera realizado o lo que habra ocurrido normalmente. Para determinar el
escenario contrafactual, es necesario separar el efecto de las intervenciones
de otros factores. Esto se logra con la ayuda de grupos de comparacin o de
control (aquellos pobladores que no participan en un proyecto ni reciban
beneficios), que luego se comparan con el grupo de tratamiento (personas
que reciben la intervencin). Los grupos de control se seleccionan en forma
aleatoria de la misma poblacin que los participantes del proyecto, mientras
que el grupo de comparacin es simplemente el grupo que no recibe el
proyecto que se est investigando. Los grupos de comparacin y de control
deben ser semejantes al grupo de tratamiento en todo aspecto y la nica
diferencia entre ellos es la participacin en el proyecto.

El escenario contrafactual se puede realizar usando diversas

metodologas que entran en dos categoras generales: diseos experimentales
y diseos cuasi experimentales. Tambin se pueden usar mtodos cualitativos
y participativos para evaluar el impacto. Estas tcnicas con frecuencia
proporcionan informacin decisiva sobre las perspectivas de los
beneficiarios, el valor que los programas revisten para stos, los procesos que
pueden haber afectado los resultados y una interpretacin ms profunda de
los resultados observados en el anlisis cuantitativo.

72
Sistemas de Monitoreo y Evaluacin

4.3 Cmo disear una evaluacin?

El diseo de un sistema de monitoreo y evaluacin comprende cinco

pasos fundamentales, los cuales deben ser desarrollados en forma secuencial,
en el contexto de la implementacin de un proyecto. Los pasos son los
siguientes:

Determinar los objetivos del proyecto, que sern, al mismo

tiempo, los objetivos de la evaluacin.
Determinar el tipo de evaluacin a realizar y la metodologa
correspondiente.
Identificar los indicadores, segn el tipo de evaluacin elegido.
Recopilar la informacin, sobre la base de los medios de
verificacin establecidos.
Anlisis de la informacin y elaboracin del informe de
evaluacin.

Paso 1: Determinar los objetivos del proyecto

La determinacin o aclaracin de los objetivos de un proyecto se realiza

sobre la base del marco lgico del mismo. En el se establecen cuatro tipos de
objetivos: fin, propsito, productos y actividades. Dependiendo del tipo de
evaluacin que se quiera realizar, se elegir uno u otro tipo de objetivo. As por
ejemplo, si lo que se desea es una evaluacin de procesos, el foco de atencin
sern las actividades del proyecto y sus indicadores. En cambio, si se trata de
una evaluacin de resultados, los objetivos pertinentes sern los productos, el
propsito y el fin del marco lgico del proyecto. En el caso particular de una
evaluacin de impacto, en la columna de objetivos del marco lgico del
proyecto se configuran las hiptesis de desarrollo: se asume que los productos,
mas ciertas condiciones de entorno, debieran generar en un tiempo dado, el
propsito (impacto inmediato) y el fin (impacto de mediano y largo plazo). Esta
son las hiptesis que la evaluacin debiera conformar o recusar, segn sean los
resultados reales que se hayan producido durante la ejecucin del proyecto.

73
Diseo de Sistemas de Monitoreo y Evaluacin de Proyectos de Promocin Empresarial

Objetivos de la evaluacin
Los objetivos del proyecto constituyen, en esencia, los objetivos de la eva-
luacin, as como la hiptesis de desarrollo se convierten en las hiptesis de
la investigacin en la que se sustentan los hallazgos de la evaluacin.

Idealmente, los objetivos de un proyecto especifican:

A quin? : Poblacin objetivo.

Qu? : Cambio deseado.
Cunto? : Magnitud esperada del cambio.
Cundo? : Horizonte temporal.

Confusin entre actividades y objetivos

Un error comn es equiparar el objetivo con la actividad a realizar en
vez del cambio a lograr.
Lo correcto (enfocado en el cambio deseado):
Lograr que el 90 % de los agricultores que acuden a los talleres de
capacitacin realizados por las agencias agrarias identifiquen los procesos de
produccin de sus cultivos, un mes despus de haberse capacitado.
Incorrecto (enfocado en la actividad):
Realizar 20 charlas sobre procesos de produccin de diversos cultivos.

Paso 2: Determinar el tipo de evaluacin y metodologa pertinente

Las evaluaciones de los proyectos pueden ser -como ya ha sido

sealado-de tres tipos: evaluacin de procesos, evaluacin de resultados y
evaluacin de impacto. Frecuentemente, la evaluacin de un proyecto incluye
los dos primeros tipos, y solo en pocos casos en aquellos proyectos
considerados de carcter estratgico en la lucha contra la pobreza- se realizan
evaluaciones de impacto.

74
Sistemas de Monitoreo y Evaluacin

Los factores que determinan la seleccin de una evaluacin de impacto estn

vinculados a las siguientes interrogantes:

Es el proyecto, una intervencin considerada estratgica para la

reduccin de la pobreza?
Contribuir la evaluacin a cerrar la brecha de conocimiento
respecto de lo que funciona y no funciona en estrategia de lucha
contra la pobreza?
Est el proyecto probando enfoques innovadores para la
reduccin de la pobreza?
Se espera que el proyecto tenga impactos diferenciados en
funcin del gnero o de tipo cultural?

Paso 3: Identificar los indicadores adecuados

En esta etapa se identifican los indicadores necesarios para evaluar el

desempeo de las actividades (evaluacin de proceso) y de los resultados
obtenidos (evaluacin de resultados y de impacto), tomando en
consideracin tanto los criterios genricos de seleccin de indicadores como
la data existente y la que podra ser obtenida a un costo razonable.

Cabe sealar que las evaluaciones de procesos pueden tener aspectos

cuantitativos y cualitativos. Los indicadores cuantitativos miden nmero,
porcentaje, promedio, ndices u otras magnitudes estadsticas, pero no siempre
estos logran capturar la esencia de los aspectos cualitativos que queremos
evaluar. Por ejemplo, para evaluar el grado de satisfaccin con un taller, se
puede aplicar un cuestionario estructurado para determinar el porcentaje de
participantes que opinaron que las presentaciones fueron claras, que fueron
interesantes, que proporcionaron informacin suficiente, etc. (datos
cuantitativos). Alternativamente, se pueden reunir unos participantes en un
grupo focal para conocer sus actitudes hacia diferentes aspectos del taller (datos
cualitativos). Ambos tienen ventajes y desventajas, pero sirven para obtener
retroalimentacin sobre la dinmica de la actividad que se esta evaluando.

75
Diseo de Sistemas de Monitoreo y Evaluacin de Proyectos de Promocin Empresarial

Paso 4: Recopilar la informacin

Para cada indicador es necesario recolectar datos de alguna fuente que

permita viabilizar la evaluacin. En algunos casos, los datos ya estn
disponibles, por lo que el trabajo se reduce al anlisis de los mismos. En
otros casos, no existe data disponible, por lo que se tiene que disear y
conducir un estudio para obtener esos datos.

La mayora de evaluaciones utilizan datos cuantitativos y cualitativos. Si

la fuente de informacin utilizada es de carcter primario, las fuentes de
datos cuantitativos ms importantes son:

Entrevistas estructuradas.
Estadsticas de servicio (datos administrativos).

Sin embargo, los datos cuantitativos requieren, por lo general, ser

complementados con datos cualitativos, por su mayor contenido de
informacin en cuanto a actitudes, opiniones y valores. Las tcnicas
cualitativas ms importantes son:

Entrevistas en profundidad.
Grupos focales.
Observacin directa.

Paso 5: Anlisis de informacin y elaboracin del informe

Al igual que los pasos anteriores, el anlisis de los datos, requiere de un

esfuerzo de equipo para aclarar preguntas y garantizar resultados oportunos
y de calidad. Un primer problema que debe ser abordado se refiere a la
depuracin de los datos proveniente de fuentes primarias y secundarias.

Existen diversas tcnicas de anlisis cuantitativo basadas en mtodos

estadsticos, as como tambin existen muchas tcnicas para analizar datos
cualitativos. Particularmente en las evaluaciones de impacto, dos tcnicas son
de uso frecuente: anlisis de contenido y anlisis de casos.

76
Sistemas de Monitoreo y Evaluacin

El anlisis de contenido se usa para analizar datos obtenidos en

entrevistas, observaciones y documentos. Sobre la base de un sistema de
clasificacin de datos, la informacin organizada de acuerdo con:

Las preguntas de evaluacin para las cuales se recopil la

informacin.
La forma como ser usada la informacin.
La necesidad de realizar referencias cruzadas con la informacin.

Una vez establecido el sistema de clasificacin, comienza la fase de

anlisis, este consiste en buscar patrones en los datos e ir ms all de la
descripcin hacia la comprensin de los procesos, resultados e impactos del
proyecto. Adems del necesario trabajo de equipo, en anlisis de esa
informacin actualmente puede ser reforzada con el uso de programas
computacionales etnogrficos y lingsticos, diseados especficamente para
anlisis cualitativos.

El anlisis de casos se basa estudios de detalle de un determinado grupo o

individuo relacionado con el proyecto bajo evaluacin. El alto nivel de detalles
puede proporcionar informacin valiosa para evaluar la calidad de un proceso,
los resultados e impactos del proyecto. Los procesos de recopilacin y anlisis
de los datos se llevan a cabo en forma simultnea, puesto que los evaluadores
realizan observaciones mientras recopilan la informacin. Luego pueden
elaborar y ensayar explicaciones que formaran parte del informe de evaluacin.

Finalmente, cabe indicar que los informes de evaluacin se deben

planificar como parte de una estrategia de difusin, que puede incluir,
adems de informe tcnico propiamente dicho, la realizacin de
presentaciones ante diversos pblicos y la publicacin en los medios de
comunicacin de resmenes ejecutivos sobre los hallazgos de la evaluacin.

77