Professional Documents
Culture Documents
y su proceso de implementación
Diciembre 2010
CONTEÚDO
Parte A: Concepto de evaluación del EED
1 Introducción 4
2 Propósitos de las evaluaciones 5
2.1 Fomentar los procesos de aprendizaje y reflexión 5
2.2 Rendir cuentas 6
3 Tipos de evaluación 6
3.1 Evaluaciones de proyectos individuales 6
3.2 Evaluaciones transversales 6
3.3 Evaluación de herramientas y procesos 7
3.4 Evaluaciones conjuntas 7
4 Principios básicos de las evaluaciones 7
4.1 Organización / gestión 8
4.2 Adjudicación de contratos 8
4.3 Metodologia 9
4.4 Metodología 9
4.5 Utilización de resultados 9
4.6 Publicaciones 10
4.7 Control de calidad 10
5 Aprender en el contexto de evaluaciones 11
5.1 Aprendizaje institucional para mejorar la eficacia del desarrollo 11
5.2 Organización del aprendizaje 11
5.3 Ampliación de los conocimientos metódicos 11
5.4 Fomento de aprendizaje entre las organizaciones contraparte, 12
facilitadores y grupos meta
6 Rendición de cuentas por medio de evaluaciones 12
7 Evaluación y estudio de impactos 13
Parte B: Extractos: Implementación del concepto de evaluación del
EED
1 Ámbito de aplicación del concepto de evaluación del EED 14
2 Responsabilidades / función directiva para evaluación y 14
financiación
2.1 Evaluaciones de proyectos individuales 15
2.2 Evaluaciones transversales 16
3 Procedimientos para la ejecución de evaluaciones 16
2
3.1 Nota introductoria 16
3.2 Planificación de una evaluación 16
3.3 Gestión (sinopsis) 16
3.4 Preparación 17
3.5 Seleccionar y comisionar a peritas y peritos 17
3.6 Ejecución 18
3.7 Procedimientos en relaciones de igualdad 18
3.8 Metodología 18
3.9 Calidad de los informes 19
3.10 Difusión de los resultados de las evaluaciones 19
3.11 Recomendaciones para evaluaciones – decisiones y planificación 19
de implementación
4 Aprendizaje 20
4.1 Capacitación y asesoramiento para evaluaciones 20
4.2 prendizaje en el proceso de la evaluación 20
4.3 Gestión del conocimiento / base de datos 20
Anexo: 21
Guía recomendada para la preparación de los términos de referencia
(TdR) para evaluaciones
3
1ª Parte: Concepto de evaluación
del EED
1 Introducción
1
Declaración y propósitos de los ODM, Consenso de Monterrey, Declaración de Marrakech, Declaración de Paris, Agenda de
Acción de Accra (AAA).
4
relativo al desarrollo en Alemania), con el fin de poder mejorar la calidad de las
intervenciones y rendir cuentas ante la opinión pública. No obstante, si los sistemas
evaluativos existentes no se adaptan a las nuevas condiciones marco, el EED no
podrá cumplir con tal propósito. El EED trabaja de forma fiduciaria y, por ello, es
importante que en las evaluaciones quede reflejada la polaridad entre la rendición de
cuentas y el apoyo de procesos de aprendizaje. Asimismo, es importante exponer la
posición del EED en este ámbito.
2
En el fomento y la cooperación del EED con otras organizaciones, por regla general, se habla en el ámbito internacional de
“organizaciones contraparte” y en Alemania de “solicitantes”. En aras de mayor sencillez, en el presente texto solo se habla de
“organizaciones contraparte”.
5
En el marco de sus programas y proyectos realizados bajo responsabilidad propia, el
EED se beneficia de estos conocimientos para el desarrollo continuo de los
conceptos básicos de su trabajo y para reflexionar y comprobar sus objetivos ante el
trasfondo de su orientación básica y los documentos de estrategia.
Asimismo, los conocimientos sirven de base a las contrapartes para la toma de
decisiones estratégicas en proyectos en curso, así como para un desarrollo
mejorado para proyectos nuevos.
Todos los conocimientos obtenidos en evaluaciones no deberían beneficiar
solamente a los individuos directamente involucrados, sino que deberían ponerse a
disposición, de forma intersectorial, a un círculo más amplio de personas de
diferentes proyectos.
3 Tipos de evaluación
6
planteamiento o tema específicos. De igual manera, abarcan el fomento financiero y
de personal así como todas las demás unidades de trabajo del EED, por ejemplo, el
trabajo educativo en el ámbito de la política de desarrollo en Alemania o el trabajo de
incidencia y advocacy. Las evaluaciones transversales son de creciente interés para
el EED, ya que sirven para el aprendizaje institucional y como base para la
planificación estratégica del EED, así como para la rendición de cuentas ante los
donantes (el Ministerio Federal para la Cooperación Económica y Desarrollo - BMZ
por sus siglas en alemán, las iglesias, etc.). Por regla general, las evaluaciones
transversales se planifican y dirigen de forma centralizada desde el EED (Equipo de
Cualificación de programas, Unidad de evaluación).
También los procesos y herramientas internos del EED están sujetos a evaluación,
por ejemplo, los procesos necesarios para las evaluaciones de proyectos
individuales en el marco del fomento financiero, o el programa de asesoramiento de
corta duración. Al igual que en las evaluaciones transversales, la instancia
responsable de su realización es el Equipo de Cualificación de programas, Unidad
de evaluación.
7
• C 4: Impacto sobre la política de desarrollo – ¿Contribuye a alcanzar los
objetivos superiores de la política de desarrollo?
• C 5: Sostenibilidad – ¿ Son duraderos los impactos positivos?
Estos criterios juegan un papel importante en la elaboración de los términos de
referencia para las evaluaciones. Sin embargo, no se tienen que estudiar y analizar
todos de forma homogénea, sino que se pueden priorizar o seleccionar de forma
razonada, según las características de cada caso individual.
Asimismo, el EED se orienta en los principios básicos para la ejecución de
evaluaciones formulados por la OCDE / el CAD y por la DeGEval (Sociedad alemana
para evaluaciones). Se pueden enumerar, entre otros principios:
• P 1: Independencia
• P 2: Fiabilidad
• P 3: Participación
• P 4: Utilidad
• P 5: Transparencia
Por lo tanto, en la práctica evaluativa el EED se guía por los siguientes aspectos
concretos:
3
Naturalmente, esto no es el caso para las autoevaluaciones.
8
por ejemplo por fines educativos, se puede hacer caso omiso a ello. Tales casos
serán documentados de forma debida. (P 1)
El EED emplea a los/as peritos/as externos/as en equipos mixtos. Por regla general,
un equipo se compone de un mínimo de dos personas, peritos/as nacionales y
posiblemente europeos/as4, tanto mujeres como hombres con competencias
técnicas y conocimientos evaluativos complementarios. Para las evaluaciones de los
proyectos propios del EED en Alemania se seleccionan a expertos/as con mucha
experiencia que suelen ser de Alemania. (P 2)
4.3 Metodología
El EED vela por que las evaluaciones se orienten en los propósitos acordados y las
necesidades e intereses informativos de los/as beneficiarios/as previstos. Esto
supone una suficiente implicación de todos los involucrados (responsables,
intermediarios, grupos meta, etc.) en la planificación y ejecución de la evaluación
4
Peritos/as europeos/as se emplean sobre todo en las evaluaciones transversales, puesto que ellas, por regla general, son
coordinadas desde Alemania y requieren una cooperación más estrecha y mayor número de reuniones entre el equipo de
peritos y los encargados del EED.
5
El término „stakeholder” abarca a todos los involucrados y afectados de un proyecto, o sea los/as contrapartes y
encargados/as de proyectos del EED, así como grupos meta, intermediarios (por ej. los Servicios de Apoyo Local – SAL),
donantes (por ej. el. BMZ), socios de cooperación en las iglesias regionales u otras partes terceras (por ej. otras
organizaciones de fomento, cooperantes en situ, becados, personas reintegradas, voluntarios, etc.).
9
(véase arriba). Las lecciones aprendidas (“lessons learnt“) y las recomendaciones se
dirigen en primer lugar a quienes tienen poder de decisión y a encargados de
proyectos. Siempre y cuando parezca oportuno con vistas a la utilización futura, se
pueden realizar también autoevaluaciones, a aparte de las externas. (P 4)
Para todas las evaluaciones, la unidad de trabajo responsable de la evaluación
elabora un plan de ejecución sobre la base de las recomendaciones. Dicho plan
constituye la base para un monitoreo sistemático de la ejecución de las
recomendaciones evaluativas. (P 4)
El EED apoya el análisis integral y la discusión, de la forma más amplia posible, de
los resultados evaluativos, exigiendo que las evaluaciones que se realizan en
cooperación con organizaciones contraparte, se efectúen en el idioma de
comunicación internacional apropiado. Asimismo, encarga la traducción de los
documentos centrales (términos de referencia TOR, resúmenes de informes, etc.). (P
5)
En las evaluaciones en Alemania, todos los solicitantes o contrapartes en las iglesias
regionales involucrados en las evaluaciones son informados sobre los resultados de
ellas, así como de las consecuencias que pueda deducir el EED de las mismas.
Cuando se evalúan las facilitaciones de cooperantes, se informa sobre los
resultados a, entre otras unidades, el RKA, el comité de retornados/as. (P5)
4.6 Publicaciones
El EED informa sobre los resultados de las evaluaciones, y los publica en versiones
diferenciadas según grupos meta, teniendo en cuenta determinados límites debidos
a intereses legítimos de protección que puedan tener las organizaciones contraparte
o personas individuales (por ej. en caso de amenazas en conflictos políticos). En el
marco del trabajo de Fomento Internacional, los resultados evaluativos se publican
sobre la base de lo acordado con las organizaciones contraparte. El programa de
evaluaciones transversales del EED y las versiones sumarias de los diferentes
informes están publicados en la página web del EED. (P 5)
10
5 Aprender en el contexto de evaluaciones
11
herramientas y procedimientos que emplea para analizar de forma crítica y mejorar
la calidad de sus herramientas (inclusive la evaluación).
12
7 Evaluación y estudio de impactos
13
2ª Parte - Extractos:
Implementación del concepto de
evaluación del EED
A continuación se documentan algunos extractos del documento de implementación
para el concepto de evaluación del EED que son importantes para la cooperación
con las organizaciones contraparte y los/as peritos/as.
6
“Evaluación de una intervención para el desarrollo realizada por entidades y/o individuos ajenos a los organismos donantes y
de ejecución” (OCDE/CAD (2009): Glosario de los principales términos sobre evaluación y gestión basada en resultados).
14
responsabilidades, quiénes asumen la dirección y cómo se financian las
evaluaciones:
Los encargados del proyecto pertinentes del EED tomarán nota del estudio y
deliberarán, en el caso dado, sobre la base del concepto de evaluación del EED. Sin
embargo, no tendrán ninguna responsabilidad por la implementación y el proceso de
la evaluación.
7
En la discusión actual, se consideran más informativas y fiables, con vistas a la rendición de cuentas, aquellas evaluaciones
de proyectos que no son dirigidas por las organizaciones contraparte fomentadas. Por ello se hace esta diferenciación en el
presente documento.
15
2.2 Evaluaciones transversales
16
Además, ellos apoyarán la elaboración de un plan de ejecución para las
recomendaciones (véase Manual). Los/as encargados/as del proyecto serán
responsables del monitoreo de la implementación.8
En todas las tareas arriba mencionadas, los Servicios de Apoyo Local (SAL) podrán
asistir para prestar apoyo adicional.
3.4 Preparación
8
Sobre todo con los proyectos fomentados por el EED, esto se hace en cooperación con las organizaciones contraparte.
17
restricciones en cuanto a la independencia, éstas deberán ser documentadas.9 Los
equipos de peritos se deberán componer, en la medida de lo posible, de mujeres y
hombres, y por regla general, deberán ser peritos/as cualificados/as locales. Con
ellos/ellas se firmará un contrato escrito sobre las prestaciones acordadas,
garantizando también unos honorarios adecuados.
3.6 Ejecución
3.8 Metodología
10
Después de la fase inicial, el inception report / informe ex ante (unas 3 a 5 páginas) deberá dar una retroalimentación acerca
de hasta qué punto los objetivos, preguntas y productos descritos en los TOR pueden ser alcanzados y generados en el marco
de la evaluación. Más informaciones relativas al inception report y los TOR se encuentran en el anexo.
18
informaciones se aplicará la regla básica de que se cuenta lo contable y se mide lo
medible.
Todas las evaluaciones encargadas por parte del EED, serán propiedad del mismo.
El EED tendrá el derecho exclusivo a la apreciación, difusión o publicación de todos
los escritos y materiales de documentación elaborados por los/as peritos/as en el
contexto de la evaluación. Los/as peritos/as podrán hacer uso propio de los
conocimientos obtenidos, solamente si el EED así lo permite. Antes de cualquier uso
científico de los conocimientos obtenidos, será requerido consultar al EED. Los/as
peritos/as se comprometerán a guardar el secreto en lo relativo a todos los hechos
de los que hayan tenido conocimiento en el contexto de la ejecución de la
evaluación.
El EED da especial importancia a la publicación de los resultados de las
evaluaciones. Por regla general, en los TOR se estipulan las disposiciones
respectivas.
Algo que ha resultado ser muy positivo es la celebración de talleres en
organizaciones contraparte después de los procesos de evaluación, a los que se ha
invitado a un círculo más amplio de organizaciones contraparte.
19
4 Aprendizaje
Existen planes de recopilar las evaluaciones financiadas por el EED en una base de
datos central, como archivo adicional, para facilitar la interpretación transversal y
apoyar el control de calidad. Todo el personal del EED tendrá acceso a dicha base
de datos por medio del intranet. PQ estará a cargo de la gestión del archivo central.
20
Manual: TdR
1 Trasfondo de la evaluación
Describir por qué y para quién se efectuará la evaluación; asimismo, por qué en este
momento en particular.
21
3 Descripción de tareas
Basadas en los criterios del CAD (Comité de Asistencia de Desarollo) (véase anexo
para más información).
3.3.1 Pertinencia
22
productos e impactos intencionados? ¿Existen diferencias entre el tiempo
cuando se diseñó el programa / proyecto y la actualidad?
b) ¿En qué medida siguen siendo válidos los objetivos del proyecto / programa?
3.3.2 Eficacia
3.3.3 Eficiencia
3.3.4 Impacto
3.3.5 Sostenibilidad
23
4 Diseño y metodología de la evaluación
Añadir información, por favor, acerca del diseño, la metodología y los estándares
propuestos para la evaluación (por ejemplo, los estándares del CAD / OCDE).
Añadir información, por favor, acerca del perfil requerido para el equipo de
evaluación.
Esta cronología y estas fases son meros ejemplos para mostrar cómo se podría
implementar una evaluación.
Días /
No Deberes y responsabilidades Calendario
personas
1 Preparación: lanzamiento, análisis de los
documentos relevantes, desarrollo del diseño
de la evaluación. Preparación del informe
inicial.
2 Entregar el informe inicial al contratante.
El contratante debe aceptar el informe inicial en
un plazo de 10 días.
3 Implementación de la evaluación según el plan
(informe inicial).
3a Ejemplo, fase 1: elaboración de un cuestionario
y ejecución de una encuesta. Análisis de
hallazgos. Preparación de una visita de campo
(en el informe inicial se especifican los
detalles).
3b Ejemplo fase 2: visita de campo: entrevistas en
los ámbitos regional y nacional. Entrevistas con
un grupo meta (en el informe inicial se
especifican los detalles).
4 Taller: retroalimentación de los hallazgos
preliminares en el proyecto.
5 Preparación de un informe preliminar.
24
6 Entregar el informe preliminar al contratante.
7 Retroalimentación sobre el informe preliminar
en un taller final (con el contratante y otras
partes interesadas).
8 Entregar el informe final y el plan de
implementación preliminar (véase anexo) al
contratante.
TOTAL
El informe inicial (de aprox. 3 a 5 páginas) debe ofrecer una retroalimentación acerca
de cómo se pueden alcanzar en la evaluación los objetivos, preguntas e informes, tal
y como están descritos en los TdR. Se pueden hacer sugerencias acerca de
posibles suplementos o restricciones de los TdR. Estas sugerencias, sobre todo
cuando las modificaciones son relativas a los objetivos de la evaluación y a
cuestiones esenciales, tienen que ser aprobadas por el cliente de forma escrita,
puesto que ello supone una alteración del contrato original.
Para el informe inicial sugerimos adoptar la siguiente estructura:
a) Datos clave de la evaluación: nombre, número, duración del proyecto /
programa que será evaluado; título de la evaluación, mandante de la misma
(quién la encargó), contratante de la evaluación, fecha del informe.
b) Retroalimentación / enmiendas de los TdR: ¿están claras todas las partes de
los TdR para el equipo de evaluación? ¿Está claramente definido el enfoque
de la evaluación? Se presentan sugerencias para enmendar los TdR (de tal
forma que el mandante las puede aceptar o rechazar).
c) Estado actual de la preparación: composición del equipo de evaluación
(cualificaciones, asignación de tareas, ¿quién es el jefe / coordinador del
equipo?), estimación del calendario y días de trabajo para el equipo de
evaluación. Informe sobre problemas y riesgos identificados.
d) Diseño y metodología de la evaluación: informe sobre los métodos cualitativos
y/o cuantitativos seleccionados, así como sobre los pasos futuros para
determinar cómo implementarlos en la evaluación (selección de muestras,
estrategias para el análisis y la recopilación de datos, otras cuestiones
específicas de la evaluación, hipótesis sobre efectos directos e impactos,
descripción de los contactos y visitas planificados, con explicaciones).
Medidas que se quieren tomar para obtener información adecuada acerca del
análisis de género.
e) Herramientas para recopilar y analizar datos (por ej., presentación de
cuestionarios)
25
6.2.2 Informe de evaluación final
El informe final se redactará en inglés (50 páginas + anexo) e incluirá, como mínimo,
los siguientes contenidos:
a) Datos clave de la evaluación; véase arriba apartado a) “informe inicial”
b) Resumen ejecutivo: un documento breve y compacto, concentrado y
autónomo (unas 5 páginas), que contiene las cuestiones clave de la
evaluación, los puntos analíticos principales, las conclusiones,
leccionesaprendidas y recomendaciones.
c) Introducción: propósito y alcance de la evaluación, cuestiones principales.
Una breve descripción del proyecto / programa que será evaluado, y de las
condiciones marco relevantes
d) Diseño y metodología del proyecto
e) Resultados / hallazgos clave*: con relación a las cuestiones indicadas en los
TdR / informe inicial (incluyendo análisis de proyecto / programa y contexto),
apreciar hasta qué punto se han incorporado en el proyecto /programa
aspectos de igualdad y género.
f) Conclusiones* basadas en pruebas y análisis
g) Recomendaciones* relativas a futuros pasos / actividades / seguimiento,
cuidadosamente adaptados al público apropiado en todos los niveles,
relevantes y factibles (a ser posible, para cada conclusión una
recomendación).
h) Lecciones aprendidas * (generalizaciones de las conclusiones para un empleo
más amplio).
i) Anexos (TdR, lista de personas / organizaciones, literatura y documentación
consultadas, etc.).
* Tienen que estar claros y transparentes los nexos entre los resultados / hallazgos
clave, y las conclusiones y recomendaciones / lecciones aprendidas. Ello se pude
conseguir por medio de tablas (véase anexo 2) y/o por referencias en el texto.
7 Deberes y responsabilidades
26
diferentes actores (por ej. el EED, la organización contraparte, el equipo de
evaluación)?
9 Literatura
27
Anexos:
Anexo 1: Definición de los criterios del CAD y otros estándares (CAD) en lo que
concierne a la metodología, el proceso y el régimen de informes de la
evaluación
Anexo 2: Tabla recomendada – visión general de conclusiones,
recomendaciones y leccionesaprendidas
Anexo 3: Plan de implementación
28
Anexo 1
Cuando se evalúa un programa o proyecto, es útil tener en cuenta los criterios del
CAD, definidos en Los Principios de Evaluación de la Ayuda al Desarrollo.
Fuentes:
• OCDE/CAD: Estándares de Evaluación de la Ayuda al Desarrollo.
• OECD: http://www.oecd.org/dac/evaluation
1 Pertinencia
2 Eficacia
29
• ¿Cuáles eran los factores principales que contribuyeron a que se alcanzaran /
no se alcanzaran los objetivos?
3 Eficiencia
4 Impacto
Son los cambios positivos y negativos producidos por una intervención de desarrollo,
de forma directa o indirecta, intencionada o no intencionada. Ello abarca los
impactos y efectos principales que son el resultado de la actividad en los ámbitos
local, social, económico, medioambiental y otros indicadores de desarrollo. Se deben
estudiar tanto los resultados intencionados como los no intencionados; asimismo,
deben incluirse los impactos positivos y negativos de factores externos, como por ej.,
variaciones en las tasas de cambio o en las condiciones financieras. Cuando se
evalúa el impacto de un programa o proyecto, es útil tener en cuenta las siguientes
cuestiones:
• ¿Qué es lo que ha sucedido como resultado del programa o proyecto?
• ¿Qué diferencias reales para los beneficiarios ha generado la actividad?
• ¿Cuántas personas han sido afectadas?
5 Sostenibilidad
30
II Otros estándares
1 Metodología de la evaluación
Fuentes:
• OCDE/CAD (2010): Estándares de calidad para evaluaciones de desarrollo,
directrices y series de referencia del CAD (Quality Standards for Development
Evaluation, DAC Guidelines and Reference Series).
Valoración de resultados
Se especifican los métodos para valorar los resultados. Se deberían abordar los
factores de atribución y de contribución / confusión.. Si se utilizan indicadores como
base para la valoración de resultados, deben ser SMART (eSpecíficos, Medibles,
Alcanzables, Relevantes y en Tiempo limitado).
31
Muestreo
Equipo de evaluación
2 Fuentes de información
3 Independencia
32
información relevante. En el informe de evaluación se indica cualquier impedimento
que pueda haber impactado en el proceso de evaluación.
4 Ética de la evaluación
5 Garantía de calidad
Control de calidad
Los hallazgos de la evaluación son relevantes para el objeto que se está evaluando
y para el propósito de la evaluación. Los resultados deberán deducirse claramente
de las cuestiones de la evaluación y del análisis de datos, mostrando una línea clara
33
de pruebas para respaldar las conclusiones. Se explica cualquier discrepancia entre
la implementación planificada y la actual del objeto que se está evaluando.
Uso de la evaluación
8 Exhaustividad
Claridad de análisis
34
Distinción entre conclusiones, recomendaciones y lecciones aprendidas
35
Tabla recomendada – visión general de conclusiones, recomendaciones y leccionesaprendidas
evaluación(Capítulo
Prioridad (alta/baja
TdR (Capítulo)
Informe de
1-3)
)
Recomendación 1:
Recomendación 2:
Recomendación 3:
Recomendación 4:
Fecha:
Nombre del proyecto evaluado:
La evaluación es encargada por
(persona encargada, oficina y organización) :
Nombre(s) y apellido (s) del / de los evaluador(es):
Fecha del informe final:
Persona encargada del monitoreo del plan de
implementación:
Recomendación 1:
Recomendación 2:
Recomendación 3:
Recomendación 4: