Professional Documents
Culture Documents
net/publication/316000688
CITATIONS READS
0 24
1 author:
Catalina Martinez-Mediano
Universidad Nacional de Educación a Distancia, España
49 PUBLICATIONS 169 CITATIONS
SEE PROFILE
All content following this page was uploaded by Catalina Martinez-Mediano on 22 March 2018.
Abstract
The purpose of this ar cle is to show the logic models’ process to guide the design and evalua on of
programs, helping managers, designers and program evaluators to design programs and their goals,
planning processes, iden fying the strategies for the ac vi es aimed at achieving the intended results
and assess, in a comprehensive way, the program, processes and results, and from a comprehensive
point of view, make sugges ons for improvement. The characteris cs of logic models are analyzed,
joined to the elements underlying the program evalua on, the program concept and the quality
criteria. Research methodologies used in evalua on, the characteris cs of the reports and their
orienta on to promote the use of evalua on results, also are analyzed, together the standards that
should guide the evalua on and meta-evalua on.
Key words
Evalua on; logic models; evalua ve research.
conseguir con el programa a largo plazo. a explicitar las teorías del cambio y
Todos estos elementos deben estar contribuirá a reconciliar las diferentes
alineados, basados en la teoría y en las expecta vas entre los grupos con el fin
evidencias empíricas de resultados de de lograr acuerdos y apoyos para seguir
programas similares, lo que ayudará adelante con el programa (Figura 1).
1 2 3 4 5 6
Tabla 1 – Elementos del modelo lógico para el diseño del programa, su aplicación
y su evaluación
1. Recursos 2. AcƟvidades del 3. Resultados 4. Resultados a 5. Resultados a
(insumos) programa inmediatos medio plazo largo plazo
Informe de la Descripción de Descripción de Descripción de Descripción los
evaluación de cada una de los resultados los resultados a resultados a
necesidades. las ac vidades pretendidos a los que conduce largo plazo, y del
planificadas los que conduce la ac vidad impacto que se
El programa y su necesarias para cada una de planificada. espera conseguir.
teoría. desarrollar el las ac vidades
programa. planificadas. Concreción de los Evaluación del
Desarrollo de niveles de logro. impacto.
materiales y Estrategias de Evaluación Empoderamiento
recursos. mo vación, procesual, de la comunidad. Relaciones de
de par cipación con nua, colaboración.
La organización y de colaboración. forma va. Convergencia de
y la planificación Feedback. estrategias. Responsabilidad
estratégica. Elaboración de individual.
indicadores para Determinación Evaluación
Profesionales la evaluación de de los niveles suma va, e Resolución
que lo aplican y los procesos y de de logro. informada por de conflictos
personas a las los resultados. la evaluación adaptados.
que benefician. Resultados procesual.
conseguidos. Respuestas
Clima. Iden ficación de Resultados adaptadas a las
información ú l conseguidos. situaciones.
Mención de para los ajustes Impacto
los criterios de y mejoras del conseguido.
evaluación del programa y de
propio programa, los procesos.
de acuerdo con
sus obje vos,
des natarios y
recursos.
lo hace. Pérez Juste (2006) define la ac vidad bien hecha, que promueve el
evaluación como “el proceso sistemá co análisis sobre la acción, la reflexión, la
de recogida de información rigurosa, autocrítica. Proporciona información
valiosa, válida y fiable, orientado a basada en hechos y datos acerca de
valorar la calidad y los logros de un su contribución a la mejora de los
programa, como base para la posterior problemas que pretende resolver en su
toma de decisiones de mejora tanto del contexto, así como las potencialidades del
programa como del personal implicado”. programa para la mejora de problemas
Tres ideas subyacen a la definición de personas y grupos en situaciones y
de evaluación de programas: contextos similares, y orienta, a par r
1. El proceso de iden ficar, obtener y de sus informes fidedignos sobre el
proporcionar información sobre el programa, su aplicación y resultados a los
programa. responsables en la toma de decisiones
2. La concreción de los criterios a sobre sus mejoras, continuidad y
utilizar para realizar la valoración expansión, en un compromiso con la
del programa, de su planificación, mejora con nua, la inves gación y la
realización y de sus resultados. innovación.
3. El propósito de utilización de los Siguiendo el enfoque de
resultados para informar y para los modelos lógicos para el diseño,
mejorar en aquéllos aspectos implementación y evaluación de los
señalados por la evaluación. programas, en la Tabla 2 se muestran
Todo ello presupone la u lización las relaciones entre los elementos
de metodologías de inves gación. De ese fundamentales de un programa y los
modo, la evaluación se configura como criterios que garan cen su éxito (W.K.
un principio ac vo, dinamizador de la KELLOGG FOUNDATION, 2004, p. 11).
calidad con la que funciona lo evaluado, resultados de estos procesos evalua vos
los programas y sus ins tuciones, para no terminan en un mero informe, sino
el rendimiento de cuentas, en su función que concluyen con propuestas de mejora
suma va (DE LA ORDEN, 2009, p. 24). que deben llevarse a la acción, que serán
En los modelos de evaluación de objeto de seguimiento y evaluación
la calidad de los programas y de las posterior.
organizaciones concurren los obje vos
de evaluación para la mejora, para el 4 LAS METODOLOGÍAS DE
desarrollo, y para el aseguramiento INVESTIGACIÓN A UTILIZAR PARA
de la calidad al servicio de la mejora LA EVALUACIÓN
y del rendimiento de cuentas hacia la
sociedad, basados en la confianza mutua Para la recogida de información
y en la transparencia. El concepto de deberemos elaborar indicadores
aseguramiento de la calidad, o garan a representativos del programa, de las
de la calidad, se basa en los modelos estrategias y ac vidades diseñadas para
lógicos, sistémicos, para la elaboración, su aplicación, de su funcionamiento y de
por parte de una organización, de los resultados que pretende conseguir.
una propuesta –programas – con Los indicadores de cada uno de los
el compromiso de aplicarla bien, – momentos en el desarrollo del programa
planificación de su aplicación –, a la deberán ser incluidos en los diferentes
primera, cumpliendo con los obje vos instrumentos de recogida de información
propuestos – las metas de los programas para permitir recoger evidencias del
– y de acuerdo con los criterios de calidad programa, de su aplicación y de sus
previamente definidos – con definición resultados.
de indicadores, con niveles de resultados, La elaboración de instrumentos
y de su calidad –, comprome éndose para la recogida de información en
a aportar información comprensiva, la evaluación de programas, en el
holís ca, descrip va y explica va sobre ámbito de la educación, supone conocer
su cumplimiento, al servicio de la los principios psicopedagógicos del
mejora continua de los programas y programa, las teorías de aprendizaje
del rendimiento de cuentas para todos subyacentes, el plan para su aplicación
los que tienen derecho a saber. La en su contexto, las metodologías de
función del rendimiento de cuentas, enseñanza y aprendizaje que utiliza,
como aseguramiento externo de la los es los interac vos con los alumnos,
calidad, ha mostrado su influencia en el las actividades para el desarrollo del
desarrollo de la cultura por la calidad en programa y el desarrollo de ac vidades
las ins tuciones de educación, en todos y tareas de realización práctica y su
sus niveles y situaciones, especialmente comprobación, las características del
en la educación superior, dado que los contexto en el que se desarrolla y el
clima social que generan sus miembros. adecuación del programa en sí, para
Asimismo, se deben conocer los abordar los problemas que pretende
rendimientos conseguidos en relación resolver, es importante realizar la
con los objetivos del programa de función de seguimiento de la aplicación
estudio, la sa sfacción de los usuarios – del programa, o monitoreo, teniendo
los profesores, los alumnos, los padres por objeto resolver dos interrogantes
y la comunidad del entorno próximo – y principales: Primero, si el programa
el impacto que generan los resultados alcanza o no a la población objeto
del programa en el medio y largo plazo adecuadamente y, Segundo, si la
y su alcance. realización de los procesos es congruente
La información recogida mediante o no con las especificaciones de los
indicadores de comprobación del objetivos y del diseño del programa.
programa, basada en hechos y datos La monitorización en las evaluaciones
reales, una vez analizada e interpretada, es una ayuda necesaria para valorar
será ú l para informar a todos los que su repercusión, pues los errores en el
enen derecho a saber cómo ha trabajado programa a menudo se deben a las
el programa, si se ha aplicado de acuerdo ejecuciones incompletas o defectuosas
con el plan previsto – si se ha modificado de las intervenciones, más que a la
explicar por qué –, y los resultados ineficacia del propio programa, y aporta
que ha conseguido en relación con las información en la decisión de con nuar,
metas pretendidas – si ha conseguido ampliar o terminar con la aplicación de
otras y por qué. Ello proporcionará los programas.
información e indicaciones precisas Una síntesis sobre los momentos
sobre la conveniencia de la con nuidad y dimensiones del desarrollo de los
de su aplicación y la recomendación de programas y las técnicas más adecuadas
su expansión, junto con los cambios y para la recogida de información para su
mejoras en aquéllos aspectos que lo evaluación, se muestran en la Tabla 3.
necesite.
El programa ha debido ser imple-
mentado durante un empo suficiente
para que haya podido lograr los efectos
pretendidos y no se den dudas de que
los elementos crí cos en relación con
los objetivos han sido realizados. De
otro modo, si la aplicación del programa
ene poco que ver con lo que pretende
conseguir, estaremos evaluando otra
cosa distinta del programa. Por ello,
además de la comprobación de la
de la evaluación, con la idea de mejorar que sea realista, prác ca, prudente,
la calidad y transparencia de su prác ca diplomática, ajustada, frugal, en
profesional. Las normas han sido relación con el coste-beneficio. Debe
revisadas en años posteriores bajo la u lizar procedimientos de un modo
coordinación de dis ntos especialistas. eficaz y eficiente. Los estándares
En el 2011 la revisión de los estándares de viabilidad reconocen que las
fue coordinada por Yarbrough, Shulha, evaluaciones se realizan en contextos
Hopson e Caruthers, añadiendo un naturales, sus diseños deben ser
5º grupo, manteniendo el total de 30 opera vos y sus gastos, en material,
normas o estándares. personal o empo, no deben exceder
Las cinco categorías en las que se al requerido por las cues ones de la
agrupan las normas son las siguientes: evaluación. La integran 4 normas.
• U: Normas de utilidad. Dirigidas a • P: Normas de adecuación, probidad,
asegurar que una evaluación servirá legitimidad u honradez. Dirigidas
a las necesidades de información a asegurar que la evaluación es
práctica de los grupos interesados conducida de un modo adecuado,
y posibles usuarios. Estas normas justo, legal y éticamente, basada
enen que ver con la iden ficación en compromisos explícitos, que
y formulación de las cuestiones aseguren la necesaria cooperación,
que guían la evaluación centrada la protección de los grupos implicados,
en temas relevantes, y atendiendo el respeto de los derechos humanos,
las necesidades de información de y la transparencia y hones dad de
los promotores de la evaluación, los resultados. Deben asegurar que
usuarios y beneficiarios. Las normas la evaluación protege los derechos
deben garan zar la credibilidad del humanos y beneficie al bienestar de
evaluador. Los estándares de u lidad aquéllos involucrados en la evaluación,
guiarán la evaluación de tal forma que así como la de los afectados por sus
ésta sea u lizable, clara, sus informes resultados. La integran 7 normas.
lleguen a empo para los promotores • A: Normas de precisión. Dirigidas a
y grupos de interés, oportuna y de asegurar que revela y comunica la
influencia, y deben promover el información encontrada, describe
uso responsable de la evaluación, con claridad el objeto evaluado en
protegiendo su uso indebido. La su evolución y en su contexto, revela
evaluación de impacto también está las virtudes y defectos del plan de
contemplada bajo los estándares de evaluación, de los procedimientos y
u lidad. La integran 8 normas. de las conclusiones (meta-evaluación),
• F: Normas de viabilidad o facƟbilidad. especialmente aquellos que apoyan
Dirigidas a asegurar que una evaluación las interpretaciones y los juicios sobre
esté diseñada y conducida de tal modo la calidad, y proporciona conclusiones
programas a recoger información regu- armonizan con los obje vos generales
larmente para mejorar los programas, de los programas y de sus teorías
hacer uso efectivo y eficiente de los subyacentes, ayudando a priorizar y
recursos, a empo, con el fin de servir enfocar las cuestiones de interés. La
las necesidades especificadas en el evaluación debe estar guiada por la
programa, e informar a todos los teoría del programa.
beneficiarios adecuadamente y con La evaluación de programas,
equidad (STTUFLEBEAM; SHINKFIELD, aplicada en todo su alcance, cons tuye
2007, p. 330). una estrategia de aprendizaje con nuo
Desde la perspectiva de la eva- para la mejora de los programas, de
luación, un modelo lógico atiende al las personas, de la propia ins tución u
desarrollo de los componentes de organización en la que se desarrollan y
la evaluación y a la forma en que se de la sociedad a la que sirve.
REFERENCIAS
Sobre el autora:
Catalina MarƟnez-Mediano: Profesora Titular de Universidad Nacional de Educación
a Distancia, Asignaturas que enseña: Evaluación de Programas, Inves gación
Evalua va y Modelos de Calidad. Líneas de inves gación, coincidentes con sus
asignaturas Evaluación de Programas, Inves gación Evalua va y Modelos de Calidad,
más Aprendizaaje en línea, Desarrollo de competencias para el Aprendizaje a lo
largo de la vida. E-mail: cmarme@edu.uned.es