TEMA 1 CONCEPTOS BSICOS EN EVALUACIN DE PROGRAMAS

Contenidos 1. Definiciones 2. Qu es un programa 3. Componentes bsicos de la E.P. 4. Qu intenta responder la E.P. 5. Fases en la historia de la E.P. 6. Modelos tericos en E.P. 7. Evaluacin y tica 8. Aspectos polmicos en la E.P. 9. Evaluacin y otros estudios 10. El futuro de la E.P.

1. DEFINICIONES
Riecken, 1972 Es la medicin de las consecuencias deseables o indeseables de una accin psicosocial ejecutada para facilitar la obtencin de metas perseguidas por el sujeto Perloff, Perloff y Sussna, 1976 Es la determinacin de la medida en que un programa logr uno o ms de sus objetivos, las razones por las cuales no los alcanz y la relacin existente entre los efectos del programa y una amplia diversidad de variables y caractersticas del programa Spaniol, 1975 Es un proceso sistemtico y continuo que proporciona informacin acerca del efecto o impacto de un programa, con el objeto de contribuir a adoptar una decisin poltica de trascendencia

Ato, Quiones, Romero y Rabadn (1989) La evaluacin de programas es un proceso que consiste en valorar si un programa consigui o no en alcanzar los objetivos para cuya consecucin fue ideado Fernndez Ballesteros, 1995 Es la sistemtica investigacin a travs de mtodos cientficos de los efectos, resultados y objetivos de un programa, con el fin de tomar decisiones sobre l. Freeman y Rossi, 1993 Es la aplicacin sistemtica de procedimientos de investigacin social para evaluar la conceptualizacin, diseo, implementacin y utilidad de los programas de intervencin social Rossi, Freeman y Lipsey, 1999 Es el uso de procedimientos de investigacin social para investigar sistemticamente la efectividad de programas de intervencin social Requiere:

Recoleccin de datos Existencia de criterios de valoracin

Perspectiva de Fernndez-Ballesteros (1995): Evaluacin forma de investigacin cientfica Debe maximizar la objetivacin de resultados Control, manipulacin adecuada y medicin garantas de trabajo riguroso El evaluador se sita como experto, frente a otros valoradores de la misma realidad

2. PROGRAMA
Conjunto especificado de acciones humanas y recursos materiales, diseados e implantados organizadamente en una determinada realidad social, con el propsito de resolver algn problema que atae a un conjunto de personas

Caractersticas bsicas de un programa Especificacin previa Implantacin coordinada

Objetivos del programa De forma general, mejorar alguna de las condiciones humanas Objetivo de la evaluacin: mejorar el programa

3. COMPONENTES BASICOS DE LA EVALUACION DEL PROGRAMA

Programa supone un tratamiento: Conjunto de manipulaciones que han sido programadas socioambiental. se aplica a una serie de unidades: Conjuntos de sujetos a los que se ha implantado una determinada intervencin.
pasa por la observacin de operaciones en las unidades en las que se ha

para

ser

implantadas

en

una

determinada

realidad

aplicado el programa: expresin de objetivos a cubrir con el programa o bien efectos que el tratamiento ha producido en las unidades

la evaluacin se realiza sobre unos tratamientos, aplicados a unas unidades en un contexto o situacin especficos.

4. QU INTENTA RESPONDER LA EVALUACIN DE PROGRAMAS

Respuestas externas en evaluacin

Certificacin de calidad / acreditacin externa al programa Fundamentar decisiones de distribucin de recursos Mejorar decisiones de futuros programas Promover el conocimiento sobre qu y cmo se ha hecho Proporcionar informacin pblica sobre los logros conseguidos

Respuesta a necesidades internas del programa

Comprobar la utilidad del programa Servir de base para el mejoramiento continuo Promover procesos de aprendizaje colectivo e individual sobre lo que se hace y cmo se hace Comprender los lmites y aciertos de un programa

5. FASES EN LA HISTORIA DE LA E.P (Cook, 1988)

1965-1975 Scriven y Campbell Periodo asociado a teoras altamente objetivistas Base: mtodo cientfico Descripcin vlida y comprensiva de cmo operan los programas sociales Ms uso de mtodos cualitativos que cuantitativos. Evaluacin Bsqueda de efectos ms que la comprobacin de hiptesis apriorsticas. Autores: Weiss, Stake y Guba Teoras de evaluacin prcticas Menos limitadas tanto en mtodos, seleccin de cuestiones y rol del evaluador Intentos de sntesis posteriores a 1980 (Cronbach)

1975-1982 La crtica

6. MODELOS TERICOS EN LA E.P

Chacn, Lpez y Prez, 1992. Evaluacin centrada hacia los objetivos (Tyler, 1942) Valora la coincidencia entre los objetivos del programa y los resultados reales. La evaluacin se considera un proceso recurrente: se reordenan los objetivos en funcin de los resultados.

No se explicita un diseo concreto. Evaluacin responsiva (Stake, 1975) Se ampla la perspectiva anterior, incluyendo el examen de antecedentes, procesos, normas y juicios, adems de resultados. Presenta un mtodo pluralista, flexible, holstico, subjetivo y orientado al servicio. Planificacin evaluativa (Cronbach, 1982) Propone una evaluacin asentada en una planificacin previsora y flexible de las actividades evaluativas. Presenta el modelo de los UTOS. Evaluacin orientada a la toma de decisiones (Stufflebeam, 1985) La evaluacin es un proceso que proporciona informacin til para la toma de decisiones. Estructura bsica CIPP: Contexto, Entrada, Proceso, Producto. Metodologa tanto cuantitativa como cualitativa Mtodo cientfico de evaluacin (Campbell y Stanley, 1966; Cook y Campbell, 1979) Plantea que no hay diferencias metodolgicas entre evaluacin y mtodo cientfico. Utilizacin del mtodo quasi-experimental. Modelo evaluativo orientado hacia el consumidor libre de metas (Scriven, 1974) El evaluador es un sustituto informado del consumidor. El evaluador investiga todos los efectos del programa independientemente de sus objetivos. Diseos experimentales, pre-experimentales, anlisis de costes y mtodo libre de metas.

EVALUACIN BASADA EN LA TEORA Las creencias y supuestos que subyacen a un programa pueden expresarse en trminos de una secuencia de causas y efectos, delimitada en fases (Weiss, 1997) Dificultades para explicar la teora subyacente Percepcin de teora como algo abstracto y poco claro. No obstante teora = conjunto de creencias y supuestos que rodean las actividades de un programa. La teora que se explicita puede no ser la nica que subyace al programa. Los efectos pueden producirse por caminos distintos a los predichos en la teora. Cambio que se produce

Evaluacin

Cmo se produce el cambio

Confusin en los componentes de la teora Teora de implementacin: Retroalimentacin de cmo est funcionando el programa Teora del cambio

Teora

del

programa:

Comprensin de cmo se logran los efectos del programa

Dificultad para identificar o construir teoras de los programas.

Fuentes bsicas de informacin

Documentos

Primer paso Poca

Informacin participantes

de

los

Dificultad de articular teoras

Teora de las Ciencias Sociales Investigacin previa Observacin de programas en accin Razonamiento lgico

Evaluacin basada en la teora: Recoge datos en proceso y resultados, analizando las relaciones entre ellos. Busca especificar los mecanismos que logran el cambio, no las actividades asociadas al cambio. Impone grandes exigencias en datos y recursos El evaluador debe recoger datos de todos los pasos que le sea posible Se necesitan fuentes adecuadas. Consume tiempo y es caro, pero produce buenos resultados para la evaluacin. Los resultados no pueden generalizarse. Como en otros modelos de evaluacin, sta no puede aplicarse mecnicamente a otros lugares.

 Sin embargo, aporta informacin sobre pequeas conexiones, que pueden ser tiles para otros sitios. Los decisores pueden analizar los hallazgos obtenidos y sus explicaciones, tratando de averiguar los patrones que emergern en el futuro. Necesidad de comparacin Las intervenciones a nivel comunitario hacen difcil las asignaciones aleatorias. Evaluacin basada en la teora relaciones causales. No obstante necesidad de estudios experimentales para garantizar la causalidad. Excesivo racionalismo La labor evaluativa va dirigida a metas preestablecidas. Tales objetivos a menudo cambian en el transcurso de la evaluacin. La evaluacin no permite comprobar teoras. Medida del error. Problema general en ciencias sociales. Se incrementa aqu: muchos constructos a medir. Exigencias del anlisis de datos Anlisis que permitan enlazar las teoras postuladas (anlisis de vas, LISREL, anlisis de supervivencia). Anlisis cualitativos y cuantitativos (emparejamiento de patrones permite apoyar la existencia de

JUSTIFICACION DEL USO DE E. B. T.

Tipo de pregunta planteada Diseo de la evaluacin

Cmo y por qu a) Pocas intervenciones b) Cambios a largo plazo c) De complejidad moderada Descubrimiento de los mecanismos operativos

En programas que se esperan resultados positivos, negativos o inconsistentes Recursos en costes y tiempo

Diseadores del programa

Decisiones ms acertadas Confrontan sus teoras de cmo funciona el programa

Tcnicos

VENTAJAS PARA LAS DISTINTAS AUDIENCIAS

Destaca los aspectos ms relevantes Evaluadores Da informacin de logros parciales Da sufiente informacin final para permitir recomendaciones

Directivos

Permite determinar qu aspecto fracasa y dnde

Directivos y promotores de otros programas

Ayuda a comprender qu, cmo y por qu funciona un programa

Polticos y pblico

Facilita explicaciones ms comprensibles a estas audiencias

7. EVALUACIN Y TICA
Necesario ofrecer guas sobre diversos aspectos: derechos de publicacin, a quien dar la informacin, etc. Dos guas en USA:

JOint Committee on Standars for Educational Evaluation public en 1994

los estndares para E.P.

American Evaluation Association

Guiding principles for evaluators Estndares de calidad Competencia Respeto a los participantes Responsabilidades para el bienestar general: articular la diversidad de intereses y valores

8. ASPECTOS POLMICOS EN LA E.P.

Cualitativo - cuantitativo Primer enfoque: cuantitativo Las dificultades inherentes de la investigacin aplicada cuestionan la utilidad de los mtodos cuantitativos Metodologa cualitativa: una forma ms comprensiva de apresar la realidad Alternativa: multiplismo : Utilizar mltiples enfoques tericos Probar mltiples modelos causales multivariados Plantear mltiples hiptesis rivales Establecer mltiples definiciones operacionales de las mltiples variables implicadas Plantear cuestiones valorativas procedentes de las mltiples audiencias implicadas Establecer objetivos mltiples que permitan mltiples anlisis de resultados

Utilizar mltiples mtodos de evaluacin Realizar mltiples anlisis de datos y contrastes de hiptesis. Ciencia frente a poltica La evaluacin de programas pretende maximizar el cientifismo de la evaluacin La Ciencia es un producto social Mientras lo poltico interviene ms en las primeras fases del ciclo evaluativo, los aspectos cientficos ganan prioridad en el diseo, planificacin, implantacin y valoracin de los programas. Lo poltico En ocasiones, los resultados de una evaluacin tienen poco peso en las decisiones en torno al programa El poltico tiene un tiempo distinto al investigador, por lo que puede presionar a este a entregar resultados antes de tiempo La evaluacin tiene un objetivo prctico y poltico en su propia naturaleza Si el problema es polmico, requerir rigor Mudabilidad de los programas sociales Los recursos, prioridades y la influencia de los financiadores de los programas sociales tiende a ser dinmica Pueden producirse cambios, a veces drsticos, en el curso del desarrollo del programa El evaluador debe estar preparado para asumir tales cambios 9. Diferencias entre evaluacin y otras actividades

Auditoria:

Cumplimiento de normas, regulaciones o estndares financieros Contabilidad de recursos Auditoria de gestin. Eficiencia
Imprescindible la independencia para asegurar la imparcialidad

Investigacin

Desarrollar conocimiento Generalizacin de resultados Realizado por y para la comunidad cientfica (principalmente)

Medicin de realizaciones

Procesos descriptivos Estudios de validez y fiabilidad en el proceso de obtencin de informacin

Anlisis de polticas (Policy analysis)

Formulacin de polticas Anlisis de viabilidad financiera Anlisis de coste-beneficio

Plan estratgico

Estudio de las tendencias de evolucin posibles de la Institucin o la zona

geo-poltica para trazar:

Objetivos a corto, medio y largo plazo Estudio de DAFO: Debilidades, amenazas, fortalezas y oportunidades Concretar las metas a conseguir, estableciendo objetivos estratgicos Sistematizar el conjunto de evidencias y parmetros de medicin que
permitirn verificar los resultados de la evolucin

Definir las reglas de adaptacin que nos permitirn cambiar de estrategia a lo

largo de todo el proceso.

Evaluacin

Proceso sistemtico de obtencin de informacin objetiva y til Objetivo: apoyar el juicio de valor sobre un programa o intervencin Finalidad:

Comprensin de los resultados obtenidos

Toma de decisiones sobre futuras actuaciones Comparacin entre evaluacin y otras investigaciones

La evaluacin de programas debe cubrir Estndares idneos de calidad de investigacin cientfica Estar totalmente dedicado a las necesidades de informacin requerida por los decisores del programa En ocasiones, tales objetivos se vuelven contradictorios Diferencias Toma de decisiones: la investigacin se centra en la bsqueda de conocimiento, la E.P. en la aplicacin La evaluacin tiene en cuenta la opinin del decisor. La evaluacin compara lo que es con lo que debera ser La evaluacin se produce en un marco de accin, donde lo ms importante que est ocurriendo es el programa. Es frecuente que se produzcan conflictos entre roles. Muchos informes evaluativos quedan sin publicar. Semejanzas La evaluacin trata de comprender la relacin entre variables y de establecer una relacin causal. Los mtodos evaluativos representan un compromiso entre lo ideal y lo factible El evaluador tiene que tener un amplio conocimiento de metodologa de investigacin, y aplicarlo en el mundo real.

10. FUTURO DE LA E.P. (Chelimsky y Shadish, 1997)

Idiosincrasia en cada pas

Los evaluadores en cada pas del globo utilizan sus propias

infraestructuras para apoyar sus esfuerzos, Global,

Los esfuerzos realizados trascienden y se difunden por el planeta.

Transnacional,

 Los problemas y los programas que han de evaluarse trascienden las

fronteras de una nacin, de un continente y de un hemisferio