Seminario de Fundamentos de Evaluacin Bogot D.C.

Agosto 2013
Mery Rocha Cuan, Flor Patricia Pedraza, Rubn D. Hernndez, Oscar Benavidez, Gilberto Narvez, Jos Daz Henao, Yenny Mndez, Sandra C. Jerez, Julio R. Castro

Ma. Denis Cortes Milton Rojas Alexis Monsalve

Fue fundador del Centro de Evaluacin de la Universidad Estatal de Ohio en 1965 y fue director del mismo hasta el 2002.

Condecorado con el Premio para el destinatario Paul Lazersfeld Modelo de evaluacin de sociedad de investigacin de evaluacin, 1985.

Profesor de Educacin del Centro de Evaluacin de la Universidad de Michigan occidental y Director, Kalamazoo, 1973. Autor del Modelo de evaluacin CIPP (Contexto, Imput, Proceso, Producto) y se caracteriza por estar orientado a la toma de decisiones. Miembro American Educational Research Association, Consejo Nacional sobre evaluacin en la educacin, Asociacin de evaluacin.

POCA DE EXPANSIN REALISMO, 1958-1972

Nacimiento del evaluador como profesin Evaluacin de metas, prestacin del servicio, planes de perfeccionamiento, utilidad del programa tica del evaluador. Vinculacin entre la evaluacin y el currculo. Fondos pblicos ayudan con investigacin Evaluacin anual del rendimiento Mejora el sistema educativo Responsabilidad del docente en el logro de objetivos Intervencin desde la infancia temprana

EPOCA DE LA INOCENCIA 1946 hasta 1957

Principios de la dcada de 1950 Punto de vista de Tyler en evaluacin fue adoptado rpidamente. (1956) Se public la Taxonoma de la Educacin Objetivos. NO haba una mejora y ampliacin de oferta educativa, personal e instalaciones.

Su modelo CIPP fue concebido como respuesta a las necesidades y vacos de la evaluacin educativa en la dcada de los 60s.

Como consecuencia de este fracaso, Stufflebeam propone, en 1966, la evaluacin como un proceso mediante el cual se proporcionara informacin til para la toma de decisiones. Su propuesta fue apoyada ampliamente en le sector educativo.

Stufflebeam dirigi un Centro para promover la teora y prctica de la evaluacin y contact a las escuelas pblicas de Ohio para evaluar los proyectos ESEA que se haban propuesto y encontr que la evaluacin sufra una grave enfermedad

Evaluacin distinta a la investigacin Estudios sobre evaluacin y su teora Estndares para la evaluacin Sistematizacin de la meta-evaluacin Debate entre los enfoques positivistas/cuantitativo y fenomenolgico/cualitativo Especializacin de la evaluacin y los evaluadores

Mery Rocha Cuan Flor Patricia Pedraza Rubn D. Hernndez

Establece relaciones causales entre los componentes y niveles que se pretende evaluar (hiptesis de evaluacin), mediante las cuales se pueden analizar y evaluar.

La evaluacin se constituye en un proceso de construccin de conocimiento acerca de la problemtica educativa evaluada.

Permite argumentos slidos para la toma de decisiones como: continuidad, trmino, difusin, replicabilidad, pertinencia o relevancia de un programa al proporcionar una mejor comprensin de los resultados y cambios logrados desde una perspectiva ms global e integradora.

La evaluacin se ve como un proceso para mejorar, de hecho se denomina evaluacin orientada al perfeccionamiento

La evaluacin no es un proceso sancionador, calificativo. A nivel amplio se hace para ayudar a un grupo de clientes a juzgar y/o perfeccionar el valor y/o el merito de algn objeto: En efecto, su meta esencial es determinar el valor de algo que est siendo enjuiciado. De acuerdo con esta definicin, si un estudio no informa de cun buena o mala es una cosa, no se trata de una evaluacin.

Debe actuar de acuerdo a principios aceptados por la

sociedad y a criterios de profesionalidad, emitir juicios sobre la calidad y el valor educativo del objeto evaluado y debe

asistir a los implicados en la interpretacin y utilizacin de su

informacin y sus juicios. Sin embargo, es tambin su deber, y su derecho, estar al margen de la lucha y la responsabilidad poltica por la toma de decisiones y por las decisiones tomadas

El modelo Stufflebeam es conocido como CIPP (Contexto, Imput, Proceso y producto). Este modelo propone redefinir el concepto de evaluacin como: proceso mediante el cual se proporciona informacin til para la toma de decisiones; diferencindose del modelo tyleriano, donde se limita a determinar si los objetivos han sido alcanzados.
Con este modelo se tienen: Definiciones ms claras y pertinentes Toma de decisiones ms claras y metdicas Valores en relacin con los mtodos y tratamiento de la informacin Niveles de informacin y de usuarios de la evaluacin, as como de la recopilacin de la informacin Diseo de la investigacin en la que se reconocen las diferencias entre un diseo experimental clsico y lo que exige y requiere el diseo de una evaluacin

Oscar Benavidez Gilberto Narvaez Jos Daz Henao

1.

Direccin participativa y evaluacin de centros (1996), junto a otros investigadores. Evaluacin sistmica. Gua terica y prctica (1993), junto a Shinkfield. Gua profesional para la mejora de los sistemas de evaluacin del prefesorado (1998), junto a McKenna, Nevo y Thoma. Evaluacin de la actuacin profesional en la supervisin educativa. Prctica y orientacin (1998), junto a Candolfi y Cullen.

2.

3.

4.

5.

Estndares de evaluacin de personal. Cmo evaluar sistemas de evaluacin de educadores (2002), fue coordinador de la publicacin. Evaluation Theory, Models and Applications, junto a Shinkfield. International Handbook of evaluation, junto a Kellaghan. educational

6.

7.

Evaluacin sistemtica gua terica y practica.

Son 10 unidades en donde se expone el panorama de la evaluacin. Y 8 modelos escogidos de trabajo evaluativo. Este libro se dirige al perfeccionamiento y calidad de los programas ofrecidos por las instituciones.

Se requera una visin de evaluacin mas amplia, que ms all de evaluar el alcance de objetivos y metas, permitiera administrar y perfeccionar los programas, brindando informacin til para la toma de decisiones.

Stufflebeam defini cuatro tipos de decisiones: Decisiones de realizacin Decisiones de reciclaje Decisiones de planificacin Decisiones de estructura

En este mtodo, la evaluacin es concebida como el proceso de identificar, obtener y proporcionar informacin til y descriptiva acerca del valor y el merito de las metas, la planificacin, la realizacin y el impacto de un objeto determinado, con el fin de servir de gua para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensin de los fenmenos implicados

Es una estructura integral que cubre:

Contexto: Esta dimensin se nutre de los datos. Input: Identifica y valora los recursos disponibles ANTES del programa. Proceso: Incluye la interrelacin dinmica entre las estructuras del programa y los diversos actores, generando un SISTEMA vincular. Producto: Los productos (indicadores) se pueden caracterizar por: eficacia, eficiencia, cobertura, pertinencia, adecuacin y coherencia

con canales de perfeccionamiento iterativo.

Operaciones regulares del sistema (que incluyen distintas actividades evaluativas) No

Aplicacin de la solucin Si

Evaluaciones periodicas del contexto

Justificacin de un cambio

Si

Definicin de problemas y formulacin delos objetivos

Existe una solucin satisfactoria?

No

Evaluacin de entrada

No

No

Se ha encontrado una estrategia prometedora?

Si

Necesidad de desarrollo o comprobacion?

Si

Realizacin de un proyecto especial

Si

Evaluacin de proceso o de producto

Si Merece el proyecto otro intento? No rendimiento satisfactorio? Si Aun necesita o desea una solucion?

FRACASO

No

Evaluacin de contexto
Toma de decisiones (orientacin formativa) Gua para la eleccin de objetivos y asignacin de prioridades

Evaluacin de entrada
Gua para la eleccin de la estrategia del programa Entrada de datos para la designacin del plan de procedimientos

Evaluacin de proceso
Gua para la aplicacin

Evaluacin de producto
Gua para la finalizacin , continuacin, modificacin o entrega

Responsabilizacin (orientacin sanativa)

Relacin de objetivos y bases para su eleccin junto con una relacin de necesidades, oportunidades y problemas

Relacin de la planificacin y la estrategia escogidas y las razones de esa eleccin entre otras alternativas

Relacin del proceso real

Relacin de los logros y de las decisiones recicladas

Evaluacin de contexto
Objetivo Denir el contexto institucional, Identificar y valorar la poblacin y objeto de estudio y valorar sus necesidades, identificar las oportunidades de satisfacer las necesidades, diagnosticar los problemas que subyacen en las necesidades y juzgar si los objetos propuestos son lo suficientemente coherentes con las necesidades valoradas. Utilizacin de mtodos como el anlisis de sistemas, la inspeccin, la revisin de documentos, las audiciones, las entrevistas, los test diagnsticos y la tcnica Delphi.

Evaluacin de entrada
Identificar y valorar la capacidad del sistema, las estrategias de programa alternativas, la planificacin de procedimientos para llevar a cabo las estrategias, los presupuestos y los programas.

Evaluacin de proceso
Identificar o pronosticar, durante el proceso, los defectos de la planificacin de procedimiento o de su realizacin, proporcionar informacin para las decisiones preprogramadas y describir y juzgar las actividades y aspectos del procedimiento.

Evaluacin de producto
Recopilar descripciones y juicios acerca de los resultados y relacionados con los objetivos y la informacin proporcionada por el contexto, por la entrada de datos y por el proceso, e interpretar su valor y su mrito. Definir operacionalmente y valorar los criterios de los resultados, mediante la recopilacin de los juicios de los clientes y la realizacin de anlisis cualitativos y cuantitativos.

Inventariar y analizar los recursos Controlar las limitaciones humanos y materiales disponibles, potenciales del procedimiento y las estrategias de procedimiento permanecer alerta ante las que referentes a su aplicabilidad, no se esperaban, mediante la viabilidad y economa. Y utilizar obtencin de informacin mtodos como bsqueda de especfica de las decisiones bibliografa, las visitas a programadas, la descripcin del programas ejemplares, los grupos proceso real, la continua asesores y ensayos piloto. interaccin con el personal del proyecto y observacin de sus actividades. Definir el marco que debe ser Seleccionar los recursos de apoyo, llevar a cabo y perfeccionar la Relacin abarcado, las metas relacionadas con la las estrategias de solucin y las planificacin y los con la satisfaccin de las necesidades o la planificaciones de procedimientos del programa, toma de utilizacin de las oportunidades y los procedimientos, esto es, esto es, efectuar un control del decisiones objetivos relacionados con la solucin estructurar las actividades de proceso. Y proporcionar un en el de problemas.por ejemplo, la cambio. Y proporcionar una base esbozo del proceso real para proceso planificacin de los cambios necesarios. para juzgr los resultados. utilizarlo ms tarde en la de cambio Y proporcionar una base para juzgr los interpretacin de resultados. resultados. Mtodo

decidir la continuacin, finalizacin, modificacin o readaptacin de la actividad del cambio. Y presentar un informe claro de los efectos (deseados y no deseados, positivos y negativos).

Orientacin
Identificar virtudes o defectos del objeto Proporcionar una gua para su perfeccionamiento

Valoraciones
Entrevistas a clientes del estudio
Audiencias y Reuniones de comunidad + entrevistas Muestra cuidadosa de clientes Informes existentes Test diagnostico especial y Experto Comit asesor Tcnica que tienda al consenso (Delphi) Taller con clientes

Anlisis
Acceder a puntos de vista sobre las virtudes, defectos y problemas
Generar hiptesis adicionales acerca de los cambios necesarios Construccin de instrumentos de trabajo Proporcionar datos de entrada y realizar la contrastar la respuesta de ambos grupos: comunidad y muestra de clientes

Objetivos
Valorar el estado global Identificar deficiencias Identificar virtudes que permitan subsanar esas deficiencias Diagnosticar los problemas cuya solucin pueda mejorar el estado del objeto Caracterizar el marco en que se desenvuelve el programa Validar s las metas y prioridades estn en consonancia con las necesidades a satisfacer Proporcionar una base solida para el ajuste de planes y programas Establecer metas y prioridades y designar los cambios requeridos.

Identificar los modelos de trabajo y la informacin previa Observe y juzgue el valor y el merito del programa Brinde claridad sobre los aspectos evaluativos y apoye la interpretacin de resultados Asegurar acuerdos sobre: necesidades prioritarias Estudio y aplicacin de los resultados

Utilidad
Autoridades educativas comuniquen lo referente al estado de desarrollo de un programa. (virtudes, defectos, necesidades, oportunidades y necesidades prioritarias) Convencer sobre la conveniencia de invertir recursos en el programa a desarrollar sobre las necesidades identificadas. Formular objetivos y metas para el desarrollo del personal o la revisin curricular Realizar acciones focalizadas sobre centros educativos, programas , estudiantes, padres entre otros que requieran atencin en reas especificas de desarrollo, valorar lo que se ha conseguido durante el proceso de perfeccionamiento. Decidir sobre la finalizacin de un plan, programa o proyecto. Optimizar el uso de recursos o para fortalecer una institucin hacindola mas pequea, Juzgar los resultados frente a las necesidades atendidas. Defender la eficacia de los programas, metas y prioridades entre otros.

Orientacin
Ayuda a prescribir un programa mediante el cual se efectan los cambios necesarios, identificando y examinando crticamente los mtodos potencialmente aplicables

Etapas
Revisin de literatura, consulta a expertos, servicios de informacin, propuestas del personal implicado
Grupo especial de estudio

Anlisis
Revisin del estado de la practica con relacin a la satisfaccin de las necesidades

Objetivos
Prever el xito, fracaso y eficacia de un cambio. Identifica y valora los meritos y posibilidades de realizacin de un proyecto de cambio por parte del equipo planificador. Identificar y valorar los mtodos aplicables, adems de fundamentar las razones de su seleccin desde el un examen detallado. Identificar las limitaciones y recursos potencialmente utilizables para el programa. Considerar las estrategias alternativas en el contexto de las necesidades y condiciones ambientales; adems de desarrollar un plan que sirva para este propsito.

Organizar la informacin de la anterior fase que se somete a una investigacin para valorar si existen estrategias de soluciones potencialmente aceptables, los mtodos propuestos y su efectividad y aconsejar a los involucrados en la bsqueda de una solucin. Definir los criterios que debe cumplir la innovacin, Estructurar una solicitud de propuestas Obtener diversas propuestas y valorarlas segn su efectividad y viabilidad potencial. Analizar y evaluar propuestas y sugerir como pueden combinarse las mejores caractersticas de cada una Personal y administradores expresan sus intereses y estiman recursos y barreras, que han de abordarse en la bsqueda de una solucin Dos o mas grupos de expertos fijan los objetivos que justifican la necesidad de un programa, proporcionan especificaciones para la planificacin de las propuestas y orientan hacia los criterios de juicio de las diversas respuestas.

Bsqueda de renovacin por clientes y evaluador

Anlisis por Evaluadores Audicin

Tcnica del grupo asesor Valoraciones por parte de plantel de expertos o test piloto

Utilidad
Preparar una propuesta para someterla a su valoracin por parte del gobierno, quien la financie o quien promueva su operacionalizacin. Valorar un programa ya existente y establecer si se opone a lo que se realiza en otras partes o lo que propone la literatura. Evaluar la relacin costo/ beneficio, proporcionar una estructura y un tribunal que decida en situaciones antagnicas sobre la ejecucin de algn tipo de accin. En si a escoger un tipo de accin entre otras posibilidades

Orientacin
Comprobacin continua de un plan Proporcionar una gua para perfeccionamiento su

Valoraciones
Evaluador del proceso (eje central)
Reuniones de personal y grupo asesor

Anlisis
Realizar observaciones sobre la marcha, y encontrar informacin y documentacin continua. Revisar el plan del programa y cualquier evaluacin anterior en la que pueda apoyarse para identificar aspectos relevantes del programa con fines de control Identificar problemas y cuestiones que deben plantearse Desarrollar un esquema general de la recopilacin de datos. Trazar un panorama sobre el funcionamiento del programa Preparar un informe donde se analice lo que se esta aprendiendo y evidencie los problemas clave. Analizar junto con los involucrados sus planes de recopilacin de datos. En si ayudar al personal a llevar a cabo su programa a travs de un proceso de cualificacin Describir las posibles desviaciones del plan original Proponer ajustes al plan que se desarrolla. Documentar las variaciones y el efecto que presentan

Objetivos
Proporcionar continua informacin sobre el ritmo de desarrollo de las actividades si se ajustan a lo planeado, y el uso eficiente de los recursos. Proporcionar una gua para modificar el plan ya que no siempre es posible definir todos los aspectos de un plan. Valorar hasta que punto los participantes aceptan y son capaces de desarrollar sus funciones. Proporcionar un extenso informe del programa que se esta desarrollando comparndolo con lo planificado, establecer sus costes, saber como se juzga la calidad del trabajo por parte de observadores y participantes

Evaluador el proceso y grupo asesor

Sesiones informativas Proceso interactivo

Utilidad
Obtener informacin continua sobre el programa para poder desarrollarlo conforme a lo planeado o decidir si se modifica por considerarse inadecuado. Convertirse en medio para mantener al personal alerta y al corriente de sus responsabilidades Establecer si las inversiones se han realizado como se haban propuesto Proponer su aplicabilidad en otros contextos o instituciones Constituirse en fuente de informacin vital para interpretar los resultados de la evaluacin del producto

Orientacin
Valorar, interpretar y juzgar los logros de un programa incluyendo los efectos a largo plazo

Valoraciones
Combinacin de tcnicas
Test de rendimiento Valoraciones del trabajo Audiciones o entrevistas Investigaciones clnicas Encuesta telefnica o por correo Grupos de cotejo

Anlisis
Obtener una visin amplia de los efectos y proporcionar comprobaciones de los diversos resultados
Valorar el trabajo con relacin a unas normas previamente escogidas Valorar los productos del trabajo y compararlos con los esquemas de las necesidades previamente fijadas por los destinatarios del programa Bsqueda intensiva de resultados inesperados para generar hiptesis acerca de la gama completa de resultados Destinadas confirmar o desmentir las hiptesis elaboradas en el proceso anterior Obtener opiniones y puntos de vista acerca de los resultados del proyecto o programa, presentando ejemplos concretos. Examinar el trabajo del programa obteniendo los pros y contras de las contribuciones. Identificar y examinar los resultados con relacin a un amplio inventario de resultados observados en programas similares Presentar y examinar todas las evidencias disponibles que reflejan el xito o fracaso de un programa. Los informes intermedios: durante cada ciclo para plantear hasta que punto estn siendo satisfechas las necesidades fijadas Informe final de ciclo: presentados al finalizar cada ciclo del programa; resume los resultados alcanzados e interpretarlos a la luz de: necesidades, costes, cumplimiento de tareas, los efectos logrados

Objetivos
Valorar el nivel de alcance de un programa en cuanto a la satisfaccin de necesidades que pretenda atender Establecer los efectos y resultados de un programa Recoger y analizar juicios acerca procedentes de una amplia gama de personas relacionadas con un programa en relacin con su xito. Comparar los resultados de un programa con los de otro alternativo Examinar los resultados desde muchos puntos de vista.

Juicio con jurado Informe sobre resultados

Utilidad
Evaluar si un programa merece ser prolongado en el tiempo, repetirse o ampliarse a otros mbitos. Implicaciones psicolgicas: reforzar el trabajo del personal o de los beneficiarios, puede reducir el entusiasmo si los resultados son deficientes, Informe de presupuesto y contabilidad para evitar inversiones infructuosas o decidir sobre la conveniencia de abordar una accin similar

 Stufflebeam:

La evaluacin orientada hacia el perfeccionamiento. Evaluacin Sistemtica. Brandt. On evaluation: An interview with Daniel L. Stufflebeam. January 1978.

Ronald