Evaluacin en educacin

Misin de la evaluacin

Ayudar a las personas a aprender ms y mejor. Detrs de las decisiones , siempre hay personas. Preguntas evaluativas posibles: -Cmo distinguir , entre todos los proyectos ejecutados cules tuvieron xito y cules no? -Cmo reconocer a los que estn siendo verdaderamente efectivos en producir un mejoramiento? -Con qu grado de eficiencia se desarrollan estos proyectos? -Cul es la relacin entre los costos que implica desarrollar el proyecto y los beneficios que logra ? - Cul es el efecto o impacto del proyecto en los individuos o grupos involucrados ?

Investigacin evaluativa 1

La evaluacin como proceso cognitivo es un caso particular de la investigacin; constituye en s una forma de producir conocimiento de una situacin , cosa o fenmeno especfico. Su particularidad consiste en la emisin de un juicio de valor sobre lo que en su realizacin se ha descubierto o llegado a conocer.

Investigacin evaluativa 2

El modelo conceptual para este proceso seala que la evaluacin es el resultado que se obtiene al emitir un juicio valorativo sobre lo que muestra el contraste de los desempeos reales de aquello que se evala, con los desempeos que se consideran ideales.
Desempeos reales
Desempeos ideales

Juicios de
valor

= EVALUACIN

Investigacin evaluativa 3

Tareas implcitas asociadas al modelo: Paso previo : identificar convenientemente lo que se va a evaluar. 1.definir los desempeos que se estiman ideales 2.descubrir los desempeos que se alcanzan en la realidad 3.establecer si existe discrepancia entre ambos desempeos y emitir una conclusin en la forma de un juicio de valor 4. presentar las conclusiones y recomendaciones pertinentes en un informe apropiado

Estndares de desempeo

Al establecer los estndares de desempeo ptimo se fijan las bases para afirmar en ellas el juicio de valor producto de la evaluacin. Se fijan antes de la realizacin de la evaluacin Quin los fija?- Pueden estar contenidos en principios normativos o legales El evaluador Por acuerdo entre evaluador y quien encarga la evaluacin. Para determinar los niveles de desempeo que se observan en la realidad estudiada, se aplican las estrategias cognitivas usadas en la produccin del conocimiento : metodologa cuantitativa, cualitativa o mixta ( cuantificando lo que es posible de ser cuantificado y tratado estadsticamente y documentado cualitativamente lo que corresponde)

Interrogantes de la investigacin evaluativa

Cul es la naturaleza y magnitud del problema que est originando la accin ? Qu acciones pueden ser implementadas para producir un mejoramiento significativo de la situacin actual? Quin ha de ser el destinatario de las acciones que se lleven a cabo? Est llegando la intervencin a quienes corresponde? Se desarrollan las acciones como se pens que deberan ser ejecutadas ? Estn siendo efectivas las acciones realizadas? Cul es el costo de la intervencin ? Cul es la relacin entre los costos y la efectividad y beneficios que las acciones consiguen? Cmo se pueden mejorar las acciones realizadas?

Finalidad de la investigacin evaluativa

La investigacin evaluativa en educacin es la aplicacin sistemtica de procedimientos de investigacin social para averiguar el valor que tiene la conceptualizacin y diseo de un programa ( proyecto) educativo, su implementacin , su ejecucin y , por cierto, su utilidad. El programa evaluado puede estar en cualquier campo en que se ejecuten acciones sociales de servicio a personas y grupos de personas.

Condiciones

El evaluador dispone de estrategias tanto cuanti como cualitativas. Debe aportar informacin relevante, vlida, confiable y oportuna al proceso de toma de decisiones. La prctica debe cimentarse en una teora consistente y actualizada. Su aporte debe servir para aumentar el conocimiento existente acerca del problema o necesidad abordado por el programa evaluado o para mejorar la efectividad y la eficacia de ste.

Modelos de evaluacin en educacin 1

Modelo genrico en cuanto permite distintas instrumentalizaciones de acuerdo a los intereses y manejo de tcnicas del evaluador. Se estructura a partir de la consideracin de los resultados.

Modelos de evaluacin en educacin 2

PROYECTO
Necesidades

Fidelidad

Respuesta
Demandas Eficiencia Costos

Resultados

Efectividad
Metas

Retroalimentacin

Patrn de propuesta de evaluacin 1

basado en Worthen y Sanders:

1. Fundamentacin .Cul es el propsito de la evaluacin a realizar? qu se sabr que ya no se sepa? 2. Objetivos : qu productos generar? (informes) a quines resultar til? ( usuarios, destinatarios) 3. Descripcin del proyecto evaluado. -filosofa del proyecto - contenido -objetivos explcitos e implcitos Procedimientos aplicados en el desarrollo del proyecto ( estrategias, medios, etc.) -beneficiarios de las acciones del proyecto ( poblacin a quien se dirigi el esfuerzo) -contexto en que se desarroll el proyecto.

Patrn de propuesta de evaluacin 2

4.Diseo de la evaluacin - limitaciones o restricciones que se enfrentan para la ejecucin de la evaluacin -plan general de la evaluacin ( diseo, estrategia) - preguntas que la evaluacin ha de responder - informacin que es necesario obtener para responder a las preguntas - fuentes de datos y mtodos que se aplicarn en su recoleccin - calendarizacin de la recoleccin de datos -tcnicas para analizar los datos, procesarlos y producir informacin evaluativa -estndares que se utilizarn ( para contrastar lo observado y permitir la emisin de juicios) -forma en que se entregarn los resultados (informes parciales, nico, etc) -presupuesto

Patrn de propuesta de evaluacin 3

5. Descripcin del informe final -esquema del contenido que incluir el informe final -utilidad que podra prestar la informacin evaluativa que se va a generar -discusin de algunos sesgos que podran introducirse en la evaluacin por ser opciones del evaluador ( opcin metodolgica, por ejemplo)

Ejemplos de diseo

Efectos de un programa educativo de estimulacin emocional a lactantes desnutridos Diseo ex post facto; se observ en terreno sala de actividades, contenido y orientacin de mensajes verbales que emiten las educadoras y los nios durante la actividad pedaggicaIntegracin de alumnos deficientes mentales en la escuela bsica , diseo cuasi- experimental; evaluacin de diferencias significativas entre dos escuelas bsicas experimentales y una , control

Un diseo de evaluacin es un plan definido para guiar la recoleccin de datos sobre el objeto de la evaluacin. Como tal, seala a quines se observar, cundo y cuntas veces.

DISEOS EXHIBIDOS EN EL DIAGRAMA DE FLUJO Diseos pre-experimetnales

N 1 Estudio de Caso XO N 2 Antes- despus o pretest-postest OXO N 3 Comparacin slo despus XO O

Diseos propiamente experimentales

N4 Antes-despus con un grupo control Aleatorizado R R O O X O O

Diseos Cuasi-experimentales
N 7 Series Temporales ooooo x ooooo N 8 Aplicacin alternada del tratamiento X1 O XO O X1 0 XO O , etc N 9 Antes-despus con grupo control no equivalente O X O

N5 Diseo de Solomon para cuatro grupos R R R R O O X X O O O O

Taxonoma de enfoques de la evaluacin House

Modelo Anlisis de sistemas Destinatarios Economistas, directivos Concuerda Objetivos, causa efecto conocidos variables cuantif Metodologa Programacin lineal, variacin planificada,anlisi Coste/producto Objetivos conductuales ,test de resultados finales Encuestas, cuestionarios, entrevistas Control de sesgos, anlisis lgico Revisin crtica Producto Eficiencia Cuestiones tpicas Se han alcanzado los efectos previstos?
programas ms eficientes

Objetivos conductuales

Directivos, siclogos

Objetivos preespecificados Variables de producto cuantific. Objetivos generales, criterios Consecuencias, criterios Crtica, normas, niveles Criterios, tribunal, procedimientos Procedimientos , jueces

Prductividad, responsabilidad

alcanza los objetivos? productivo Es eficaz? qu partes? Cules son todos los efectos? Resiste el programa la crtica? Cmo lo clasificaran los profesionales? Qu argumentos hay en pro y en contra?

Decisin

Ejecutivos administradores clientes

Eficacia, control de calidad Eleccin del cliente, utilidad social Normas mejores, mayor consciencia Aceptacin profesional

Sin objetivos definidos Crtica de arte

Entendidos Clientes Profesionales Pblico Jurado

Revisin profesional

Revisin del tribunal, estudio

Cuasi- jurdico

Procedimientos cuasi jurdicos

Resolucin

Estudio de casos

Clientes profesionales

Negociaciones, actividades

Estudio de casos, entrevistas, observaciones

Comprensin de la diversidad

Qu les parece a distintas personas?

El enfoque de anlisis de sistemas

Pocas medidas de resultados (ej: puntuaciones de tests) Datos cuantitativos Tratamiento estadstico Utilizacin de diseo experimental Derivado de la teora microeconmica Presupuesto bsico : las personas y organizaciones se comportan de forma que se eleve al mximo algn resultado Supone una funcin estable de produccin, relacin regular y cuantificable de los factores iniciales y de los productos. Caracterstica : anlisis comparativo coste- producto de los programas. Valora la objetividad para proporcionar una valoracin firme Adopta la metodologa de la ciencia social positivista Enfoque funcionalista : de acuerdo ala funcin de los programas , deben cumplir con ciertos requisitos.

Enfoque de objetivos conductuales

Los objetivos son la nica fuente de normas y criterios (Tyler, Mager, Bloom, Suchman) Preocupaciones centradas primero en la formulacin de los objetivos y luego en la forma de medirlos. Un objetivo claro de un programa equivale a la hiptesis de un trabajo de investigacin.

Enfoque de decisin 1

Enfoques modernos conectan evaluacin y toma de decisiones Sostiene que la evaluacin ha de estructurarse a partir de las decisiones que haya que tomar, lo que alude al responsable mximo. Stufflebeam define tres mbitos de decisin: homeostasia, incrementalismo, neomovilismo; cuatro tipos de decisisn: planificacin, estructuracin,implementacin y reciclado; tres fases en el proceso de evaluacin: delimitacin, obtencin. Comunicacin Cuatro tipos de evaluacin : de contexto, de entrada , de proceso y de producto

Enfoque de decisin 2

Patton resalta el factor personal en la utilizacin de los hallazgos de la evaluacin; la responsabilidad de determinar qu informacin se requiere corresponde a los encargados de tomar decisiones. Utiliza metodologa de encuesta, cuestionarios y entrevistas y el evaluador trabaja ms sobre las variaciones naturales en el medio en donde se desarrolla el programa que tratando de montar experimentos. Por regla general, se incluye la eficacia del programa en alguna dimensin y en especial, qu partes del programa funcionan

Enfoque sin objetivos 1

Scriven platea que centrarse en objetivos para evaluar conduce a sesgos tendenciosos. El evaluador debe investigar todos los resultados aunque algunos sean efectos colaterales imprevistos. El problema es cmo determinar los criterios de evaluacin Este enfoque toma como grupo de referencia a los beneficiarios de los programas sociales Scriven trata de desarrollar el concepto de necesidad como fundamento de la evaluacin; el establecimiento de la validez objetiva de tales necesidades proporcionara al evaluador una fuente autorizada de normas.

Enfoque sin objetivos 2

Metodologa variada . Incluye : Experimentos doble ciego Juicios de expertos Entrevistas Tribunal de jueces Rplica de experiencias Anlisis secundario con agentes independientes Poco usado ej: evaluacin de nuevos materiales curriculares

Enfoque crtica de arte 1

Se juzga la calidad del objeto evaluado Eisner considera la crtica cualitativa por naturaleza pues es una operacin emprica Considera la crtica como la iluminacin de las cualidades del objeto, situadas en l. La prueba de la crtica est en los efectos instrumentales que produce en el destinatario. En tanto el experto se caracteriza por el arte de la apreciacin , el crtico lo hace por el arte de la revelacin ( juicio o descripcin pblicos) El experto debe tener la oportunidad de asistir a los acontecimientos y compararlos. As, las percepciones se integran, perfeccionan y valoran. Para percibir sensiblemente las cualidades que surgen del objeto, hay que manejar un conjunto de ideas, teoras , modelos, etc., que permitan diferenciar lo significativo de lo trivial. Requiere, preparacin y experiencia. la crtica es el arte de revelar las cualidades de los hechos u objetos que percibe el arte del experto. Trata de traducir una situacin de tal manera que se pongan en evidencia los aspectos significativos de la situacin, objeto o programa.

Enfoque crtica de arte 2

La crtica realizada de manera adecuada aumenta el conocimiento. En cuanto a la validez y confiabilidad, Eisner habla de la corroboracin estructural y de la adecuacin referencial Existe la corroboracin estructural o sea la evidencia se corrobora cuando los elementos de la misma encajan entre s. La adecuacin referencial alude a la posibilidad de encontrar en el objeto criticado las caractersticas sealadas por el evaluador. Metodologa : revisin crtica, realizada de diversos modos. Se considera fundamental la inmersin y familiaridad con el programa La crtica lleva a una conciencia reforzada, mejora de los niveles y actuacin perfeccionada. Otros enfoques sobre la crtica figuran en Kelly, Jenkins, OToole.

Enfoque de revisin profesional

(acreditacin)

Los criterios de esta evaluacin surgen por materias especficas y se refieren a diversas reas temticas y de servicios, como ser : servicios educacionales, instalaciones, medios audiovisuales de aprendizaje, etc. Enfoque pensado para involucrar a los evaluados (profesores de escuela) en una autoevaluacin. Una variante de esta evaluacin es la que se realiza a departamentos o unidades de universidades El la U de Illinois se evaluaron departamentos (6 criterios): -calidad del programa docente -calidad de la investigacin, de la actividad creativa o del trabajo acadmico -calidad de servicio a la universidad y a la profesin -contribucin prestada por la unidad a otras del campus o importancia de aquella en el mismo Valor del programa para la sociedad o singularidad del mismo en el estado Posibilidades y previsiones de futuro

Enfoque de revisin profesional 2 En estos casos, la fuente de normas y criterios son los profesionales mismos. Los procedimientos varan, pero la evaluacin culmina en una valoracin global de un programa profesional a cargo de otros expertos.

El enfoque cuasijudicial (adversary)

Se emplea este tipo de tribunales para tratar cuestiones controvertidas y resolver las dudas que pesen sobre ellas. Aunque estos tribunales y comisiones no forman parte del sistema judicial, su autoridad se deriva de sus procedimientos cuasijudiciales. Las pruebas se presentan al tribunal. Los testigos testifican y presentan pruebas. Suele ponerse mucho cuidado en tomar declaraciones exhaustivas. En suma, el problema del evaluador se resuelve mediante el empleo de procedimientos cuasijudiciales que prestan a la evaluacin la autoridad de la justicia. El enfoque judicial facilita la consideracin estructurada de argumentos e inferencias alternativos que hagan que la evaluacin sea intelectualmente honrada y equitativa WOLF. Cuatro fases : Planteamiento del problema, (entrevistas para descubrir problemas), seleccin del mismo,(encuesta a profesores, estudiantes y administradores para reducir el nmero de problemas) presentacin de argumentos (alegatos)y audiencia. (presentaciones anteriores a la audiencia y la audiencia misma) : alrededor de 6 meses de duracin.

Enfoque de estudio de casos o negociacin 1

Qu les parece el programa a los sujetos que tienen contacto habitual con l? Se centra en los procesos del programa y la visin que tienen las personas de ste. Metodologa: entrevistas con muchas personas, hacer observaciones in situ y presentar los hallazgos en forma de estudio cualitativo de casos. ( un estudio cuantitativo se apartara del enfoque) El objetivo es mejorar la comprensin que de la evaluacin tenga el o los destinatarios, mostrndoles cmo perciben otros el programa sometido a evaluacin. La metodologa etnogrfica constituye un enfoque relacionado y es comn calificar estas metodologas de naturalistas

Enfoque de estudio de casos o negociacin 2

El enfoque de Stake se centra en la percepcin y en el conocimiento como proceso de negociacin. En la evaluacin responsiva el evaluador suele negociar con el cliente sobre lo que ha de hacerse y responde a lo que quieren saber distintos destinatarios. Representan descripciones complejas, holsticas y que implican gran cantidad de variables interactivas. Los datos se obtienen por la observacin personal y la redaccin es narrativa , utilizando citas, ilustraciones, alusiones y metforas. Se orienta ms a las actividades del programa que a sus intenciones, a responder a peticiones de informacin y tener en cuenta diferentes perspectivas de valor al informar sobre el xito o fracaso.