Qu es la evaluacin?

Proceso

de

indagacin

dirigido

recolectar

informacin

cuantitativa y cualitativa con el propsito de obtener conclusiones

sobre el valor, mrito, importancia o calidad de un programa,

producto, persona, poltica, propuesta o plan.

Qu es la evaluacin educativa?

Es una actividad continua e integrada que tiene por objetivo proporcionar la mayor cantidad de informacin para valorarla y tomar decisiones pertinentes respecto al objeto o sujeto de evaluacin.

La evaluacin educativa brinda informacin que permite: conocer la calidad del proceso educativo, fundamentar la toma de decisiones educativas, mejorar la planeacin del proceso educativo, decidir sobre la certificacin de sujetos, determinar la acreditacin de programas.

Qu es la evaluacin del desempeo? Proceso sistemtico de obtencin de datos vlidos y confiables que permite emitir un juicio de valor acerca del nivel de logro alcanzado por un individuo en un examen, en relacin a los conocimientos, habilidades y competencias previamente establecidos.
Algunos ejemplos de evaluacin del desempeo que se realizan en Mxico son:

EXANI EGEL Enlace PISA Excale

La evaluacin por su funcin se puede clasificar en:

Diagnstica. Aporta informacin acerca del aprendizaje que poseen los sustentantes al inicio de un curso, programa o proceso de capacitacin.

Formativa. Verifica la manera en que se lleva a cabo el proceso y se realiza peridicamente con el objeto de retroalimentarlo y reconducirlo.

Sumativa. Obtiene informacin acerca de la integracin del aprendizaje al trmino del proceso al que el sustentante se vio expuesto y permite emitir juicios de acreditacin.

En trminos de la interpretacin de sus resultados, la evaluacin se realiza con base en: Un criterio. Los resultados se interpreta en funcin de un parmetro previamente establecido.

Punto de corte

Juicio de expertos

INSUFICIENTE

SUFICIENTE

100

En trminos de la interpretacin de sus resultados, la evaluacin se realiza con base en:

La norma. Los resultados se interpretan con base en la comparacin del rendimiento individual con el grupo evaluado.

Medicin

Es asignar nmeros a las caractersticas o atributos de objetos,

personas o procesos medidos, de acuerdo con reglas,

parmetros o criterios establecidos. En el mbito educativo, el proceso de medicin es

fundamentalmente descriptivo puesto que indica, mediante una representacin numrica, en qu medida un sujeto posee conocimientos y habilidades.

Caractersticas de los instrumentos de medicin

Validez. Es la congruencia que existe entre lo que se plane medir y lo que se mide. Confiabilidad. Sus resultados son estables y consistentes, para emitir un juicio. Objetividad. Los resultados del instrumento son

independientes de quien aplica y califica.

Prueba objetiva

Instrumento de medicin integrado por reactivos de respuesta estructurada con solucin nica, destinado a obtener

informacin que sea comparable entre todos los sustentantes.

Caractersticas de las pruebas objetivas

que realiza el Ceneval
1. Exploran una muestra representativa habilidades y/o competencias. de conocimientos,

2.
3.

Pueden aplicarse a gran escala.

Cumplen con reglas de diseo y calificacin estandarizadas (equidad). Se realizan con base en los estndares internacionales de calidad (AERA, APA). nacionales e

4.

5. 6.

Proporcionan informacin til para la toma de decisiones. Son pruebas que se construyen de forma tal que no benefician a un grupo determinado. Son pertinentes porque tienen una cobertura suficiente y relevante de lo que se desea medir.

7.

Proceso de construccin de una prueba objetiva

Proceso de construccin de una prueba objetiva

Decisin de evaluar

Diseo
Estructura de la prueba (Tabla de especificaciones)

Evaluacin y mantenimiento

Propsito de la evaluacin, poblacin, caractersticas del instrumento

Elaboracin
Elaboracin de reactivos

Operacin
Versiones

Piloteo y calibracin de reactivos

Anlisis

Revisin tcnica, validacin externa y revisin de estilo de reactivos

Diseo de la evaluacin

Diseo de la prueba

Justificar el objetivo del instrumento (qu, cmo y para qu se requiere).

Identificar las caractersticas de la poblacin a la cual se dirige.

Indicar las condiciones de tiempo y medios de la aplicacin.

Tabla de especificaciones

Es la descripcin detallada de lo que se pretende evaluar, la definicin de los procesos cognoscitivos implicados y la determinacin de la importancia relativa del contenido.

Una tabla de especificaciones posee los siguientes elementos: Desglose del contenido o domino a evaluar. Resultados de aprendizaje. Niveles cognoscitivos. Nmero y porcentaje de reactivos necesarios para medir el dominio.

Tabla de especificaciones

Contenido

Resultado de aprendizaje

Nivel cognoscitivo Conocimiento Comprensin Aplicacin

Nmero de reactivos

Porcentaje

Tema I Conocer los resultados Subtema 1 Entiende los principios Subtema 2

Niveles cognoscitivos

Para evaluar conocimientos y habilidades, generalmente, se emplea la taxonoma de niveles de Benjamn Bloom, la cual propone la siguiente jerarqua:

Conocimiento

Supone la evocacin o recuerdo de informacin concreta o de conocimientos especficos de forma exacta y aislada; enfatiza los procesos cognoscitivos del recuerdo y la memoria.

Comprensin

Es la habilidad para descifrar o decodificar informacin y

entenderla. Implica parafrasear informacin especfica, darle un nuevo orden o enfoque.

Aplicacin

Se refiere al empleo de la informacin en una situacin particular, concreta y diferente al contexto en el que se

aprendi. Conlleva el manejo de mtodos o procedimientos

para resolver un problema.

Anlisis

Es la capacidad de desarticular el material en sus partes constitutivas, de manera que su estructura pueda entenderse. Incluye la identificacin de las partes, el estudio de la relacin entre las partes y el reconocimiento de los principios de organizacin implicados.

Sntesis

Es la habilidad de agrupar diferentes componentes de un material, despus de haber sido analizados para formar un

todo. Esto supone, la produccin de una comunicacin

exclusiva o peculiar, un plan de operaciones o un conjunto de relaciones abstractas.

Evaluacin

Es la habilidad de determinar el valor del material para un propsito determinado. Involucra la realizacin de juicios de valor basados en criterios definidos, internos o externos.

Ejemplo de tabla de especificaciones

Contenido

Resultado de aprendizaje

Nivel cognoscitivo
Conocimiento Comprensin Aplicacin Anlisis Sntesis Evaluacin

Nmero de reactivos

Tema I Conocer los resultados Subtema 1 Entiende los principios

Definicin operacional Redactar una oracin en la que se considere la accin o conducta a evaluar a travs de un REACTIVO DE OPCIN MLTIPLE.

Precisar el contexto de la evaluacin a travs de las condiciones en las cuales se desarrollar .

En todo momento se debe considerar el propsito de la evaluacin.

Debe proporcionar la informacin suficiente para la elaboracin de los reactivos sin necesidad de ver el reactivo muestra.

Definicin operacional Se debe contemplar slo una ACCIN de las que se pueden evaluar a travs de un examen objetivo:

Definir Ejemplificar

Clasificar Comparar

Resolver
Relacionar Diferenciar

Ilustrar
Ordenar Argumentar

Numerar
Organizar

Traducir
Explicar

Listar
Proponer

Definicin operacional Se debe describir el contexto de evaluacin. La descripcin debe ser tan precisa como el objeto de medida lo

requiera, aterrizado a un REACTIVO DE OPCIN MLTIPLE.

Texto Esquema Oracin Dibujo

Circuito
Caso Mapa

Artculo
Carta Grfica

Ecuacin

Ejemplo

Lineamientos generales para elaborar especificaciones de reactivos Es congruente con el propsito del examen. La accin a evaluar es sustancialmente relevante para demostrar que el sustentante posee el conocimiento y habilidad. Es clara, con una sintaxis correcta y est libre de errores ortogrficos. Emplea nicamente la informacin necesaria. Debe entenderse sin necesidad de ver el reactivo muestra.

Lineamientos para redactar la definicin operacional

Incluye la accin y el contexto para su ejecucin. Describe una conducta que puede ser medida con un reactivo de opcin

mltiple.
Se considera solo una accin a evaluar. El contexto es congruente con el tipo de instrumento que se va a elaborar. Proporciona la informacin necesaria para elaborar reactivos. No se presta a doble interpretacin.

Niveles de complejidad

Evocar de manera memorstica datos especficos

Bsico

Parafrasear o traducir datos especficos Organizar los pasos de un proceso o procedimiento Intermedio Ordenar datos especficos, bajo un criterio dado

Aplicar mtodos o frmulas universales para la resolucin de problemas

Deducir el o los criterios que agrupan a ciertos elementos Identificar las partes constitutivas de un todo

Avanzado Determinar las relaciones entre palabras, ideas o partes constitutivas de un todo
Identificar informacin relevante

Reunir elementos en un todo no evidente

Ejemplos

Definiciones operacionales
A partir de un problema que involucra prismas, cilindros, conos, pirmides o esferas, calcular su rea o volumen.

A partir de una coleccin de datos poblacionales que involucren los conceptos de tasas o ndices, clasificarlos segn el tipo de variacin (aritmtica o exponencial) que representan.

En funcin de un proyecto en el que se requieren recursos econmicos, el sustentante determina el monto del financiamiento requerido.

Definiciones operacionales
En diversos contextos (salud, educacin, social, y laboral), el sustentante determina los alcances del diseo, proceso y evaluacin de un programa de intervencin de acuerdo con los protocolos, formatos y listas de diseo. A partir de los datos de un articulador, el odontlogo realiza un anlisis de los espacios intermaxilares a partir de los modelos de estudio. Dado un ejemplo de violacin de los derechos humanos, el sustentante selecciona el modelo de intervencin de trabajo con grupos.

Definiciones operacionales
Con base en un diagrama de flujo de manejo de materiales de un proceso, el sustentante identifica el equipo adecuado para su manejo, tomando en cuenta la ergonoma, higiene y seguridad de materiales y personas.

Errores comunes
A partir del diagnstico presuntivo, el sustentante colecta las muestras adecuadas para estudios diagnsticos y realiza un correcto manejo y envo de las mismas.

Devuelve la funcin muscular a la cavidad bucal para optimizar la masticacin, fontica, deglucin .

Valora el uso de materiales en algunas culturas, como el adobe y el barro, respecto a las necesidades que han cubierto.

Anlisis cualitativo

Consiste en observar que cada uno de los reactivos mida el contenido detallado en las especificaciones de la prueba; que la redaccin sea adecuada a la poblacin objetivo.

Trayectoria del reactivo

Elaboracin Revisin tcnica Validacin externa Inclusin al banco

Revisin tcnica de validacin

Revisin de estilo Revisin tcnica de estilo

Anlisis cuantitativo

Piloteo

Anlisis cuantitativo
Tcnica y procedimientos matemticos encaminados a verificar la calidad y pertinencia de los reactivos o preguntas de una prueba. El anlisis permite inferir las caractersticas tcnicas de una pregunta, determinar si cumple con los requerimientos que se esperan de ella y decir su inclusin en una prueba. Al menos se obtienen dos indicadores bsicos de las caractersticas

del reactivo: la dificultad y la discriminacin.

Principales metodologas de anlisis

Teora de la respuesta al tem (TRI) Conjunto de modelos matemticos que buscan describir el

comportamiento de los reactivos. Tratan de descubrir qu relacin

existe entre la habilidad del sustentante y el reactivo que enfrenta, y

de describirla a partir de un modelo matemtico.

Principales metodologas de anlisis

Teora clsica de los test (TCT) Es el modelo ms conocido en la psicometra introducido por el psiclogo britnico Charles Spearman quien a principios del siglo XX

argumentaba matemticamente que los puntajes de una prueba son

medidas inexactas de los rasgos humanos. A la fecha se mantiene como la forma de anlisis ms popular en la evaluacin educativa

moderna.

Dificultad del reactivo

Cuando un reactivo es calificado de manera dicotmica, el porcentaje de sustentantes que lo contestan correctamente es conocido como grado de dificultad del reactivo (GD). Es decir, qu tan fcil o difcil resulta el reactivo para la poblacin que tomar el examen.

P GD 100 N
donde:

0 GD 100

P
N

nmero total de respuestas correctas de los sustentantes al reactivo nmero total de sustentantes que contestaron la prueba

Anlisis Teora Clsica

Contestaron correctamente Total de personas que enfrentaron el reactivo

ndice de dificultad

50

100

Ms Difcil

Ms Fcil

Discriminacin del reactivo

Determina si un reactivo discrimina de forma efectiva entre los sujetos que son relativamente altos en el criterio de inters y los que son

relativamente bajos (Martnez 1996), o qu tan eficiente es el reactivo

para ayudar a diferenciar entre quienes saben y no.

ID PS PI

1 ID 1

PS

Proporcin de respuestas correctas en el reactivo, de los sustentantes del Grupo Superior (nmero de respuestas correctas en el Grupo Superior entre

el nmero de sustentantes que conforman este grupo)

PI

Proporcin de respuestas correctas en el reactivo, de los sustentantes del Grupo Inferior (nmero de respuestas correctas en el Grupo Inferior entre el nmero de sustentantes que conforman este grupo)

Los grupos Superior e Inferior pueden definirse a partir de la mediana de las puntuaciones totales en la prueba, o percentiles distintos a la mediana; se ha probado que los percentiles 27 y 73 funcionan de manera correcta.

ndice de discriminacin

Grupo con alto desempeo 27%

Grupo con bajo desempeo 27%

Capacidad que tiene el reactivo para diferenciar de los alumnos que poseen el conocimiento de los que no. Su valor debe de ser mayor a 0.60

ndice de dificultad
Sujeto/ reactivo 1 2 3 4 5 6 7 8 9 10 1 1 1 1 1 1 1 1 1 1 1 2 0 1 0 1 1 1 1 1 0 1 3 0 1 1 1 1 1 0 1 1 1 4 1 1 1 0 1 1 1 1 0 0 5 1 1 0 0 0 1 1 1 1 1 6 1 1 0 1 0 1 1 1 1 0 7 1 1 0 0 0 1 1 0 0 1 8 1 1 0 1 1 1 0 1 1 0 9 1 1 0 1 0 0 1 0 1 0 10 0 0 0 0 0 0 0 0 0 0

TOTAL
Dificultad

10
100

7
70

8
80

7
70

7
70

7
70

5
50

7
70

5
50

0
0

ndice de discriminacin
Sujeto/ reactivo 2 6 1 7 8 4 9 5 10 1 1 1 1 1 1 1 1 1 1 2 1 1 0 1 1 1 0 1 1 3 1 1 0 0 1 1 1 1 1 4 1 1 1 1 1 0 0 1 0 5 1 1 1 1 1 0 1 0 1 6 1 1 1 1 1 1 1 0 0 7 1 1 1 1 0 0 0 0 1 8 1 1 1 0 1 1 1 1 0 9 1 0 1 1 0 1 1 0 0 10 0 0 0 0 0 0 0 0 0

3
ID

1
0

0
0.0

1
-0.3

1
0.3

0
0.7

0
1.0

0
0.7

0
0.3

0
0.7

0
0