Evaluaciones Nacionales del Rendimiento Acadmico

Lima, 6 de abril de 2008

Unidad de Medicin de la Calidad Educativa

SECRETARA DE PLANIFICACIN ESTRATGICA

Una definicin
La evaluacin educativa, puede ser entendida como un proceso mediante el cual se recoge, organiza, analiza y sistematiza informacin de un sistema educativo, segn objetivos previamente determinados, de modo que permita tomar decisiones fundamentadas sobre el proceso educativo.

Funciones de la Evaluacin
Toma de decisiones: sobre la intervencin pedaggica Retroinformacin: sobre logros Refuerzo: reconocer esfuerzo y rendimiento Autoconsciencia: procesos puntos fuertes y dbiles de aprendizaje,

Retegui, Arakaki y Flores, 2001

Evaluaciones de Sistema
Existe consenso en que el logro de aprendizajes de los estudiantes es uno de los principales indicadores de la calidad del sistema educativo. Busca generar informacin sobre dichos logros y sobre un conjunto de factores escolares y extraescolares que inciden en los rendimientos de los estudiantes para poder explicarlos desde una perspectiva de equidad.

Evaluaciones de Sistema
Cobran una gran importancia en latinoamericana y se desarrollan junto con el diseo e implementacin de las reformas educativas de los aos 80 y 90. Responden a la necesidad de contar con informacin sobre el sistema educativo y sus componentes, con la finalidad de colocar la calidad de la educacin como tema central y prioritario de la agenda pblica.

Proceso de las Evaluaciones Nacionales

ELABORACIN DEL MARCO DE EVALUACION ELABORACIN DE INSTRUMENTOS APLICACIONES PILOTO APLICACIN DEFINITIVA

DEFINICIN DE NIVELES DE DESEMPEO

ANALISIS DE CODIFICACIN DE RESPUESTAS RESULTADOS

ARMADO DE BASES DE DATOS ELABORACIN DE ANLISIS PSICOMTRICO REPORTES

ANLISIS PEDAGGICO

DIFUSIN

Elaboracin del Marco de Evaluacin

Qu es un marco de evaluacin?
Integra los conceptos sobre los cuales se fundamentar una evaluacin, plasmndolos en un documento.

El marco de evaluacin Contextuales

ASPECTOS

Disciplinares

Metodolgicos

Aspectos contextuales:
1. Propsito de la evaluacin 2. Objeto de evaluacin 3. Caractersticas de la poblacin a evaluar 4. Usuarios de la evaluacin

Aspectos Disciplinares
1. Enfoque del rea 2. Dimensiones a ser evaluadas 3. Estructura de las pruebas

Aspectos Metodolgicos:
1. Nmero de tems de la prueba 2. Formatos de tems a emplear 3. Distribucin de los tems en la prueba 4. Duracin de la prueba

Las reas a Evaluar

Es posible evaluar diversas reas a nivel de sistema. El primer paso es establecer un enfoque de rea y adoptar una definicin.

Comprensin de Textos
Proceso en el que el lector utiliza sus conocimientos previos (conocimiento del mundo y del lenguaje,y pautas culturales) para interactuar con el texto y reconstruir su sentido.

Modelo de evaluacin
CAPACIDAD TIPOS DE TEXTOS

PREGUNTA

USOS DE LA LECTURA

Consideraciones generales
Es posible plantear una serie de capacidades generales, necesarias en todas las reas del saber, y tambin una serie de capacidades especficas, propias de cada disciplina y de cada contexto. Las capacidades especficas pueden caracterizarse a travs de una serie de destrezas o habilidades que, a su vez, suponen poner en juego una serie de recursos.

Seleccin de Capacidades
Es necesario determinar qu capacidades generales y especficas se evaluarn, qu habilidades y qu recursos exigen poner en juego y en qu medida.

Adems hay que establecer la proporcin de capacidades segn el enfoque del rea, que prioriza ciertos aspectos de la misma. Debe considerarse el nivel, ciclo o grado a evaluar , por la importancia que se concede a cada una de las capacidades segn dichos aspectos.

Criterios para la seleccin de las capacidades a evaluar

Relevancia: Relevancia: para que el estudiante pueda afrontar exitosamente situaciones de la vida cotidiana en contextos escolares, familiares y comunales. Por ello se privilegian capacidades que desarrollen aspectos pragmticos de la vida acadmica y laboral antes que otros aspectos. Importancia: para la continuacin de estudios. Importancia: Concordancia: con la naturaleza de los instrumentos de Concordancia: evaluacin (pruebas escritas con temes de opcin mltiple y de respuesta abierta). Posibilidad que las capacidades evaluadas sean acordes con las exigencias tcnicas, administrativas, logsticas y temporales de una evaluacin de sistema.

Comprensin de Textos
Capacidades: Se refieren a las habilidades que el
lector pondr en juego al realizar las reas que se le proponen y que pretenden simular los tipos de tareas que los estudiantes enfrentan en situaciones autnticas.

Capacidad 1 Capacidad 2 Capacidad 3

Obtencin de informacin Elaboracin de inferencias Reflexin acerca del texto

Seleccin de Desempeos
Un desempeo es la actuacin del estudiante ante una tarea determinada y que permite indagar por lo que sabe y puede hacer.

Comprensin de Textos
Capacidad
1. Obtiene informacin explcita del texto.

Desempeo
1. Identifica ideas especficas expresadas en una, dos o ms proposiciones. 2. Identifica secuencias.

Comprensin de Textos
Capacidad
2. Hace inferencias

Desempeos
1. Reconoce relaciones semnticas expresadas entre dos o ms proposiciones sucesivas o distantes. 2. Identifica referentes de distinto tipo. 3. Reconoce el significado de palabras o expresiones a partir de lo ledo. 4. Reconoce el tema central y las ideas principales del texto. 5. Deduce el propsito del texto. 6. Deduce el receptor implcito al que se dirige el texto.

Comprensin de Textos
Capacidad
3. Reflexiona y evala.

Desempeos
1. Evala el contenido del texto. 2. Identifica y evala recursos formales del texto.

Tipos de Textos
Un texto es el entramado de ideas relacionadas que forman una unidad global de significado y de sentido. Puede estar organizada en uno o ms prrafos (cuentos, noticias, ensayos, etc.) as como estar organizada con una estructura grfica notoriamente distinta de la prosa estndar (cuadros, avisos, afiches publicitarios, infografas, etc.).

Tipos de Textos
Texto narrativo: es aquel que representa una secuencia de hechos en una historia temporalmente ordenada (linealmente, de fin a principio, etc.). En este tipo de texto se relatan hechos vividos por personajes reales o imaginarios en un periodo de tiempo. Texto descriptivo: es aquel que ofrece informacin concreta acerca de cmo es o ha sido una persona, animal, experiencia, objeto. Este tipo de texto presenta caractersticas y circunstancias ordenadas en el espacio.

Tipos de Textos
Texto expositivo: o tambin llamado explicativo, es aquel que explica cualquier tema o materia e informa acerca de algo. Texto argumentativo: es aquel que apoya o discrepa de una afirmacin cuya validez es cuestionable o discutible. Todo texto argumentativo tiene como meta persuadir o convencer a la audiencia a la que se dirige acerca del valor de la tesis para la cual busca aprobacin.

Usos de la Lectura
Lectura para uso recreativo: generalmente es un tipo de lectura privada que busca recrear mundos ficcionales. Los textos narrativos se encuentran en este tipo de lectura. Lectura para uso pblico: se usa esta lectura para conocer las actividades polticas, sociales, culturales, econmicas de la sociedad. Incluye el uso de documentos oficiales y de informacin acerca de acontecimientos pblicos como las noticias, comunicados oficiales, certificados, etc. Lectura para uso educacional: se utiliza esta lectura con un propsito instructivo relacionado con la adquisicin de informacin como parte de una tarea de aprendizaje ms amplia.

Formacin Matemtica
Dominio de habilidades tiles ante para y conocimientos desempearse problemticas matemticos eficazmente

situaciones

novedosas o rutinarias, cuya solucin requiera la puesta en prctica de dichas habilidades y

conocimientos.

Modelo de evaluacin
CONTENIDO CAPACIDAD

PREGUNTA

CONTEXTO

Formacin Matemtica
Capacidades: Se refieren a las habilidades
matemticas complejas que el estudiante pondr en juego al realizar las reas que se le proponen y que pretenden simular los tipos de tareas que los estudiantes enfrentan en situaciones autnticas.

Capacidad 1 Capacidad 2 Capacidad 3

Resolucin de problemas Comunicacin matemtica Aplicacin de algoritmos

Formacin Matemtica
Capacidad
1. Resolucin de problemas

Desempeos
1. 2. Resuelve situaciones problemticas referidas a los nmeros y la numeracin, en los nmeros naturales hasta diez mil y en las fracciones ms usuales. Resuelve situaciones problemticas que demanden el uso de operaciones bsicas en el conjunto de los nmeros naturales menores que diez mil, decimales hasta las centsimas y fracciones ms usuales. Resuelve situaciones problemticas referidas a la proporcionalidad directa y porcentaje en el conjunto de los nmeros naturales menores que diez mil, decimales hasta las centsimas y fracciones ms usuales.

3.

Formacin Matemtica
Capacidad
1. Resolucin de problemas

Desempeos
4. Resuelve situaciones problemticas referidas a la nocin de medida, al uso y a la conversin de unidades de las magnitudes fundamentales (masa, longitud y tiempo), en el conjunto de los nmeros naturales menores que diez mil, decimales hasta las centsimas y fracciones ms usuales. 5. Resuelve situaciones problemticas referidas a nociones de ngulos y al clculo de permetro y rea de polgonos de hasta seis lados, figuras circulares, slidos geomtricos (cilindro, cubo, esfera, cono) y a posiciones relativas de dos rectas. 6. Resuelve situaciones problemticas referidas a la elaboracin e interpretacin de diversos diagramas estadsticos y a la media aritmtica de un conjunto de datos.

Formacin Matemtica
Capacidad
2. Comunicacin Matemtica

Desempeos
1. Utiliza y representa nmeros naturales hasta la unidad de milln, nmeros decimales hasta las centsimas y fracciones de uso cotidiano. Interpreta, identifica y justifica proposiciones verbales o simblicas referidas al manejo de los nmeros y las operaciones en el conjunto de los nmeros racionales positivos. Identifica, interpreta y compara cantidades expresadas en distintas unidades para cada una de las magnitudes fundamentales. Identifica, grafica y compara figuras y cuerpos geomtricos. Identifica, interpreta, grafica, compara y justifica informacin estadstica.

2.

3. 4. 5.

Formacin Matemtica
Capacidad
3. Aplicacin de Algoritmos

Desempeos
1. Calcula el resultado de operaciones bsicas en el conjunto de los nmeros racionales positivos. 2. Calcula el resultado de operaciones combinadas en el conjunto de los nmeros racionales positivos. 3. Calcula el resultado de operaciones bsicas de cantidades referidas a alguna de las magnitudes fundamentales, expresadas en distintas unidades.

Contenidos
Nmero y Cantidad: se refiere a los diferentes conjuntos numricos en todas sus representaciones (enteros, fracciones, decimales); sus propiedades (tales como la divisibilidad); las operaciones aritmticas, la proporcionalidad y sus aplicaciones (regla de tres, porcentaje).

Contenidos
Algebra y funciones: El lgebra implica descubrir leyes o patrones que rigen la relacin entre diversas variables, independientemente de los valores involucrados. Permite transformar expresiones matemticas complejas en otras equivalentes y ms sencillas. La nocin de funcin constituye una idea unificadora de gran importancia en la matemtica. Las funciones son correspondencias especiales entre los elementos de dos conjuntos.

Contenidos
Espacio y forma: El manejo del espacio y de la forma provee a las personas de herramientas, tanto para realizar, representar, organizar y estructurar sus actividades y movimientos, como para organizar su pensamiento y su razonamiento. El logro de esta estructuracin ser posible si el sujeto es capaz de comprender las propiedades, posiciones, representaciones y transformaciones de los objetos y las relaciones entre los mismos, lo cual implica comprender las relaciones entre las formas y representaciones visuales.

Contenidos
Estadstica y probabilidad: La estadstica permite organizar, representar y realizar el anlisis e interpretacin de datos para elaborar conclusiones y tomar decisiones sobre una base ms cientfica. Tambin posibilita la prediccin de los comportamientos de determinados fenmenos.

Contextos
Intramatemtico: trata de las tareas especficamente del universo matemtico, utiliza sus propios smbolos y presentan objetos matemticos sin referirlos o inscribirlos en el mundo real. Extramatemtico: ubica los objetos matemticos Extramatemtico en relacin con los objetos de la vida del individuo. Los contextos extramatemticos pueden clasificarse de acuerdo al nivel de uso o de familiaridad que tengan para el individuo.

Elaboracin de las Pruebas

Tabla de especificaciones
Es un instrumento para la elaboracin de las pruebas. Consigna en forma esquemtica los conocimientos, contenidos, objetivos, competencias, que sern objeto de evaluacin Indica cuantos temes o tareas de la prueba corresponden a cada contenido, objetivo, aspecto, capacidad, etc.

Tabla de especificaciones
Permite apreciar qu es lo que se pretenda evaluar con cada tem de la prueba. Permite garantizar que se encuentren todos los aspectos relevantes de la competencia. Permite apreciar el peso en cantidad de temes que tiene cada aspecto o capacidad.

Tabla de especificaciones
Capacidad Contenido

Resolucin de Problemas

Comunicacin Matemtica

Aplicacin de Algoritmos

TOTAL

Nmero y cantidad Espacio y Forma Algebra y funciones Estadstica y probabilidad TOTAL

Tabla de especificaciones
Capacidad Texto

Obtiene Informacin

Hace inferencias

Reflexiona y evala

TOTAL

Narrativo

Descriptivo Expositivo Argumentativo TOTAL

Representatividad de los tems

Los temes son seleccionados para ser representativos aunque de forma imperfecta, del saber bsico que se puede esperar de un alumno . Es importante muestrear la gama completa del contenido enseado e incluir suficientes tems para que la medicin sea vlida y confiable. Se podr dar cuenta de cules son las reas que presentan fortalezas y debilidades.

Nmero de tems
El nmero de itemes con el que se propone evaluar cada una de las reas es bastante elevado Necesidad de distribuir las preguntas en varios cuadernillos o formas Los estudiantes se enfrentan a un nmero razonable de temes que sirven para medir su desempeo de manera adecuada. Diseo de bloques incompletas: rotados o de matrices

cada forma tiene preguntas nicas y preguntas comunes a las otras formas en conjunto se administra un nmero amplio de preguntas para cubrir un rea

Formato de tems
Respuesta cerrada Seleccin de respuesta Emparejamiento Opcin Mltiple Verdadero / Falso (matemtica) Respuesta abierta Produccin de Respuesta Respuesta corta Respuesta extendida Tabla de representacin (matemtica)

Construccin de los tems

Se han ensayado talleres de construccin de tems. Son construidos por los especialistas en las reas curriculares, considerando la tabla de especificaciones y anticipando la dificultad de los mismos.

Construccin de los tems

Luego son revisados por otros especialistas, sometindose a: Anlisis de sus aspectos formales Anlisis de su representatividad (evidencias de validez referidas al contenido).

Aplicacin Piloto

Caractersticas
Tiene como objetivo fundamental estudiar el funcionamiento de los tems. Las muestras son intencionales: se busca tener un buen nmero de personas que se enfrenten a cada tem (200 mnimo), considerando factores como la accesibilidad y variabilidad en rendimientos.

Proceso
Hay que realizar los procesos de: Seleccin de aplicadores Capacitacin de aplicadores. Operativo de campo (recoleccin de datos). Supervisin en campo.

Codificacin de respuestas

Objetivos
Los estudiantes realizan sus respuestas directamente en los cuadernillos proporcionados por la UMC. Por ello es necesario: Transferir las estudiantes. Calificar las estudiantes. respuestas de los

respuestas

de

los

Sistema de codificacin
Las respuestas eran calificadas en diversas escalas, tanto de naturaleza dicotmica como politmica, que tenan una naturaleza cuantitativa. Por otro lado, acompaaba a la calificacin un segundo cdigo, que tena una naturaleza ms cualitativa (evidenciaba tipos de errores o estrategias de solucin).

Aspectos logsticos
Se requiere un gran grupo de correctores, pues en la EN2004 hubieron cerca de 14 000 estudiantes evaluados por grado, para cada una de las reas. Al trabajarse con las valoraciones realizadas por los jueces, se encuentra siempre implicado algn grado de subjetividad, que trata de reducirse mediante la capacitacin a los evaluadores y la creacin de manuales con criterios de calificacin, que buscan homogenizar las evaluaciones realizadas por los jueces.

Aspectos logsticos
Los especialistas de la UMC se encargaron de efectuar el diseo de capacitacin y de elaborar el respectivo manual de codificacin. Los correctores se encontraban agrupados por rea y grado, bajo la supervisin de un coordinador y los especialistas de la UMC. El proceso de correccin estaba organizado segn los bloques que constituan las pruebas aplicadas en la EN 2004.

Aspectos logsticos
Se efectu un diseo de anlisis del proceso de correccin aplicando la correccin mltiple en tres momentos distintos: al inicio, a la mitad y al final del mismo. El objetivo de estos tres momentos era poder retroalimentar sobre las discrepancias y deficiencias encontradas en las calificaciones y poder corregirlas durante el proceso de correccin, a fin de lograr cada vez una mayor homogeneidad y entendimiento en el uso de los criterios de calificacin.

Aspectos logsticos
Los anlisis emplearon los aportes de la Teora Clsica de los Tests y el modelo Rasch de Facetas Mltiples. Los resultados se presentaban en un informe: Descripcin del ajuste y consistencia global en el uso de los cdigos. ndices de confiabilidad inter-evaluadores para cada uno de los items, pudiendo as identificarse cuales presentaban algn tipo de dificultades. Identificacin de correctores que estaban presentando alguna dificultad en el uso de los cdigos.

Armado de bases de datos

Anlisis Psicomtrico

Medicin del Rendimiento

La medicin del rendimiento acadmico puede ser entendida, como una cantidad que estima lo que una persona ha aprendido como consecuencia de un proceso de instruccin o formacin; es la capacidad del alumno para responder al proceso educativo en funcin a objetivos o competencias Pizarro, Clark y Allen (1987)

Modelos Rasch
Establece la probabilidad de respuesta de una persona ante un tem en trminos de la diferencia entre la medida de rasgo de la persona y la medida del tem utilizado. La medida de personas e tems estn en la misma escala de intervalo.

Propiedades Psicomtricas
rea de Matemtica Confiabilidad % Varianza (medida)
80,9 % 74,6 % 75,7 % 95,5 %

Segundo grado de primaria Sexto grado de primaria Tercer grado de secundaria Quinto grado de secundaria

0,86 0,85 0,81 0,80

Aplicacin Definitiva

Logstica
Requiere una logstica similar a las de un aplicacin piloto, pero a mayor escala. Si la poblacin a evaluar es grande ser necesario contar con un operador logstico.

Definicin de Niveles de Desempeo

Niveles de desempeo
Se necesitan puntos de corte en las pruebas, que reflejen lo que un estudiante sabe y hace dentro de dicho nivel. Si un estudiante supera dicho punto de corte, se considera que posee los conocimientos y habilidades necesarias para desempearse en relacin a ciertos estndares acadmicos. Se establecieron en talleres de consulta con el procedimiento Bookmark.

Procedimento Bookmark
Diseado por un grupo de expertos en CTBMcGraw-Hill a mediados de 1990. A posteriori: usa datos reales de la evaluacin, mapas de tems (TRI). Maneja temes parcial. dicotmicos y de crdito

Se realiza en tres etapas.

Insumos bsicos para el Bookmark

Cuadernillos de tems ordenados Segn dificultad Considerar crditos parciales Descripciones generales de los niveles de desempeo Panel de jueces Usualmente 15 a 21 Expertos No expertos (menos)

Primera etapa
Cada juez recibe un cuadernillo, estudia y/o resuelve los temes. Preguntarse: Qu hace a un tem ms difcil que el anterior? Se familiariza con las descripciones generales de los niveles de desempeo. Establece las marcas para cada nivel

Segunda etapa
Trabajo en grupos pequeos (4 5 jueces) Los jueces exponen las razones por las cuales eligieron sus puntos de corte No se trata de convencer, slo de exponer Se finaliza la ronda con unos nuevos puntos de corte y el porcentaje de acuerdo respecto a en qu nivel se ubica un tem en particular

Tercera etapa
Los resultados de la ronda dos son presentados a todo el grupo y se debaten los temes en los cuales no hay un 100% de acuerdo. Se presenta adems el impacto de los puntos de corte. Los jueces vuelven a dar sus puntos de corte. Se suele trabajar con valores inferiores al 100% de acuerdo. Si no se logran, se suele tomar la mediana.

Un paso final
Los jueces construyen el significado, en funcin a los temes, de lo que sabe y puede hacer un alumno en cada uno de los niveles de desempeo. Algunos prefieren dejar esta etapa para otro grupo de expertos. Esto se hizo con los niveles de la EN 2004.

Niveles de Desempeo
Suficiente
Los estudiantes de este nivel demuestran un dominio suficiente y necesario en los desempeos evaluados para el grado. Los estudiantes de este nivel demuestran un dominio incipiente o un manejo elemental de los desempeos desarrollados en el grado evaluado. Los estudiantes de este nivel demuestran un manejo de los desempeos desarrollados en grados anteriores.

LOGRA

Bsico

Previo

NO LOGRA

< Previo

Los estudiantes de este grupo solo pueden resolver algunas de las tareas del nivel Previo.

Anlisis de Resultados

Sexto grado de primaria COMPRENSIN DE TEXTOS

Nacional Niveles de Desempeo
00% 90% 80% 70% 60% 50% 40% 30% 20% 0% 0%

Suficiente Bsico Previo

8 1

1 ,1% 8,1% ,7% ,1%

Debajo1 del previo

Sexto grado de primaria COMPRENSIN DE TEXTOS

Niveles de desempeo segn gestin

Nacional

Sexto grado de primaria COMPRENSIN DE TEXTOS

Comparacin de promedios segn regin Comunicacin Integral sexto de primaria - Nacional
Comparacin de promedios por departamento
400

350

300

250

200

150

100

50

0
M A EQ U M IP O A Q U EG U A CA LL AO D N A S S AS IN LI O O H AC R IM NA A A E A A O O TO IC IO N R Q U BE TA AS SC IC TI C N H C JU N YA C LO R PI PA TA YE CU IO N C O M C U AR PU LI U C AR EL R D M C N U A S E AL O

BE

AN

TU

UC

AZ

AC

AV

BA

AR

HU

JA

AM

SA

CA

LA

LA

HU

AY

AP

LI

Reportes y Difusin