CONSULTORA AUSTRAL EDUCACIN

Profesor: Javier Martnez

2014
ELABORACIN DE INSTRUMENTOS
DE EVALUACIN ESTANDARIZADOS
Proceso de Enseanza-
Aprendizaje y evaluacin
disociados.

Criterios de evaluacin
ocultos.

Tendencia al ranking.
Procesos estrechamente
relacionados.

Criterios de evaluacin
compartidos.

Resultados trabajados a nivel
individual.

Foco en progreso individual.
Fordismo. Siglo XIX Posfordismo. Siglo XXI
Para qu evaluar
EL CICLO EVALUATIVO
Qu
evaluar
Cmo
evaluar

Analizar
resultados

Tomar
decisiones
FUNCIN PEDAGGICA DE LA
EVALUACIN

Todas las evaluaciones pueden y deberan ser
utilizadas con el fin de comprender mejor la realidad
con la que se est trabajando y contribuir a
mejorarla.

Sistematizar los procesos evaluativos permite que el
docente se instale como un mediador efectivo en el
proceso de aprendizaje de nuestros estudiantes.





EJEMPLOS DE EJES DE HABILIDADES
Memoria Memoria /Pensamiento Pensamiento
TIMSS (MAT) Conocer Aplicar Razonar
TIMSS
(CIENCIAS)
Manejar
conocimientos
Comprender conceptos Razonar y Analizar

PISA
(LECTURA)
Extraer
informacin
Interpretar Reflexionar y
Evaluar
CIENCIAS
SOCIALES
(SIMCE)
Conocer y
comprender
Aplicar Analizar e
interpretar
INTELIGENCIA Ciertas formas o estructuras de
accin por medio de las cuales el ser humano
asimila los objetos y eventos con los cuales
interacta

Inteligencia Sensorio-motriz (2 prim. aos)
Inteligencia Prelgica o preoperatoria (2-7 aos)
Inteligencia Lgica concreta (7-12 aos)
Inteligencia Lgica abstracta (12-18 aos)

TEORIA BASADA EN EL DESARROLLO
CRITERI
OS DE
CALIDA
D

VALIDEZ
CONFIABILIDAD
OBJETIVAD

VALIDEZ DE
CONTENIDO:

corresponde a que los contenidos/habilidades que evalua
son efectivamente los del nivel evaluado.



VALIDEZ
INSTRUCCIONAL:

Se refiere a la coherencia entre la didactica presentada en
el aula y la evaluacion.
Para resguardar la validez instruccional es recomendable el
uso de bitacora con las actividades realizadas, de manera
que al momento de confeccionar la evaluacion, este
resguardado el quehacer docente dentro del aula.



VALIDEZ
CONSECUENCIAL:

La evaluacion debe evitar todo tipo de consecuencias
anexas a las deseadas :
Definir claramente los propositos evaluativos y usos de la
evaluacion.
Identificar claramente las evidencias que daran cuenta
de los propositos de la evaluacion.


VALIDEZ DE
CONTENIDO:

1. La educadora de NT2 evaluara cuantas palabras pueden leer los ninos,
ya que la mayoria de sus estudiantes sabe leer. Ella planea evaluarlo aun
cuando este no es un aprendizaje esperado del nivel.

2. Andrea obtuvo mejor nota que Carlos en una prueba de Geometria,
porque uso regla al dibujar figuras geometricas.


VALIDEZ
INSTRUCCIONAL:

1. En ciencias vimos las partes del aparato digestivo por separado y en la
prueba el profesor nos hizo integrar todo. Me fue pesimo!

2. La educadora de NT1 llevo a los ninos a una plaza para realizar un
proyecto en el eje de Conocimiento del entorno natural. Aunque realizaron
experiencias de aprendizaje basadas en el descubrimiento y la exploracion,
al evaluar los aprendizajes alcanzados, ella utilizo una guia con lapiz y papel.



VALIDEZ
CONSECUENCIAL:

1. Hoy tengo prueba y no ire, porque no alcance a estudiar. Prefiero faltar
y despues conseguirme la prueba, pues el profesor la repite.

2. Una educadora deduce que Victor es lento para aprender, porque en
su evaluacion de Comunicacion Oral no alcanzo los aprendizajes esperados.

3. Hoy todos nos pusimos de acuerdo para no responder la prueba, total el
profesor siempre repite las mismas pruebas cuando nos va mal.
CONFIABILIDAD

La confiabilidad de una evaluacin pasa por la suficiencia de informacin (Moss,
2003). Esto se traduce en evaluar un mismo aprendizaje esperado u objetivo en
varias situaciones distintas, dentro de una situacin de evaluacin o en el
conjunto de ellas, con el fin de disminuir el error en las decisiones a tomar a partir
de la informacin recogida. Smith (2003) plantea que el punto en comn entre las
situaciones de evaluacin no solo debe ser el aprendizaje evaluado, sino tambin el
mismo nivel de exigencia, y agreg las mismas condiciones de tiempo, espacios
fsicos, nerviosismo, etc.

Foster; Rojas-Barahona, 2008, dan algunas sugerencias para resguardar la
confiabilidad:

Velar por la claridad de los tems e instrucciones.
Velar por la precision de la revision del instrumento.

Velar porque el ambiente de aplicacion sea similar en cuanto a recursos,
espacios y tiempo
Aplicar al mismo estudiante diversas situaciones evaluativas que midan el
mismo aprendizaje
.

EJEMPLOS DE CONFIABILIDAD

Al efectuar el diagnstico, la educadora observa solo una vez cada

indicador de la pauta de evaluacin.

Como no contest la pregunta de grficos, el profesor me dijo que yo

no saba hacerlo. No es verdad, lo que pasa es que me falt tiempo y
ni siquiera alcanc a leer la pregunta.

Como me faltaban notas para cerrar el semestre la profesora me sac

promedio con las notas que tena y yo nunca di las ltimas pruebas.

OBJETIVIDAD
El instrumento debe permitir la imparcialidad al momento de emitir un juicio sobre la
base de la informacin obtenida de l. El mayor problema de la objetividad no radica en
la construccin de una buena pauta de evaluacin, sino ms bien en las prcticas
arraigadas en algunos docentes. Internacionalmente hay estudios (Rubie-Davies, 2006,
entre otros) que muestran que los estudiantes de bajo rendimiento tienen menos ayuda
de los profesores, en tiempo, pistas, retroalimentacin, etc., que los estudiantes de alto
rendimiento.

Algunas sugerencias para resguardar la objetividad:

Resguardar que las experiencias de aprendizaje no otorguen ventajas o desventajas

de un grupo sobre otro. Informar a los estudiantes la intencionalidad de la
evaluacin y los aprendizajes a evaluar.

Dar a conocer a los estudiantes los criterios de evaluacin.

Elaborar pautas de respuesta o correccin.

Establecer previamente los criterios de asignacin de puntajes en funcin de la

relevancia y nivel de complejidad de los aprendizajes.

EJEMPLO DE SITUACIONES EN LAS QUE SE TRANSGREDE LA
OBJETIVIDAD

Al realizar experiencias de evaluacin, la educadora del NT2 tiende a

ayudar a los nios que tienen ms dificultades para responder. Para
esto, cada vez que les hace una pregunta, los ayuda diciendo el inicio
de la respuesta y esperando a que ellos completen el final de la frase.

La clase pasada el profesor me ech de la clase por estar molestando

a un compaero. Hoy es la prueba y me dijo que yo parta con 1 punto
menos.

Ayer entregu un trabajo en arte que hice a la rpida y lo copi de

internet, un compaero que es desordenado entreg un lindo trabajo,
sper original y obtuvo menos calificacin que yo.

Sugerencias para elaborar indicadores de evaluacin
Al elaborar indicadores, es importante considerar que estos
deben ser:

SIMPLES.

BREVES.

OBSERVABLES.

Elaboracin de instrumentos de evaluacin

Curriculum nacional
EJES
Objetivo de
Aprendizaje
Contenidos
Habilidades
Asignaturas
Pensamiento Critico, (Juicio de Valor)
Las causas de la Globalizacin
Infieren las principales causas de la economa globalizada a travs
de imgenes, desarrollando una perspectiva critica respecto a las
consecuencias que se registran en el pas
FORMACIN CIUDADANA
HISTORIA
Corresponde a definir los porcentajes en que se evaluarn los
contenidos y habilidades definidos en el marco de evaluacin
Es bueno subrayar que a mayor edad, el estudiante est
capacitado para abordar una mayor cantidad de preguntas de
habilidades superiores.


Corresponde a definir qu parte del currculum, en
cuanto a contenidos y habilidades, se busca evaluar.

Ejemplo:
La siguiente tabla muestra la matriz de evaluacin para 4 Bsico,
matemtica, segn taxonoma propuesta por TIMSS, 2011. En ella se
especifica en qu porcentaje se evaluar cada contenido y cada habilidad en
el instrumento.

3.- Elaborar una tabla de especificaciones o indicadores de
evaluacin:
Es un esquema que orienta la elaboracin de cada parte del
instrumento de evaluacin, ya que describe qu busca evaluar
cada uno de los tems o actividades del instrumento.

Nivel y asignatura o nucleo de aprendizaje.
El numero de la pregunta o actividad.
Una referencia a la parte del currculum que busca evaluar.
La habilidad que busca evaluar.
El indicador de evaluacion.
4.1 Construccin de tems de respuesta cerrada, seleccin mltiple: Este
tem propone al estudiante una tarea evaluativa y opciones posibles de
respuesta, entre las cuales se le pide que seleccione la correcta. Los tems
de seleccin mltiple se componen de un contenido/subcontenido,
habilidad, indicador, un enunciado y tres a cinco opciones (dependiendo
del nivel evaluado) de las cuales solo una es la correcta (clave).

:

4.1.1 Estructura de un tem

Contexto o estmulo.

Enunciado o pregunta.

Opciones de respuesta (distractores)

Respuesta correcta o clave

4.2 Construccin de tems de
respuesta abierta

2 Elaborar la pauta de revisin o
rbrica


Ofrece la informacin necesaria para responder lo que a
continuacin se va a preguntar: es la situacin, planteamiento,
problema, tesis, caso o grfico en el cual se basa la pregunta.
Debe ser interesante y los estmulos deben satisfacer algunos
criterios para asegurar su calidad
:

No debe contener desafos artificiales
.
Debe ser accesible para todos los estudiantes que
enfrentan la evaluacion. En otras palabras, todos los
estudiantes deben tener las mismas posibilidades de
resolver correctamente la actividad de evaluacion.
Debe ser pertinente y necesario para la realizacion de la
tarea.
Debe consignar fuentes y referencias adecuadamente.

Frase (afirmativa) que presenta la situacin que debe ser respondida o
resuelta. Normalmente el enunciado pertenece a un tema especfico de la
asignatura. Algunas indicaciones y sugerencias para la construccin de los
enunciados:

Se pueden formular preguntas con enunciado cerrado o abierto. En el caso
de preguntas con enunciado cerrado, el enunciado es la pregunta completa, que
termina en un signo de interrogacin. Por lo tanto, las opciones de respuesta
van en maysculas. En el caso de preguntas con enunciado abierto, el
enunciado es una afirmacin o una proposicin que el estudiante deber
completar con las opciones que se le entregan. En este caso, las opciones de
respuesta van en minsculas y completando el sentido gramatical y semntico
del enunciado incompleto.

Cuando una pregunta supone una condicin previa, primero se expresa la
condicin, antes que la formulacin de la pregunta, la cual queda enmarcada
entre signos de interrogacin.
Frases, datos o informaciones que se consideran respuestas posibles (plausibles) al
enunciado y entre las cuales el estudiante hace su eleccin. Dentro de las opciones se
encuentra la clave o respuesta correcta. Algunas indicaciones y sugerencias para la
construccin de los distractores:

Son totalmente incorrectos, por lo tanto, no contienen elementos que respondan
parcialmente la tarea formulada.

Mantienen equilibrio y homogeneidad (incluyendo la respuesta correcta) en cuanto a:
longitud, complejidad, estilo de redaccin, sintaxis, morfologa (gnero, nmero, persona,
tiempo, modo), categoras o criterios de clasificacin.

Evitan la repeticion y/o sinonimia de trminos o vocablos entre el cuerpo del tem y el
distractor. En caso de ser necesaria la repeticin, deber incluirse en ms de un distractor.

No niegan, contradicen o son inconsistentes con lo planteado en el enunciado o en los
estmulos.

Se ordenan por extension de menor a mayor, en casos numricos de mayor a menor o
viceversa.
Respuesta correcta o clave. Es(son) la(s) opcin(es) que responde(n)
adecuadamente el enunciado o pregunta. Algunas indicaciones y
sugerencias para la construccin de la clave:

El tem incluye una sola respuesta correcta, excluyente respecto
de las dems opciones.

La respuesta correcta resuelve completamente el problema.

Desarrolla un concepto o procedimiento coherente.

Idealmente, no contiene trminos utilizados en el cuerpo del
tem.

Las preguntas abiertas son aquellas en las cuales el estudiante debe
generar o elaborar una respuesta a una pregunta o instruccin dada.
Cundo se justifica este tipo de preguntas?

Cuando el objetivo de aprendizaje o aprendizaje esperado no se puede
evaluar a travs de una pregunta de opcin mltiple.

Cuando existe mas de una forma de dar solucion al problema o
instruccin planteada, por lo que resulta importante ver tambin la
diversidad de soluciones que pueden entregar los estudiantes ante un
mismo problema.

Cuando se busca recoger informacion acerca de estudiantes que
respondan correctamente, parcialmente correcto e incorrecto
.

Elaborar la pauta de revisin o rbrica. Consiste en
definir, bajo indicadores de evaluacin claros y
precisos, qu grupo de respuestas sern correctas,
parcialmente correctas (si es que hay) o incorrectas.
La pauta de evaluacin cumple el rol de los
distractores en las preguntas de opcin mltiple, en el
sentido de que entregar informacin acerca de los
logros o no logros alcanzados por un estudiante.
Permitir identificar el tipo de error especfico y de
esta forma enfocar ah el trabajo docente.
CRITERIOS DE CALIDAD PARA EVALUAR LOS TEMS:
Con el fin de revisar el material que los docentes ya disponen o algn otro que
puedan conseguir, se presentan a continuacin algunos criterios de calidad para
evaluar los tems:
1. Est alineado al marco de evaluacin: evala habilidades, conocimientos y
comprensin en el marco de evaluacin que corresponde, tanto en el
enunciado como en las opciones.

2. Es valido: es decir, evalua aquello que pretende evaluar. Esto implica que se
responde correctamente solo cuando se posee el conocimiento evaluado.

Deben evitarse las pistas, trampas o enganos.

El enunciado debe entregar informacion suficiente como para ser respondido
sin las opciones.


Que texto leiste?
A. Un poema.
B. Un cuento.
C. Una noticia.
D. Una fabula.
Con este enunciado el estudiante
debe leer las opciones para darse
cuenta que le preguntan por el tipo
de texto. Por ejemplo, bien podria
pensar que le preguntan por el
ttulo de texto
Cmo podra quedar?

Que tipo de texto leiste?
A. Un poema.
B. Un cuento.
C. Una noticia.
D. Una fabula.
3. Es disciplinariamente correcto: no contiene errores conceptuales,
la informacin que presenta es exacta y fidedigna cuando se refiere a
hechos de la realidad o evidencia emprica.

4. Es pedaggicamente significativo: es relevante desde el Marco
Curricular vigente y la disciplina y, a la vez, consistente con la
didctica de la disciplina.

5. Es adecuado a la etapa evolutiva de los estudiantes: las tareas
formuladas deben ser susceptibles de ser desarrolladas (abordables)
por todos los estudiantes evaluados.

6. Es claro y simple en su formulacin: debe plantear de manera
directa y clara para el estudiante lo que se espera que haga y no debe
contener ningn desafo artificial.


7. Es ptimamente desafiante: debe motivar a la mayora de los
estudiantes a responder, ofrecindoles una tarea posible e
interesante de abordar.

8. Es imparcial: debe ser igualmente accesible y equitativo, no
debe presentar ningn tipo de sesgo (de gnero, geogrfico, social,
entre otros).

9. No contiene elementos emocionalmente perturbadores para el
estudiante, controversiales o indeseables: debe evitar generar en
el estudiante un estado emocional inadecuado o que transmita un
mensaje contrario a los valores que se desean transmitir desde el
sistema educativo.
10. Privilegiar el uso de palabras (vocabulario), giros y
construcciones gramaticales (redaccion) adecuadas al nivel.

11. Privilegiar el uso de preguntas por sobre el de las frases
incompletas, salvo que ello aumente la dificultad del ejercicio.


12. Situar los complementos muy extensos fuera de la pregunta,
siempre y cuando esto no afecte la gramaticalidad de ella ni vaya
contra el sentido comn de los hablantes de la lengua.

14. Presentar informacin exacta y fidedigna cuando se
alude a hechos de la realidad o sobre los cuales hay
evidencia emprica.
La siguiente tabla muestra la masa de algunos juguetes, medida en una
balanza:








Cual es el juguete de mayor masa?
A. Pelota
B. Cubo de madera
C. Oso de peluche
D. Muneca

15. Omitir toda informacin superflua (excepto
cuando aumente la novedad o elestmulo).
Una profesora le pide a sus estudiantes que
observen distintos alimentos e identifiquen
un alimento que sea comida saludable.

Andrea observ papas fritas, bebidas,
manzanas y caramelos. Cul de los
alimentos que observ Andrea es un
alimento saludable?

A. Papas fritas
B. Bebidas
C. Manzanas
D. Caramelos
Andrea observ papas fritas, bebidas,
manzanas y caramelos. Cul de los
alimentos que observ Andrea es un
alimento saludable?

A. Papas fritas
B. Bebidas
C. Manzanas
D. Caramelos
16. Construir una clave nica y completamente correcta.

17. Construir distractores erroneos y, a la vez, plausibles (deben
corresponder a errores conceptuales o procedimentales).

Qu estructura del cuerpo le permite a
los peces desplazarse en el agua?

A. Las alas
B. Las aletas
C. Las patas
D. Las garras
Qu estructura del cuerpo le
permite a los peces
desplazarse en el agua?

A. Las alas
B. Las aletas
C. Las escamas
D. Las branquias
18. Las opciones deben ser mutuamente excluyentes.
19. No usar elementos comunes en el enunciado y las opciones
(pista o trampa).

Cmo se llaman los seres vivos que
se alimentan de carne?

A. Ovparos
B. Terrestres
C. Carnvoros
D. Productores
Cmo se llaman los animales que se
alimentan de otros animales?

A. Ovparos
B. Vivparos
C. Carnvoros
D. Mamferos
20. No utilizar palabras o estructuras llamativas en la clave o en los
distractores.

21. Cuidar la homogeneidad de las opciones.

En el texto ledo, cul es la crtica que se hace
a los pases?

A. Que evitan respetar los acuerdos.
B. Dudan de la efectividad de la Cumbre.
C. Se considera que son los ms
contaminantes.
D. Noincentivanunarealaccindeemergencia.
En el texto ledo, cul es la crtica que se hace
a los pases?

A. Que son los ms contaminantes.
B. Que evitan respetar los acuerdos.
C. Que malgastan sus recursos econmicos.
D. Que dudan de la efectividad de la Cumbre
22. Presentar opciones ordenadas segn un criterio lgico (alineadas a la
derecha y ordenadas por extensin en forma ascendente o descendente,
segn corresponda).
TALLER
REVISIN DE LA COLUMNA DE
INDICADORES DE EVALUACIN
EN FUNCIN DEL MODELO
SOCIOCOGNITIVO
ALGORITMO SOCIOCOGNITIVO
HABILIDAD+CONTENIDO
HABIIDAD CONTENIDO


CONOCER

APLICAR

RAZONAR


DESCOMPONER HABILIDADES DESCOMPONER CONTENIDO





GENERACIN DE
INDICADORES
Item original

Criterio que no cumple
u otra observacion

tem modificado
Dibuja un arbol al lado
derecho de la nina.

Al incorporar la
ilustracion de una nina
de frente, se aumenta la
complejidad de la
pregunta, porque el
punto de referencia del
nino es su propio
cuerpo, en cambio, el
ejercicio induce a error
al invertir la lateralidad.

Item original

Criterio que no cumple u
otra observacion

tem modificado
Solo una de las siguientes
afirmaciones es FALSA,
cual es?
A. 1 C = 100 U
B. 1 UM = 100 C
C. 1 D = 10 U
D. 1 DM = 10 UM

Preguntar por la opcion
FALSA es como preguntar
en negativo. El enunciado
no presenta informacion
necesaria para responder
tapando las opciones. Es
como responder 4
preguntas, ya que el
estudiante debe pasar por
cada opcion y analizar.

PROPUESTA
*Los docentes deberan revisar los instrumentos de evaluacin segn la
numeracin indicada. Asi facilita la comprensin de la debilidad en el Item.

*Los instrumentos debern llevar el cuadro de porcentaje por habilidad al
final de la pgina.

*El anlisis debe justificar la habilidad y el contenido logrado o no logrado por
los estudiantes, para esto se debe descomponer la habilidad.

*Las preguntas no deben repetirse a los mismos estudiantes durante el
transcurso del ao.

*Otros?.
2013: Consideraciones para el anlisis y
elaboracin de instrumentos

de evaluacin.
Mineduc-programa de apoyo compartido.

Bibliografa y Referencias, Secundario

Miguel ngel Santos Guerra (1998). La evaluacin como
comprensin. Dimensin crtica/reflexiva.

Moss, P. (1994). Can there be validity without reliability?
Educational Researcher, 23(2), 5-12.

Vygotsky, L. El Desarrollo de los Procesos Psicolgicos Superiores.
Cap. 6.: Interaccin entre Aprendizaje y Desarrollo. Ed. Grijalbo.
Mxico. 1988

Mide UC (2011). Material del Diplomado de Medicin y
evaluacin de aprendizajes.





Mineduc (2004). Evaluacin para el aprendizaje.

Mineduc UCE. Niveles de Logro. Consultado en
www.mineduc.cl el 27 de junio de 2011.

Mineduc UCE. Mapas de progreso. Consultado en
www.mineduc.cl el 27 de junio de 2011.

Leslie Maxwell y Giovanni Pierattini. Material de
capacitacin para la construccin de instrumentos
de evaluacin de calidad (2011).