Departamento de Mtodos de Investigacin y Diagnstico en Educacin

Universidad Complutense de Madrid

ELABORACIN DE PRUEBAS
Y ANLISIS DE DATOS

Grupo M.E.S.E.
Grupo de investigacin: Medida y Evaluacin de Sistemas Educativos
Measurement and Evaluation of Educational System. Research Group

Objetivo de la sesin

Familiarizar a los asistentes con algunos de los

conceptos y procedimientos bsicos implicados
en el diseo de pruebas y en el anlisis
preliminar de datos de evaluacin del sistema
educativo

Contenidos
I. El diseo de las pruebas en los procesos de
evaluacin: el caso de las pruebas de opcin
mltiple
II. Introduccin al anlisis preliminar de los
datos obtenidos en la aplicacin de pruebas
evaluativas desde la Teora Clsica de la
Medida

Metodologa
1.

Presentacin de conceptos bsicos

2.

Actividades prcticas de aplicacin

1.

Revisin crtica de tems y redaccin

2.

Instalacin y ejecucin de ejemplos de anlisis

de datos con Corrector

Diseo de pruebas
Introduccin
Elaboracin

de matrices de
especificacin
Construccin de tems

Introduccin

Test o pruebas como escalas de

medida

Un test o prueba es
una situacin problemtica, preparada y examinada
anteriormente,
 a la que el sujeto tiene que responder siguiendo unas
instrucciones o reglas.
 luego se estiman sus respuestas comparndolas con
las respuestas del grupo normativo,
 as se estima la calidad, modo o grado de alguna
caracterstica de su personalidad.


Introduccin

Pruebas de rendimiento en procesos de

evaluacin del sistema educativo

Las puntuaciones tienen que poder

compararse
con
las
puntuaciones
conseguidas por otros sujetos.

Por tanto, las condiciones de aplicacin,

correccin e interpretacin han de ser las
mismas para todos.

Introduccin

Proceso general de construccin de

pruebas

Definicin de la finalidad y el propsito de la prueba:

el marco de la evaluacin
Elaboracin de la matriz de especificaciones
Construccin y validacin de tems
Seleccin de tems y construccin de pruebas piloto
Pilotaje de las pruebas
Anlisis y seleccin de los tems definitivos
Elaboracin de la escala de rendimiento
Descripcin e interpretacin de la escala
Anlisis y explotacin de los resultados

Introduccin

Construccin de una prueba

ETAPAS
Eleccin del rasgo y
especificacin de los
objetivos del test

MTODOS
Anlisis racional del
rasgo y de sus
manifestaciones

Enunciacin de un
conjunto amplio de tems

Examen y juicio crtico

pormenorizado de cada
tem

RESULTADOS
Definicin de
Rasgo y de sus
manifestaciones

Conjunto amplio
de tems

Seleccin por un grupo

de expertos

Subconjunto
seleccionado de
tems

Introduccin

ETAPAS

Anlisis formal de tems

- Dificultad
- Discriminacin
- Distractores

MTODOS
Estudio piloto: aplicacin
a una muestra
representativa de la
poblacin objetivo y uso
de procedimientos
estadsticos de anlisis

Seleccin de los tems

del test

RESULTADOS

Parmetros que
definen al tem

Conjunto de tems
que forman el test
en su versin
definitiva.

Estudio de las
caractersticas del test

Tcnicas estadsticas:
Clculos de fiabilidad y
Validez

Estandarizacin y/o
establecimiento de
normas para la
interpretacin

Tcnicas estadsticas
muestrales e
inferenciales

Caractersticas
tcnicas del test
en su versin
definitiva

El test como
producto final del
proceso
Adaptado de SANTIESTEBAN REQUENA, C. (1990):Psicometra. Madrid, Ediciones Norma

Elaboracin de matrices de especificacin

Planificacin de una P.O.

Consideraciones preliminares:
 Poblacin

(edad, nivel, etc.)

 Objetivo de la prueba (diagnstico,
evaluacin, etc.)
AYUDAN A DETERMINAR

Elaboracin de matrices de especificacin

en primer lugar
Contenido de la prueba

Preguntas o tcnicas a incluir

Lmite de tiempo y nmero de tems

y en segundo lugar

Elaboracin de matrices de especificacin

permiten definir
Objetivos

Contenidos

Competencias

especficos

Ponderaciones de los mismos

Tipos especficos de tems a incluir

Elaboracin de matrices de especificacin

Especificacin de la P.O.
Cuanto ms precisa sea la especificacin,
ms precisa ser la medida:
simple

completo

Lista de especificacin de contenidos

Tabla de especificaciones

Elaboracin de matrices de especificacin

Requisitos para la construccin de tems

1.
2.

Conocimiento en profundidad de los contenidos de la

materia a evaluar.
Comprensin de una descripcin del dominio cognitivo

Al prestar atencin a la clasificacin cognitiva de un tem, se

evita construir demasiados tems que midan recuerdos
de hechos puntuales.
Un tem escrito considerando su nivel cognitivo y un
determinado contenido tiene ms probabilidades de ser
un buen tem.

Elaboracin de matrices de especificacin

Una herramienta base para la

evaluacin: LA TABLA DE
ESPECIFICACIONES
Muy til como gua para la construccin y
la interpretacin de pruebas evaluativas

Es una tabla de doble entrada:
contenidos x procesos.

Elaboracin de matrices de especificacin

Tabla de especificaciones I
Tambin denominada Matriz curricular de
referencia

A cada prueba le corresponde una
diferente

Herramienta que gua la construccin y la
interpretacin de la prueba

Instrumento de partida y llegada

(*)

Elaboracin de matrices de especificacin

Tabla de especificaciones
Proceso I

Proceso II

Proceso III

Contenido I Descriptores Descriptores Descriptores

Contenido II Descriptores Descriptores Descriptores
Contenido III Descriptores Descriptores Descriptores
Contenido IV Descriptores Descriptores Descriptores

Elaboracin de matrices de especificacin

CONCEPTOS IMPLICADOS
1.Contenidos curriculares
Declaraciones o descripciones declarativas o
procedimentales que forman el corpus doctrinal de
una disciplina
2.Procesos
Niveles de complejidad en la resolucin de la tarea
3. Descriptores
Formulaciones sintticas de las competencias que
habrn de ser medidas por los tems que se
elaboren. Cada uno de ellos puede generar varios
tems

Elaboracin de matrices de especificacin

Tabla de especificaciones III

En el cruce de contenidos con dominios
cognitivos se encuentran los descriptores
de desempeo.
Cada uno de ellos puede corresponder a
varios tems.
Un mismo contenido asociado a dominios
cognitivos diferentes puede dar lugar a
diferentes descriptores.
(*)

Elaboracin de matrices de especificacin

Tabla de especificaciones IV
TAREAS PARA SU REALIZACIN:
1.
2.
3.
4.
5.

Determinacin de las Competencias

Determinacin de los Contenidos
Determinacin de los Descriptores
Determinacin del peso relativo de cada casilla
Elaboracin de los tems especificados para cada
descriptor

(*)

Elaboracin de matrices de especificacin

Tabla de especificaciones 4 de Educacin

Primaria: Evaluacin Diagnstica 2008-2009
ACCESO Y
REPRODUCCIN

CONEXIN E
INTEGRACIN

APLICACIN
Y REFLEXIN

GRAMTICA

VOCABULARIO Y
LXICO

ORTOGRAFA

5
Descriptores

Elaboracin de matrices de especificacin

Tabla de especificaciones 2 de ESO:

Evaluacin Diagnstica 2008-2009
REPRODUCCIN

CONEXIN REFLEXIN

NMEROS Y LGEBRA

10

24

10

GEOMETRA

FUNCIONES Y GRFICAS

ESTADSTICA Y PROBABILIDAD

Descriptores

Elaboracin de matrices de especificacin

Tabla de especificaciones 2 de ESO:

Evaluacin Diagnstica 2008-2009
IDENTIFICACIN

RECUPERACIN
INFORMACIN

REORGANIZACIN

REALIZACIN
INFERENCIAS

REFLEXIN SOBRE
CONTENIDO Y FORMA

NARRATIVOS

DESCRIPTIVOS

EXPOSITIVOS

ARGUMENTATIVOS

INSTRUCTIVOS

tems

Construccin de tems

QU ES UN TEM?

Es una unidad de medida.

Consiste en un estmulo y una forma prescrita
de respuesta.
Su objetivo es obtener una conducta
observable y claramente interpretable.
De la respuesta debe poder inferirse, con un
grado suficiente de fiabilidad y validez, un nivel
de dominio de la competencia (o grado de
eficacia en la respuesta dada a las demandas
planteadas por el contexto).

Construccin de tems

TIPOS DE ITEMS
Existen diferentes tipos de tems.
Aqu nos vamos a centrar en:

tems

de respuesta sugerida
(opcin mltiple)

tems de respuesta construida (una
nica respuesta correcta)

Construccin de tems

ITEMS DE RESPUESTA
SUGERIDA
Aqullos en que las opciones de respuesta
estn presentes en su formulacin y, de
entre ellas, el estudiante ha de identificar y
seleccionar la respuesta correcta.
Pueden ser Verdadero o Falso o de
respuesta mltiple.

Construccin de tems

COMPONENTES DE UN TEM DE
RESPUESTA MLTIPLE
TRONCO O VSTAGO

Parte inicial del tem en la que se especifica la tarea

Puede ser una pregunta, instrucciones, una frase
incompleta, una situacin de la vida real, etc.
OPCIONES

Son todas las alternativas de respuesta de un tem (4)
CLAVE

Es la respuesta correcta
DISTRACTORES

Son las opciones incorrectas
Nota: DE UNA MISMA SITUACIN o CONTEXTO PUEDEN
DERIVARSE DISTINTOS TEMS

Construccin de tems

Componentes de un tem de
opcin mltiple: un ejemplo
El autor de Paraso perdido es:
a) Donne
b) Keats
DISTRACTORES
c) Chaucer
d) Milton
CLAVE

TRONCO

Construccin de tems

Ejemplo 1
Qu frase es consistente con la grfica?
a)
La temperatura de descongelacin del hielo permanece constante
hasta que todo el hielo se ha derretido.
b)
La proporcin de descongelacin es equivalente a la de
ebullicin.
c)
Se requiere la misma cantidad de calor para derretir el hielo que
para hervir el agua.
d)
Se requiere ms calor para derretir el hielo que para hacer hervir
el agua.

Temperatura

T
e
m
p
er
at
ur
a
(
C
el
si
u
s)

250

200

Vapor

150

Agua Hirviendo
100

Agua Lquida

50

Descongelacin

Hielo

Tiempo (Minutos)

10

Construccin de tems

Ejemplo 2
El extrao caso del crculo rodante.
En la figura siguiente, el radio del crculo A es 1/3 del radio del crculo B.
Comenzando desde la posicin mostrada en la figura, el crculo A rueda a lo
largo del crculo B. Cuntas revoluciones tendr que efectuar el crculo A
para que su centro vuelva al punto de partida?

a)3
b)6
c) 9/2
d)9

B
A

EJEMPLO

Construccin de tems

Ejemplo 3
Si la paridad Libra esterlina / Euro es 1 =
1.20 Cuntos euros puede adquirir un
turista ingls al cambiar 200?
a) 600
b) 133,33
c) 300
d) 200

Construccin de tems

Ejemplo 4
La igualdad CORRECTA es:
a) 10 Kg = 1.000 g
b) 1 Kg = 1.000 g
c) 10 Kg = 100 g
d) 10 dg = 1.000 mg

Construccin de tems

SUGERENCIAS PARA EL TRONCO

Tratar de usar formas positivas siempre
que sea posible

Evitar en cualquier caso la doble negacin.
Si ha de ser negativo, resaltar la negacin

Favorecer la claridad sobre la concisin

Ha de ser claro, pero no se ha de utilizar
para ensear. Debe proporcionar slo la
informacin requerida para responder.

Puede ser una pregunta o una frase a
completar

Construccin de tems

SUGERENCIAS PARA LAS

OPCIONES
La opcin correcta debe ser claramente
correcta

La dificultad del tem puede modificarse
dramticamente haciendo los distractores
similares a la clave

Utilizar los preconceptos errneos como
distractores

Los distractores que confunden a los
expertos no son buenos

Juntar los distractores de redaccin similar

Construccin de tems

Ms sugerencias para las

opciones
Evitar la opcin todos los anteriores, en su lugar
utilizar:
EJEMPLO Cul de las siguientes Naciones luch
contra los aliados en la 2 Guerra Mundial?
a) Slo I
I. Alemania
b) Slo II
II. Italia
c) Slo I y II
III. Japn
d) I, II y III

Utilizar los nmeros romanos slo cuando no haya

una forma mejor
Si un nmero, como I, se incluye en todas las
opciones, esa alternativa no se est probando.
Llevarla al tronco si se desea o eliminarla de
alguna opcin

Construccin de tems

Y ms sugerencias para las

opciones

No abusar de ninguna de las anteriores.

Todas las opciones deben ser de la misma
longitud y complejidad, y de similar estructura
sintctica
La respuesta correcta no debe ser la ms larga,
ni la ms corta, ni la nica distinta
Con ms opciones hay menor probabilidad de
adivinacin, pero tambin es ms difcil la
construccin
Siempre el mismo nmero de opciones (4) y
siempre slo una correcta

Construccin de tems

Y ms
Evitar utilizar en la clave palabras que
lleven a los no informados a seleccionarla.
(La repeticin de palabras del tronco slo
en la clave es una pista que debe
evitarse)

Si el tronco es negativo, evitar opciones
negativas

Distribuir la posicin de la clave al azar.
Evitar usar siempre la misma posicin

Construccin de tems

OTROS TIPOS DE TEMS

tems de respuesta construida:

La respuesta es abierta pero

slo existe una respuesta
correcta

Construccin de tems

COMPONENTES DE UN TEM DE
RESPUESTA CONSTRUIDA
TRONCO O VSTAGO

Parte inicial del tem en la que se especifica la tarea

Puede ser una pregunta, instrucciones, una frase
incompleta, una situacin de la vida real, etc.
SOLUCIN

Respuesta correcta

Nota: DE UNA MISMA SITUACIN o CONTEXTO

PUEDEN DERIVARSE DISTINTOS TEMS (mximo 5)

Construccin de tems

Ejemplos de tems de respuesta

construida
1. Resuelve (7+3) x 5 = ..
2. Resuelve 7 + 3 x 5 =
3. Coloca sobre la lnea de puntos el signo (<, > o =) que
corresponde:
57.034 .. 50.000 + 7.000 + 300 + 4
4. Cunto dinero me falta para comprar una bicicleta de
200 euros, si tengo 2 billetes de 50 euros, 3 billetes de
20 euros y 5 billetes de 5 euros?
Solucin:.

Construccin de tems

Otros ejemplos de tems de

respuesta construida
Resuelve esta adivinanza:
Tiene famosa memoria,
gran tamao y dura piel,
y la nariz ms grandota
que en el mundo pueda haber
Solucin:..
A qu objeto se refiere el siguiente texto:
Viaja siempre en mi cartera;
me ayuda a planificar;
siempre seala, certera,
la fecha en la que se est
Solucin:.

Construccin de tems

Y ms ejemplos de tems de
respuesta construida
REPISAS
Un carpintero necesita los siguientes materiales para hacer un juego de
repisas:
4 tablones largos de madera,
6 tablones cortos de madera,
12 grapas pequeas,
2 grapas grandes y
14 tornillos
El carpintero tiene en su almacn 26 tablones grandes de madera, 33
tablones cortos de madera, 200 grapas pequeas, 20 grapas
grandes y 510 tornillos.
Cuntos juegos de repisas puede hacer el carpintero?
Respuesta:.......................................

Construccin de tems

SUGERENCIAS GENRICAS

Los contenidos han de ser significativos (evitar

la tentacin del Trivial Pursuit)
Usar vocabulario adecuado para la edad
Utilizar la sintaxis correcta
La misma idea puede medirse en varios niveles
cognitivos. Elegir un nivel cognitivo determinado
y tratar de ajustarse a l
El contenido del tem se clasifica en funcin del
enunciado, del tronco y de la respuesta
correcta. Las opciones pueden venir de varias
reas, pero no determinan al tem
La capciosidad (utilizacin de distractores
sutiles pero no importantes) nunca es productiva

Construccin de tems

RESUMEN: principales
requisitos

Conocer el tema
Pregunta clara en el tronco
Una sola respuesta
Opciones uniformes y claramente ordenadas
Distractores plausibles
Evitar repetir encabezamiento en las
opciones
Evitar todos los anteriores como opcin
Ajustar la dificultad

Construccin de tems

Correccin gramatical, precisin, claridad

Aleatorizar la posicin de las claves
Evitar pistas inoperantes
Evitar solapamiento de opciones
Evitar formas negativas en lo posible
Utilizar grficos o ilustraciones
Especificar las unidades a que se refieren los
nmeros
Independencia entre los tems de un set
Tratar de que el test cubra los contenidos y
niveles cognitivos

Anlisis psicomtrico de
la prueba desde la TCT:
conceptos bsicos
1.
2.

Fiabilidad y validez de las pruebas

Anlisis y seleccin de tems

Fiabilidad y Validez

Precisin = Fiabilidad

Exactitud = Validez

An
Anlisis de la prueba: Fiabilidad

Concepto relacionado con la estabilidad de la medida

proporcionada por la prueba, con su consistencia y
con la predictibilidad de la misma.


Cuando a las mismas personas se les pasa la misma

prueba en diferentes momentos, si no han cambiado,
deberan obtener las mismas puntuaciones (o muy
parecidas): Fiabilidad como estabilidad temporal
(correlacin test-retest)

De una prueba de competencia en matemticas

esperamos que todos sus elementos midan lo mismo
(competencia matemtica), y que por lo tanto sean
sumables en una puntuacin total nica que representa,
mide ese rasgo: Fiabilidad como consistencia interna
( de Cronbach)

An
Anlisis de la prueba: Validez

Grado en que mide lo que pretende

medir y no otra cosa.

Necesidad de referente o criterio externo.

(Ejemplo: una prueba de matemticas
debe
medir
conocimientos
de
matemticas y no comprensin verbal.)

Anlisis de tems

Puesto que los test estn construidos a partir de tems,

cualquier prueba puede ser mejorada a travs de una
adecuada seleccin de los elementos (tems) en funcin
de sus objetivos, del tipo de rasgo y de los sujetos que
integran la muestra

Un buen test tiene que estar compuesto por buenos

tems

Es importante conocer las caractersticas tcnicas de los

tems que componen una prueba.

Anlisis de tems
De los tems podemos conocer muchas
caractersticas, pero
Los parmetros son el mnimo conjunto de
caractersticas tcnicas necesarias para definir
el tem, en TCT:

 Dificultad
 Discriminacin
 Validez.

u Homogeneidad y

Otras caractersticas, como la varianza del tem, no son

propiamente un parmetro, ya que la varianza de un
tem dicotmico depende de la dificultad y, por tanto, el
parmetro es la dificultad mientras que la varianza es un
derivado.

Anlisis de tems
Caractersticas, no parmetros

Proporcin de respuestas correctas

(para un tem dado):

Proporcin de respuestas incorrectas

(para un tem dado):

X j
P=
N

q = 1 p

S = p.q
2

Varianza de un tem:

Se interpreta como un ndice de hasta que punto un

tem contribuye a diferenciar a los sujetos en un
test.

Indicadores de eficacia de los tems:

Anlisis de la dificultad

Si el objetivo de una prueba es que se manifiesten

las diferencias individuales entre los sujetos por
medio de la tarea a realizar
todos los elementos que configuran la prueba han
de contribuir a diferenciar, a discriminar, entre los
sujetos.
Por lo tanto, los elementos no tienen que ser ni muy
fciles ya que los contestaran bien todos los sujetos,
ni muy difciles ya que nadie acertara nada.
La dificultad de los elementos tendr que estar entre
estos dos extremos para que puedan discriminar
adecuadamente.

Indicadores de eficacia de los tems:

Clculo del ndice de dificultad
I.D.: nmero de aciertos partido por el nmero de
sujetos que lo han intentado

A
I .D. =
n

La mxima varianza, la mxima capacidad

discriminativa se da en tems de dificultad media.
(S2=pq)
P = 0,50

q= 0,50

S2=0,25

Indicadores de eficacia de los tems:

Uso del ndice de dificultad
CLASIFICACIN DE
LOS ELEMENTOS

PROPORCIN
APROXIMADA

LIMITES DEL INDICE

DE DIFICULTAD

Muy fciles

0,1

De 0,75 a 0,95

Fciles

0,2

De 0,55 a 0,74

Normales

0,4

De 0,45 a 0,54

Difciles

0,2

De 0,25 a 0,44

Muy difciles

0,1

De 0,05 a 0,24

Indicadores de eficacia de los tems:

Anlisis de la dificultad

Aunque un elemento es muy fcil cuando su ID

est por encima de 0,75,
en la prctica no suelen incluirse elementos cuyo
ID sea > 0,95.
Algo similar ocurre con los muy difciles, en que
no suelen tomarse en cuenta los de ID < 0,05.
la suma de los ID de todos los tems del test es
igual a la media de las puntuaciones en todos los
tems, es decir, la media del test.

Indicadores de eficacia de los tems:

Anlisis de la dificultad
Inconvenientes o problemas que se le atribuyen al ID:



Semnticamente sera ms correcto hablar de ndice de

facilidad.
Cambia en relacin a las caractersticas de la muestra, no es
una propiedad intrnseca al tem. Esto solo ocurre en la TCT,
ya que en la TRI el concepto es diferente para salvar esta
limitacin.

Indicadores de eficacia de los tems:

ndice de homogeneidad (o discriminacin)

En la mayora de los tests una propiedad que

tienen que cumplir los elementos del mismo es
que sean homogneos
Es decir: todos los elementos tienen que medir
lo mismo que el test en su conjunto.
Tiene que ver con la fiabilidad de un tem, ya que
indica hasta qu punto el tem mide lo mismo que
el total del test.

Indicadores de eficacia de los tems:

ndice de homogeneidad (o discriminacin)

Se trata de una correlacin entre el tem y el test en su conjunto.

Para obtenerlo debemos aplicar a esta correlacin un ndice de
correccin, debido a que en la correlacin incluimos al tem
dentro del conjunto del test.
Los valores obtenidos estarn entre -1 y 1.
La fiabilidad de esta correlacin aumenta cuando el valor de p
es mediano, es decir, se encuentra alrededor de 0,50.
Como limitacin hay que sealar que la muestra tiene que
tener ms de 100 sujetos y que no se puede utilizar cuando el
valor de p se encuentra en un extremo, es decir, el valor de p
se tiene que encontrar entre 0,10 y 0,90.

Indicadores de eficacia de los tems:

ndice de validez

Del mismo modo que la discriminacin del tem tiene

que ver con la fiabilidad, la validez del tem tiene que
ver con la validez del test.
El ndice de validez es la correlacin del tem con un
criterio externo y se calcula con la correlacin biserial
puntual.
Por ejemplo, en los casos en los que medimos
alguna variable de rendimiento, la variable de
contraste o criterio externo pueden ser las notas o
calificaciones acadmicas obtenidas por los sujetos.

Indicadores de eficacia de los tems:

Anlisis de los distractores

En los tests de eleccin mltiple, adems de conocer la

dificultad, homogeneidad y validez de los elementos, interesa
conocer la eficacia de las respuestas incorrectas.
Para seleccionar las respuestas incorrectas, hay que tener en
cuenta que para las personas que tienen poca informacin,
stas tienen que tener el mismo atractivo que la correcta.
Si conseguimos esto, los sujetos ms informados tendern a
elegir la respuesta correcta y los sujetos que poseen menos
informacin tendern o mejor dicho se distribuirn
homogneamente en todas las alternativas u opciones del
elemento.

Indicadores de eficacia de los tems:

Anlisis de los distractores

Cuando las respuestas incorrectas estn mal

elaboradas
porque son ilgicas, absurdas o sin ningn
atractivo, los sujetos no tendrn ninguna dificultad
para elegir la respuesta correcta ya que por
reduccin a lo absurdo, eliminarn las respuestas
incorrectas,
aunque
no
posean
suficiente
informacin.
Por lo tanto es necesario analizar las respuestas
incorrectas objetivamente, para rechazar las
inoperantes.

SELECCIN DE TEMS
Criterios:
1. Correlacin del tem con un criterio externo (si lo hay)
Validez predictiva
2. Discriminacin Correlacin del tem con la
puntuacin total del test (consistencia interna). Se
utiliza la correlacin biserial y biserial puntual.
3. Dificultad Tenemos que encontrar tems de
dificultad media.
Puesto que en ocasiones, 2 y 3 entran en conflicto,
necesitamos hacer uso de otro criterio

SELECCIN DE TEMS
Criterios:
Item 1

Dif. Disc. Tenemos que utilizar otro criterio que combine

los 2 elementos
0,5 0,25

Item 2

0,3

0,45

4. Contribucin del tem a la varianza total del test

En ste se combinan la dificultad y la
discriminacin (2 y 3). Es la covarianza del tem y
el test.

Anlisis de tems y
de la prueba con
Corrector
1.
2.
3.
4.

Qu es Corrector
Instalacin
Ejecucin
Interpretacin de resultados

Anlisis de datos con Corrector

1. Qu es?
La herramienta Corrector es un complemento de macros
automticas de EXCEL que se utiliza para la correccin
y el anlisis de pruebas objetivas.

Anlisis de datos con Corrector

2. Instalacin
Antes de proceder a la
instalacin debe copiarse
el complemento .xla que
contiene el programa en
algn directorio del disco
duro, por ejemplo:
C:\Mis documentos.

Anlisis de datos con Corrector

2.1. Instalacin Microsoft Office: versin 2007 (I)

Para proceder a la instalacin se debe abrir un libro de Excel y, a
continuacin, seguir la siguiente ruta:

Boton de Excell

1
Botn de Excel - Opciones de Excel - Complementos Ir

Anlisis de datos con Corrector

2.1. Instalacin Microsoft Office: versin 2007 (II)

2
Pulsa el botn 'Examinar' que aparece a la derecha.

Anlisis de datos con Corrector

2.1. Instalacin Microsoft Office: versin 2007 (III)

3
Se abrir una ventana donde hay que buscar el directorio en el que se copi el
programa y seleccionar ste.
Pulsar 'Abrir.

Anlisis de datos con Corrector

2.1. Instalacin Microsoft Office: versin 2007 (IV)

4
En el listado de complementos disponibles aparecer marcado el nuevo
complemento.
Pulsar 'Aceptar.

Anlisis de datos con Corrector

2.1. Instalacin Microsoft Office: versin 2007 (V)

5
A partir de este momento si se accede a complementos aparecer un control nuevo
con la etiqueta 'Corrector'.
El programa ha sido instalado con xito!!

Anlisis de datos con Corrector

2.2. Instalacin Microsoft Office: versiones anteriores (I)

Para proceder a la instalacin se debe abrir un libro de Excel y, a
continuacin, seguir la siguiente ruta:

1
Herramientas - Complementos

Anlisis de datos con Corrector

2.2. Instalacin Microsoft Office: versiones anteriores (II)

2
Pulsa el botn 'Examinar' que aparece a la derecha.

Anlisis de datos con Corrector

2.2. Instalacin Microsoft Office: versiones anteriores (III)

3
Se abrir una ventana donde hay que buscar el directorio en el que se copi el
programa y seleccionar ste.
Pulsar Aceptar.

Anlisis de datos con Corrector

2.2. Instalacin Microsoft Office: versiones anteriores (IV)

4
En el listado de complementos disponibles aparecer marcado el nuevo
complemento.
Pulsar 'Aceptar.

Anlisis de datos con Corrector

2.2. Instalacin Microsoft Office: versiones anteriores (V)

5
En la barra de mens aparece un control nuevo con la etiqueta 'Corrector'.
El problema se ha instalado con xito!!

Anlisis de datos con Corrector

3. Ejecucin
Para ver el funcionamiento del
programa, lo ms sencillo es ejecutar el
ejemplo. Para ello pulsa sobre el
control 'Corrector'.
Aparecern diferentes opciones:
'Leer datos ASCII...'
'Inicializar'
'Corregir'
'Integrar'
'Analizar'
Recodificar'
'Detectar copia'
'Acerca de'

Anlisis de datos con Corrector

3.1. Inicializar

El primer paso ejecutar el programa es la inicializacin del mismo, para ello se debe
pulsar en Corrector - Inicializar

Anlisis de datos con Corrector

3.2. Preparacin de la informacin (I)

Al inicializar el corrector aparecen tres hojas en el libro de Excel donde
se deben introducir los datos a analizar:

Orden de
los tems

Alternativa
correcta

N de
alternativas

Introduccin del
tem en el anlisis:
Y- Si
N- No

1
Clave: Hoja que contiene la clave o alternativa correcta de cada uno de los
tems a analizar.

Anlisis de datos con Corrector

3.2. Preparacin de la informacin (II)

Etiqueta
para el
tem 9

2
Etiqueta de tems (Ejemplo): Aparece el nombre que se desea asignar a cada
uno de los tems.

Anlisis de datos con Corrector

3.2. Preparacin de la informacin (III)

Orden del
tem

Respuesta del
sujeto 4 al tem 28

Identificacin
del sujeto

3
Datos de entrada (Ejemplo): Hoja con las respuestas de los sujetos a los
diferentes reactivos.

Anlisis de datos con Corrector

3.3. Analizar (I)

Sobre la hoja que contiene los datos, pinchar en: Corrector Analizar
Dar respuesta a las preguntas que aparecen a continuacin:

Anlisis de datos con Corrector

3.3. Analizar (II)

1
Introducir el nombre de la hoja que contiene los datos.
Pinchar en aceptar

Anlisis de datos con Corrector

3.3. Analizar (III)

2
Indicar cul es el nmero de grupos a analizar.
En el caso del ejemplo como slo hay un grupo pinchar: No.

Anlisis de datos con Corrector

3.3. Analizar (IV)

3
Asignar nombre a la hoja que va a contener el anlisis tcnico de los tems. Por
ejemplo: Anlisis de tems
Pinchar en Aceptar

Anlisis de datos con Corrector

3.3. Analizar (V)

4
Asignar nombre a la hoja que va a contener el anlisis de la prueba. Por
ejemplo: Anlisis de la Prueba
Pinchar en Aceptar

Anlisis de datos con Corrector

3.3. Analizar (VI)

5
Introducir, si se desea, un ttulo para el resultado del anlisis.
Pinchar en Aceptar

Anlisis de datos con Corrector

3.3. Analizar (VII)

6
Introducir, si se desea, un subttulo para el resultado del anlisis.
Pinchar en Aceptar

Anlisis de datos con Corrector

3.3. Analizar (VIII)

7
Indicar si se van a utilizar etiquetas para los tems a analizar.
En el ejemplo que nos ocupa, como las etiquetas estn elaboradas, pinchar en:
Si

Anlisis de datos con Corrector

3.3. Analizar (IX)

8
Indicar como se llama la hoja que contiene las etiquetas.
Pinchar en Aceptar

Anlisis de datos con Corrector

4. Interpretacin de resultados

Los resultados del anlisis de la prueba y del anlisis tcnico de los

tems aparecen diferenciados en dos hojas del libro Excel en el que
se ha llevado a cabo el anlisis.

El anlisis de la prueba recoge informacin relativa a las

caractersticas generales del instrumento.

Sin embargo, dado que cualquier prueba puede ser mejorada a

travs de una adecuada seleccin de los elementos que la
componen, se hace necesario conocer todo el conjunto de
parmetros que informan de las caractersticas tcnicas necesarias
que permiten definir cada uno de los tems.

Anlisis de datos con Corrector

4.1. Anlisis de la Prueba (I)

Anlisis de datos con Corrector

4.1. Anlisis de la Prueba (II)

N de tems

Nmero de tems analizados.

N de sujetos

Nmero de sujetos que han dado respuesta al conjunto de tems.

Mnimo

Puntuacin mnima de los sujetos en la prueba.

Mximo

Puntuacin mxima de los sujetos en la prueba.

N medio de aciertos

Media de los resultados obtenidos por los sujetos en el total de la prueba.

Error tpico de la media

Error tpico de la media del test.

Varianza

Varianza total del test.

Desviacin tpica

Desviacin tpica del test.

Facilidad media

Media de los ndices de facilidad de los tems que componen la prueba. Aporta informacin de la
dificultad del instrumento.

Rbp media

Media de las correlaciones biserial puntual de los diferentes tems que componen la prueba. Aporta
informacin de la discriminacin de la prueba.

Fiabilidad (Alfa de
Cronbach)

La fiabilidad es la capacidad de un instrumento para medir con consistencia un constructo

determinado. El estadstico alfa contrasta dicha fiabilidad calculando el grado en el que covaran los
tems que constituyen el test, en una escala que puede tomar valores entre cero y uno, siendo
aceptable un valor de alfa superior a 0,8 (Nunnally 1994)

Error tpico de medida

Error tpico de medida de la prueba. Permite establecer intervalos de confianza en torno a las
puntuaciones observadas para, as estimar las puntuaciones verdaderas.

* Nunnally J. C. (1994) Psychometric theory. New York: McGraw Hill

Anlisis de datos con Corrector

4.2. Anlisis tcnico de los tems (I)

Anlisis de datos con Corrector

4.2. Anlisis tcnico de los tems (II)

tem

Identificacin del tem a analizar.

El hipervnculo conduce a una hoja del libro de Excel que recoge un grfico con el porcentaje de respuesta
para cada alternativa.

Facilidad

Conocido como ndice de dificultad o facilidad media del tem, informa de la proporcin de sujetos que ha
contestado bien el tem.
Toma valores comprendidos entre 0 y 1, siendo el valor ms prximo a la unidad a medida que aumenta la
facilidad.
Es el resultado de dividir el nmero de sujetos que han acertado el tem entre el nmero de sujetos que lo
han intentado.

Varianza

Permite identificar hasta que punto un tem contribuye a diferenciar a los sujetos en un test.
Toma el valor de 0 cuando no existe dispersin en la respuesta dada por los sujetos al tem (todos aciertan o
todos fallan) y su mximo valor es 0,25.

Desviacin tpica

Al igual que la varianza del tem, su desviacin tpica informa sobre la dispersin de las respuestas dadas por
los sujetos al tem analizado.

Biserial puntual

Correlacin entre la respuesta de los sujetos al tem y su calificacin en el total de la prueba.

Biserial puntual
corregida

Medida del grado de discriminacin del tem.

Correlacin entre la respuesta de los sujetos al tem y su calificacin en el total de la prueba, excluyendo de
esta calificacin el tem que se est analizando.

Clave
Media p
Media q

Alternativa correcta.
Media de las puntuaciones obtenidas en el total de la prueba por aquellos sujetos que han acertado el tem
analizado.
Media de las puntuaciones obtenidas en el total de la prueba por aquellos sujetos que no han acertado el
tem analizado.

Anlisis de datos con Corrector

4.2. Anlisis tcnico de los tems (III)

Cov(i,X) (Six)
Cov(i,X) (Six) (Spur)

Covarianza entre la respuesta dada por los sujetos al tem y los resultados que han obtenido en el
total de la prueba.
Informa de la contribucin del tem a la varianza total del test.
Covarianza entre la respuesta dada por los sujetos al tem y su puntuacin en el total de la prueba,
excluyendo el de esta calificacin el tem que se est analizando.

% Alternativa 1
% Alternativa 2
% Alternativa 3

Proporcin de respuesta a cada una de las alternativas del tem.

% Alternativa 4
% otras
rbp Alternativa 1
rbp Alternativa 2
rbp Alternativa 3

Correlacin biserial puntual entre cada una de las alternativas y su calificacin en el total de la
prueba.

rbp Alternativa 4
rbp otras
rbp (Spur) Alter. 1
rbp (Spur) Alter. 2
rbp (Spur) Alter. 3
rbp (Spur) Alter. 4
rbp (Spur) otras

Correlacin biserial puntual entre cada una de las alternativas y su calificacin en el total de la
prueba, excluyendo de esta calificacin el tem que se est analizando.