You are on page 1of 51

PSICOMETRÍA

Tema 5.2
Evaluación del instrumento de medida:
FIABILIDAD II
TEMA 5.2 : FIABILIDAD II

Salvador Chacón Moscoso


Susana Sanduvete Chaves
Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material
TEMA 5
LA FIABILIDAD DE LAS PUNTUACIONES (II)
1. La fiabilidad como consistencia interna
2. Métodos basados en la división del test en dos mitades
2.1. La ecuación de Spearman-Brown
2.2. La fórmula de Rulon
2.3. La fórmula de Guttman-Flanagan
3. Métodos basados en la covariación entre los ítems
3.1. Coeficiente alfa de Cronbach
3.1.1. Estimador insesgado de alfa
3.1.2. El coeficiente alfa como límite inferior del coeficiente de fiabilidad
3.1.3. Inferencias sobre alfa
3.2. Casos particulares del coeficiente alfa
4. Coeficientes basados en el análisis factorial de los ítems: Theta () y Omega ()
5. El coeficiente beta () de Raju
6. Estimación de la puntuación verdadera de los sujetos en el atributo de interés
6.1. Estimación basada en la desigualdad de Chebychev
TEMA 5.2 : FIABILIDAD II

6.2. Estimación basada en la distribución normal de los errores


6.3. Estimación basada en el modelo de regresión lineal
7. Valoración de la Teoría Clásica de los Tests
8. Introducción a la fiabilidad en los tests referidos al criterio.
9. Otras aproximaciones al estudio de la fiabilidad. La fiabilidad en la metodología
observacional
10. A modo de síntesis
5.13. Bibliografía básica

2
LA FIABILIDAD COMO CONSISTENCIA INTERNA

FIABILIDAD COMO CONSISTENCIA INTERNA:


En el tema 5.1, vimos que el coeficiente de fiabilidad se obtenía
a partir de la correlación entre formas paralelas de un test, o
mediante la correlación entre dos aplicaciones del mismo test
(test-retest)

En la mayoría de las ocasiones, sólo es posible llevar a cabo una


única aplicación del test (evita problemas asociados con la
repetición del test y con la dificultad de construir formas
paralelas).
TEMA 5.2 : FIABILIDAD II

Métodos que requieren una sola aplicación del test:


1. División del test en dos mitades.
2. Covariación entre todos los ítems del test.
3
LA FIABILIDAD COMO CONSISTENCIA INTERNA. División
del test en dos mitades
División del test en dos mitades: no siempre es fácil, ya que
se requiere que las mitades sean iguales en cuanto a
dificultad y contenido.

Distintos procedimientos:
1. Asignar todos los elementos pares a la forma 1 y los impares a la
forma 2. Sin embargo, en muchos test los ítems fáciles suelen
aparecer al principio.
2. Ordenar los ítems por su dificultad: a continuación asignar los
pares a la forma 1 y los impares a la forma 2.
TEMA 5.2 : FIABILIDAD II

3. Asignación aleatoria a cada una de las mitades.


4. Asignar ítems a las mitades de forma que estén emparejadas en
contenido.

Tantos coeficientes de fiabilidad como divisiones


4
del test en dos mitades se puedan hacer
LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del
test en dos mitades. Spearman-Brown

Ecuación de Spearman-Brown para elementos paralelos: es el


método más antiguo y fue propuesto casi al mismo tiempo
por Spearman y Brown.
1. Se aplica el test a una muestra de sujetos.
2. Se divide el test en dos mitades (paralelas).
3. Se calcula la correlación. Dicho valor equivale al rxx’ para cada
una de las mitades  habría que aplicar la fórmula de
corrección para el caso de un test con longitud doble.
TEMA 5.2 : FIABILIDAD II

2rXX '
R XX' 
1  rXX '
RXX '  coeficient e de fiabilidad cuando se ha duplicado su longitud.
rXX'  coeficient e de fiabilidad de cada una de las mitades.
5
LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del
test en dos mitades. Spearman-Brown

En la siguiente tabla, se muestran las puntuaciones de una muestra


de participantes en los ítems pares e impares de un test.

Participantes par X 1 imparX 2


1 8 4
2 7 7
3 8 6
4 5 4
TEMA 5.2 : FIABILIDAD II

5 8 7
6 6 6
Total 42 34

Calcular la fiabilidad utilizando la fórmula de Spearman-Brown.


6
LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del
test en dos mitades. Spearman-Brown

En la siguiente tabla, se muestran las puntuaciones de una muestra


de participantes en los ítems pares e impares de un test
2 2
1. Calcular el coeficiente
Participantes par X 1 impar X 2 X1 X2 X1 X 2
de correlación entre
1 8 4 64 16 32 ambas mitades.
2 7 7 49 49 49 Obtenemos que vale
0,35
3 8 6 64 36 48
4 5 4 25 16 20
5 8 7 64 49 56 2. Aplicamos la fórmula
de corrección de
TEMA 5.2 : FIABILIDAD II

6 6 6 36 36 36
Total 42 34 302 202 241 Spearman-Brown.
Obtenemos un valor de
0,52
rX1X2  0,35
2rXX 2 * 0,35
R XX    0,52
1  rXX 1  0,35 7
LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del
test en dos mitades. Rulon

Ecuación de Rulon (1939): se utiliza cuando las dos mitades no


son estrictamente paralelas, pero se entiende que son tau-
equivalentes (igualdad de varianzas verdaderas); o
congenéricas (V transformaciones lineales)

S d2
rX1X2  1  2
Sx
d  diferencia entre las puntuaciones pares e impares.
S d2  varianza de las diferencia s entre las puntuaciones
TEMA 5.2 : FIABILIDAD II

pares e impares.
S x2  varianza de las puntuaciones empíricas de los sujetos.
La equivalencia entre Spearman-Brown y Rulon depende
del grado de paralelismo de las formas, de forma que
cuanto más parecidas sean, más se aproximan los
valores. 8
LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del
test en dos mitades. Rulon

En la siguiente tabla, se muestra las puntuaciones de una


muestra de participantes en los ítems pares e impares de un
test

Participantes X Par Impar


A 4 3 1
B 1 1 0
C 6 3 3
D 2 1 1
E 3 1 2
TEMA 5.2 : FIABILIDAD II

F 5 2 3

Calcular la fiabilidad utilizando la fórmula de Rulon.


9
LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del
test en dos mitades. Rulon

En la siguiente tabla, se muestra las puntuaciones de una


muestra de participantes en los ítems pares e impares de un
test
1. Calcularíamos la
Participantes X Par Impar (P-I)=d varianza de las diferencias.
En este caso es 1.14.
A 4 3 1 2
B 1 1 0 1 2. A continuación,
podríamos aplicar
C 6 3 3 0 directamente la fórmula de
D 2 1 1 0 Rulon. Y de esta forma
E 3 1 2 -1 obtendríamos que el coef.
TEMA 5.2 : FIABILIDAD II

De fiabilidad vale .61


F 5 2 3 -1

2 2  ...  (12 )
X d  0.17; S  2
d  (0.17) 2  1.14
6
S d2 1.14
rXX  1  2  1   0.61
Sx 2.91 10
LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del
test en dos mitades. Guttman-Flanagan

Guttman (1937) y Flanagan (1945): Llegaron de manera


independiente a una fórmula equivalente a la de Rulon, pero
de más fácil aplicación.

 S p2  Si2 
rX1X2  21  
 S 2 
 x 
S p2 y Si2  varianzas de las puntuaciones de los ítems pares
TEMA 5.2 : FIABILIDAD II

e impares respectivamente.
S x2  varianza de las puntuaciones empíricas de los sujetos.

Con los datos del ejercicio anterior, calcular el coeficiente de


fiabilidad utilizando Guttman-Flanagan. 11
LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del
test en dos mitades. Guttman-Flanagan

 S p2  Si2 
rX 1 X 2  21  
 S 2  Observamos que
 x  llegamos al mismo
S p2  0.81 resultado, sin
necesidad de calcular
Si2  1.22 las puntuaciones
TEMA 5.2 : FIABILIDAD II

referidas a las
S x2  2.91
diferencias.
 0.81  1.22 
rX 1 X 2  21    0.61
 2.91 

12
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos
basados en la covariación de los ítems.

Métodos basados en la covariación de los ítems:


uno de los principales problemas con la división del
test en dos mitades, es que existen numerosas
formas de obtener dos mitades, obteniendo tantas
estimaciones del coeficiente de fiabilidad como
diferentes dos mitades puedan hacerse. Una forma
de resolver este problema es estudiar la covariación
de los ítems.
TEMA 5.2 : FIABILIDAD II

Métodos:
- Coeficiente alpha de Cronbach, y sus casos
particulares: KR20 y KR21 de Kuder-Richardson
(1937). 13
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos
basados en la covariación de los ítems.
Coeficiente alpha de Cronbach.
- Coeficiente alpha de Cronbach: expresa la fiabilidad del test
en función del número de ítems y de la proporción de la
varianza total del test debida a la covariación de los ítems
cuanto más covaríen los ítems, mayor será la fiabilidad del
test.

 n

  S 2j 
n  j 1 
 1 
n 1  S x2 
 
TEMA 5.2 : FIABILIDAD II

 
n  número de elementos del test.
n

 j  sumatorio de la varianza de los elementos del test.


S 2

j 1

S x2  varianza de las puntuaciones del test. 14


LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos
basados en la covariación de los ítems.
Coeficiente alpha de Cronbach.

Se ha aplicado un test de percepción visual a 6 sujetos.


Calcular el valor del coeficiente de fiabilidad del test.

Sujeto 1 2 3 4 5
A 3 4 3 3 4
B 2 3 2 4 4
C 4 2 2 3 3
TEMA 5.2 : FIABILIDAD II

D 2 1 1 2 1
E 1 1 1 2 1
F 0 0 1 1 1

15
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos
basados en la covariación de los ítems.
Coeficiente alpha de Cronbach.
Se ha aplicado un test de percepción visual a 6 sujetos.
Calcular el valor del coeficiente de fiabilidad del test.
Sujeto 1 2 3 4 5 X
1. Calcular la varianza de cada ítems
A 3 4 3 3 4 17 (puntuaciones de cada columna)
B 2 3 2 4 4 15
2. También habrá que calcular la
C 4 2 2 3 3 14 varianza de las puntuaciones en el
D 2 1 1 2 1 7 test total (última columna)
E 1 1 1 2 1 6 3. Por último, habrá que obtener el
F 0 0 1 1 1 3 alpha de Cronbach. Que en este caso
TEMA 5.2 : FIABILIDAD II

2 vale .94
3 2
 2 2
 4 2
 2 2
 12
 0
S12   (2) 2  1.67; S22  1.82;...; S52  1.9
6
17 2  152  14 2  7 2  6 2  32
Sx 
2
 (10.33) 2  27.29
6
5  1.67  1.82  ...  1.89 
 1    0.94 16
5 1  27.29 
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados
en la covariación de los ítems.
Coeficiente alpha de Cronbach. Estimador insesgado
El estimador insesgado: alpha no es más que un estimador o
aproximación al valor real del coeficiente de fiabilidad. Sin
embargo, existe una aproximación más exacta de dicho
valor que se expresa mediante la siguiente fórmula:

( N  3)ˆ  2

N 1
  estimador insesgado
ˆ  valor de alpha de Cronbach
TEMA 5.2 : FIABILIDAD II

N  número de sujetos de la muestra

ˆ   , cuando N  

En la práctica, a partir de 100 sujetos las diferencias son


insignificantes. 17
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos
basados en la covariación de los ítems.
Coeficiente alpha de Cronbach. Inferencias
Alpha proporciona una estimación del coeficiente de fiabilidad de
un test a partir de la muestra en que se ha aplicado, pero a
veces interesa plantearse si:

1. ¿Puede tomar alpha un valor concreto en la


población a partir del valor muestral obtenido?
2. ¿Existen una diferencia significativa entre el valor de
alpha de dos muestras independientes?
TEMA 5.2 : FIABILIDAD II

3. ¿Es significativa la diferencia entre dos valores de


alpha para una misma muestra?

- DESARROLLO DE LA TEORÍA MUESTRAL DEL


COEFICIENTE ALPHA (Feldt, 1965; Kristof,1963)
18
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos
basados en la covariación de los ítems.
Coeficiente alpha de Cronbach. Inferencias

- ¿Puede tomar alpha un determinado valor en la


población a partir del valor muestral obtenido?
Kristof (1963) y Feldt (1965), proponen el siguiente
estadístico basado en la distribución F

1
F
1  ˆ
F se distribuye con ( N  1) y (n - 1)(N - 1) grados de libertad
TEMA 5.2 : FIABILIDAD II

  alpha propuesto por la hipótesis para la población.


ˆ  valor de alpha obtenido en la muestra
N  número de sujetos de la muestra
n  número de ítems
19
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos
basados en la covariación de los ítems.
Coeficiente alpha de Cronbach. Inferencias
¿Existen una diferencia significativa entre el valor de alpha de
dos muestras independientes?
Feldt (1969), propone el estadístico de contraste W basado en
la distribución F con (N1-1; y N2 –1; grados de libertad) que
permite probar la H0: 1= 2

1  ˆ1
W
1  ˆ 2
TEMA 5.2 : FIABILIDAD II

W se distribuye con ( N1  1) y (N 2 - 1) grados de libertad


ˆ1 y ˆ 2  alpha obtenido en cada muestra.
N 1 yN 2  número de sujetos de cada muestra

20
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos
basados en la covariación de los ítems.
Coeficiente alpha de Cronbach. Inferencias
¿Existen una diferencia significativa entre el valor de alpha de
dos muestras dependientes?
Feldt (1969), propone el estadístico de contraste t basado en
la distribución t con (N-2) g.l

(ˆ1  ˆ 2 ) ( N  2)
t
4(1  ˆ )(1  ˆ )(1  r )
1 2
2
x1 x 2

t se distribuye segú t de student con ( N  2) grados de libertad


TEMA 5.2 : FIABILIDAD II

ˆ1 y ˆ 2  alpha obtenido en cada muestra.


rx21x 2  correlació n al cuadrado entre las
puntuaciones en ambos test

21
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados
en la covariación de los ítems.
Coeficiente alpha de Cronbach. Casos particulares
Casos particulares de Alpha fórmulas de Kuder-Richardson
(1937): hacen referencia a la estimación de la fiabilidad de un
test en el caso de que los ítems sean dicotómicos  la
varianza viene determinada por:
S h2  ph qh
Donde ph es la proporción de aciertos; mientras que qh es la de
errores. En tal caso alpha se puede definir mediante KR20 ,o
KR21 (cuando los ítems presentan igual dificultad; es decir, la
misma proporción de aciertos)
TEMA 5.2 : FIABILIDAD II

 
n   pq 
2
 X 
KR20  1 X

n 1  S x2  n  n 
KR21  1 
Donde; n 1  S x2 
 
n= es el número de ítems
p= es la proporción de aciertos
 
q= es la proporción de errores
S2x= es la varianza total de test. 22
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados
en la covariación de los ítems.
Coeficiente alpha de Cronbach. Casos particulares
Supongamos un test compuesto por 6 ítems, y al que responden 6
sujetos

sujetos A B C D E F n   pq 
1 1 1 1 1 1 1
KR20   1  
n 1  2
Sx 
2 1 1 1 0 1 1
6  .22  0.25  ...  .22 
3 1 0 1 0 1 1 1    .82
4 0 1 0 1 0 1
5 4.45 
5 0 0 0 0 0 0 2. Y a continuación aplicar
KR20. Se observa que el
TEMA 5.2 : FIABILIDAD II

6 1 0 0 0 0 0
valor obtenido es de .82
p 4/6 3/6 ... ... ... 4/6

q 2/6 3/6 2/6

VAR .22 .25 .22

1. Primero habría que calcular la


varianza de los ítems, que al ser
23
dicotómicos es p*q.
COEFICIENTES BASADOS EN EL ANÁLISIS FACTORIAL DE
LOS ÍTEMS

Los coeficientes Theta () de Carmines y Omega ()


constituyen dos indicadores de la consistencia interna de los
ítems de un test, basados en el Análisis Factorial de los
ítems.


n  1
1     1
n  h 2j
n  1  1  n  2 r jh
n  número de ítems del test n  número de ítems del test
1  varianza explicada por
TEMA 5.2 : FIABILIDAD II

h 2j  comunalidad estimada del ítem j


el 1er factor antes de la rotación r jh  representa la correlación entre los
ítems j y h

En general, para los mismos datos se verifica que  24


EL COEFICIENTE BETA () DE RAJU

El coeficiente Beta () de Raju (1977). Cuando un test se


divide en varios subtests con distinto número de items, 
infraestima el coeficiente de fiabilidad, si se calcula a partir
de la puntuación total de cada subtest.
Por el contrario,  supera este problema y proporciona una
estimación de la fiabilidad de un test compuesto por distintos
subtest (batería de test), a partir de las puntuaciones
totales en ellos.
TEMA 5.2 : FIABILIDAD II

k K=número de subtests.
S S
2 2
2
x
j 1
j
Sx=varianza del test total.
 2
 Sj=varianza de cada subtest.
 nj  
2
k
S x 1     
2
nj=número de ítems de cada subtest.
 j 1  n  
n= número total de items del test. 25
EL COEFICIENTE BETA () DE RAJU. Ejemplo

Se ha aplicado un test compuesto por 4 subtest a una


muestra de 200 empleados de correos. Los subtests
están compuestos por A=18; B=30; C=45 y D=55
ítems. La varianza total del test es 50 y la de los
subtest es SA  5; SB  7; SC  9; y SD  11 . Calcular alfa y
2 2 2 2

Beta
1. A partir de las
4  5  7  9  11  puntuaciones totales
 1    0.48 calculamos alpha, y
4 1  50 
encontramos que vale
50  (5  7  9  11)
  0.50 .48.
TEMA 5.2 : FIABILIDAD II

501  (0.015  0.041  0.092  0.138)

2. Sin embargo, cuando


Sólo, en el caso de que los distintos aplicamos  de Raju
subtests, contengan el mismo encontramos que dicho
número de ítems, alpha y beta valor es .50
serán iguales.
26
27

Procedimientos para estimar


la puntuación verdadera de
los sujetos
TEMA 5.2 : FIABILIDAD II

27
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA


Tras obtener un valor del coeficiente de fiabilidad, la
siguiente pregunta relevante que nos podemos hacer
es:
¿Cómo hacer estimaciones acerca del valor de la
puntuación verdadera de un sujeto?:
TEMA 5.2 : FIABILIDAD II

1. Desigualdad de Chebychev.
2. Estimación basada en la distribución normal de los
errores.
3. Estimación basada en el modelo de regresión.

28
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA.
Estimación mediante la desigualdad de Chebychev

Desigualdad de Chebychev: no asume ningún tipo de distribución ni de


las puntuaciones empíricas ni de los errores de medida y permitió, por
primera vez, hacer estimaciones. Establece que la probabilidad de que una
variable aleatoria esté distanciada de su media en menos de K veces su
desviación típica es mayor o igual que 1-1/K^2. Es decir se expresa
mediante:


K P X  X  KS X  1
 1 2
K
TEMA 5.2 : FIABILIDAD II

donde :
1
1  2  nivel de confianza utilizado.
K
Sx  desviación típica de la variable aleatoria.

29
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA.
Estimación mediante la desigualdad de Chebychev

Desigualdad de Chebychev

Traducido en términos psicométricos, basándonos en las derivaciones del


modelo lineal de Spearman:

K P X  V  KSe   1 
1
K2
1. Tendríamos que
sustituir la media, por 2. La desviación
TEMA 5.2 : FIABILIDAD II

la puntuación típica, por el error


verdadera, ya que: típico de medida
ya que:
1. E( X )  E(V )  E ( E)   X  V X V  E

30
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA.
Estimación mediante la desigualdad de Chebychev

Se ha administrado un test cuyo rxx =0.73 a 200 sujetos (Media=52;


y sd=7). Con los datos obtenido, estimar la puntuación
verdadera de un sujeto que obtuvo una puntuación de 65 (NC
95%).
1. Primero tendríamos que
Se  S x 1  rxx  7 1  0.73  3.64 calcular el error típico de
medida. Vale 3.64

1 2. Despejamos y calculamos el
1  2  0.95; K  4.5 valor de K. En este caso es 4.5
TEMA 5.2 : FIABILIDAD II

k
P| X  V | KS X   0.95; 3. Sustituimos todos los valores
en la desigualdad. Y
P| 65  V | 4.5 * 3.64  0.95 comprobamos que con una
P 16.38 | V  65 | 16.38  0.95 Prob. del 95% la puntuación
P48.62  V  81.38  0.95 verdadera de un sujeto que ha
obtenido una X=65, se
encuentra entre 48.62 y 81.38
31
(intervalo muy amplio)
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. Estimación
basada en la distribución normal de los errores

Estimación basada en la distribución normal de los


errores:
Asume la distribución normal de E y de las X empíricas
condicionadas a un determinado valor de V.
Fases:
1. Se fija un nivel de confianza y se determina el valor de Z
correspondiente.
2. Se calcula el error típico de medida.
TEMA 5.2 : FIABILIDAD II

3. Se calcula el error de medida máximo (Emax):


Emax=Zc Se
4. Se calcula el intervalo confidencial de la puntuación
verdadera:
IC=X±Emax
32
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA.
Estimación basada en la distribución normal de los errores

Con los datos del ejemplo anterior calcular el intervalo según la


distribución normal de los errores.
X  65; X  52; S x  7; rxx  0.73; NC  0.95
1. Primero tendríamos que fijar el
NC, y determinar la Z asociada. En
1. NC  95%  Zc  1.96 este caso para un NC del 95%, la Z,
asociada es de 1.96
2. Se  3.64
2. A continuación Se . 3.64
3.E max  Zc * Se  1.96 * 3.64  7.13
3. El Emax; que es resultado del
72.13 producto de los anteriores. 7.13
4. IC  X  E max  65  7.13  
TEMA 5.2 : FIABILIDAD II

57.87
4. Finalmente el IC de V. Que para
X=65, estará entre 57.87 y 72.13.
48.62≤ V ≤ 81.38
Este intervalo es menos amplio que
57.87 ≤ V ≤ 72.13 el anterior, debido a que estamos
asumiendo cierta distribución de
probabilidad en los datos, cosa que 33
no ocurría antes.
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA.
Estimación basada en el modelo de regresión

Estimación basada en el modelo de regresión:

Dado que X siempre está afectada por errores de medida (E)


podríamos hacer estimaciones puntuales de V, y a posteriori
establecer intervalos de confianza en torno a ella. Es decir, utilizar
V’ en lugar de X para construir el Intervalo de Confianza.
En este caso, la predicción de una variable Y, a partir de otra X,
viene expresada mediante la siguiente ecuación:
TEMA 5.2 : FIABILIDAD II

Sy
Y ` rxy (X  X ) Y
Sx

Donde:
rxy es la correlación entre ambas variables.
Sy, Sx son las respectivas desviaciones típicas 34
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA.
Estimación basada en el modelo de regresión

Estimación basada en el modelo de regresión:


Si lo traducimos en términos psicométricos:

Sv
V ` rxv (X  X ) V 3. Y la Media de Y,
Sx por la de V.

2. La Sy, por la
1. La Y, sería Sv
sustituida por V´

Y dado que la razón entre las Sv y la Sx, es el índice de fiabilidad;


TEMA 5.2 : FIABILIDAD II

y que la media de X y V son iguales, la ecuación se simplifica:


Sv
 rxv ; y que X  V
Sx
Sv Sv
V ` ( X  X )  X  rxx ' ( X  X )  X
Sx Sx
35
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA.

Con los datos del ejemplo anterior calcular el intervalo según el


método de regresión.
X  65; X  52; S x  7; rxx  0.73; NC  0.95

V ` rxx ( X  X )  X  1. Primero, hacemos una


estimación de la V´, de un
0.73(65  52)  52  61.49 sujeto que ha obtenido una
X=65. Obtenemos 61.49
TEMA 5.2 : FIABILIDAD II

Probablemente dicho valor no coincida con el valor real del sujeto. A


dicha diferencia se denomina error de estimación, y a la
desviación típica de todas ellas, error típico de estimación
conveniencia de usar intervalos.
36
ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA.

1. NC  95%  Zc  1.96 1. Primero tendríamos que fijar el NC, y


determinar la Z asociada. En este caso
para un NC del 95%, la Z, asociada es de
2. S vx  S x 1  rxx rxx  1.96

7 1  0.73 0.73  3.09 2. A continuación calcular el error típico


de estimación . 3.09 (más pequeño que Se)

3.Emax  Zc * Svx  1.96 * 3.09  6.06 3. El Emax; que es resultado del producto
de los anteriores. 6.06
TEMA 5.2 : FIABILIDAD II

67.55 4. Finalmente el IC de V. Que para


4. IC  V  Emax  61.49  6.06  
55.43 V`=61.49, estará entre 55.43 y 67.55.

48.62≤ V ≤81.38
Si comparamos este intervalo con los
57.87 ≤V ≤ 72.12 anteriores, es el menos amplio de todos
a la larga los errores de pronóstico serán
55.43 ≤V ≤ 67.55 los mínimos. 37
VALORACIÓN DE LA TEORÍA CLÁSICA DE LOS TEST

VALORACIÓN DE LA TCT
Ventajas:
Parsimonia y enjundia psicológica. Aplica a una amplia
diversidad de situaciones a las que ha sabido dar
soluciones prácticas (Muñiz, 2001).
Limitaciones:
1. Los supuestos no se pueden comprobar empíricamente
2. Concepto de error de medida: a) homogéneo a lo largo
TEMA 5.2 : FIABILIDAD II

del continuo de aptitud; b) errores independientes; c)


concepto global que engloba todas las fuentes de
variabilidad.
3. Medidas estrictamente paralelas.
4. Carácter variante y dependiente de sus índices.
5. Estimación de la fiabilidad  múltiples procedimientos
38
VALORACIÓN DE LA TEORÍA CLÁSICA DE LOS TEST

Encontramos una ventaja inherente a sus propias limitaciones ya que


dichas limitaciones han promovido el desarrollo de otras importantes
teorías, que han intentado superar:
- Problemas relacionados con el error de medida, o
-Dependencia de los instrumentos de medida sobre los propios
objetos de medida y viceversa.

No debemos olvidar que la TCT supone la primera formulación


matemática de una teoría sobre las puntuaciones de los tests, y
TEMA 5.2 : FIABILIDAD II

por tanto su posición en la mayoría de los programas docentes y


manuales que se publican está más que justificado

39
INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO

FIABILIDAD EN LOS TRC


TRN: ordenar a los sujetos respecto a su grupo según su
nivel en el rasgo medido  un sujeto que ocupa el P90 está
por encima del 90% de sujetos de su grupo en el rasgo
medido por el test.

En los años 60, en evaluación educativa, surge la


necesidad de construir tests que evalúen directamente el
conocimiento de los estudiantes sobre los objetivos
programados. A partir de lo que surgen los TRC ¿qué tipo
TEMA 5.2 : FIABILIDAD II

de problemas es capaz de resolver?¿qué tipo de resolución


requieren?¿cuál es el límite de la capacidad del sujeto?:

“Un test referido al criterio se utiliza para evaluar el


status absoluto del sujeto con respecto a algún
dominio de conductas bien definido” (Popham, 1978) 40
INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
TRN vs TRC (Martínez-Arias, pág 657): 5 diferencias
-1.Finalidad de la evaluación: TRC (rendimiento);
TRN(diferencias individuales)
-2.Construcción: TRN(teorías existentes);
TRC(especificación del dominio).
-3.Selección de los ítems: TRN(maximizar diferencias
individuales); TRC(de acuerdo con los objetivos)
TEMA 5.2 : FIABILIDAD II

-4.Significado de las puntuaciones; TRN(indicador de la


puntuación verdadera); TRC(estimador del rendimiento
del sujeto en el dominio).
-5.Interpretación de las puntuaciones: TRN(se compara
con su grupo normativo); TRC(tiene significado en
41
términos absolutos).
INTRODUCCIÓN A LA FIABILIDAD EN LOS TRC

FIABILIDAD EN LOS TRC

Impulso de algunos aspectos como:


1. Definir con mayor claridad los objetivos de interés
2. Muestrear exhaustivamente los objetivos a
evaluar.
3. Nuevas formas de evaluar la fiabilidad y validez
TEMA 5.2 : FIABILIDAD II

4. Establecer los puntos de corte más apropiados.


5. Detectar los puntos fuertes y débiles de los
sujetos.

42
INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO. Fiabilidad

Fiabilidad: determinar el grado de error presente en las


mediciones.

Objetivo en los TRC: clasificar a las personas entre las


que dominan el criterio y las que no.

Fiabilidad consistencia o precisión en las


clasificaciones realizadas por el test
TEMA 5.2 : FIABILIDAD II

Dos aplicaciones del Una sola aplicación del


test test

43
INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO. Fiabilidad. Formas paralelas

Dos aplicaciones: en este caso podemos aplicar el mismo test


a una muestra; o dos formas paralelas.

Fiabilidad perfecta  clasificación idéntica en ambas


aplicaciones.

Procedimientos para su evaluación:


1. Coeficiente p0 de Hambleton y 2. Coeficiente Kappa:
Novick:
Fc Fc  Fa
p0  K
N N  Fa
TEMA 5.2 : FIABILIDAD II

Donde; Donde;
Fc= número de personas en la Fc= número de personas en la
que ambos tests coinciden en que ambos tests coinciden en
la clasificación. la clasificación.
N= número total de personas. Fa=coincidencia por azar
N= número total de personas.

44
INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO. Fiabilidad. Formas paralelas
Se ha aplicado dos tests paralelos de Psicometría a 20 sujetos. Las
clasificaciones realizadas se muestran en la siguiente tabla.
Calcular la fiabilidad de la clasificación.

1. Aplicando p0 vemos
Test B que los tests coinciden en
Test A Apto No-apto Total (N) clasificar a 2 aptos y 14
no-aptos la fiabilidad es
Apto 2 3 5
0.80
No-apto 1 14 15
2. Aplicando K vemos la
Total (N) 3 17 20 fiabilidad se reduce
TEMA 5.2 : FIABILIDAD II

considerablemente al
Fc 2  14 considerar las clasificaciones
1. p0    0.80
N 20 realizadas por azar.
 3  5 17 15 
(2  14)    
Fc  Fa  20 20  16  13.5
2.K     0.38
N  Fa 20  13.5 20  13.5

45
OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD.
LA FIABLIDAD EN LA METODOLOGÍA OBSERVACIONAL

OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD


Fiabilidad: Grado de precisión de la medida, o del instrumento
de medida utilizado
En Metodología observacional, por ejemplo, el instrumento de
medida más común es un “Sistema de categorías” que
análogamente a un test pretende “recoger la variabilidad del
comportamiento del sujeto en el dominio comportamental que se
esté estudiando”.
TEMA 5.2 : FIABILIDAD II

Procedimientos más habituales en su cálculo se basan en los


mismos principios utilizados bajo la lógica de los TRC medir la
consistencia en las clasificaciones, en este caso de distintos
observadores: Índice de Acuerdo (aproximación exploratoria);
Coeficiente Kappa.
46
OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD.
LA FIABLIDAD EN LA METODOLOGÍA OBSERVACIONAL

SOLO PRETENDEMOS INDICAR QUE LA


FIABILIDAD NO ES EXCLUSIVA DE LA TEORÍA
DE TESTS, SINO, QUE EL PROBLEMA DE LA
PRECISIÓN ES COMÚN A CUALQUIER
APROXIMACIÓN CIENTÍFICA QUE IMPLIQUE
MEDICIÓN. LO EXCLUSIVO ES QUE CADA
TEMA 5.2 : FIABILIDAD II

APROXIMACIÓN ADAPTA EL MÉTODO A SUS


PECULIARIDADES DE ESTUDIO

47
A MODO DE SÍNTESIS

-El error de medida presente en todo proceso de medición. Fiabilidad;


modelo lineal de Spearman (supuestos y derivaciones); factores que
afectan a la fiabilidad; formas paralelas y test-retest.

Apoximaciones al estudio de la fiabilidad

1. Fiabilidad como consistencia interna


- Dos mitades (Spearman-Brown; Rulon; Guttman-Flanagan)

- Covariación ítems (, KR20 KR21; , ;  de Raju)

2. Estimación de la puntuación verdadera:


TEMA 5.2 : FIABILIDAD II

- Desigualdad de Chebychev.

- Distribución normal de los errores.

- Método de regresión

48
A MODO DE SÍNTESIS

Apoximaciones al estudio de la fiabilidad:

3. Fiabilidad en los TRC.

- P0 de Hambleton y Novick

- Kappa de Cohen.
TEMA 5.2 : FIABILIDAD II

4. Otras aproximaciones al estudio de la fiabilidad.

5. Reflexión general sobre el concepto de fiabilidad.

49
50 BIBLIOGRAFÍA COMENTADA
1. Barbero, I., García, E. Vila, E., y Holgado, F.P. (2010). Psicometría:
Problemas resueltos. Madrid: Sanz y Torres.
Se trata de un libro de ejercicios y problemas en el que se incluye el
desarrollo de la solución. El alumno podrá completar desde un punto de
vista aplicado los conceptos y contenidos vistos en la parte teórica; así como
adquirir las destrezas necesarias para la resolución de problemas.
2. Barbero, I. (Coord) , Vila, E. y Holgado, F.P. (2010). Psicometría. Madrid:
Sanz y Torres.
En el capítulo 4 se introduce el modelo lineal clásico y el concepto de tests
paralelos, así como la interpretación del coeficiente de fiabilidad y distintos
TEMA 5.2 : FIABILIDAD II

métodos para su estimación. Y el capítulo 5 se centra en la fiabilidad de los


TRC.
3. Gómez-Benito, J. (1996). Aportaciones de los modelos de estructuras de
covarianza al análisis psicométrico. En J. Muñíz (Coord.), Psicometría.
Madrid: Universitas.
El capítulo 10, define conceptos fundamentales como coeficiente de fiabilidad y tests
paralelos desde modelos de ecuaciones estructurales. 50
4. Martínez Arias, R. (1995). Psicometría: Teoría de los Tests Psicológicos y
Educativos.
El Capítulo 3 presenta de una forma clara los conceptos básicos del modelo clásico.
Los tres primeros apartados del Capítulo 4 también se pueden consultar para la
preparación de este tema. Presenta numerosos ejercicios que permiten aplicar los
conocimientos teóricos adquiridos.
5. Meliá, J.L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano.
En los Capítulos 3 y 4 expone el modelo lineal clásico de los errores de medida, el
concepto de coeficiente e índice de fiabilidad y la definición de tests paralelos. El
Capítulo 6 destaca algunas de las críticas. En el Capítulo 6 se trata la consistencia
interna y los factores que afectan a la estimación de la fiabilidad.
7. Muñíz, J. (1996). Fiabilidad. En J. Muñíz (Coord.), Psicometría. Madrid:
TEMA 5.2 : FIABILIDAD II

Universitas.
En el Capítulo 1 se resumen los conceptos fundamentales del modelo lineal clásico y
la definición de paralelismo.
6. Nunnally, J.C. y Bernstein, I.J. (1995). Teoría Psicométrica. México: McGraw Hill.
El Capítulo 6 se presentan aspectos sobre supuestos y deducciones del modelo
clásico. En el Capítulo 7 presentan algunas limitaciones y extensiones del modelo
51
lineal clásico.

You might also like