MINISTERIO DE SALUD PUBLICA

CENTRO NACIONAL DE

PERFECCIONAMIENTO MEDICO Vi c e d i r e c c i n d e E v a l u a c i n
Calle I N 202 esq. a Lnea, Vedado, Ciudad de La Habana, Cuba. CP 10400. Tel: (5 !" 2#51$2 %&: salas'a()in*o(ed.sld.+u

C a r p e t a N 4

Li+. ,il-io ,ole' C.'denas /'. 0a(1n ,. ,alas Pe'ea 122!

1

1. INTRODUCCION. La evaluacin de la competencia profesional en salud comprende: la evaluacin de los conocimientos, las a!ilidades " actitudes de los profesionales, enfermeros " dem#s t$cnicos de la salud, as% como su nivel de or&ani'acin, retencin " empleo en la pr#ctica acad$mica " la!oral. (or su parte, el (lan de )ccin para el Incremento de la Calidad de los Recursos *umanos en el +istema Nacional de +alud ,ane-o de la Res. .in. No. 1/0 de 11123, esta!lece 4ue las evaluaciones de la competencia profesional relativas al desarrollo de los conocimientos se efectuar#n mediante e-#menes tericos confeccionados so!re la !ase de pro!lemas con el empleo fundamentalmente de items o!5etivos, pre&untas de ensa"o de respuestas cortas " de ensa"o modificado. Como consecuencia de este dictado, se sit6a en primer plano la necesidad de confeccionar instrumentos evaluativos con un alto &rado de valide' " confia!ilidad, con la finalidad de 4ue la informacin o!tenida por esta v%a contri!u"a a incrementar la calidad de los procesos educacionales " de identificacin de necesidades de aprendi'a5e de los recursos umanos de salud. ) tenor con esta situacin, el 7rupo Central de 8valuacin de la Competencia " el Desempe9o (rofesional, decidi confeccionar una serie de materiales 4ue tratan elementos esenciales acerca del planeamiento, confeccin " valoracin de la calidad de instrumentos evaluativos.

Dic os materiales van diri&idos especialmente a 4uienes, de una manera u otra, est n comprometidos con el encar&o de introducir, validar " &enerali'ar la evaluacin de la

competencia " el desempe9o en los procesos de formacin " superacin de los recursos umanos en le +istema Nacional de +alud. )parece as% el presente material, por completo destinado a la presentacin de los procedimientos m#s empleados en los estudios de calidad de instrumentos evaluativos. +e centra la atencin en dos n6cleos conceptuales !#sicos, a sa!er: valide' " confia!ilidad, los cuales se desarrollar n manteniendo una tnica tan elemental como lo permita el tema, de manera 4ue resulte f#cil su comprensin as% como su oportuna aplicacin. Una ve' concluida la confeccin de un instrumento evaluativo ,I83 se presenta el pro!lema de determinar en 4u$ medida la informacin o!tenida por conducto de su aplicacin refle5a el nivel de competencia del e-aminado. +ur&en, mu" naturalmente, las si&uientes pre&untas: : ;.ide el I8 lo 4ue realmente de!e medir<

8n otras pala!ras: ;Cu#l es el &rado de correspondencia entre las pre&untas del I8 " los contenidos a evaluar< : ;Con 4u$ precisin " esta!ilidad se mide lo 4ue se est midiendo<

La primera pre&unta est# relacionada con la =valide'= de un I8> la se&unda concierne a lo 4ue se conoce con el t$rmino =confia!ilidad=. 8n la literatura especiali'ada aparecen otros conceptos para evaluar la calidad de los I8. 8n este sentido 7uil!ert ,13 recomienda tener en cuenta otros aspectos entre los 4ue est#n los si&uientes: : O!5etividad: &rado de concordancia entre los 5uicios emitidos por evaluadores independientes " competentes so!re lo 4ue constitu"e una =!uena= respuesta para cada uno de las pre&untas de un I8. : (ertinencia: es el &rado de respeto de los criterios esta!lecidos en la seleccin de las

pre&untas para 4ue sean conformes con los fines " o!5etivos del I8. : 84uili!rio: &rado de concordancia entre la proporcin de pre&untas reservadas a cada uno de los o!5etivos " la proporcin ideal para un instrumento de este tipo. : 84uidad: &rado de concordancia entre las pre&untas planteadas en el I8 " el contenido 4ue se pretende evaluar. : Discriminacin: cualidad de cada pre&unta de un I8 4ue permite distin&uir los estudiantes de altos " !a5os rendimientos. : 8ficacia: cualidad de un I8 4ue permite el ma"or n6mero posi!le de respuestas independientes por unidad de tiempo. No o!stante, en todo lo 4ue si&ue nos limitaremos a las nociones de =valide'= " =confia!ilidad=. Diremos, por tanto, 4ue un I8 tiene calidad en la medida en 4ue es v lido " confia!le " sus resultados son &enerali'a!les.

2. L3 C4N5I36ILI/3/ /% L4, IN,T07&%NT4, %V3L73TIV4,

Cuando se aplica un I8 a un con5unto de personas con la finalidad de medir un determinado conocimiento, se desea tener cierto mar&en de se&uridad con respecto a la posi!ilidad de o!tener resultados similares cuando el instrumento se aplica en varias ocasiones ,o !ien un instrumento e4uivalente3 a las mismas personas. 8sta propiedad de reproducti!ilidad o esta!ilidad de las calificaciones 4ue de!en cumplir los I8 es lo 4ue se llama =confia!ilidad=. 8n la realidad educacional es pr#cticamente imposi!le confeccionar un I8 4ue sea a!solutamente confia!le> lo cual se de!e a 4ue los instrumentos nunca pueden a!arcar todo el conocimiento 4ue se pretende medir, sino slo una parte del mismo ", por tanto, siempre su!"ace el =error de muestreo=. 4

Naturalmente, cuanto ma"or sea la muestra de conocimientos incluida en un I8, menor ser# este error de muestreo> de lo cual no podemos inferir 4ue mientras m#s e-tenso sea un I8 necesariamente ser# m#s confia!le, pues conforme aumenta la dimensin del I8, otro tanto sucede con la duracin de su aplicacin " en consecuencia, incidir#n otros factores :propios del e-aminador: como son la fati&a, la tensin ps%4uica " el deseo de terminar, 4ue contri!u"en a incrementar la fali!ilidad del instrumento. De manera 4ue en la pr#ctica se presenta el pro!lema de conce!ir un I8 lo suficientemente e-tenso para 4ue comprenda una muestra amplia de los conocimientos esenciales o claves 4ue se 4uieren medir ", al mismo tiempo, lo necesariamente corto para 4ue se pueda responder en un intervalo de tiempo relativamente !reve o =normal=. 8-isten muc os factores 4ue dependen tanto del e-aminado como del escenario en donde se desarrolla la evaluacin " 4ue influ"en en los resultados de un I8 " 4ue por tanto siempre tendremos en cuenta en toda evaluacin de la competencia profesional. Cron!ac ,03 se9ala cuatro &rupos de factores, a sa!er: 1. Caracter%sticas &enerales " duraderas del e-aminado. a3 !3 c3 *a!ilidades &enerales, por e5emplo la lectura. *a!ilidades para comprender las instrucciones de I8s. *a!ilidades para resolver los pro!lemas de tipo &eneral presentados en los I8. d3 )ctitudes, reacciones emotivas " sometidas al I8. 0. Caracter%sticas duraderas " espec%ficas del individuo. a3 Conocimientos " a!ilidades 4ue re4uieren los pro!lemas espec%ficos del I8. #!itos caracter%sticos de las personas

!3

)ctitudes, reacciones emotivas, o #!itos 4ue se ponen de manifiesto en las personas al ser evaluadas.

?.

Caracter%sticas &enerales " moment#neas del e-aminado, 4ue afectan sistem#tica: mente la calificacin del I8 en un tiempo determinado. a3 !3 La salud, la fati&a " la tensin ps%4uica. La motivacin, "a sea positiva o ne&ativa, 4ue produce el ec o de sentirse evaluado. c3 d3 Los efectos del calor, la lu', la ventilacin, etc. )ctitudes actuales, reacciones emotivas o fuer'a de los #!itos, en cuanto todos estos representan diver&encias de los ras&os m#s duraderos " esta!les del e-aminado.

/.

Caracter%sticas temporales " no &enerales del e-aminado. a3 !3 c3 d3 Cam!ios de!idos a la fati&a o a la motivacin producidos por el I8. @luctuaciones en la atencin, en la coordinacin o en los patrones de 5uicio. @luctuaciones en la memoria de ec os particulares. Nivel de pr#ctica en la e5ecucin de las a!ilidades o en los conocimientos re4ueridos para el pro!lema en cuestin. e3 Auena suerte en la seleccin de las respuestas al adivinarlas.

0.1.

8l concepto de confia!ilidad.

La confia!ilidad por lo tanto no es m#s 4ue la esta!ilidad en los resultados de un I8, "a sea al repetirlo al &rupo de educandos, como al ser calificado por diferentes profesores. +e refiere a la constancia de los resultados en el tiempo, se&6n los tipos de pre&untas empleadas " de acuerdo con los criterios de los evaluadores. 8n la misma pueden tam!i$n influir: el

error de muestreo, las caracter%sticas del e-aminado " las condiciones del escenario donde se desarrolla. 8s un concepto estrictamente estad%stico 4ue se e-presa por un coeficiente de confia!ilidad o a trav$s del error t%pico de las mediciones efectuadas. Coe*i+ien8es de +on*iabilidad. 8n la literatura especiali'ada se reportan varios procedimientos para cuantificar la confia!ilidad de I8s. 8ntre ellos se citan: : : : : : 8l coeficiente 8l coeficiente

,?3 ,/3

8l coeficiente 0 ,B3 8l coeficiente de Cuder:Ric arson ,D3 8l coeficiente de Cron!ac ,23

+olo e-plicaremos el coeficiente de Cron!ac por4ue se&6n la &ran ma"or%a de los autores ,0:D:E:1:1/:1D3: 1. 8s el m#s utili'ado en los estudios contempor#neos de calidad de instrumentos evaluativos lo 4ue nos permite comparar nuestros resultados con los 4ue se reportan en la literatura mundial. 0. ?. /. 8s el me5or m$todo para estimar el error de muestreo de los I8. Nos proporciona una medida de la consistencia interna de los I8. (uede calcularse a6n en el caso de 4ue empleemos pre&untas de diferentes formatos en el I8. 0.?. @undamentacin matem#tica del coeficiente de Cron!ac . 7

) continuacin e-plicaremos las !ases matem#ticas so!re las 4ue se fundamenta este coeficiente, a fin de poder comprender su utilidad. 8n nin&6n caso los profesores tendr#n 4ue efectuar estas operaciones pero es esencial 4ue entiendan el fundamento terico del mismo. 0.?.1. @rmula de c#lculo de la varian'a. La varian'a es una medida del &rado de dispersin de un con5unto de datos. +e denota por ,2 " su frmula de c#lculo es la si&uiente:

1 n -1

X2
i 1

n (X)2

donde:

n: cantidad de datos

9 : promedio de los datos

n

iG 1

FI0 : suma de los cuadrados de los datos

85emplo 1: C lculo de la varian'a para los datos si&uientes: 10> 1H> 1B> 1?> 11> 1/> 1/

(aso I1.

Determinacin de la cantidad de datos: =n= (ara este e5emplo se tiene 4ue n G 2

(aso I0.

C lculo del promedio de los datos:

9 G suma de los datos dividida por la cantidad de datos

G ,10 J 1H J 1B J 1? J 11 J 1/ J 1/3 K2 G E1 K 2G10.21 G 10.21 (aso I?. C#lculo del cuadrado de cada dato. ,1030 G 1// ,1H30 G 1HH ,1B30 G 00B ,1?30 G 1D1 ,1130 G 101 ,1/30 G 11D ,1/30 G 11D (aso I/. C#lculo de la suma de los cuadrados de cada dato. n

iG 1 (aso IB.

FI0 G 1// J 1HH J 00B J 1D1 J 101 J 11D J 11D J 11B1

+ustituir en la frmula de la varian'a los resultados o!tenidos en los pasos I1, I0 " I/ " efectuar los c#lculos indicados.

Larian'a G +0 G , ,11B1 : 2 - ,100,2133 K D G ,11B1 : 2 - 1D1,B/3 K D G ,11B1 : 11?H,2E3 K D G 0H,00 K D G ?,?2 @inalmente se tiene 4ue +0 G ?,?2 0.?.0. @ormulacin del coeficiente de Cron!ac . 9

La frmula para el c#lculo de este coeficiente es la si&uiente:

donde:

k k-1

i 1

Si
2

M: cantidad de pre&untas del instrumento evaluativo

0

Sx

+- : varian'a de las califica:

ciones del I.8.
0

+i:

varian'a de la i:$sima pre&unta del instru: mento evaluativo.

Como se aprecia en esta forma frmula, su n6mero de cmputo pre&untas re4uiere ten&a el el c#lculo de tantas varian'as como instrumento evaluativo.

0.?.?. C#lculo del coeficiente de Cron!ac . +upon&amos 4ue se aplica un I8 de / pre&untas a 2 estudiantes " se o!tienen los si&uientes resultados:

10

T)AL) I1. C)LI@IC)CI N D8 L)+ (R87UNT)+

ESTUDIANTES

No. 1 No. 2 No. 3 No. 4 No. 5 No. 6 No. 7

PI 0H,2 1?,B 1D,E 1D,/ 1E,E 1H,1 H/,?

P2 0H,E 1?,? 1B,H 1E,E 1D,2 1H,/ H2,1

P3 11,H 10,? 1B,1 1D,? 0H,D 11,1 HB,D

P4 0?,1 1?,B 12,? 1D,B 11,0 1H,H HD,0

CALIFICACIONES TOTALES E?,D B0,D D/,0 DE,H 2B,? /0,/ 0?,0

8l c lculo del coeficiente de Cron!ac re4uiere la e5ecucin de variadas operaciones " resulta conveniente esta!lecer un al&oritmo 4ue via!ilice este proceso al&e!raico. (ara este fin, se recomienda proceder se&6n la sucesin de ACCIONES 4ue presentamos a continuacin. Ilustraremos cada una de dic as acciones con los datos de la T)AL) NN 1.

Accin #1: Determinar el valor de =M=, esto es: la cantidad de pre&untas del I8. +e& n la
Ta!la I1, se cumple 4ue M G /.

Accin #2: Calcular la varian'a de cada pre&unta del e-amen. Tenemos 4ue calcular, por
tanto, cinco varian'as una para cada pre&unta ,son cuatro3 " la 4ue corresponde a las calificaciones. (ara el c#lculo de cada una de estas varian'as> tendremos en cuenta los pasos I1, al IB del ep%&rafe 0.?.1. C#lculo de la varian'a de la pre&unta 1: Paso :1. ,Determinacin de la cantidad de datos3 nG2 Paso :2. ,C#lculo del promedio aritm$tico3.

11

9 G ,0H,2J1?,BJ1D,EJ1D,/J1E,EJ1H,1J/,?3 K 2 G1H/,/ K 2 G 1/,/EB

G 1/,/EB Paso : . ,C#lculo del cuadrado de cada dato3. ,0H,230 G /0E,/1 ,1D,/30 G 0DE,1D ,H/,?30 G H1E,/1 Paso :4. ,C#lculo de la suma de los cuadrados de los datos3.
n

,1?,B30 G 1E0,0B ,1E,E30 G ?B?,//

,1D,E30 G 0E0,0/ ,1H,130 G 11E,E1

iG 1

FI0 G /0E,/1J1E0,0BJ0E0,0/J0DE,1DJ?B?,//J11E,E1J1E,/1

G 1DB0,DE Paso :5. ,+ustitucin en la frmula de varian'a3.

0

+1

G O 1DB0,1E : 2 - ,1/,/EB3P K D. G O 1DB0,DE : 2 - 0H1,E1B Q K D. G O 1DB0,DE : 1/DE,2HB Q K D G 1E?,12B K D. G ?H,DD0.

0

La varian'a de la pre&unta 1 es

+1 G ?H,DD0

85ecutando los cinco pasos anteriores con los datos de las otras pre&untas, I0, I? " I/ " adem#s con el del total de las calificaciones o!tenemos los si&uientes resultados:
0

+0
0

G 00,20 G 0D,HE0 12

+?

+/
0

G ?0,B2/ G /01,0/1

+B

Accin #3. Calcular la suma de las varian'as de las pre&untas.

M iG 1 G 110,H/2

+i0 G ?H,DD0 J 00,201 J 0D,HE0 J ?0,B2/

Accin #4. +ustituir en la frmula del coeficiente de Cron!ac los valores o!tenidos en
las acciones anteriores 4ue corresponden a: Cantidad de pre&untas ,valor de M3
M

+uma de las varian'as de las pre&untas ,

0

iG 1 : Larian'a de las calificaciones , +- 3

+i0

@inalmente, efectuar las operaciones indicadas.

! !#1

1#

112, 04! 422,241

! $

1 # 0, 2$1 ;

! $ 0,! 2 ; 1,1$$ 0,! 2 ; 0,<$1

13

; 0,<$1
Como se aprecia, el cmputo del coeficiente de Cron!ac re4uiere efectuar muc as operaciones al&e!raicas, por lo 4ue para nuestro e5emplo se necesitar%a una inversin de apro-imadamente 10 oras en operaciones matem#ticas.

(or suerte, esta a!rumadora tarea se puede reali'ar en unos pocos minutos al disponer de al&uno de los tantos softRare 4ue o" d%a e-isten. Aaste mencionar en ese sentido, entre otros, dos conocidos softRare de procesamiento estad%stico: el = +tatistical (acMa&e for +ocial +ciences = ,+(++3 " el =+tatistica=, am!os conce!idos para am!iente =SindoRs= con soporte en microcomputadoras IA.:compati!les.

0./.

Interpretacin del coeficiente de Cron!ac .

8n la literatura contempor#nea, la ma"or%a de los autores, si&uiendo a )nastasi ,E3 " a Seiner ,13, aceptan como adecuados en los e- menes escritos !asados en pre&untas de tipo test o!5etivo, los coeficientes 4ue oscilan entre H,EH " H,EB. 8l Cole&io de .$dicos de @amilia de Canad# en sus e-#menes de Certificacin de 8specialistas reporta 4ue: . 8n los e-#menes escritos !asados en respuestas cortas ,+).A3 considera acepta!les coeficientes entre H,D1 " H,21 ,1H3. . 8n los e-#menes de +imulacin Oral en el Consultorio .$dico ,+OOs3 an o!tenido coeficientes entre H,B/ " H,D? " consideran como acepta!les los coeficientes superiores a

14

H,DH ,11,103. . 8n los e-#menes tipo 8CO8 con pacientes estandari'ados " pre&untas de ensa"o de respuestas cortas an considerado como acepta!les coeficientes entre H,21 " H,22 ,1?,1/3. 8n este tipo de e-amen otros autores an reportado coeficientes entre H,/H " H,EE ,1B, 1D3. Tueda entonces planteada la necesidad de investi&ar cmo se comportar%a este coeficiente en nuestras Universidades .$dicas, tanto en las carreras de Ciencias .$dicas, como en las diferentes formas acad$micas del post&rado " tam!i$n para las actividades de la superacin profesional. (ara nuestro tra!a5o inicial consideraremos con discrecin " no de manera a!soluta los indicadores internacionales antes se9alados.

?. L) L)LID8U D8 LO+ IN+TRU.8NTO+ 8L)LU)TILO+. Un aspecto importante de la calidad de un I8 es el 4ue se refiere a la valide', es decir a la correspondencia 4ue e-iste entre lo 4ue el I8 pretende medir " lo 4ue mide realmente. 8llo a!arca tanto las e-i&encias propias del I8, como la determinacin de los %ndices valorativos 4ue permiten su calificacin. La valide' nos proporciona un control directo de la forma en 4ue un I8 cumple sus propsitos. 8s un concepto siempre espec%fico ,12, 1E, 11, 0H3. La determinacin de la valide' re4uiere criterios de e-pertos " &eneralmente e-ternos " nos capacita para determinar el &rado de acierto del dise9o del I8 a partir de los resultados de las calificaciones de los estudiantes, so!re la !ase de una muestra representativa de los mismos. Las calificaciones no se utili'an =per se= con fines predictivos, sino para compro!ar la calidad del I8 " fundamentar las inferencias 4ue se reali'ar#n a partir de sus resultados. Tipos de estudios de valide'

15

La valide' usualmente se clasifica en tres &rupos: a3 !3 c3 Lalide' de contenido. Lalide' de criterio. Lalide' de construccin.

a3 Lalide' de contenido. La valide' de contenido consiste en el e-amen sistem#tico del contenido del I8 para determinar si constitu"e una muestra representativa del dominio de conocimientos 4ue se pretende evaluar ,dominio co&nitivo3. (odr%a parecer 4ue la mera inspeccin del contenido de un I8 !astar%a para esta!lecer su valide'. 8videntemente esto no es cierto> un I8 conce!ido para evaluar, di&amos, la

competencia de un internista en materia de *T) parecer%a v#lido simplemente por4ue inclu"ese pre&untas relativas al tratamiento de la *T)> no o!stante, si el dominio co&nitivo definido para esta situacin contempla, por e5emplo, slo elementos de dia&nstico, es claro 4ue este I8 no ser%a v#lido desde el punto de vista del contenido. Un estudio de valide' de contenido de!e incluir la e5ecucin de las si&uientes tareas: 1. Definicin del dominio co&nitivo del I8. 8l dominio co&nitivo a de definirse con la suficiente amplitud para incluir en l todos " cada uno de los o!5etivos educativos principales a evaluar> tales como: aplicacin de principios, interpretacin de resultados, dominio terico de conceptos importantes, etc. (ara evaluar la pertinencia del dominio co&nitivo es conveniente tener en cuenta: 1.1. Revisin de investi&aciones: con frecuencia resulta conveniente revisar la literatura disponi!le para determinar los aspectos 4ue con ma"or frecuencia se an tenido en cuenta en la confeccin de I8 con propsitos similares al 4ue nos ocupa.

16

1.0. Determinacin de condiciones e-tremas: la consideracin de un amplio recorrido para el nivel de dificultad de los contenidos 4ue se pretende medir, via!ili'a la determinacin de los niveles de asimilacin de los o!5etivos a incluir en el I8. 1.?. Criterios de un panel de e-pertos: si al&o caracteri'a a los estudios de valide' de contenido es el ec o de 4ue sus resultados se !asan primordialmente en la opinin de un &rupo de e-pertos seleccionados para ese fin. +e re4uiere entonces 4ue $stos se

caractericen por tener un conocimiento profundo del contenido cient%fico 4ue se desea medir, as% como del sistema de a!ilidades 4ue se desea evaluar. 0. 8sta!lecimiento de un marco de referencia Un criterio simple, pero no necesariamente acepta!le, consiste en esta!lecer 4ue todos los o!5etivos son i&ualmente importantes. 8n ocasiones se dispone de ciertas fuentes de

informacin 4ue permiten esta!lecer un orden 5er#r4uico en los o!5etivos a evaluar, tales como: informes relativos a la incidencia " prevalencia de determinadas enfermedades, indicadores de los principales pro!lemas de salud> rol 4ue 5ue&an determinados contenidos claves en el desempe9o de una especialidad dada> etc. 8n todo caso es necesario acer un an#lisis donde se comparen los contenidos del dominio co&nitivo " las pre&untas del I8, para compro!ar asta 4u$ punto $ste comprende todos los elementos esenciales de a4u$l. 8n este sentido resulta conveniente constatar si cada aspecto del dominio co&nitivo aparece representado de manera proporcional a la importancia 4ue se le concede. !3 Lalide' de criterio. Cuando se reali'a un estudio de valide' de criterio, se comparan los resultados de la aplicacin del I8 con otros criterios e-ternos 4ue se le llama =varia!le:criterio=.

17

+e dice 4ue un I8 tiene valide' de criterio cuando, a partir de los resultados o!tenidos, se pueden acer inferencias v#lidas so!re una varia!le 4ue no se puede medir directamente por el I8. Un estudio de valide' de criterio implica la e5ecucin de las si&uientes tareas: 1. 0. Determinacin de un criterio adecuado " de un procedimiento para medirlo. Determinacin de una muestra representativa de los educandos a los 4ue se le aplicar# el I8. ?. /. )plicar el I8 " anotar la calificacin de cada e-aminado. O!tener una medida del criterio para cada e-aminado en el momento en 4ue eso sea posi!le. B. Determinar la fortale'a de la relacin entre los resultados del I8 " los del criterio.

Los estudios de valide' de criterio se clasifican en dos tipos: : : Lalide' predictiva Lalide' concurrente

La valide' predictiva indica la efectividad del I8 en un resultado futuro. (ara esto se comparan las calificaciones del I8 con una medida directa de la e5ecucin posterior de los su5etos llamado =criterio=. ) manera de e5emplo consideremos la si&uiente situacin: se 4uiere evaluar la valide' predictiva de los e-#menes de in&reso a la 8ducacin .$dica +uperior. +i el criterio a tener en cuenta es el %ndice acad$mico promedio al finali'ar la carrera, entonces la valide' predictiva de dic os e-#menes es alta en la medida en 4ue las calificaciones altas se correspondan con los %ndices acad$micos altos> " viceversa. 8n este caso el coeficiente de valide' predictiva es un coeficiente de correlacin lineal.

18

La valide' concurrente se refiere a la interrelacin del I8 " un criterio de medicin efectuado en el momento en 4ue se aplica el I8. 8n al&unos casos la valide' concurrente es meramente un sustituto de la valide' predictiva. No suele ser practica!le e-tender los procedimientos de validacin m#s all# del tiempo re4uerido para la valide' predictiva u o!tener una determinada muestra de preseleccin con fines de aplicacin del I8. (or tanto, como solucin de compromiso se aplica a un &rupo so!re el 4ue "a se tienen disponi!les los datos del criterio. La distancia l&ica entre la valide' predictiva " la concurrente no slo se !asa en el tiempo sino tam!i$n los o!5etivos de aplicacin del I8. La valide' concurrente es idnea para los instrumentos empleados en el dia&nstico de un estado e-istente " no para la prediccin de resultados futuros. (uesto 4ue siempre se dispone del criterio de valide' concurrente en el momento de aplicar el I8, ca!r%a pre&untar cu#l es la funcin 4ue $ste cumple en tales situaciones. Dic os instrumentos proporcionan !#sicamente un sustituto m#s sencillo, m#s r#pido o menos caro de los datos del criterio. +i, por e5emplo, el criterio consiste en la o!servacin continua de un paciente durante un per%odo de ospitali'acin de dos semanas, un instrumento 4ue separe los casos normales de los patol&icos " de los dudosos reducir%a aprecia!lemente el n6mero de personas 4ue re4uieren tan e-tensa o!servacin. c3 Lalide' de construccin

Los estudios de valide' de construccin de un I8 se reali'an cuando no se dispone de una medida directa del atri!uto a medir, de tal manera 4ue a" 4ue sustituirlo por un modelo ipot$tico. +on e5emplos de tales atri!utos " la inteli&encia, la creatividad, la competencia cl%nica, etc.

19

Los estudios de valide' de construccin, puesto 4ue fi5an la atencin en una cualidad 4ue re4uiere un alto &rado de ela!oracin terica, re4uiere la acumulacin &radual de informacin procedente de diferentes fuentes. Cual4uier informacin 4ue arro5e lu' so!re la naturale'a del atri!uto 4ue se est# estudiando " de las condiciones 4ue afectan a su desarrollo " manifestaciones, tiene utilidad para este tipo de valide'. Los procedimientos estad%sticos 4ue normalmente se usan en los estudios de valide' de construccin se caracteri'an por tener cierto nivel matem#tico de comple5idad ", por tanto, no los desarrollaremos. Nos limitaremos, pues, a acer slo mencin de los procedimientos 4ue usualmente se aplican en las investi&aciones, ellos son los si&uientes: : : : : Diferenciacin entre &rupos Lalide' discriminante .$todo matricial de ras&os m6ltiples )n#lisis factorial.

85emplo. +e a ela!orado un I8 para medir la competencia cl%nica en materia de ipertensin arterial " el mismo contiene pre&untas relativas a: factores de ries&o, antecedentes patol&icos personales, tratamiento, se&uimiento, re a!ilitacin, secuelas " epidemiolo&%a de esta enfermedad. (ara estudiar la valide' de construccin de este instrumento se decide aplicar el m$todo de diferenciacin entre &rupos. (ara este fin se seleccionan dos &rupos de personas 4ue en principio difieran nota!lemente en cuanto al nivel de competencia cl%nica, estos son: un &rupo de estudiantes del Tuinto )9o de la carrera de .edicina " un &rupo de residentes del

20

Tercer )9o de la especialidad de .7I. +e supone 4ue este I8 tiene valide' de construccin en la medida en 4ue e-ista una marcada diferencia entre las calificaciones de cada &rupo.

R8@8R8NCI)+ AIALIO7R)@IC)+. 1. 7uil!ert V V. 7u%a (eda&&ica. 7ine!ra Or&ani'acin .undial de la +alud. Reimpreso por la Or&ani'acin (anamericana de la +alud. 1122. 0. Cron!ac L V. @undamentos de la 8-ploracin (sicol&ica. 8dicin Revolucionaria. Instituto Cu!ano del Li!ro. La *a!ana. 11DE. ?. )rmor D V. T eta relia!ilit" and factor scalin&. In Costner *C. ,ed3, +ociolo&ical .et odolo&" 112?:112/, pp 12:BH. Vosse" :Aass, +an @rancisco. /. *eise D R, Aor rnstedt 7 S. Lalidit", invalidit" and realia!ililt". In Aor&atta @ and Aor nstedt 7 S ,eds3. +ociolo&ical .et odolo&" 112H pp 1H/:01. Vosse":Aass, +an @rancisco. B. Aentler ( .. )lp a:ma-imi'ed factor anal"sis ,alp ama-3 (s"c ometriMa 11DE> ??: ??B: /B. D. CrocMer L, )l&ina V. Introduction to Classic and .odern Test T eor". Universit" of @lorida. U+). 11DE.

21

2. Cron!ac L V. Coefficient alp a and t e internal structure of a test. (s"c ometriMa 11B1 1D: 012:??/. E. )nastasi, ). Test (sicol&icos. 8dicin Revolucionaria. Instituto del Li!ro. La *a!ana. 112H. 1. Seiner 8 a, +teRart A V. )ssessin& individuals. Litte AroRn, Aoston. 11E/. 1H. *andfield:Vones R, Aelle V, Aie n, Rains!err" (, ArailovsM" C). Certification 8-amination of t e Colle&e of @amil" ( "sician of Canada. mana&ement pro!lems. Can @am ( "sician 111D>/0,23:1?B?:1?D1. 11. Aelle V, *andfield:Vones R, Rainslerr" (, ArailovsM" C). Certifiation 8-amination of t e Colle&e of @amil" ( "sician of Canada. (art /. +imulated Office Orals. Can @am ( "sician 111D: /0,E3: 1B?1 : 1B/E. 10. Lescop V, 7rans .aison (, ArailovsM" C). Lar&e +cale multicenter O+C8 used for provincial licensure. In: *arden R., *art IR, .al oland * ,eds3. )pproac es to t e )ssessment of Clinical Competence. NorRic : (a&e Arot ers, 1110: B/:B2 1?. 7ran .aison (, Lescop V, Rains!err" (, ArailovsM" C). Lar&e scale use of an o!5etive, structured clinical e-amination for licensin& famil" p "sicians. Can .ed )ssoc V 1110> 1/D,1H3: 12?B:12/H. 1/. ArailovsM" C), 7rand .aison (, Lescop V. +tructured Clinical 8-amination for Licensure. ) Lar&e:scale .ulticenter O!5etive )cademic .edicine Rim +upplement. (art ?. + ort:ansRer

D2,1H3. Octo!er +upplement. 1110> D2,1H:B?2:B?1. 1B. Lan der Lleuten C(., +Ranson DA. )ssessment of clinical +Mills Rit standari'ed patients: state of t e art. Teac Learn .ed 111H> 0: BE:2D. 1D. (retusa 8R, AlacMRell T), )insRot .). Rea!ilit" and validit" of an o!5etive

22

+tructured Clinical 8-aminaton for )ssessin& t e Clinical (erfomance of Residents. )rc Intern .ed. 111H> 1BH:B2?:B22. 12. +alas (erea R+. 8ducacin en +alud, Competencia " Desempe9o (rofesionales. La *a!ana: 8ditorial Ciencias .$dicas ,en imprenta3. 1E. DI. )ssessin& clinical competence at t e under&raduate level. Dundee: )ssociation for t e +tud" of .edical 8ducation, 1110. AooMlet No. 0B. 11. *andfiel:Vones R> *ollein& Sort 7. Cf(CWs Certification 8-amination. )n OvervieR. Can @am ( "sician 111H> ?D: 0HD1:2/. 0H. Cane .T. T e assessment of (rofessional Competence. 8valuation X t e *ealt (rofessions 1110> 1B,03: 1D?:1E0.

23