Revista médica de Chile Servicios Personalizados

versión impresa ISSN 0034-9887

Articulo
Rev. méd. Chile v.128 n.9 Santiago set. 2000
Articulo en XML
http://dx.doi.org/10.4067/S0034-98872000000900013
Referencias del artículo
Hacia un nuevo instrumento de
Como citar este artículo
evaluación en la carrera de
Medicina. Uso del método OSCE Traducción automática

Indicadores
Objective Structured Clinical Citado por SciELO
Examination for the evaluation Accesos
of medical students Links relacionados

Marco Bustamante Z, Carlos Carvajal H, Beatriz Gottlieb B, Compartir

Juan E Contreras P, Mario Uribe M, Ernesto Melkonian T,
Patricio Cárdenas S, Aracelis Amadori G, Juan A Parra G. Otros

Otros
Background: Objective structured clinical examination has advantages over
traditional oral examinationt of medical student. However, it is not routinely Permalink
used in Chile. Aim: To describe the objective structured clinical examination
system and report the results of its first use with Chilean medical students.
Material and methods: Thirteen interns ware evaluated at the end of their surgical rotation, using the objective
structured clinical examination. Thirteen stations were structured for this examination: one for history taking, two
for physical examination, four for problem solving and knowledge, one for radiological interpretation, one for
instrumental recognition, one for skills and one for text comprehension. There were a total of 88 questions.
Results: All students exceeded 60% of requirements. Mean approval score was 73%. The higher score was 80%
and the lower 61%. Ten students had a score over 70%. The method was well accepted by teachers and students.
Conclusions: This first local experience with the objective structured clinical examination was successful (Rev Méd
Chile 2000; 128: 1039-44).
(Key-words: Education, medical, undergraduate; Internship).

Recibido el 10 de agosto, 1999. Aceptado en versión corregida el 2 de marzo, 2000.

Departamento de Cirugía. Campus Oriente. Facultad de Medicina. Universidad de Chile.
Oficina de Educación Médica. Facultad de Medicina. Universidad de Chile. Santiago de Chile.

Si bien la adquisición de habilidades y destrezas son un requisito central durante los estudios de Medicina, su
evaluación es dependiente de métodos que son susceptibles de mejorar. En nuestro país las interrogaciones orales
son habitualmente las metodologías destinadas a la evaluación de estas capacidades. Sin embargo, este tipo de
exámenes han sido objeto de una serie de críticas, debidas a su subjetividad y a su falta de estructuración1-4. Se
ha señalado, además, que habilidades y destrezas son rara vez observadas durante las interrogaciones orales5.

El método OSCE (Objective Structured Clinical Examination) fue concebido para medir habilidades y destrezas y ha
conseguido una importante aceptación en los lugares que se ha implementado6-10.

Los autores hemos recibido entrenamiento práctico en su aplicación, en talleres impartidos por la Oficina de
Educación Médica de la Facultad de Medicina de la Universidad de Chile.

Nuestro propósito es usar este examen en forma rutinaria en los alumnos de pregrado en nuestro Departamento.
Para este efecto se llevó a cabo una experiencia piloto en un grupo de internos que acababan de finalizar su
rotación por Cirugía.

El objetivo de esta comunicación es la descripción del examen y el análisis de esta experiencia inicial.

MATERIAL Y MÉTODO

El método OSCE consiste en una evaluación de competencias clínicas, en la cual todo el curso es evaluado en
forma simultánea. Para ello, cada alumno, debe efectuar una rotación por distintas estaciones, en las cuales es
sometido a una actividad especifica, cuya resolución demora un tiempo breve, habitualmente 5 min. Una vez
finalizado el tiempo, el alumno debe pasar a la estación siguiente y su lugar es ocupado por el alumno que viene de
las estaciones precedentes. Las estaciones tienen la misma duración, de tal manera que la rotación es simultánea y
continua.

La evaluación de cada estación se efectúa en el mismo momento, con la aplicación por parte del docente de una
hoja de registro del tipo pauta de cotejo, la que está previamente diseñada, y que es común para todos los
alumnos.

El recinto utilizado fue el policlínico de especialidades quirúrgicas, el que cuenta con un número suficiente de
oficinas. Se contó con la participación de Enfermeras y Técnicos Paramédicos quienes actuaron como pacientes
simulados.

Las competencias evaluadas fueron: anamnesis, examen físico, resolución de problemas, interpretación de
radiografías, comunicación, educación en salud, reconocimiento de instrumental quirúrgico, habilidades, destrezas
y comprensión de publicaciones del área quirúrgica (Tabla 1).

Instrucciones al alumno: El alumno en cada estación recibió por escrito una instrucción breve de la competencia a
desarrollar. Por ejemplo, la transcripción de la Estación 6 dice: "La Sra. Valeria Saavedra, de 47 años, con
antecedentes de asma bronquial severa debe someterse a reparación de hernia crural. Ella está muy preocupada
porque su operación se hará con anestesia raquídea. Ud. deberá explicarle el procedimiento y contestar las
preguntas que la paciente le formulará".

Instrucciones al paciente simulado: En los casos que se requirió un paciente simulado, éste fue entrenado
previamente por el docente a cargo de la estación. Para ello se usó una pauta prediseñada. El paciente simulado
debió ser capaz de reproducir la pauta utilizando la forma habitual de comunicación que usan los pacientes reales.
En la estación 6 se usó la siguiente pauta: "Ud. se muestra preocupada y le hace las siguientes preguntas al
doctor: a) Que le explique la secuencia del procedimiento b) Que tiene aprensiones por ser operada vigil. c)
Exprese su temor por la cefalea post raquídea. d) Las ventajas de la anestesia raquídea. e) Si va a quedar con
parálisis. f) Cuanto tiempo va a durar el efecto de la anestesia.

Pauta de evaluación: Cada estación cuenta con una pauta de evaluación. En cada una de ellas se consignaron un
número variable de ítems. La siguiente es la pauta de evaluación de la estación 6. El alumno explica: posición de la
paciente, sitio de punción, tipo de agente anestésico, efecto anestésico, duración del efecto, es posible ser operada
vigil, es posible dar hipnótico, uso de trocares finos y morbilidad por LCFA. Esto se califica como: satisfactorio,
intentado no satisfactorio, no intentado.

RESULTADOS

Se examinaron 13 internos que terminaron su rotación en Cirugía. La duración del examen fue 70 min.

Número de preguntas: El número total de preguntas fue 88. El número de preguntas fue distinto en las estaciones.
La mayor parte de las estaciones tuvieron entre 5 y 10 preguntas. (Tabla 2).

Aprobación de las estaciones: Para fines del cómputo del rendimiento, a todos los ítems se les asignó un valor
similar. En las respuestas calificadas como intentado no satisfactorio se consideraron en 50% como correctas y en
el 50% como incorrectas. El porcentaje de aprobación de las estaciones osciló entre 66 y 100 %. (Tabla 3).

Rendimiento general: Todos superaron el 60% de rendimiento. El rendimiento promedio fue de 73%. La mayor
parte de los alumnos tuvo un rendimiento sobre el 70% (Tabla 4)

Rendimiento individual: El rendimiento por alumno osciló entre un puntaje máximo de 80% a un mínimo de 61%.
La mediana fue de 76% (Tabla 5).

DISCUSIÓN

En la carrera de Medicina, la evaluación en el área clínica está constituida por medición de conocimientos teóricos y
de habilidades y destrezas. Ambos componentes con ponderación diferente en la nota final. De acuerdo al
reglamento, conocimientos teóricos son valorados con 30% de la nota final, mientras que habilidades y destrezas
con 70%11. La metodología de evaluación de las últimas ha sido tradicionalmente las interrogaciones orales.

Las interrogaciones orales tienen ventajas y limitaciones. Entre las primeras hay que destacar que además de ser
útiles para evaluar el dominio cognoscitivo, dan la posibilidad de verificar procesos de pensamiento seguidos en la
solución de problemas y habilidades adquiridas para la comunicación oral12. Esta afirmación es apoyada por
Zelenock13, quien en análisis de exámenes orales en Cirugía concluye que estas evaluaciones son suficientemente
amplias y profundas, que los docentes mejoran su apreciación del rendimiento global, evalúan la capacidad de los
alumnos de pensar por sí mismos, son una valiosa experiencia de aprendizaje, fomentando la interacción docente
alumno, lo que justifica el esfuerzo y tiempo invertidos en ellas.

Por otra parte, las limitaciones más serias de este tipo de pruebas es su baja confiabilidad, lo que se debe
principalmente a: I) El bajo número de preguntas que incluyen, lo cual permite una fuerte influencia del azar, y II)
La subjetividad del examinador, que siempre está presente en la valoración de la respuesta12.

En este sentido se han hecho experiencias en las que se comparan los resultados otorgados por docentes
independientes en un mismo alumno, y el grado de discordancia encontrado impide calificar estos exámenes como
objetivos14. También se han publicado experiencias en las que diferentes docentes analizan exámenes orales
videograbados y se han encontrado discordancias incluso en el criterio de aprobación o reprobación15.

El hecho que hay docentes que sistemáticamente califican con los puntajes más altos, y que los exámenes orales
en medicina se reducirían a medir la capacidad de recordar fragmentos aislados de información bajo una situación
de estrés, han conducido algunos autores a señalar que los exámenes orales tradicionales en la carrera de Medicina
sólo son adecuados para definir un resultado desde el punto de vista de aprobación o reprobación1,2,16.

Como una manera de implementar un instrumento de evaluación de mayor validez se decidió aplicar el método
OSCE, descrito por Harden en 197517. A partir de su descripción, su uso se ha extendido, en la medida que se ha
comprobado que su validez ha sido superior a la de los exámenes orales tradicionales. Schwartz18 compara las
evaluaciones tradicionales con el examen nacional de Cirugía (ABSITE) y con OSCE, concluyendo que los primeros
detectan, sólo 5% de rendimiento insuficiente, en cambio, ABSITE y OSCE detectan 41% y 36% de alumnos con
rendimiento insuficiente. Sloan9 comprueba la utilidad del método en residentes de Cirugía y registra una
confiabilidad de 0,82, cifra que es considerada muy buena. Dos años más tarde el mismo autor comunica una
confiabilidad de 0,9119.

En Canadá, tras una experiencia piloto efectuado en 1991, el OSCE se ha venido utilizando para otorgar la licencia
para el ejercicio legal de la profesión21,22. En breve, el método se caracteriza por ser clínico: mide competencias
clásicas como anamnesis y examen físico. También da la posibilidad de medir otras habilidades que habitualmente
no son valoradas con los exámenes orales tradicionales. En nuestro examen se evaluó el conocimiento de
instrumental quirúrgico, la capacidad de comprensión de un texto de una revista científica y una interpretación
radiológica.

Las destrezas fueron medidas en la estación de paro cardíaco.

Otra ventaja del examen es la posibilidad de apreciar el comportamiento ético y actitudinal del estudiante, definido
en el Documento de la Facultad de Medicina22. Para evaluar estos atributos se diseñaron las estaciones 6 y 10 en
las que se midió la capacidad de comunicación en situaciones en las que se debe reconocer los derechos de los
pacientes, en especial el de la confidencialidad y consentimiento informado. En la pauta de evaluación de estas
estaciones se midió la capacidad de aproximación, manejo empático, relación de ayuda y comunicación efectiva.

La medición de todas las competencias descritas dan la posibilidad de formarse un perfil del estudiante, ya que
quedarán en evidencia las fortalezas que éste ha adquirido en el manejo integral de los pacientes. Así, por ejemplo
un alumno puede tener una gran cantidad de conocimientos, pero una deficiente capacidad de aplicarlos12. Se
puede señalar, como observa Harden, que se mide no sólo el producto, sino también el proceso23.

Estructurado: Para su aplicación se requiere un equipo docente que trabaje en la preparación del nivel de los
contenidos que se va a exigir. Además se deberá disponer de un número de estaciones adecuado, el cual debe
variar entre 10 y 20. De acuerdo a Selby, para examen de pregrado, el número adecuado es entre 10 y 15
estaciones de 6 min de duración cada una24.

Dentro de la estructuración deben afinarse una serie de otros aspectos: recinto adecuado donde los alumnos
tengan facilidad de movilizarse entre las estaciones, instructivos escritos para los alumnos, hojas de evaluación
para los docentes y preparación de los pacientes simulados. Sólo la atención de todos estos detalles logrará
conseguir todos los objetivos del certamen.

Objetivo: La objetividad esta garantizada por las siguientes situaciones:

- Los alumnos enfrentan un problema con complejidad idéntica para todos ellos.

- El criterio de evaluación es similar para todos, debido a la nula influencia del docente, quien se limita a
observar y registrar si la competencia fue cumplida o no.

Dentro de otros aspectos de interés está el número total de preguntas, lo que asegura una amplitud adecuada del
examen. También es destacable que las estaciones destinadas a medir habilidades poco habituales de ser
evaluadas, como la comunicación con pacientes, comprensión de texto, y la educación en salud obtuvieron
calificaciones de 70% o más, lo que revela una adecuada formación en estas áreas.

En el examen se pudo comparar los conocimientos generales de paro cardíaco con las destrezas en el tema. En
este respecto queda claro que las habilidades para tratar el paro (66% de rendimiento) están considerablemente
por debajo de los conocimientos teóricos (98% de rendimiento) que los internos tienen sobre esta emergencia.

También queda claro que este examen otorga una caracterización bastante clara del nivel de rendimiento de los
internos, ya que existe un amplio rango de resultados. En este sentido es notoria la diferencia de 19% entre el
interno de mayor con respecto al de menor rendimiento.
De interés es la comparación de estos resultados con los obtenidos por los mismos internos con la evaluación
tradicional del Internado: en el rubro Hábitos y Actitudes, cuya metodología consiste en el llenado de una pauta
preestablecida en cada uno de 6 equipos por los que rota el interno, el menor rendimiento fue de 93% y el mayor
de 100%. En el rubro Habilidades y Destrezas, cuya metodología es similar a la anterior, el puntaje menor fue 92%
y el mayor 99%.

En los exámenes de Pregrado de Cirugía, evaluados por 2 docentes en días diferentes, el rendimiento inferior fue
del 90% y el superior de 96%.

Evaluación por parte de los internos: Una vez finalizado el examen los internos se reunieron con el equipo docente
y expresaron sus opiniones, las que fueron globalmente positivas, ya que señalaron haberse sentido satisfechos
por haber sido evaluados en forma objetiva y uniforme. Consideraron que los contenidos de las estaciones
efectivamente correspondían a situaciones vividas por ellos y estimaron que son las que continuarán ocurriendo en
su futuro.

CONCLUSIÓN

El OSCE ha demostrado que puede ser utilizado en nuestro medio como instrumento de evaluación,
constituyéndose en una alternativa válida para aquellas disciplinas en las cuales es preciso determinar habilidades
y destrezas en forma objetiva y uniforme. En esta experiencia contó con un alto grado de aceptación de docentes y
alumnos.

Correspondencia a: Dr. Marco Bustamante. Departamento Cirugía. Facultad de Medicina. Universidad de Chile. Av.
Salvador 364. Fax 2699178.

REFERENCIAS

1. Foster JT, Abrahamson S, Lass S, Girard R, Garris R. Analysis of an oral examination used in specialty board
certification. J Med Educ 1969; 44: 951-4. [ Links ]

2. McGuire CH. The oral examination as a measure of professional competence. J Med Educ 1966; 41:267-
74. [ Links ]

3. Yang JC, Laube DW. Improvement of reliability of an oral examination by a structured evaluation instruments.
Med Educ 1983; 58: 864-72. [ Links ]

4. Jayawickramarajah PT. Oral examinations in medical education. Med Educ 1985; 19: 290-3. [ Links ]

5. Stilmann PL, Swanson DB, Smee S. Assessing clinical skills of residents with standarized patients. Ann Int Med.
1986; 105: 762-71. [ Links ]

6. Cuschieri A, Gleeson FA., Harden M, Wood R. A new approach to a final examination in surgery. Ann Royal Coll
Surg England 1979; 61: 400-5 [ Links ]

7. Petrusa ER, Blackwell TA, Ainsworth MA. Reliability and validity of an objective structured clinical examination for
assesing the clinical performance of residents. Arch Intern Med 1990; 150: 572-7. [ Links ]

8. Cohen R, Reznick K, Taylor BR, Provan J, Rothman A. Reliability and validity of the structured clinical
examination in assesing surgical residents. Am J Surg 1990; 160: 302-5. [ Links ]

9. Sloan DA, Donnelly MB, Johnson SB, Schwartz RW, Strodel WE. Use of an Objective Structured Clinical
Examination (OSCE) to measure improvement in clinical competence during the surgical internship. Surgery 1993;
114: 343-50. [ Links ]

10. Joorabchi B. Objective structured clinical examination in a pediatric residency program. Am J Dis Child 1991;
145: 757-62. [ Links ]

11. Reglamento General de Estudios de las Carreras de la Facultad de Medicina conducentes a grado de Licenciado
y Titulo Profesional. Universidad de Chile. Agosto de 1997. [ Links ]

12. Monografia del Módulo: "Evaluación: fundamentos, tendencias e instrumentos" Diploma en Docencia en
Ciencias Biomédicas. Universidad de Chile. Facultad de Medicina. Oficina de Educación Medica. 1998 [ Links ]

13. Zelenock G, Calhoun J, Hockman E, Youmans LC, Erlandson EE, Davis WK, Turcotte JG. Oral examinations:
actual and perceived contributions to surgery clerkship performance. Surgery 1985; 97: 737-44. [ Links ]

14. Kelley PR, Matthews JH, Schumacher CF. Analysis ofthe oral examination ofthe American Board of
Anesthesiology. J Med Educ 1974; 51: 672-4. [ Links ]

15. McCormick WO. A practice oral examination rating scaleinterobserver reliability. Can J Psychiatry 1981; 26:
236-9. [ Links ]

16. Pokorny AD, Frazier SH. An evaluation of oral examinations. J Med Educ 1966; 41: 28-40. [ Links ]

17. Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective
structured examination. Br Med J 1975; 1: 447-51. [ Links ]

18. Schwartz RW, Donnelly MB, Sloan DA, Johmson SB, Strodel WE. The relantionship between faculty ward
evaluations, OSCE, and ABSITE as measures of surgical intern performance. Am J Surg 1995; 196: 414-
7. [ Links ]

19. Sloan D, Donnelly M, Schwartz R, Strodel W. The Objective Structured Clinical Examination. The New Gold
Standard for Evaluating Postgraduate. Ann Surg. 1995; 222: 735-42. [ Links ]

20. Reznick RK, Blackmore D, Cohen R. et al. An objective structured clinical examination for the licenciate of the
medical council of Canada: from research to reality. Acad Med 1993; 68: S4-S6. [ Links ]

21. Reznick RK, Smee S. Rothman A et al. An objective structured clinical examination for the licenciate: report of
the Medical Council of Canada. Acad Med 1992; 67: 487-494. [ Links ]

22. Perfil Profesional Médico Cirujano. Universidad de Chile. Facultad de Medicina. Agosto 1998. [ Links ]

23. Harden RM. ¿What is an OSCE?. Medical Teacher 1988; 10: 19-22. [ Links ]

24. Selby C, Osman L, Davies M, Lee M. How to do it. Set up and run an objective structured clinical exam. Br Med
J 1995; 310: 1187-90. [ Links ]

Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons

Bernarda Morín 488, Providencia,

Casilla 168, Correo 55
Santiago - Chile

Tel.: (56-2) 2753 5520

revmedchile@smschile.cl