Professional Documents
Culture Documents
En: Educative Assessment. Designing Assessments to Inform and Improve Student Performance.
San Franciso. Jossey-Bass.
Selección y traducción del capítulo 3, realizada en el Instituto de Evaluación Educativa por Jennifer
Viñas y Pedro Ravela.
Capítulo 3
Brindando devolución continua
En otras palabras, la devolución no es algo meramente útil. Es una parte esencial de un proceso de
aprendizaje completo. Tal como lo describió William James hace cien años, “recibimos datos
sensibles de nuestra acción y sus resultados. Oímos las palabras que hemos hablado, sentimos
nuestro propio golpe mientras lo damos, leemos en los ojos del espectador el éxito o fracaso de
nuestra conducta. Esta ola que retorna hacia nosotros… pertenece a la plenitud de la experiencia
completa”. Este énfasis en la “experiencia completa” es significativo porque buena parte de la
experiencia intelectual de los estudiantes es, desafortunadamente, fragmentaria. Esencialmente, el
trabajo constante en ejercicios aislados y en pruebas sin devolución simultánea significa que, en la
experiencia escolar de los estudiantes, sus respuestas se producen en forma desconectadas de los
efectos reales, causas y propósitos. Es por esta razón que la “terapia de la realidad” de la evaluación
auténticamente contextualizada no es ningún lujo. Uno no puede mejorar o aprender a mejorar a
menos que sepa cómo le está yendo en su desempeño.
Esto puede parecer de sentido común, pero en las formas tradicionales de evaluar en las escuelas,
todavía es revolucionaria la idea de brindar al estudiante una devolución auto-evidente mientras
está siendo examinado o como una etapa en una evaluación de varias partes que requiere que el
estudiante utilice la devolución. Sin duda, en muchas instancias esto sería considerado como hacer
trampa o como algo que invalida los resultados. De la misma manera, es considerado revolucionario
dar a conocer de antemano a los estudiantes las tareas y criterios con los que su trabajo será
evaluado. Pero si nos atenemos a la premisa base de que la evaluación debe mejorar el desempeño,
no solo calificarlo, es necesario que la evaluación encarne y demande el auto-ajuste basado en una
buena devolución. Para plantearlo con más fuerza, no podemos saber si los estudiantes son
competentes a menos y hasta que los veamos responder a efectos y resultados.
En el Capítulo 1 les pedí que imaginaran cómo sería obtener una licencia de conducir, tocar en una
competencia de bandas y ser evaluado como profesor, si las pruebas para ello fuesen diseñadas
como la mayoría de las pruebas escolares. He aquí una analogía similar, que ilustra lo disfuncional
que es para el aprendizaje del estudiante nuestro sistema actual de evaluación, divorciado de la
devolución. Imaginen que la temporada de basketball de la escuela consistiera en un juego, jugado
el último día del año, y que los jugadores no supieran cuál de los cientos de juegos que han
aprendido será evaluado. Más aún, imaginen que este juego no es el basketball tal como lo juegan
los adultos, ni es el basketball como lo ven los entrenadores y jugadores profesionales, sino que
consiste de una serie de ejercicios (una selección diferente de movimientos y jugadas aisladas cada
año) inventados por expertos y válidos para ellos. Imaginen un sistema de puntajes que, por tanto,
sólo pueden comprender completamente los evaluadores, no los estudiantes jugadores ni sus
entrenadores. Finalmente, imaginen que los estudiantes no se enteran hasta varias semanas
después, cuáles de las jugadas (de estas realizadas fuera del contexto de un partido y desvinculadas
del lanzamiento de pelotas al cesto), han sido juzgadas como exitosas. ¿Quién mejoraría su juego
bajo estas condiciones? ¿Quién entendería el juego y su propio rol con este tipo de evaluación?
Pues bien, esta es la manera en que habitualmente evaluamos. La supuesta devolución que brinda
no puede ser descifrada o utilizada por los jugadores y entrenadores para llevar a cabo un
desempeño o una mejora real.
Para captar cuan debilitante puede ser este tipo de sistema desde el punto de vista de los
aprendices, consideren los comentarios de recientes examinados que experimentaron la última
innovación en los exámenes a gran escala: el llamado sistema adaptativo de evaluación por
computadora. Parecería que un examen que adapta sus preguntas a tus repuestas, para establecer
mejor el nivel de dificultad y complejidad que puedes lograr, sería bienvenido. Sin embargo, no es
así, al menos en lo que concierne al examinado, dada la completa ausencia de devolución dirigida
al usuario en este tipo de exámenes:
En la pantalla aparece una sola pregunta por vez y los examinados deben responderla para
poder seguir adelante. Esto significa que no puedes recorrer explorando distintas preguntas
o volver atrás a cambiar una respuesta…
Es un sistema que no puede ayudar, sino poner nerviosos a los examinados. Es casi imposible
saber si te está yendo bien, y pueden ocurrir sorpresas desagradables. Edie Sagenkahn, una
enfermera de 30 años en el Johns Hopkins University Hospital en Baltimore, recuerda su
pánico cuando, sin llegar siquiera a un tercio de las 265 preguntas en un examen para
obtener su licencia, se le cortó la comunicación.
¿Cuál es, entonces, la lección involuntaria de las pruebas escolares?: responde, ten esperanza y
sigue adelante –una visión antitética a la del trabajo de calidad-. ¿Cómo puede el estudiante
aprender a mejorar y querer mejorar, si la evaluación se lo permite? Ni que hablar del absurdo
mayor aún, constituido por la devolución de resultados de exámenes y pruebas luego de terminado
el año escolar y los cursos. Cuando la evaluación formal es vista como lo que uno hace después de
que termina la etapa de enseñar y aprender, aún cuando las tareas de evaluación sean auténticas,
la batalla por la excelencia está perdida.
....
¿Qué es la devolución?
No llegaremos muy lejos en la reforma de la evaluación sin no nos damos de que muchos
educadores actúan como si no entendieran lo que es la devolución. Si tuviera que resumir lo que he
visto en la última década en todo tipo de escuelas (públicas y privadas; de primaria, secundaria y
universitarias; con y sin programas de exámenes estatales), debería reportar que muchos
educadores parecen creer que la devolución significa brindar a los estudiantes mucha aprobación y
un poco de desaprobación y consejo. En los salones de clase, la expresión más frecuente de la mal
llamada devolución es: “¡buen trabajo!”, “te felicito” o una frase equivalente. Por supuesto, es
importante elogiar a los estudiantes porque los satisface y los anima. Los elogios te mantienen en
el juego; pero sólo la devolución real te ayuda a mejorar. La devolución te dice lo que hiciste y lo
que no, y te permite realizar auto-ajustes. Por tanto, cuanto más auto-evidente sea la devolución,
mayor será la autonomía que desarrollará el estudiante, y vice-versa.
La devolución es información sobre como una persona se desempeñó, a la luz de lo que intentó
hacer – intento contra efecto, desempeño real contra desempeño ideal-. En el lenguaje más formal
de la teoría de los sistemas, la devolución es evidencia que confirma o no si las acciones han sido
correctas. Hechos acerca del desempeño del estudiante le son devueltos a él o ella sin el agregado
(o, lo que es peor, la sustitución) de una visión adulta acerca del valor de dicho desempeño.
Todos necesitamos este tipo de percepciones y descripciones de nuestro trabajo basadas en los
resultados a lograr, aún cuando los resultados finales sean obvios. A medida que la descripción de
lo que hicimos nos es devuelta (o a un entrenador que nos la traduce), llegamos a comprender mejor
lo que hicimos y lo que no, así como qué necesitamos hacer más y menos para lograr el resultado
deseado la próxima vez. Podemos utilizar esta información para acortar la distancia entre nuestro
intento y el efecto que produjimos.
....
Pero incluso con sistemas de evaluación mejor diseñados, los educadores a menudo argumentan
que no hay tiempo para hacer el tipo de evaluación que proponemos aquí. Me temo que estos
educadores han perdido de vista sus propósitos educativos. La meta no es enseñar y esperar que
resulte; es lograr que los estudiantes aprendan, así como cualquier entrenador lo haría. Repetidos
intentos de enseñar con buenos modelos como ejemplos concretos de desempeños a alcanzar, con
devolución descriptiva y con acompañamiento orientado a los objetivos, esto es lo que puede
generar excelencia. Parece claro que una dosis interminable de contenidos aislados, sin importar
cuán rigurosos sean, no producirá por sí misma los resultados educativos esperados. ¿Cómo,
entonces, puede no haber tiempo para brindar y utilizar buenas devoluciones? Es como decir que
no hay tiempo para brindar devolución al trompetista porque hay demasiado para enseñar sobre
música y trompetas.
En lugar de pensar la evaluación como una prueba (y los estudiantes como el sujeto de esa prueba),
deberíamos pensar la evaluación como una actividad dirigida a lograr que los estudiantes utilicen
nuestros diseños y modelos para producir trabajo de alta calidad. Por tanto, podríamos pensar la
evaluación como un software que permite a los estudiantes dominar “programas” de desempeño
complejo. Esta visión diluye los límites entre la enseñanza y la evaluación de una manera útil, porque
nos ayuda a ver que registrar el progreso de los estudiantes en relación a las metas y usar dicho
conocimiento para mejorar su desempeño es, al mismo tiempo, lo que queremos enseñar y lo que
queremos evaluar.
Consideren el siguiente ejemplo de un sistema que alienta y evalúa la auto-corrección por parte del
estudiante. En su curso de soldadura, Ralph trabaja con 30 estudiantes a la vez y utiliza un sistema
de devolución muy efectivo, que no requiere ninguna intervención del adulto. La primera tarea es
muy concreta. Cada estudiante debe producir un ángulo de metal de 90 grados, siguiendo las
especificaciones de la industria. Los estándares para esta soldadura están escritos en un papel, pero
el sistema de devolución involucra algo más. Ralph le dice a los estudiantes que cuando crean que
su soldadura cumple con los estándares deberán llevarla a una mesa, tomar un marcador y escribir
su nombre en ella. Al hacer esto, los estudiantes están diciendo, primero, que entienden los
estándares, y segundo, que creen que su trabajo cumple con ellos. Hay una trampa, sin embargo.
Sobre la mesa hay ángulos realizados en años anteriores, en un rango de excelentes a horribles. Los
estudiantes rutinariamente se acercan a la mesa pensando que han terminado la tarea, pero cuando
ven los demás ángulos, lo piensan dos veces antes de escribir su nombre en el que ellos hicieron. Yo
pude observar cómo uno de los chicos miraba a su alrededor para ver si Ralph lo estaba mirando,
antes de escurrirse hasta su estación de trabajo para rehacer su trabajo. Este es un sistema que,
como todo buen sistema de devolución, funciona sobre la base de activar la capacidad que toda
persona tiene para auto-evaluarse y auto-ajustarse cuando recibe una devolución clara y ve
estándares claros.
Lo que un estudiante considera aceptable para una soldadura, un ensayo escrito o una actuación
musical, puede parecerle inadecuado una vez que el estudiante ve el trabajo a través del ojo u oído
de un juez y en referencia a estándares y criterios entendibles. Y siempre que la devolución sea
oportuna, esta es bienvenida y no temida, porque les dice a tiempo (antes de que sea demasiado
tarde para cambiar su trabajo) y sin ambigüedades, que es poco probable que su intento sea exitoso
a menos que le introduzcan cambios.
La devolución no es orientación
He aquí una ilustración sobre lo que es la devolución –y cómo se diferencia del estímulo o la crítica,
cómo no es orientación y por qué tanto la devolución como la orientación son esenciales para
generar buen desempeño y autonomía.
Mi hijo Justin tenía cuatro años y siete meses de edad cuando escribió su nombre por primera vez
sin que lo indujéramos a ello. Lo hizo así:
Hacía unas pocas semanas que había descubierto su capacidad de control sobre el lápiz y las
diferencias entre las letras que podía producir al escribir, así que, como muchos chicos, practicó
escribir su propio nombre. Estábamos sentados en la mesa y él estaba trabajando mientras yo
también lo hacía. Cuando terminó, me miró. Afortunadamente yo había visto de reojo en lo que
andaba y tuve tiempo para considerar mi respuesta.
“Eso es realmente interesante, Justin.” (Dije esto con entusiasmo, pero él quedó
desconcertado con la palabra interesante). “¿Qué dice?”
En otra hoja de papel escribí N y H como grandes letras mayúsculas y luego las puse debajo
de donde él había escrito su nombre.
Larga pausa. Frente arrugada. “¡Pero no es lo que yo quería!” exclamó él, mirando su N.
Esto es devolución: sin elogios, sin culpas; solamente evidencia que pide a quien está aprendiendo,
que compare su intento contra el efecto logrado, evidencia que habla acerca de lo que lo realizado
es o no es. La devolución es un hecho visible, no un juicio valorativo. Justin pudo ver por sí mismo,
una vez que se le mostró un modelo, que su N estaba menos bien definida de lo que él se había
propuesto. Noten también que estamos hablando trata de su intento, no del mío. Ningún adulto
estaba imponiéndole una tarea. La devolución hace que quienes están aprendiendo intenten
mejorar, porque se vincula con su intento de lograr algo específico. Justin pretendía lograr una N
bien escrita. Lo que escribió se parecía más a una H. Se le brindó una devolución oportuna que le
permitió comparar una H y una N bien escritas y esto lo ayudó a descubrir que no había logrado lo
que pretendía. Sin esta devolución, podría haber pasado mucho más tiempo antes de que viera que
debía tener más cuidado al escribir. Ninguna orientación manifiesta fue brindada en este caso y,
ciertamente, ninguna desaprobación en mis palabras o tono: no le dije a Justin qué hacer con la
devolución y no hice ningún juicio de valor explícito. Sólo le proporcioné la devolución, esto es,
provoqué que él prestara atención a la distancia entre su intento y el efecto real de sus esfuerzos.
Es más, cuando la devolución es específica y se relaciona con lo que el estudiante intenta lograr,
éste no siente enojo, miedo, ni pérdida de la auto-estima. Los estudiantes de todas las edades
desean este tipo de devolución porque se los pone en posición de reconocer lo que han hecho y los
fortalece para decidir qué hacer, a la luz de sus propios objetivos. Los estudiantes pueden aceptar
hasta la más cruda y difícil devolución, si se le quita todo lo subjetivo y culpabilizador que llevan
consigo los juicios de valor, y si la devolución se formula en términos de los objetivos del estudiante.
¿Por qué? Porque el docente está tomándose el tiempo para comprender y hacer observaciones
cuidadosas acerca de su trabajo y su intento (¡quizás incluso más de lo que ellos mismos lo
hicieron!).
La mayoría de los estudiantes nunca obtienen este tipo vital de devolución. Nosotros les decimos
demasiado rápidamente que una respuesta es correcta o incorrecta. O saltamos a dar consejos. O
detectamos un error, le escribimos una anotación en el margen y seguimos adelante. (Muchas veces
cuento la historia de Mike, un estudiante que esperó hasta el final del año para preguntarle a su
profesora qué quería decir con una palabra que ella siempre le escribía en sus trabajos –“vago”-.
Todas estas estrategias pasan por alto el momento vital del aprendizaje auténtico, el momento en
el que el estudiante ve su trabajo a través de los ojos de su asesor y comprende un error como un
error, de un tipo particular y con una causa. El momento en que el estudiante entiende por qué una
parte de su trabajo es un error, es algo completamente diferente del momento en que el estudiante
percibe que al docente no le gusta esa parte del trabajo. En el segundo caso, el docente entiende el
error pero el estudiante no. Para que los estudiantes puedan ver los errores como errores, debemos
confrontarlos con una devolución clara y pedirles constantemente que se auto-evalúen, como en el
caso de las soldaduras.
En el nivel primario, la técnica de análisis de errores en las evaluaciones de lectura, asume el poder
e importancia de la devolución continua (de ida y vuelta). En el análisis de errores hacemos explícitas
las estrategias e interpretaciones de los lectores, ayudándoles a ver dónde lo hicieron bien y dónde
no y por qué, así como a ver en qué casos un error es plausible y razonable y en cuáles no, de forma
que tanto el estudiante como el docente pueden entender mejor el desempeño en lectura. Pero
raramente hacemos este tipo de análisis de errores en los niveles superiores, en cualquier materia,
a pesar del poder que tiene para el estudiante, tal como se puede apreciar en la siguiente
descripción de cómo algunos estudiantes de matemática fueron enseñados a auto-evaluar su
trabajo, a través de análisis de errores luego de una prueba: “Luego de calificar las pruebas, se
solicitó a los estudiantes que evaluaran su propio desempeño… Cada estudiante debió entregar una
evaluación escrita de su desempeño en la prueba con correcciones de todos sus errores y con un
análisis global de su desempeño en la prueba… Dirigimos a nuestros estudiantes a prestar particular
atención a los tipos de errores que habían cometido… Debían intentar distinguir entre errores
conceptuales y errores de procedimiento”.
Los docentes encontraron este proceso extremadamente útil: “La auto-evaluación de los
estudiantes y el posterior diálogo entre estudiantes y docente fueron invalorables para proyectar
una imagen clara de lo que los estudiantes estaban pensando al cometer los errores”. Pero, además,
reportaron que la tarea resultó muy exigente para los estudiantes. En particular, los estudiantes
“tuvieron dificultades para ponderar la seriedad de un error” y parecían “tener dificultad para
asignar una calificación a su trabajo… Muchos tuvieron tendencia a hacer valer más el esfuerzo que
la calidad del trabajo logrado”.
........