Professional Documents
Culture Documents
Resumen
Palabras clave: Evaluacin del aprendizaje, educacin bsica, estado del conocimiento.
Martnez Rizo: Investigacin emprica sobre el impacto
Abstract
Key words: Performance based assessment, elementary education, state of the art.
I. Introduccin
La nocin de evaluacin formativa (EF) denota las acciones hechas para valorar el
avance de los alumnos en el desarrollo de conocimientos o competencias,
buscando aportar elementos al maestro y a los alumnos mismos para adecuar sus
esfuerzos para alcanzar las metas de aprendizaje establecidas, y no para emitir un
juicio definitivo al respecto. La nocin opuesta es la de evaluacin sumativa.
Bloom plantea el tema en trminos de lo que llama el problema de las dos sigmas,
en alusin al dato de que la diferencia entre los alumnos de alto y bajo rendimiento
suele situarse en el rango de dos desviaciones estndar; esto quiere decir que el
reto de reducir las brechas del rendimiento de manera significativa en un sistema
educativo consiste en mejorar el desempeo de los alumnos de menor
rendimiento en el equivalente a dos desviaciones estndar (dos sigmas).
Sin contar las relativas a resultados del modelo Mastery Learning, seguramente la
revisin de literatura que ms ha influido en las ideas sobre el efecto de la EF es la
que publicaron en 1998 Paul Black y Dylan Wiliam, en el nmero 1 de 1998 de la
revista Assessment in Education: principles, policy & practice. El artculo no es el
primero en ese sentido, puesto que revisa trabajos publicados antes, entre 1988 y
1997; sin embargo, la conclusin tan positiva a la que llega llam la atencin entre
los interesados en el tema, algunos de los cuales lo retomaron sin considerar sus
alcances y lmites, lo que posiblemente dio lugar a que se extendiera una visin
acrtica de la evaluacin formativa, en un medio que a veces parece vido de
soluciones milagrosas para los problemas que enfrenta.
Black y Wiliam tomaron como lnea de base las revisiones de Natriello (1987) y
Crooks (1988) y utilizaron otras revisiones (Black, 1993; Bangert-Drowns, Kulik,
Kulik y Morgan, 1991a y 1991b; Kulik, Kulik y Bangert-Drowns, 1990); consultaron
el ERIC (Education Resources Information Center), rastrearon referencias citadas
en las ya localizadas (snowball approach); e hicieron una bsqueda de artculos
en 76 revistas. De esta manera identificaron 681 publicaciones que parecan
relevantes a primera vista, que luego se redujeron a unas 250.
Varios estudios muestran evidencia firme de que las innovaciones que se disean
para reforzar la retroalimentacin frecuente que el alumno recibe sobre su
aprendizaje produce ganancias substanciales () (1998, p. 7)
La idea se retoma con fuerza similar al final del trabajo, donde los autores
responden la pregunta sobre las implicaciones para las polticas de sus hallazgos:
Los estudios seleccionados por Black y Wiliam para incluir en la primera seccin
de su trabajo, de ejemplos destacados, son ocho: 1) Un proyecto que involucr a
Black y Wiliam advierten sobre las limitaciones de los estudios revisados. Como
ejemplo, en relacin con una revisin sobre la efectividad de la retroalimentacin
(Kluger y De Nisi, 1996) sealan que, de ms de 3,000 reportes analizados, la
gran mayora debieron descartarse por fallas metodolgicas como falta de
controles adecuados, mezcla de efectos de la retroalimentacin con otros, nmero
reducido de sujetos (<10), ausencia de mediciones del rendimiento y datos
insuficientes para estimar el tamao del efecto. Solamente se conservaron 131
reportes que no presentaban las fallas anteriores (Black y Wiliam, 1998, p. 48)
La descripcin que hacen Black y Wiliam de los ocho ejemplos notables suscita
dudas en cuanto a la solidez de conclusiones tan contundentes como las citadas,
pues parece difcil llegar a ellas sin muchas salvedades, a partir de una gama
bastante reducida de trabajos diferentes, algunos de los cuales presentan claras
debilidades. Pese a ello, la heterogeneidad misma de los ejemplos es manejada
por los autores citados como argumento a favor de su punto de vista:
Sera deseable, y se podra esperar como lo habitual, que una revisin como sta
tratara de hacer un meta-anlisis de los estudios cuantitativos revisados. El que
esto difcilmente parezca posible lleva a reflexionar sobre este campo de
investigacin. Esta revisin aprovech material til de varios estudios basados en
meta-anlisis; stos, sin embargo, centraban la atencin en aspectos bastante
restringidos de la evaluacin formativa, por ejemplo la frecuencia con la que se
formulan preguntas. El valor de sus generalizaciones es tambin dudoso porque
se ignoran aspectos clave de los estudios sintetizados, por ejemplo la calidad de
las preguntas que se formulan, ya que la mayora de los investigadores no ofrecen
evidencias sobre estos puntos.
Pese a lo anterior, varias lecturas del texto al que se refieren estos comentarios
han retomado nicamente las conclusiones favorables, sin matiz alguno, e incluso
contradiciendo afirmaciones expresas, como en el caso siguiente:
Si bien la EF no es una solucin mgica (silver bullet) que puede resolver todos los
retos educativos, es un medio poderoso para alcanzar el objetivo de resultados de
alto desempeo y alta equidad, y ofrece a los alumnos el conocimiento y las
habilidades para seguir aprendiendo a lo largo de la vida. Los sistemas educativos
que enfrenten las tensiones que impiden una prctica ms amplia de la EF y
fomenten culturas de evaluacin probablemente avanzarn mucho ms hacia tales
metas. (CERI, 2005, p. 27)
Stiggins dice que Bloom (1984a) reportaba avances de una a dos desviaciones
estndar gracias a la aplicacin de su modelo de mastery learning; menciona las
ganancias de 0.5 a una desviacin estndar reportadas por Black y Wiliam segn
la revisin mencionada; cita el trabajo de Meisels, Atkins-Burnett, Xue, DiPrima y
Son (2003), con ganancias de 1 a 1.5 desviaciones; y retoma el trabajo de
Rodrguez (2004), con base en los resultados de la aplicacin del Estudio
Internacional de Tendencias en Matemticas y Ciencias (TIMSS, por sus siglas en
ingls) en los Estados Unidos. Para terminar, dice:
las mayores ganancias son conseguidas por los de menor desempeo, con lo que
las brechas se reducen. (Stiggins, 2007, p. 19)
Como resultado de revisar casi 8,000 estudios, Hattie (1992) encontr que, sin
duda, la modificacin singular ms poderosa para mejorar rendimiento es la
retroalimentacin. La receta ms simple para mejorar la educacin es
cucharadas de retroalimentacin. Ms recientemente, Hattie y Timperley (2007)
actualizaron y ampliaron la revisin sobre retroalimentacin y llegaron a la misma
conclusin. Desafortunadamente no todas las formas de retroalimentacin son
igualmente efectivas. Un meta-anlisis de Bangert-Drowns, Kulik, Kulik y Morgan
(1991) que revis los hallazgos de 40 estudios sobre evaluacin en aula, encontr
que decir simplemente al alumno si sus respuestas son correctas o incorrectas
tena efecto negativo sobre el aprendizaje, mientras que explicar la respuesta
correcta y/o pedir que siguiera mejorando sus respuestas se asociaba con
ganancias de 20 puntos percentilares en el desempeo. (Marzano, 2007, p. 103-
104)
Esta idea se ve reforzada por las salvedades que contienen los mismos textos
citados, que una lectura atenta no deja de advertir, y que en ocasiones se incluyen
de manera tan expresa que sorprende que no sean atendidas por algunas lecturas
posteriores. Confirma y refuerza la reflexin crtica sobre conclusiones demasiado
optimistas un trabajo reciente de dos estudiosos de la Universidad de Arkansas,
publicado con el ttulo Una revisin crtica de la investigacin sobre evaluacin
formativa. La limitada evidencia cientfica del impacto de la evaluacin formativa
en la educacin. Al principio de su texto los autores sealan que:
El texto comienza con una discusin sobre la forma en que se suele definir la
nocin de EF, los autores indica que la heterogeneidad al respecto es muy
considerable, de manera que la tarea de analizar en forma rigurosa su posible
La revisin de los ocho estudios que Black y Wiliam utilizan para sustentar sus
conclusiones muestra serias fallas metodolgicas:
A juicio de Dunn y Mulvenon el diseo del cuarto estudio (con 838 nios de cinco
aos) es bueno, pero no toma en cuenta que, adems de EF, el sistema de trabajo
inclua otros aspectos cuya influencia no se puede distinguir de la que haya podido
tener la evaluacin misma. Otros tres estudios tienen problemas similares: el
quinto, en Israel, adems de una muestra muy chica, se refiere a tareas que no
fueron presentadas por el maestro ni se basaban en el currculo; el sexto caso
slo trabaj con alumnos de cuarto grado, con una muestra muy pequea y con
nfasis en autoevaluacin; y en el sptimo caso (adems de que los resultados
van desde un efecto increble de tres, hasta de slo una desviacin estndar) no
se informa en qu consistieron las discusiones generales en el grupo control y
pareciera que el grupo experimental recibi un trato distinto, ms all de lo que
tena que ver con la evaluacin formativa misma.
El trabajo concluye con reflexiones sobre los retos metodolgicos que enfrentan
estos estudios, incluyendo la atencin a los estndares para juzgar la calidad de
las evidencias (segn el repositorio What Works Clearinghouse,) las dificultades
de manejar diseos experimentales con grupos completos (intact classrooms), las
de las medidas de los resultados, del tamao de las muestras, la fidelidad de
implementacin y la duracin del estudio (Schneider y Randel, 2010, p. 267-272).
asegurar, por ejemplo, que todos los maestros de un grupo experimental manejen
prcticas de EF del mismo tipo y con idntica calidad e intensidad, y que ninguno
del grupo control utilice prcticas que puedan llevar a resultados anlogos.
El ltimo trabajo emprico que se revisa en esta seccin tiene que ver justamente
con esa resistencia, en el contexto de un sistema educativo en el que las nuevas
formas de evaluacin est mucho ms extendido que en Mxico.
IV. Conclusin
pero hay tambin elementos que muestran que se debe proceder con cautela.
Las conclusiones de un trabajo muy reciente coinciden con las que se desprenden
de esta revisin de literatura. Kingston y Nash (2011) hicieron una amplia
bsqueda de textos sobre evaluacin formativa y/o evaluacin para el aprendizaje
a partir de 1988, incluyendo revistas arbitradas o no, ponencias y tesis, en niveles
educativos preuniversitarios.
ERIC permiti localizar 407 artculos y Google Scholar dio 17,300 referencias, pero
la mayora con deficiencias metodolgicas tan serias que impidieron que se les
considerara en el anlisis. Las que reunieron los criterios necesarios para ser
incluidas fueron slo 13, en las que se encontraron 42 medidas del efecto del uso
de la evaluacin formativa (effect size). La mayor parte de estas medidas (23) se
referan al efecto de programas de actualizacin de maestros en servicio, 7 al
impacto de evaluaciones que formaban parte de los materiales curriculares, 6 se
referan a evaluaciones por computadora, 3 al efecto de formas particulares de
retroalimentacin y 3 a aspectos de autoevaluacin y coevaluacin.
La mediana del tamao del efecto fue de 0.25, menor que la de 0.7 o hasta 1.5
que se ha reportado en otros trabajos. El efecto vara de 0.09 a 0.32 dependiendo
del rea curricular y del tipo de intervencin (Kingston y Nash, 2011, p. 32-35).
Como sugiere la parte final del ttulo (A call for research), el trabajo de Kingston y
Nash termina con un llamado a los interesados en el tema a realizar estudios con
un buen diseo metodolgico, que puedan llegar a conclusiones ms slidas y
superen las limitaciones de muchos trabajos previos. Las recomendaciones de
este trabajo (v. gr. evitar centrar la atencin en grupos extremos, no limitarse a ver
si hay efecto, sino buscar determinar cules son los factores que influyen en que
el efecto sea mayor o menor) se aaden a las que ya se han sealado en esta
revisin, en particular el uso de diseos experimentales o cuasi-experimentales y
el cuidado de la fidelidad de la implementacin.
Los intentos por introducir un enfoque cuya aplicacin implica cambios importantes
en prcticas muy arraigadas pueden ser superficiales, reducindose a la adopcin
de una terminologa novedosa, sin modificar los procesos bsicos de enseanza y
de aprendizaje.
Referencias
Bloom, B. S. (1984b). The 2-sigma problem: The search for methods of group
instruction as effective as one-to-one tutoring. Educational Researcher, 13(6), 4-
16.
Meisels, S., Atkins-Burnett, S., Xue, Y., DiPrima, D. y Son, S. (2003). Creating a
system of accountability: The impact of instructional assessment on elementary
childrens achievement scores. Educational Policy Analysis Archives, 11(9).
Smith, E. y Gorard, S. (2005). They dontt give us our marks: the role of formative
feedback in student progress. Assesment in Education: principles, policy &
practice, 12(1), 21-38.
Thompson, M., Goe, L., Paek, P. y Ponte, E. (2004). Study of the California
formative assessment and support system for teachers: Relationship of
BTSA/CFASST and student achievement. Princeton: Educational Testing Service.