La evaluacin educacional en el Brasil: de la transferencia cultural a la evaluacin emancipadora

Adolfo Ignacio Caldern Regilson Maciel Borges

Resumen En este artculo se discute histricamente la trayectoria de la evaluacin educacional en el escenario acadmico brasileo, abordando la influencia de la literatura norteamericana sobre la produccin cientfica nacional, el rompimiento con esa influencia, como los esfuerzos realizados para construir una teora y una prctica de evaluacin aplicada a la realidad brasilea. Se defiende la hiptesis de que, aunque la evaluacin educacional en el Brasil todava sea una rea de conocimiento que se encuentra en proceso de fortalecimiento, las dos ltimas dcadas permiti superar la llamada transferencia cultural en el campo de la produccin cientfica, posibilitando la constitucin y hegemona, en el mbito de la comunidad cientfica brasilea, de un abordaje construido por investigadores brasileos, denominado de evaluacin emancipadora. Palabras clave: evaluacin educacional; evaluacin emancipadora; evaluacin en el Brasil. The educational evaluation in Brazil: from the transfer cultural to emancipatory evaluation Abstract This article discusses the historical trajectory of educational assessment in the Brazilian academic scenario, pointing out the influence of American literature on the Brazilian scientific production, its models break as well as the efforts in order to construct a theory and a practical assessment applied to the Brazilian reality. It supports the hypothesis that educational evaluation is still an area of knowledge that is in process of setting up and strengthening in the country, the last two decades enabled them to overcome the named cultural transfer in the field of scientific production, allowing the constitution and hegemony of an approach grounded on a emancipatory political-pedagogical character in the scientific community. Keywords: educational evaluation; emancipatory evaluation, assessment in Brazil.
Educacin Vol. XXII, N 42, marzo 2013, pp.77-95 / ISSN 1019-9403

Adolfo Ignacio Caldern y Regilson Maciel Borges

Introduccin
En este artculo se contextualiza histricamente la evaluacin educacional en el Brasil con el objetivo de comprender las transformaciones que ocurrieron en esa rea del conocimiento, teniendo como punto de partida la dcada de los aos 60 del siglo xx, cuando se constata la fuerte influencia de la produccin cientfica norteamericana, por medio del proceso histrico denominado de transferencia cultural. Se relatan los esfuerzos realizados por investigadores brasileos para construir un referencial terico propio de la comunidad cientfica brasilea en torno de la evaluacin educacional y se analizan las primeras tentativas de sistematizacin del conocimiento cientfico sobre el tema de la evaluacin educacional, por medio del surgimiento de investigaciones en la perspectiva de los denominados estado del arte. Como resultado de una investigacin de carcter bibliogrfica, en este artculo, se defiende la hiptesis de que, aunque la evaluacin educacional en el Brasil todava es un campo de conocimiento cientfico que se encuentra en proceso de fortalecimiento, las dos ltimas dcadas permitieron superar la llamada transferencia cultural en el campo de la produccin cientfica. Esto se hizo mediante la constitucin y hegemona de un abordaje construido por investigadores brasileos, denominado de evaluacin emancipadora.

1. Aspectos histricos de la evaluacin educacional

Conforme la literatura acadmica, las races de la prctica de la evaluacin se remontan a los orgenes de la historia de la humanidad. El hombre de Neanderthal ya la practicaba, al determinar los tipos de madera que servan para la confeccin de las mejores lanzas. Las primeras evaluaciones formales son evidentes aproximadamente en el ao 2000 A.C., cuando las autoridades chinas evaluaban el desempeo de los servidores pblicos. Igualmente, los griegos, siglos antes de Cristo, utilizaron mecanismos de seleccin de individuos para el servicio pblico ateniense (Dias Sobrinho, 2002; Worthen, Sander y Fitzpatrick, 2004; Depresbiteris y Tavares, 2009). Sin embargo, la evaluacin comenz a ser practicada de manera ms estructurada y constante a partir del siglo xviii, especialmente en Francia y en la antigua Prusia (Alemania), perodo en que comenzaron aplicarse exmenes pblicos en larga escala para la seleccin de empleados pblicos (Fernandes, 2009). Tal fue la importancia de los exmenes y de las pruebas que acabaron construyendo un campo de estudios, la docimologa, la ciencia del estudio
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

78

La evaluacin educacional en el Brasil

sistemtico de los exmenes, en particular del sistema de atribucin de notas (Depresbiteris y Tavares, 2009, p.30). El gran paso para la evolucin de la evaluacin educativa fue dado por Thorndike, a principios del siglo xx, cuando gana fuerza el movimiento por pruebas en el rea de la educacin en la medida en que la tecnologa de la medicin haca rpidos avances. Thorndike desarroll todo un aparato tecnolgico para medir las capacidades humanas, por lo que pas la evaluacin a tener el significado de medida (testing) (Vianna, 1995). As, a partir de 1920 se vio un rpido surgimiento de pruebas basadas en la forma de programas, creados para evaluar los grados individuales de desempeo (Worthen, Sanders y Fitzpatrick, 2004). Segn Depresbiteris y Tavares (2009, p.30), la idea de evaluacin educacional, en los Estados Unidos del siglo xix, estaba tan vinculada a la idea de los exmenes que fueron creadas diversas asociaciones para el desarrollo de pruebas estandarizadas. La inspiracin para esa concepcin, que pruebas bien construidas permitiran medir con rigor y neutralidad los aprendizajes escolares de los alumnos, viene, de acuerdo a Fernandes (2009, p. 44), de las pruebas destinadas a medir la inteligencia y las capacidades. Las pruebas psicolgicas, desarrolladas en Francia por Alfred Binet y Thodore Simn en 1905, dieron origen al llamado coeficiente de inteligencia. En el Brasil, la sistematizacin de los exmenes escolares fue hecha en los siglos xvi y xvii por los jesuitas, por medio del documento conocido como Ratio Studiorum1, en el cual algunos de los procedimientos propuestos para el momento de la prueba eran la rigurosidad con el tiempo para realizarla y el silencio de los alumnos, quienes no podan preguntar nada (Depresbiteris y Tavares, 2009). Es solamente despus de 1930, debido a los estudios de Ralph Tyler, que la evaluacin gan mayor amplitud, y dej de abordar el desempeo individual o colectivo de los estudiantes para enfocarse en si los currculos y las prcticas pedaggicas estaban alcanzando sus objetivos. Con Tyler surgi, en 1934, la expresin evaluacin educacional y es reconocido como el padre de ese campo de estudio (Saul, 2001; Dias Sobrinho, 2003; Fernandes, 2009). En su obra, Principios Bsicos del Currculo, publicada en 1949, Tyler destacaba la importancia de la evaluacin para el desarrollo del currculo y consideraba que el proceso de evaluacin consista en determinar en qu medida los objetivos educacionales estaban siendo realmente alcanzados por el programa y el currculo.
1 Conjunto de normas creado para reglamentar la enseanza en los colegios jesuitas (Toledo, Ruckstadter y Ruckstadter, 2010).

79

Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

Adolfo Ignacio Caldern y Regilson Maciel Borges

80

La propuesta de evaluacin elaborada por Tyler encontr aceptacin en los aos 60 en el medio acadmico norteamericano y fue diseminada por autores como Hilda Taba, quien en 1962, a partir de las ideas de Tyler, propuso un modelo para elaborar el currculo. Por su parte, en 1962, Robert F. Mager introdujo un modelo especfico para la operacionalizacin de los objetivos educacionales. Asimismo, James Popham junto a Eva Baker publicaron, en 1970, un conjunto de cinco volmenes centrados en el planeamiento de la enseanza y la evaluacin (Saul, 2001). Fueron cuatro autores norteamericanos los que contribuyeron decisivamente, en la dcada de los aos 70, para el desarrollo terico del rea de la Evaluacin Educacional: Cronbach, Scriven, Stufflebeam y Stake. Los estudios de esos autores, sumados a los de Parllet y Hamilton y los de MacDonald, ejercieron una fuerte influencia en la trayectoria brasilea de la evaluacin. Se debe mencionar que, a partir de 1970, la evaluacin educacional se convirti en un campo profesional definido, que exiga una especializacin ms profunda. En este perodo, surgieron importantes revistas especializadas que permitieron la difusin de nuevas ideas y la formulacin de nuevas teoras y modelos, sobre todo, la divulgacin de estudios de base cientfica (Vianna, 1995). Cronbach propuso la superacin de la idea de que los objetivos son los estructuradores de la evaluacin, la que debera ser definida, en su aspecto ms amplio, como actividad diversificada que exige la toma de varios tipos de decisin y el uso de gran nmero de informaciones (Depresbiteris y Tavares, 2009, p.32). En la visin de Cronbach, la evaluacin (de programas, currculo o curso) debera ser procesada a lo largo de su estructuracin y no solo despus, en su conclusin (Dias Sobrinho, 2003; Ristoff, 2003; Depresbiteris y Tavares, 2009). Scriven consideraba que, aparte de evaluar los objetivos finales de un curso, sera importante analizar aquellos que estaban en desarrollo, lo que permitira la intervencin durante la ejecucin del plan. Es as como este autor trabaj los conceptos de evaluacin sumativa y formativa. Entendindose por sumativa a la evaluacin realizada despus de terminado un proceso, con el objetivo de verificar los resultados y, por formativa, a la evaluacin realizada a lo largo del proceso con el objetivo de permitir el perfeccionamiento de las acciones (Worthen, 1982; Sousa, 1998; Dias Sobrinho, 2003; Depresbiteris y Tavares, 2009). Stufflebeam tambin abraz la concepcin elaborada por Cronbach y Scriven, en el sentido de entender la evaluacin como toma de decisiones. Para Stufflebeam la evaluacin es un juicio de mrito que sirve tanto para la toma
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

La evaluacin educacional en el Brasil

de decisiones como para el control. Junto con Guba, Hammond y Provus, elabor el modelo de evaluacin conocido como CIPP (Contexto, Input, Proceso y Producto). La evaluacin debera ser no solo para comprobar el valor de los programas, sino tambin para mejorarlos (Worthen, 1982; Sousa, 1998; Dias Sobrinho, 2003; Depresbiteris y Tavares, 2009). Stake ampli la forma de interpretacin de la evaluacin partiendo del principio de que la participacin es fundamental y que toda informacin debe ser llevada en consideracin. Con eso la evaluacin abarca la emisin de juicio de valor no solo de los especialistas en evaluacin, sino tambin de todos los involucrados en el proceso evaluativo. Para Stake, lo importante es lo que est sucediendo en el programa, por ese motivo su concepcin de evaluacin est direccionada ms para las actividades del programa que para sus objetivos (Stake, 1982; Sousa, 1998; Depresbiteris y Tavares, 2009). En la dcada de los aos 70, Parlett y Hamilton desarrollaron la llamada evaluacin iluminativa basada en el paradigma socio antropolgico que buscaba una comprensin de la realidad mediante el estudio de los fenmenos que ocurran naturalmente. El foco estaba en la interpretacin del proceso educativo (experiencias de los participantes, los procedimientos institucionales y los problemas gerenciales), llevando a discusin los resultados de la evaluacin como proceso. (Parlett y Hamilton, 1982; Sousa, 1998). Macdonald (1982) introdujo, en una clasificacin poltica de los estudios evaluativos, describi tres tipos: el burocrtico, el autocrtico y el democrtico. La evaluacin burocrtica constituye un servicio ofrecido a las agencias gubernamentales con el objetivo de atender a las necesidades de mayor control sobre la distribucin de los recursos del rea de la educacin. La evaluacin autocrtica, tambin, es un servicio ofrecido a las agencias gubernamentales con el objetivo de mayor control sobre las polticas educativas como un todo. Finalmente, la evaluacin democrtica es un servicio informativo, ofrecido a la comunidad acerca de las caractersticas de un programa educacional. Con el objetivo de sistematizar el desarrollo histrico de la evaluacin educacional, Dias Sobrinho (2003), autor brasileo, apoyado en el trabajo de Stufflebeam y Skinkfield (1987), destac cinco periodos: el primero es conocido como pre-Tyler, situado en los ltimos aos del siglo xix y las primeras tres dcadas del siglo xx. El segundo, llamado de evaluacin por objetivos, tiene a Tyler como su mayor exponente situado) entre 1930 y 1945. El tercero es designado la era de la inocencia, que va de 1946 a 1957. El cuarto, denominado realismo, va de 1958 a 1972. El quinto, y ltimo, es conocido como perodo del profesionalismo, que tiene como marco la dcada de 1970.
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

81

Adolfo Ignacio Caldern y Regilson Maciel Borges

Otros autores brasileos, como Penna Firme (1994) y Fernandes (2009), trabajaban con la propuesta de Guba y Lincoln (1989) y destacan que la evaluacin pas por cuatro generaciones: la primera, llamada de medicin, donde el nfasis es para las medidas y pruebas; la segunda, llamada de descripcin, centrada en los resultados con relacin a los objetivos; la tercera llamada juicio de valor, en la que le corresponde al evaluador el papel de juez. Finalmente, la cuarta generacin llamada de negociacin, donde los parmetros y decisiones son determinados y definidos por un proceso negociado e interactivo con los actores involucrados en la evaluacin. Tomando en consideracin las clasificaciones, anteriormente mencionadas, se puede afirmar que el concepto de evaluacin ha sido comprendido, y todava lo es, a partir de cuatro principales significados: a) Evaluacin y medida son sinnimos y se reducen a la aplicacin de pruebas. b) La evaluacin no se limita a medir, es mucho ms que eso, en la medida en que describe de forma neutral hasta qu punto los alumnos alcanzan los objetivos definidos. c) La evaluacin es vista como un proceso en el cual no solo se describe el desempeo alcanzado, sino tambin se juzga el desempeo del alumno a partir de los objetivos educacionales propuestos. d) La evaluacin implica un proceso negociado e interactivo con aquellos actores que estn involucrados en el proceso evaluativo. A partir de lo expuesto, se puede concluir que la evaluacin educacional, inicialmente preocupada por la evaluacin del aprendizaje/rendimiento escolar mediante la aplicacin de pruebas estandarizadas, confundida con medidas e inserta en el campo de la psicologa, pas a preocuparse por los currculos, programas y, sobre todo, a tener como referencia el cumplimiento de los objetivos. De estar muy restringida a los alumnos, la evaluacin se ampli para instituciones y sistemas, y hoy se constituye en una industria tentacular y slidamente profesionalizada (Dias Sobrinho, 2003, p.43).

2. Evaluacin educacional y su trayectoria en el Brasil

En Brasil, los primeros esfuerzos en torno de la evaluacin educacional, conforme Saul (2001), Gatti (2002), Vianna (2002) y Dias Sobrinho (2003), se inician a partir de 1960. En ese periodo, de acuerdo con Sousa (2005), el significado atribuido a la expresin evaluacin educacional era de seleccin de estudiantes y medicin de desempeo.
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

82

La evaluacin educacional en el Brasil

Fue esa cultura de medicin, de acuerdo con Gatti (2002), la que se desarrolla alrededor de los procesos evaluativos del cotidiano quehacer escolar y permanece hasta hoy, cuando vemos que muchas personas se refieren de inmediato a ese tipo de evaluacin al abordar el desempeo de los alumnos. Saul (2001) tambin seal los aos 60 para referirse a la trayectoria de la evaluacin educacional en el Brasil. Para esa autora, se trata de un campo fuertemente influido por la produccin norteamericana debido a la presencia en Brasil de tcnicos norteamericanos que, por medio de acuerdos internacionales, capacitaron profesores brasileos, y a los estudios de postgrado (maestras y doctorados) realizados por profesores brasileos en los Estados Unidos. Este periodo de fuerte influencia extranjera en Brasil es considerado como un momento de transferencia cultural, en el cual teoras y prcticas educacionales americanas fueron incorporadas en el escenario intelectual y educacional brasileo. La influencia apuntada por Saul (2001) tambin fue constatada por Vianna (1995) al registrar algunas experiencias de programas de evaluacin realizados en las dcadas de los 60 y 70, los cuales se basaron en principios metodolgicos de referencia norteamericana. En el escenario acadmico brasileo, las ideas de Tyler tambin recibieron importante atencin, su obra Principios Bsicos del Currculo lleg a tener nueve ediciones entre 1974 y 1984. Otro factor que permiti la difusin y la influencia del pensamiento de Tyler fue la traduccin al portugus de trabajos de sus seguidores Hilda Taba, Robert F. Mager, James Popham y Eva Baker, los cuales tuvieron acogida entre tericos brasileos, como por ejemplo Dalila Sperb, autora del primer manual de currculo en el Brasil, Marina Couto y Lady Lina Traldi, entre otros autores (Saul, 2001). Es conveniente mencionar que la perspectiva tyleriana de evaluacin, aunque permiti el avance en la fundamentacin terica de ese campo de estudios, tuvo y todava tiene una concepcin positivista de evaluacin. Si se considera que solo podra ser evaluado aquello que fuese observable por medio de pruebas o de algn otro tipo de instrumento de medicin. La tesis de Tyler que la evaluacin involucra, conforme Sousa (1998, p. 162, traduccin nuestra), la obtencin de evidencias sobre los cambios de comportamiento en los estudiantes, pues solo las evidencias vlidas sobre comportamientos deseados los objetivos educacionales seran las que ofreceran posibilidad de una evaluacin apropiada pas a ser rechazada por importantes sectores de la comunidad cientfica brasilea. Esta comunidad al cuestionar su carcter conductual busc otros referenciales de evaluacin provenientes de autores como Scriven, Stake, Parllet, Hamilton, MacDonald, entre otros.
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

83

Adolfo Ignacio Caldern y Regilson Maciel Borges

A finales de los aos 70, los problemas de la evaluacin pasaron a merecer un enfoque terico ms profundo (Vianna, 1992; Saul, 2001; Sousa, 2005). Se trata de un periodo en que la produccin cientfica brasilea se dirige a la evaluacin de programas educacionales y se destacan los estudios realizados por las investigadoras Mara Amlia Goldberg, Clarilza Prado Sousa y Mara Laura Franco. Todas ellas referidas a evaluaciones de innovaciones curriculares y programas de enseanza, tales como La prctica de la evaluacin, publicado en 1979 e Innovacin educacional: un proyecto controlado por evaluacin e investigacin, publicado en 1980. Saul (2001), al comentar los esfuerzos emprendidos a partir de 1978 con el objetivo de romper el circuito que marcaba la evaluacin en el pas, la llamada transferencia cultural y la fuerte influencia tyleriana, destac la importancia de cuatros factores: a) la publicacin del artculo de la investigadora brasilea Marli Andr, publicado en 1978, El abordaje etnogrfica: una perspectiva en la evaluacin educacional, b) la traduccin al portugus del estudio de Parlett y Hamilton, en 1980, Evaluacin como iluminacin: una nueva abordaje en el estudio de programas innovadores, c) la publicacin de la revista cientfica brasilea Educacin y Evaluacin, y d) la publicacin, en 1982, del estudio de Mara Amlia Goldberg y Clarilza Prado Sousa Evaluacin de programas educacionales: vicisitudes, controversias y desafos. La reflexin terica sobre el anlisis poltico de la evaluacin, a finales de la dcada del 70 e inicio de los aos 80, ser objeto de estudio de importantes investigadores brasileos, entre los cuales se destacan: Ana Maria Saul, Mere Abramowicz, Isabel Cappelletti, Cipriano Carlos Luckesi, Magda Soares, Sandra Zkia Lian Sousa, Pedro Demo, Maria Amlia Golberg, Clarilza Prado Sousa, Jussara Hoffmann, Celso dos Santos Vasconcelos, Lea Depresbiteris, Maria Laura Barbosa Franco, Menga Luke, Thereza Penna Firme, entre otros autores. Ellos pasaron a desarrollar referenciales tericos alternativos al modelo tecnicista de evaluacin y con ello crearon las bases para el surgimiento, en el mbito de la comunidad cientfica brasilea, de la llamada evaluacin emancipadora. As, investigadores brasileos pasaron a desarrollar un anlisis crtico del papel de la evaluacin y se apoyaron, sobre todo, en las teoras sociolgicas. Estas mostraban que las escuelas tenan dentro de ellas formas de resistencia que se oponan a los discursos ideolgicos dominantes (Saul, 2001).
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

84

La evaluacin educacional en el Brasil

Desde el inicio de los aos 80, fueron los estudios de la investigadora brasilea Ana Mara Saul los que contribuyeron decisivamente para la construccin, en Brasil, de un nuevo paradigma para la evaluacin, la llamada evaluacin emancipadora. Esta teora fue el resultado de su tesis doctoral, defendida en 1985 en el Programa de Postgrado en Educacin, en la especialidad de Psicologa de la Educacin de la Pontificia Universidad Catlica de So Paulo. Llevaba por ttulo Evaluacin emancipadora: una propuesta democrtica para la reformulacin de un curso de postgrado, que fue posteriormente publicada en forma de libro (Saul, 2001). Ese nuevo paradigma surgi como reaccin a los presupuestos tericometodolgicos y al autoritarismo de los modelos clsicos de evaluacin educacional, en particular del currculo, presentes en la literatura y vigentes en la prctica evaluativa brasilea de aquella poca. Se trata de una propuesta de carcter poltico-pedaggica, que incorpora una perspectiva crtico-transformadora de la realidad educacional, como fundamento de una prctica democrtica. En esta perspectiva crtica Demo (1986) centr sus estudios en la evaluacin cualitativa, con el objetivo de superar la evaluacin meramente cuantitativa, aunque sin eliminarla. En los aos 80, ese autor defenda que, en el espacio educativo, los procesos son ms relevantes que los productos, por lo que el estudio de la realidad no puede reducirse solo a las manifestaciones empricamente mensurables. En los aos 80, algunos programas gubernamentales de evaluacin fueron objeto de investigaciones cientficas y surgieron conocimientos especficos a partir de la implantacin de dichas polticas educacionales. As, por ejemplo, Vianna (1995) estudi, entre otros, el proyecto de evaluacin sobre el desempeo escolar de alumnos de la 3 serie de la educacin secundaria, realizado por el Ministerio de la Educacin, con apoyo del Banco Mundial y la colaboracin cientfica de la Fundacin Carlos Chagas. A su vez, Dias Sobrinho (2002; 2003) estudi el Programa de Evaluacin de la Reforma Universitaria (PARU) y el Grupo de Estudios de la Reforma de la Educacin Superior (GERES). En lo que se refiere a la evaluacin educacional, como mecanismo de accin gubernamental en los aos 90, esta tuvo un papel central en la formulacin e implementacin de las polticas educacionales, tanto en el nivel bsico como en el superior. Fueron creados el Sistema de Evaluacin de la Educacin Bsica (SAEB), en 1990; el Programa de Evaluacin Institucional de las Universidades Brasileas (PAIUB), en 1993; el Examen Nacional de los Cursos (ENC), en 1995 y el Examen Nacional de Educacin Secundaria (ENEM), en 1998.
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

85

Adolfo Ignacio Caldern y Regilson Maciel Borges

Con relacin a las polticas de evaluacin de la educacin bsica, conviene mencionar que investigadores brasileos como Vianna (1995; 2002), Barreto y Pinto (2001), Gatti (2002), Freitas (2005; 2007), Castro (2009), entre otros autores, hicieron importantes contribuciones para la comprensin de las evaluaciones de los sistemas de evaluacin realizado en los tres niveles de gobierno existentes en el Brasil: federal, estatal y municipal. Respecto de las polticas de evaluacin de la educacin superior, investigadores como Balzan (1995), Dias Sobrinho (2002; 2003; 2010), Rothen, David y Lopes (2008), Barreyro y Rothen (2006; 2008), Brito (2008), Polidori (2009), realizaron anlisis crticos de los instrumentos de evaluacin, sus intenciones y sus resultados y resaltaron fuertemente la influencia del neoliberalismo en el proceso de elaboracin de las polticas de evaluacin en el pas. Es importante destacar que, en la dcada del 90, comenzaron a surgir los primeros trabajos en la perspectiva metodolgica de los estudios denominados estado del arte. Estos estudios estaban preocupados con mapear, analizar y comprender la produccin cientfica sobre la evaluacin educacional producida en el pas, cubran el perodo de 1971 a 1998 y tenan como fuente bsica, tanto los artculos publicados en las revistas cientficas (Vianna, 1992; Candau y Oswald, 1995; Sousa, 1995; Barreto y Pinto, 2001) como la produccin cientfica de los cursos de postgrado, concretamente las tesis de las maestras y doctorados en Educacin (Sousa, 1994a; 1994b; 1996). Conviene mencionar que, en la primera dcada del siglo xxi, fueron realizados otros estudios en la tentativa de sistematizar el conocimiento producido. Entre estos trabajos, se encuentran los realizados por Barreto, Pinto, Martins y Duran (2001), Gonalves Filho (2003), Sousa (2005), Teixeira (2006), Gama, Coelho y Camelo (2007), Frezza y Silva (2009), y Uler (2010). En el campo de las polticas de evaluacin en las dcadas de los aos 80, 90 y, tambin, en la primera dcada del presente siglo, caracterizado por la creacin de instrumentos de evaluacin en larga escala, tanto para la educacin bsica (ANEB2, ANRESC3, PROVA BRASIL, IDEB4), como para la educacin superior (SINAES5, ENADE6, IDD7, IGC8, CPC9), se puede observar,
2 3

86

4 5 6 7 8 9

Evaluacin Nacional de la Educacin Bsica. Evaluacin Nacional del Rendimiento Escolar. ndice de Desarrollo de la Educacin Bsica. Sistema Nacional de Evaluacin de la Educacin Superior. Examen Nacional de Desempeo de Estudiantes. Indicador de Diferencia entre los Desempeos Observado y Esperado. ndice General de Cursos. Concepto Preliminar de Curso.

Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

La evaluacin educacional en el Brasil

en la literatura cientfica (Sousa, 1998; Saul, 2001; Rothen, David y Lopes, 2008; Barreyro y Rothen, 2006; 2008), la tensin permanente entre dos paradigmas tericos en el campo de la evaluacin, denominados por Saul (1990, p.18) de tcnico-burocrtico y crtico-transformador. Dias Sobrinho (2004) denominar esos dos paradigmas objetivista y subjetivista, respectivamente, a partir de la comprensin de que el papel de la evaluacin no es solamente tcnico, sino sobre todo, tico y poltico, de vital importancia para las transformaciones y las reformas de la educacin y de la propia sociedad. A cada uno de esos paradigmas, el que concibe la educacin segn la lgica del mercado y el que la concibe como un bien pblico, corresponde una epistemologa y un modelo de evaluacin. De acuerdo con Dias Sobrinho (2004), no se trata de adoptar exclusivamente el control (medida, verificacin, constatacin, clasificacin, seleccin etctera) ni tampoco de adoptar exclusivamente procedimientos subjetivistas que no tengan base en datos de la realidad. Las dos epistemologas representan dos visiones de mundo distintas, hasta cierto punto compiten entre ellas; sin embargo, son complementarias y no se excluyen una de la otra. Todo eso hace de la evaluacin un campo lleno de contradicciones y de mltiples referencias, sobre todo en el proceso acumulativo del conocimiento cientficamente construido. Se trata del contraste y enfrentamiento entre diversas teoras, dentro del conflicto entre las comunidades cientficas (Apple, 2006, p.131). Ellas son el resultado de discusiones y conflictos interpersonales e intergrupales que disponen de teoras concurrentes donde se descarta aquella que no solo contradice los hechos y aquella que surge cuando la comunidad cientfica tiene una teora mejor que la anterior (Chizzotti, 2006, p.23, traduccin nuestra).

3. Explorando el concepto evaluacin educacional

A partir de la trayectoria histrica de la evaluacin educacional se puede afirmar que la evaluacin es, por su propia naturaleza, un campo de conocimiento complejo, multidisciplinario, influenciado por la pedagoga, la didctica, la psicologa, la sociologa, la antropologa y la tica. Esas contribuciones tericas ocurrieron, sobre todo, a partir de la dcada del 80 con la prevalencia de presupuestos tericos menos subordinados al positivismo y con el reconocimiento de que es necesario integrar nuevas teoras y nuevos modelos para enfrentar los problemas de los sistemas educacionales (Fernandes, 2009, p.26, traduccin nuestra).
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

87

Adolfo Ignacio Caldern y Regilson Maciel Borges

88

La trayectoria de la evaluacin educacional permite constatar que el acto de evaluar est lejos de ser entendido como un acto consensual, pues no existe una nica forma de definir la evaluacin, depende del objeto que est siendo evaluado y, consecuentemente, de los parmetros tericos que el evaluador sustenta. En Brasil, los mismos tericos que contribuyeron para la construccin del paradigma emancipador Sousa (1998), Abramowicz (1998), Cappelletti (2001), Saul (2001), Hoffmann (1994), Demo (1996), Luckesi (1998), Freitas (1998), Dias Sobrinho (2002), entre otros, a pesar de que tienen puntos en comn que los convierte, en cierta forma, en crticos del abordaje meramente tecnicista, tambin poseen matices y concepciones tericas diferentes. Sousa (1998) entiende la evaluacin como una actividad socialmente determinada. La definicin del porqu, qu y cmo evaluar presupone una concepcin del hombre que se desea formar y de las funciones atribuidas a la escuela en determinada sociedad. Esto significa que los determinantes sociales son quienes definen la funcin que la escuela va a tener y la evaluacin, como prctica educativa, acaba por explicitarla y legitimarla. Abramowicz (1998), pensando en la evaluacin a partir de un paradigma crtico-humanista, la concibe, al igual que Sousa (1998), a partir de los valores humanos, articulada a una constelacin de principios ticos. Estos permitirn el distanciamiento de la actividad controladora y le atribuyen un nuevo sentido crtico, creativo, competente y comprometido con un horizonte transformador. Tambin Cappelletti (2001) reconoce la riqueza terica presente en los abordajes crtico-humansticos, que conciben la evaluacin como un proceso participativo, auto-reflexivo, crtico y emancipador y asumen la evaluacin como accin consciente, reflexiva y crtica, que se destina a la promocin del hombre, histrica e circunstancialmente situado. En esta misma perspectiva Saul (2001) define su propuesta de evaluacin emancipadora como un proceso de anlisis y crtica de una determinada realidad que objetiva su transformacin. Su inters es emancipador y libertador, lo que provoca la crtica para liberar el sujeto de determinados condicionamientos. Busca que las personas, directa o indirectamente involucradas en la accin educacional, escriban su propia historia y generen sus propias alternativas de accin. Hoffmann (1994), lejos de una perspectiva libertadora, teoriza sobre la evaluacin mediadora como propuesta que se opondra al paradigma clasificatorio. Se trata de una accin evaluativa por la cual se producira la
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

La evaluacin educacional en el Brasil

reorganizacin del saber. Ello implica accin, movimiento y provocacin en la tentativa de reciprocidad intelectual entre los elementos de la accin educativa, como el profesor y el alumno que buscan coordinar sus puntos de vista, al intercambiar ideas y reorganizarlas. La evaluacin, para Demo (1996), tiene su razn de ser como proceso de sustentacin del buen desempeo del alumno. Si el alumno no aprende bien, con calidad formal y poltica, la evaluacin no tiene sentido. Para Luckesi (1998), el acto de evaluar exige recoleccin, anlisis y sntesis de los datos que configuran el objeto de evaluacin. Esto acrecienta una atribucin de valor o de calidad, que se procesa a partir de la comparacin entre el objeto evaluado y un determinado padrn de calidad previamente establecido para aquel tipo de objeto. Freitas (1998), a su vez, entiende que la evaluacin no es sino un acto pedaggico destinado a diagnosticar el desempeo de los alumnos y corregir los rumbos del aprendizaje en direccin a los objetivos propuestos por las disciplinas escolares. La evaluacin rene un conjunto de prcticas que legitiman la exclusin de la clase trabajadora de la escuela y est estrechamente articulada con la organizacin global del trabajo escolar. Frente a estos mltiplos significados, Dias Sobrinho (2002) afirma que la evaluacin es plurireferencial, compleja, polismica, con mltiples y heterogneas referencias. Es un campo disputado por diversas reas del conocimiento y prcticas sociales de distintos lugares acadmicos, polticos y sociales. En un intento por sistematizar el campo de la evaluacin educacional, Freitas et al. (2009) destaca la existencia de tres niveles de evaluacin integrados simultneamente, al articular la evaluacin realizada en sala de aula (evaluacin del aprendizaje) con la evaluacin interna de la escuela (evaluacin institucional) y la evaluacin de la responsabilidad del poder pblico (evaluacin de sistemas). Sordi y Ludke (2009) consideran que la articulacin de esos tres niveles de evaluacin repercute en los procesos de calificacin de las formas de participacin docente en el proyecto de la escuela e indirectamente en la mejora del aprendizaje de los estudiantes. De todas formas, es posible considerar que, a pesar de hacer referencia a diferentes modalidades de evaluacin (aprendizaje de los alumnos, instituciones educacionales y sistemas de enseanza), los tres niveles de evaluacin mencionados tienen una caracterstica en comn: el alumno es la figura principal en los procesos de evaluacin.
89 Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

Adolfo Ignacio Caldern y Regilson Maciel Borges

4. A modo de conclusin
El estudio del contexto histrico de la evaluacin educacional permite comprender sus transformaciones conceptuales a partir de las contribuciones realizadas por diversos tericos, con evidente influencia norteamericana. Las contribuciones tericas de los autores norteamericanos acabaron influyendo fuertemente la trayectoria de la evaluacin educacional en Brasil, dentro de un proceso de transferencia cultural, marcado por una visin tecnicista, positivista, que asociaba la evaluacin con la medida. Se trata de un enfoque que, al ser intelectualmente cuestionado y combatido, dio lugar a un abordaje con fuerte influjo poltico, dentro del paradigma del conflicto social, con explcitos objetivos emancipadores y libertadores. El paradigma de una evaluacin emancipadora comenz a ser delineado en los aos 80 y se convirti, a partir de los aos 90, en un abordaje hegemnico en el medio acadmico e intelectual del pas, principalmente en la primera dcada del siglo xxi. El consenso que predomina es en torno a una evaluacin de naturaleza poltico-pedaggica e incorpora como fundamento una perspectiva crtico-transformadora y una prctica democrtica como proceso (Saul, 1990, p.18, traduccin nuestra). A partir de la crtica a la transferencia cultural en relacin con la apropiacin de la produccin internacional sobre el tema de la evaluacin, por parte de los intelectuales brasileos, que culmin con la formulacin del paradigma de evaluacin emancipadora, es posible identificar las lecturas crticas realizadas con relacin a las polticas neoliberales de los aos 90, en el mbito de la evaluacin educacional. Aunque el paradigma emancipador haya ganado consenso en el campo acadmico-universitario brasileo de las ciencias de la educacin, conviene resaltar que consenso no significa homogenizacin. Esto quiere decir que existen pequeos crculos intelectuales que cuestionan ese consenso acadmico, donde se destacan autores como Paulo Renato Souza, Eunice Durhan, Mario Arajo Filho, Paulo Alcntara Gomes, Mara Helena Guimares de Castro, Simon Schwartzman, Claudio de Moura Castro entre otros, que incluyen pioneros de la evaluacin educacional brasilea como Heraldo Marelim Vianna e Bernardete Gatti. Cada uno, a su manera, abogan por una visin ms tcnica y menos politizada e ideolgica del proceso evaluativo. En lo que respecta a las divergencias conceptuales en relacin con la evaluacin educacional, para Dias Sobrinho (2003) se trata de una polmica que no se limita apenas a meras diferencias tericas, ya que se convierte en un
90 Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

La evaluacin educacional en el Brasil

conflicto fundamentalmente poltico, en la medida en que la evaluacin pasa a ser utilizada como instrumento de poder y estrategia de gobierno. Sin embargo, conviene destacar los resultados de la tesis de doctorado de Uler (2010) que, al analizar las tesis de maestra y doctorado defendidas en programas de Postgrado en Educacin de tres universidades brasileas, entre 2000 y 2007, constat el predominio en el ambiente acadmico universitario brasileo de un movimiento de hipervalorizacin de los aspectos relativos a la llamada evaluacin emancipadora y la distancia que existe entre el discurso universitario y la prctica evaluativa presente en la escuela, todava marcada por prcticas tradicionales y tecnicistas. La investigacin bibliogrfica realizada en este artculo permite constatar que la evaluacin educacional en Brasil es un campo de conocimiento que est en proceso de fortalecimiento. Como afirma el investigador brasileo Heraldo Marelim Vianna, la evaluacin educacional en Brasil, con el objetivo de verificar la eficiencia de los profesores, currculos, programas y sistemas, aparte de permitir la identificacin de diferentes tendencias, sobre todo en lo que se refiere al desempeo educacional, todava est para ser investigada y analizada (Vianna, 2002, p.64, traduccin nuestra).

Referencias bibliogrficas
Apple, Michael W. (2006). Ideologia e Currculo. Vinicius Figueira (trad.). Porto Alegre: Artemd. Abramowicz, Mere (1998). Repensando a Avaliao da Aprendizagem no Curso Noturno. Idias, 25, 119-133. So Paulo. Balzan, Newton Cesar (1995). A voz do estudante sua contribuio para a deflagrao de um processo de avaliao institucional. En Newton Cesar Balzan y Jos Dias Sobrinho (comps.). Avaliao Institucional: teoria e experincias. So Paulo: Cortez. Barreyro, Gladys y Jos Carlos Rothen (2006). Sinaes contraditrios: consideraes sobre a elaborao e implantao do Sistema Nacional de Avaliao da Educaao Superior. Educao e Sociedade, 27(96), 955-977. Campinas. Barreyro, Gladys y Jos Carlos Rothen (2008). Poltica de avaliao e regulao da educao superior brasileira. Actas do VII Congresso Lusobrasileiro de Histria da Educao. Faculdade de Psicologia e Cincias da Educao. Porto. Barreto, Elba S Siqueira y Regina Pahim Pinto (2001). Avaliao na educao bsica, 1990-1998. Braslia: Instituto Nacional de Estudos e Pesquisas.
91 Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

Adolfo Ignacio Caldern y Regilson Maciel Borges

92

Barreto, Elba S Siqueira, Regina Pahim Pinto, Angela Maria Martins y Marlia Claret Geraes Duran (2001). Avaliao na educao bsica nos anos 90 segundo os peridicos acadmicos. Cadernos de Pesquisa. 114, 49-88. So Paulo. Brito, Marica Regina F. (2008). O Sinaes e o Enade: da concepo implementao. Avaliao, 13(3), 841-850, Campinas. Candau, Vera Maria y Maria Luisa M. B. Oswald (1995). Avaliao no Brasil: uma reviso bibliogrfica. Cadernos de Pesquisa, 95, 25-36. So Paulo. Cappelletti, Isabel (2001). Um relato de experincia em avaliao enquanto processo. En Isabel Cappelletti (comp.). Avaliao educacional: fundamentos e prticas. So Paulo: Editora Articulao Universidade/Escola Ltda. Castro, Maria Helena Guimares (2009). A consolidao da poltica de avaliao da educao bsica. Meta: Avaliao, 1(3), 271-296, Rio de Janeiro. Chizzotti, Antonio (2006). Pesquisa Qualitativa em Cincias Humanas e Sociais. Petrpolis, RJ: Vozes. Demo, Pedro (1986). Avaliao qualitativa: um ensaio introdutrio. Educao e Seleo, 14, 5-16. So Paulo. Demo, Pedro (1996). Avaliao sob o olhar propedutico. Campinas, SP: Papirus. Depresbiteres, Lea y Marivalda Rossi Tavares (2009). Diversificar preciso... Instrumentos e tcnicas de avaliao de aprendizagem. So Paulo: Editora Senac. Dias Sobrinho, Jos (2002). Caminhos da avaliao: a avaliao da educao superior no Brasil. En Luiz Carlos de Freitas. Avaliao: construindo o campo e a crtica. Florianpolis: Insular. Dias Sobrinho, Jos (2003). Avaliao: polticas educacionais e reformas da educao superior. So Paulo: Cortez. Dias Sobrinho, Jos (2004). Avaliao tica e poltica em funo da educao como direito pblico ou como mercadoria? Educao e Sociedade, 25(88), 703-725, Campinas. Dias Sobrinho, Jos (2010). Avaliao e rransformaes da educao superior brasileira (1995-2009): do Provo ao Sinaes. Avaliao, 15(1), 195-224. Campinas. Fernandes, Domingos (2009). Avaliar para aprender: fundamentos, prticas e polticas. So Paulo: Editora Unesp. Freitas, Dirce Nei T. (2005). Avaliao educacional como objeto de recomendaes internacionais. Estudos em Avaliao Educacional,16, (31). So Paulo. Freitas, Dirce Nei T. (2007) A avaliao da educao bsica no Brasil: dimenso normativa, pedaggica e educativa. Campinas, SP: Autores Associados.
Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

La evaluacin educacional en el Brasil

Freitas, Luiz Carlos (1998). Interaes possveis ente a rea de Currculo e a Didtica: o Caso da Avaliao. Proposies, 9(3), 28-42, Campinas. Freitas, Luiz Carlos, Mara Regina Lemes de Sordi, Maria Marcia Sigrist Malavasi y Helena Costa Lopes Freitas (2009). Avaliao educacional: caminhando pela contramo. Petrpolis, RJ: Vozes. Frezza, Flvia S. y Itamar Mendes da Silva (2009). Documentos de avaliao: anlise das produes apresentadas nos Grupos de Trabalho da Associao Nacional de Ps-Graduao em Educao ANPED entre 2000 a 2008. XIV Encontro de Iniciao Cientfica da PUC-Campinas. Anais do XIV Encontro de Iniciao Cientfica da PUC-Campinas. Campinas: PUC-Campinas. Gama, Zacarias Jaeger, Daniel Bedirian Coelho y Jordan Arago Camelo (2007). Avaliao educacional: geografia de textos na internet exploraes iniciais. Revista Iberoamericana de Educacin, 42(1), 1-11. Organizacin de Estados Iberoamericanos para la Educacin, la Ciencia y la Cultura (OEI). Gatti, Bernadete Angelina (2002). Avaliao educacional no Brasil: Pontuando uma histria de aes. Eccos, 4(1), 17-41. So Paulo. Gonalves Filho, Francisco (2003). Enfoques de avaliao institucional em revista: um estudo da revista Avaliao (1996-2002). Tesis de maestra. Universidade Estadual de Campinas. Guba, Egon e Yvonna Lincoln (1989). Fourth generation evaluation. Londres: Sage. Hoffmann, Jussara (1994). Avaliao mediadora: uma relao dialgica na construo do conhecimento. Idias, 22, 51-59. So Paulo. Luckesi, Cipriano Carlos (1998). Verificao ou avaliao: o que prtica a escola? Idias, 8, 71-80. So Paulo. MacDonald, Barry (1982). Uma classificao poltica dos estudos avaliativos. En Maria Amlia Azevedo Goldberg y Clarilza Prado Sousa. Avaliao de programas educacionais: vicissitudes, controvrsias, desafios. So Paulo: EPU. Parllet, Malcom Y David Hamilton (1982). Avaliao iluminativa: uma nova abordagem no estudo de programas inovadores. En Maria Amlia Azevedo Goldberg y Clarilza Prado Sousa. Avaliao de programas educacionais: vicissitudes, controvrsias, desafios. So Paulo: EPU. Penna Firme, Tereza (1994). Avaliao: Tendncias e Tendenciosidades. Ensaio: avaliao e polticas pblicas em educao, 1(2), 5-12. Rio de Janeiro. Polidori, Marlis Morosini (2009). Polticas de avaliao da educao superior brasileira: Provo, Sinaes, IDD, CPC, IGC e... Outros ndices. Avaliao, 14(2), 439-452, Campinas.
93 Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

Adolfo Ignacio Caldern y Regilson Maciel Borges

Ristoff, Dilvo Ivo (2003). Alguma definies de avaliao. En Jos Dias Sobrinho y Dilvo Ivo Ristoff. Avaliao e compromisso pblico: a educao superior em debate. Florianpolis: Insular. Rothen, Jos Carlos, Luciano David y Luciana Martins Lopes (2008). Provo e Enade em debate no JC E-mail: 2002 a 2006. Revista de Educao PUC-Campinas, 25, 111-123. Campinas. Saul, Ana Maria (1990). Avaliao da universidade: buscando uma alternativa eemocrtica. Estudos em Avaliao Educacional, 1, 17-19. So Paulo. Saul, Ana Maria (2001). Avaliao emancipatria: desafio teoria e prtica de avaliao e reformulao de currculo. So Paulo: Cortez. Sordi, Mara Reina Lemes y Menga Ludke (2009). Da avaliao da aprendizagem avaliao institucional: aprendizagens necessrias. Avaliao, 14(2), 253-266. Campinas. Sousa, Clarilza Prado (1998). Descrio de uma trajetria na/da avaliao educacional. Idias, 30, 161-174. So Paulo. Sousa, Sandra Maria Zakia Lian (1994a). Avaliao da aprendizagem: a divulgao das pesquisas realizadas no mbito dos programas de ps-graduao. Ensaio: Avaliao e polticas pblicas em educao, 1(3), 73-79. Rio de Janeiro. Sousa, Sandra Maria Zakia Lian (1994b). Avaliao da aprendizagem: natureza e contribuies da pesquisa no Brasil no perodo de 1980 a 1990. Tesis doctoral. Universidade de So Paulo. Sousa, Sandra Maria Zakia Lian (1995). Avaliao da Aprendizagem nas pesquisas do Brasil de 1930 a 1980. Cadernos de Pesquisa, 94, 43-49. So Paulo. Sousa, Sandra Maria Zakia Lian (1996). Avaliao da aprendizagem: anlise das pesquisas produzidas no Brasil, no perodo de 1980 a 1990. Revista da Faculdade de Educao, 22(1), 111-144. So Paulo. Sousa, Sandra Maria Zakia Lian (2005). 40 anos de contribuio a avaliao educacional. Estudos em Avaliao Educacional, 16(31). So Paulo. Stake, Robert (1982). Novos mtodos para a avaliao de programas educacionais. En Maria Amlia Azevedo Goldberg y Clarilza Prado Sousa. Avaliao de programas educacionais: vicissitudes, controvrsias, desafios. So Paulo: EPU. Stufflebeam, Daniel L. y Anthony J. Skinfield (1987). Evaluacin sistemtica. Guia terica y prctica. Madrid: Paids. Teixeira, Celia Regina (2006). O Estado da arte: a concepo de avaliao educacional veiculada na produo acadmica do Programa de Ps-Graduao em Educao Currculo (1975-200). Cadernos de Ps-Graduao educao, 5(1), 59-66. So Paulo.
94 Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403

La evaluacin educacional en el Brasil

Toledo, Arnault, Flavio Massami Martins Ruckstadter y Vanessa Campos Mariano Ruckstadter (2010). Ratio Studiorum. Fecha de consulta: 15/10/2010. <http://www.histedbr.fae.unicamp.br/navegando>. Tyler, Ralph (1974). Princpios bsicos do currculo e ensino. Leonel Vallandro (trad.). Porto Alegre: Editora Globo. Uler, Arnilde Marta (2010). Avaliao da aprendizagem: um estudo sobre a produo acadmica dos programas de ps-graduao em educao (PUCSP, USP, UNICAMP) (2000-2007). Tesis doctoral. Pontifcia Universidade Catlica de So Paulo. Vianna, Heraldo Marelim (1992). Avaliao educacional nos Cadernos de Pesquisa. Cadernos de Pesquisa, 80, 100-105. So Paulo. Vianna, Heraldo Marelim (1995). Avaliao educacional: uma perspectiva histrica. Estudos em Avaliao Educacional, 12, 7-24. So Paulo. Vianna, Heraldo Marelim (2002). Questes de avaliao educacional. En Luiz Carlos de Freitas. Avaliao: construindo o campo e a crtica. Florianpolis: Insular. Worthen, Blaine R. (1982). Viso geral do mosaico formado pela avaliao e controle educacionais. En Maria Amlia Azevedo Goldberg y Clarilza Prado Sousa. Avaliao de programas educacionais: vicissitudes, controvrsias, desafios. So Paulo: EPU. Worthen, Blaine R., James R. Sanders y Jody L. Fitzpatrick (2004). Avaliao de programas: concepes e prticas. Dinah de Abreu Azevedo (traductora). So Paulo: Editora Gente.

Fecha de recepcin: 23 de abril de 2012 Fecha de aceptacin: 27 de noviembre de 2012

95 Educacin Vol. XXII, N 42, marzo 2013 / ISSN 1019-9403