You are on page 1of 90

La experiencia latinoamericana con pruebas internacionales de aprendizaje:

Impacto sobre los procesos de mejoramiento de la calidad de la educacin y criterios para guiar las decisiones sobre nuevas aplicaciones

J. GUILLERMO FERRER

en colaboracin con
PATRICIA ARREGUI

GRADE Grupo de Anlisis para el Desarrollo

Lima, octubre de 2002

Estudio financiado con recursos del Consorcio de Investigacin Econmica y Social del Per, y con el apoyo de PREAL Programa para la Promocin de la Reforma Educativa en Amrica Latina y el Caribe.

Agradecemos a Gilbert Valverde, Fernando Reimers, Juan Fernando Vega, Jos Rodrguez, Leonor Cariola, Carlos Pardo, Silvia Montoya, Shane Hunt, Pedro Ravela y Hctor Fernndez por sus valiosos come ntarios a los primeros borradores de este informe.

TABLA DE CONTENIDOS

Acrnimos y abreviaciones Introduccin Fundamentacin y objetivos del estudio Estructura del informe Seccin I Las reformas educativas y la evaluacin del logro acadmico en la dcada de los 90 Seccin II Qu son las pruebas internacionales? Seccin III Beneficios y problemas de la participacin en pruebas internacionales Seccin IV Marco terico-conceptual Seccin V Metodologa Seccin VI Resultados Seccin VII Discusin Seccin VIII Recomendaciones para futuras oportunidades de participacin del Per y otros pases latinoamericanos en pruebas internacionales Recomendaciones para futuras investigaciones

Acrnimos y abreviaciones AFT: American Federation of Teachers- Federacin Estadounidense de Maestros. ALL: Adult Literacy and Lifeskills (Prueba para Adultos sobre Alfabetizacin y Destrezas para la Vida). BID: Banco Interamericano de Desarrollo. ETS: Educational Testing Services (Servicios de Evaluacin Educacional), Universidad de Princeton, EEUU. ICFES: Instituto Colombiano para el Fomento de la Educacin Superior. IDECE: Instituto para el Desarrollo de la Calidad Educativa, Ministerio de Educacin de Argentina. IEA: International Association for the Evaluation of Educational Achievement (Asociacin Internacional para la Evaluacin del Logro Acadmico) IRT: Item Response Theory- Teora de Respuesta al Item. LLECE: Laboratorio Latinoamericano para la Evaluacin de la Calidad de la Educacin (UNESCO-OREALC). NCES: National Council for Education Statistics- Consejo Nacional de Estadstica de la Educacin, EEUU. NCTM: National Council of Teachers of Mathematics- Consejo Nacional de Profesores de Matemticas, EEUU. NSF: National Science Foundation- Fundacin Nacional de Ciencias, EEUU. OCDE: Organizacin para la Cooperacin y el Desarrollo Econmico. OEI: Organizacin de Estados Iberoamericanos. ONG: Organizacin no-gubernamental. OREALC (UNESCO): Oficina Regional para Amrica Latina y el Caribe. PIRLS: Progress in International Reading Literacy Study (Estudio Internacional sobre los Progresos en Alfabetizacin y Habilidades de Lectura).

PISA: Programme for International Student Assessment (Programa Internacional de Evaluacin de Estudiantes). PNUD: Programa de las Naciones Unidas para el Desarrollo. PROMEDLAC: Comit Regional Intergubernamental del Proyecto Principal de Educacin en Amrica Latina y el Caribe (UNESCO). REDUC: Red Latinoamericana de Informacin y Documentacin en Educacin. SIMS: Second International Mathematics Study (Segundo Estudio Internacional de Matemticas). SACMEQ: Southern Africa Consortium for Monitoring Educational Quality (Consorcio de Africa del Sur para la Eva luacin de la Calidad Educacional). SEP: Secretara de Educacin Pblica, Mxico. SIMCE: Sistema de Medicin de la Calidad Educativa. Ministerio de Educacin de Chile. SMART: Science and Mathematics Achievement Required for Tomorrow. TIMSS: Third International Mathematics and Science Study (Tercer Estudio Internacional en Matemticas y Ciencias, 1995). TIMSS-R: Repeticin de TIMSS (1998). UMRE: Unidad de Medicin de Resultados Educativos, Administracin Nacional de Educacin Pblica, Uruguay. WEI: World Education Indicators (Indicadores Mundiales de Educacin) - OECD.

INTRODUCCIN

Fundamentacin y objetivos del estudio En los ltimos aos han surgido diversas recomendaciones, provenientes de organismos internacionales y regionales, sobre la conveniencia de la participacin de pases latinoamericanos en pruebas internacionales de logro acadmico. Esas recomendaciones suelen sustentarse con el argumento de que los datos comparativos sobre el rendimiento estudiantil son tiles para informar a los pases sobre la calidad relativa de sus sistemas educativos y, consecuentemente, sobre su competitividad en el mercado global de bienes y servicios. Estn tambin basadas en el argumento de que las pruebas internacionales garantizan ms alta calidad tcnica y eficiencia que los sistemas nacionales de medicin y que pueden contribuir significativamente al desarrollo de capacidades locales en el campo de la evaluacin. La utilidad efectiva de las comparaciones internacionales de logro acadmico para informar polticas educativas no es, sin embargo, algo sobre lo cual exista total acuerdo en la literatura actual. Tampoco se ha recogido ni sistematizado suficiente evidencia emprica sobre la difusin que los pases han dado a la informacin recogida en las pruebas internacionales ni sobre la manera en que han utilizado esa informacin para promover el mejoramiento de sus polticas, planes, programas y prcticas educativas. Ante esta falta de evidencia, y ante la posibilidad de que el Per y otros pases de la Regin comiencen a privilegiar la participacin en pruebas internacionales sin la debida consideracin previa sobre la necesidad de consolidar el desarrollo de sus propios sistemas y capacidades de evaluacin y medicin, se consider oportuno iniciar una indagacin exploratoria sobre los riesgos y beneficios de esta participacin y sobre las condiciones tcnicas y polticas en que debiera realizarse. En la medida de lo posible, esa indagacin se focalizar en la experiencia vivida por algunos pases que ya han participado en pruebas internacionales de logro acadmico. El propsito ltimo que se persigue con este estudio es el de contribuir a que dicha participacin, de resultar recomendable o de alguna manera ineludible, pueda servir efectivamente para el mejoramiento de la gestin y resultados de los procesos educativos en el pas, as como en otros pases de la Regin que recin se incorporan a este tipo de programas, a la vez que para que se tomen medidas para minimizar impactos negativos que dichas actividades pudieran eventualmente acarrear.

Estructura de este informe Dada la complejidad del tema investigado, y considerando que una gran parte de los lectores potenciales de este trabajo se enfrentan a este tema por primera vez, se ha decidido organizar este informe de la siguiente manera: La Seccin I presenta, sobre la base de la revisin bibliogrfica inicial, algunos aspectos del contexto histrico sobre reformas educativas y de desarrollo de sistemas de evaluacin dentro del cual se inscribe la participacin de muchos pases dentro y fuera de la Regin en pruebas internacionales de logro acadmico. La Seccin II presenta una descripcin inicial de algunas de las pruebas internacionales ms importantes en la actualidad y resume sus principales caractersticas. En la Seccin III se resumen algunos de los beneficios y problemas de la participacin en pruebas internacionales ms frecuentemente citados por la literatura especializada. El marco tericoconceptual se presenta en la Seccin IV, y en la Seccin V se describe la metodologa seguida en este estudio. La Seccin VI presenta los resultados del trabajo de campo, clasificados por tipo de prueba y organizados de acuerdo al marco conceptual seleccionado. En la Seccin VII , en forma de discusin, se plantean algunas generalizaciones sobre la experiencia de participacin de pases latinoamericanos en pruebas internacionales. En la Seccin VIII , por ltimo, se ofrece un conjunto de recomendaciones para orientar las decisiones de los pases de la Regin sobre futuras participaciones en este tipo de pruebas. I. LAS REFORMAS EDUCATIVAS Y LA EVALUACIN DEL LOGRO ACADMICO EN LA DCADA DE LOS 90. Los esfuerzos en el mundo por llevar a cabo reformas educativas en las ltimas dos dcadas han sido motivados, principalmente, por un creciente inters poltico en asegurar no solamente cobertura y acceso universal a la educacin, sino tambin el aprendizaje efectivo, por parte de todos los alumnos, de los contenidos curriculares propuestos por esas reformas. Este renovado inters por la calidad de la educacin, entendindose por calidad ms y mejores aprendizajes, se inscribe en un contexto de fuertes cambios polticos y econmicos de orden mundial que son interpretados en formas variadas segn diferentes corrientes acadmicas y de opinin. Algunas voces ponen de relieve la existencia de condiciones de contexto donde las reglas de libre mercado, la globalizacin y las nuevas tecnologas de informacin imponen una redefinicin y ajustes de las metas y objetivos de la educacin pblica, as como del rol del Estado para la consecucin de esas 7

metas. Estos cambios se caracterizan por una serie de objetivos que, por ejemplo, Carter y ONeill (1995), en Ball (1998), definen como constitutivos de lo que ellos llaman una nueva ortodoxia. Entre esos objetivos se encontraran los de mejorar las economas nacionales por medio del establecimiento de vnculos ms robustos entre escolarizacin, empleo, productividad y mercado; mejorar los resultados de aprendizajes re lacionados a las competencias y destrezas que requiere el mundo laboral; lograr un mayor y ms directo control de los sistemas educativos nacionales sobre los contenidos curriculares y sobre la evaluacin; reducir los costos de gobierno en educacin; y ampliar la contribucin de la comunidad a la educacin, mediante su participacin en la toma de decisiones escolares y mediante la presin de la libre eleccin de mercado i. Estas tendencias vienen de la mano de nuevas formas de administracin y gestin que ponen en el centro de la discusin la necesidad de mejorar la eficiencia de los sistemas educativos y de fomentar la responsabilizacin social y profesional por los resultados de la educacin. Estas formas de gestin, usualmente denominadas de gerenciamiento, suponen el uso de estilos y herramientas de gestin diferentes a las tradicionalmente utilizadas por el sector pblico. Son ejemplos de esas nuevas formas o estilos de gestin la delegacin de responsabilidad y poder de decisin a las instituciones proveedoras de servicios (escuelas), as como el control a distancia de la calidad en la provisin de esos servicios por parte del poder central. De esta manera, el Estado reemplaza la intervencin directa y la prescripcin por la determinacin de objetivos, la comparacin y la responsabilizacin (Lyotard, 1984, en Ball, 1998). Dentro de este marco de interpretacin, sin duda ha tenido un rol fundamental el uso de las mediciones sobre el rendimiento acadmico de los estudiantes, que permite establecer mecanismos de responsabilizacin para los alumnos mismos, para los docentes y para las escuelas, en forma de graduacin y promocin, acreditacin, incentivo a la matrcula, mejoras salariales, y otras tantas formas de estmulo para elevar los resultados educativos. Paralelamente, muchos pases, entre ellos los latinoamericanos, buscan por medio de las reformas curriculares y de gestin fomentar y consolidar valores democrticos, de participacin ciudadana y de respeto por la diversidad. En este sentido, vale mencionar los esfuerzos de muchos pases de la Regin por establecer sistemas nacionales de medicin de la calidad educativa que permitan, no necesariamente impulsar mecanismos punitivos o de mercado (school choice), sino hacer ms transparente y participativa la gestin mediante la provisin de informacin a los actores y usuarios del sistema. Visto de este modo, el Estado no se desentiende de la gestin ni de su responsabilidad por promover mayor equidad y calidad de educacin, sino que busca alentar a la poblacin a que utilice las informaciones sobre los resultados educativos para demandar localmente mayores niveles de calidad para sus escuelas. Simultneamente, el Estado se reserva para s la funcin redistributiva de los ingresos pblicos, que puede hacerse ms efectiva y equitativa si se realiza mediante evaluaciones que permitan distinguir cules son las subpoblaciones 8

del sistema con mayores dificultades y menores recursos, y as poder intervenir con recursos materiales y pedaggicos para compensar las diferencias de logro acadmico. Las evaluaciones, tambin, han permitido reunir sistemticamente mayores evidencias sobre las actitudes de los alumnos en relacin a los aprendizajes mismos y a los valores personales y sociales, como la honestidad, la solidaridad o la tolerancia, que son contenidos curriculares explcitamente delineados en la gran mayora de los currculos de Amrica Latina donde las reformas educativas de los ltimos 20 aos se han emprendido en contextos polticos de democratizacin y pacificacin (Ferrer, 1999), y en algunos pases de Asia como Japn y Corea del Sur donde se ha hecho evidente la necesidad de complementar el enfoque tradicionalmente academicista de la educacin con aspectos del desarrollo moral, afectivo y social de los estudiantes (GRADE, 2001). Es importante notar que la bsqueda del control ms directo sobre los contenidos curriculares al que se aluda anteriormente se ha fortalecido en los pases que han tenido sistemas educativos tradicionalmente descentralizados, mientras que en aqullos donde la prescripcin curricular ha sido histricamente centralizada los esfuerzos se han concentrado ms bien en la flexibilizacin del currculo en el nivel local y escolar. En cualquiera de los dos escenarios, sin embargo, se percibe la necesidad de realizar evaluaciones centralizadas que permitan medir el logro acadmico de todos los alumnos bajo un mismo parmetro y en relacin con contenidos curriculares a los que todos los estudiantes deberan poder acceder. En este contexto de fuertes redefiniciones de poltica econmica y poltica social, que implican nuevas formas de intervencin estatal y participacin local en la gestin de la educacin pblica, como se explic anteriormente, una de las herramientas principales de gestin educativa que ha cobrado protagonismo en muchos pases del mundo, es la evaluacin comparativa y cuantitativa de los logros de aprendizaje de los alumnos, y la medicin del impacto de diversas variables escolares y extraescolares sobre esos logros. Los pases que disponan de sistemas nacionales de evaluacin desde antes de los aos 80 reforzaron su aplicacin y los vincularon ms directamente a sus nuevas metas curriculares. Los pases que no disponan de tales sistemas de evaluacin, como fue el caso de la mayor parte de los pases latinoamericanos, desarrollaron esos sistemas junto con el diseo e implementacin de las reformas educativas de los aos 80 y 90. Algunas opiniones especializadas argumentan que el impulso por la creacin de estos sistemas de evaluacin en los pases en desarrollo estuvo influido por la presin de algunas agencias de cooperacin internacional, que condicionaron los prstamos para educacin al desarrollo de sistemas nacionales de evaluacin que permitieran medir los resultados de esas millonarias inversiones en reformas educativas. El Banco Mundial y el Banco Interamericano de Desarrollo, como parte de la negociacin por los crditos para educacin, 9

jugaron un rol particularmente importante en la difusin de un modelo de gestin consistente con las actuales tendencias de globalizacin y de libre mercado (Jones, 1998, en Ball, 1998; Torres, 1999). Esta interpretacin, sin embargo, es desafiada insistentemente por quienes consideran que, independientemente de las polticas de las ltimas dos dcadas, comnmente denominadas neoliberales, la evaluacin estandarizada del rendimiento acadmico y el estudio de los factores escolares y extraescolares que afectan ese logro es una herramienta que fortalece los cimientos democrticos de los sistemas educativos, en tanto permiten la opinin informada y la demanda de los beneficiarios, a la vez que permite al Estado establecer mecanismos de compensacin para asistir a las comunidades escolares que ms lo necesitan. A esta discusin se suma, adems, el hecho de que los cambios econmicos de las ltimas dos dcadas en el mundo tambin han dado lugar a una creciente preocupacin de los pases por su capacidad para competir eficazmente en los mercados internacionales. Para poder competir y prosperar, segn se ha argumentado ya desde el siglo XVIII con la publicacin del tratado sobre la naturaleza y las causas de la riqueza de las naciones (Smith, 1776), es menester invertir en capital humano. Desde entonces, la educacin ha sido vista como el principal medio para incrementar ese capital y fomentar as el desarrollo y la posibilidad de competir comercialmente en el escenario global. La responsabilidad que se le adjudica a la educacin por incrementar el capital humano de las naciones se manifiesta actualmente en las mltiples iniciativas de reforma educativa en el mundo. Casi todas estas reformas, si bien muestran grandes diferencias de pas en pas y de regin en regin, guardan como principal semejanza los esfuerzos por actualizar permanentemente los currculos y por medir, como se explic anteriormente, la implementacin y aprendizaje efectivo de los contenidos de esos currculos. Junto con el desarrollo y perfeccionamiento de sistemas nacionales de medicin de aprendizajes, ha crecido notablemente el inters por las comparaciones internacionales de logro acadmico. Segn Bempechat et al (2000) el ltimo cuarto de siglo ha sido testigo de un incipiente inters por las comparaciones internacionales de logro estudiantil. Agregan las au toras que la fascinacin con el logro acadmico en diferentes naciones ha sido motivada por los rpidos avances tecnolgicos que han transformado la economa mundial [...] Los Estados-nacin expresan su preocupacin por su capacidad para competir en un mundo que se vuelve ms y ms pequeo. El caso de Estados Unidos es paradigmtico en cuanto al impacto que las pruebas internacionales comparadas pueden tener sobre las polticas educativas de una nacin. Los resultados en matemticas y ciencias de los e studiantes norteamericanos en pruebas internacionales, por debajo del promedio mundial y muy lejos de las potencias asiticas, alarmaron a los lderes polticos de los inicios de los 80, quienes no dudaron en calificar a los Estados Unidos como 10

una nacin en riesgo (National Commission on Excellence in Education, 1983). La declaracin haca referencia al peligro que corran los EEUU de perder liderazgo mundial si su sistema educativo pblico no lograba mejores resultados de aprendizaje en ciencias y matemticas, y desencaden una serie de medidas de reforma curricular y de gestin a lo largo y ancho del pas, con el objetivo explcito de ocupar el primer puesto en los rankings internacionales de logro acadmico hacia el ao 2000. Pero a las comparaciones internacionales no solamente se les atribuye un valor competitivo, o de ranking. Adems del inters, muy legtimo por cierto, que pueda tener cada pas en saber su posicin relativa a otros pases en cuanto a logro acadmico, existen argumentos conceptuales que justifican las comparaciones entre pases como un instrumento metodolgico que ofrece mayor informacin que la que puede ofrecer un anlisis intra-nacional. De acuerdo a Joseph Farrell (1979) no puede realizarse ningn tipo de generalizacin cientfica sobre educacin si no es a travs de un estudio comparativo. El autor sostiene que los datos comparativos son esenciales para establecer la credibilidad de las proposiciones y que hasta que no se conoce la relacin entre universos particulares y generales, ningn estudio es suficiente para probar una proposicin. Para muchos investigadores y tomadores de decisiones sobre polticas educativas, tal como fuera expresado en una conferencia del Centro Nacional de Estadstica Educativa de los EEUU- NCES (Husn, 1987), la participacin en pruebas internacionales constituye una intervencin en s misma, independientemente de los resultados del estudio, y alerta a educadores e investigadores sobre problemas que podran no haber considerado anteriormente. Otras visiones sostienen que las pruebas internacionales pueden cumplir un rol ms activo o propositivo. Husn (1987), cuando discute el impacto de la IEA (International Association for the Evaluation of Educational Achievement) sobre las polticas educativas en los pases participantes, distingue dos categoras de clientes: 1) formuladores de polticas (mayormente en el nivel central), y 2) ejecutores de esas polticas (tcnicos y educadores en el nivel central y local). Segn Husn, los primeros suelen estar ms interesados en datos y hallazgos de investigacin referidos a la estructura del sistema de educacin, mientras que los ltimos prestan ms atencin a la informacin recogida sobre procesos de enseanza-aprendizaje, prcticas y metodologa de aula, materiales educativos y evaluacin de aprendizajes en el aula. Otros autores proponen algunos objetivos especficos que suelen perseguirse mediante la aplicacin de pruebas internacionales. Theisen y colaboradores (1983), por ejemplo, citan tres objetivos principales para esa participacin: comparar el logro acadmico relativo entre pases y por asignatura; identificar implicancias de poltica educativa para un pas a travs de los determinantes de 11

logro hallados en otros pases; y re-evaluar las prioridades de inversin dentro de un pas para elevar la calidad de los aprendizajes. La teora sobre educacin comparada es extensa y controvertida, y los argumentos sobre el valor y validez de las comparaciones internacionales an son materia de acaloradas discusiones en los medios acadmicos. Sin embargo, persiste el inters de los investigadores sociales, as como de los formuladores de polticas pblicas alrededor del mundo, en realizar comparaciones, cada vez ms precisas y sofisticadas, sobre diferentes aspectos de la poltica social. ste ha sido el caso de las pruebas internacionales de logro acadmico, que se siguen aplicando en una creciente cantidad de pases cada ao y que se van perfeccionando gradualmente en lo que se refiere a la especificacin consensuada de sus objetivos, as como a las tcnicas de recojo y anlisis de la informacin. Por ejemplo, y como se explicar ms adelante, entre las razones ms comnmente citadas para llevar a cabo comparaciones internacionales en educacin, se encuentra la posibilidad de hallar mayor varianza en las variables estudiadas que la que puede hallarse en un estudio intra-nacional, lo que permite llegar a conclusiones ms claras y ms robustas sobre los efectos de determinadas variables o factores sobre el rendimiento estudiantil. II. QU SON LAS PRUEBAS INTERNACIONALES? Las pruebas internacionales comparadas son instrumentos de medicin estandarizados que se aplican en varios pases simultneamente, en grados o grupos etreos seleccionados, y que recogen informacin sobre logros de aprendizaje conceptual y procedimental en diferentes disciplinas, y sobre los factores contextuales que se presume influyen en el logro acadmico de los estudiantes. Las pruebas suelen incluir temes de opcin mltiple, preguntas abiertas y/o demostraciones prcticas, como por ejemplo de laboratorio en el caso de las ciencias naturales. Entre los factores contextuales ms importantes que suelen estudiarse aparecen la inversin per cpita en cada sistema nacional, las caractersticas familiares y socioculturales de los alumnos, la infraestructura escolar, la preparacin acadmica de los docentes, la cobertura curricular efectuada en clase en las reas disciplinares evaluadas, y las actitudes y valores de los alumnos con relacin a esas reas. Las pruebas pueden ser curriculares o acurriculares, dependiendo respectivamente de su grado de vinculacin a los currculos de los pases participantes. Cuando las pruebas son curriculares, como en el caso de TIMSS o LLECE, los instrumentos se disean sobre una matriz curricular comn que representa los contenidos bsicos que se ofrecen en los niveles educativos a ser evaluados en casi todos los pases participantes. A estos contenidos comunes se suman contenidos considerados necesarios para una educacin de calidad en el siglo XXI, segn la opinin de profesionales y acadmicos internacionales especializados en las reas disciplinares evaluadas. En el caso de las pruebas 12

acurriculares, tales como PISA, los diseadores del estudio establecen estndares de contenido acadmico disciplinar que se consideran necesarios para una efectiva insercin social y laboral en el mundo de hoy, independientemente de los contenidos de los currculos de los pases participantes en la prueba comparada. Algunas de estas pruebas se han aplicado una nica vez, a modo de diagnstico o como ejercicio de investigacin. Actualmente, se observa una tendencia al diseo de pruebas de aplicacin cclica de manera tal que se pueda seguir el rendimiento de un grupo etreo o grado escolar de estudiantes cada cierta cantidad de aos, y as poder establecer relaciones longitudinales con respecto al desempeo acadmico de esas poblaciones. Estas son pruebas diseadas y coordinadas por agencias internacionales de evaluacin, y con cierto grado de participacin por parte de las unidades de medicin de la calidad educativa de los pases. Algunas de estas agencias son privadas e independientes, de un perfil bsicamente acadmico como es el caso de ETS (Servicios de Evaluacin Educacional) en EEUU, o como la IEA (Asociacin Internacional para la Evaluacin del Logro Acadmico), que comenz con un perfil similar pero que gradualmente fue convirtindose en una agencia de fuertes vinculaciones con los gobiernos nacionales participantes. Otras agencias son intergubernamentales desde su concepcin y en ellas estn representadas las mximas unidades polticas o tcnicas de administracin o evaluacin educativa de los pases miembro. Ejemplo de estas ltimas son la OCDE (Organizacin para la Cooperacin y el Desarrollo Econmico), el Laboratorio Latinoamericano para la Evaluacin de la Educacin (LLECE), dependiente de UNESCO-OREALC, o SACMEQ (Consorcio de Africa del Sur para la Evaluacin de la Calidad Educacional). Las pruebas de la IEA o de la OCDE son de cobertura mundial, mientras que otras, como las del LLECE o SACMEQ, son de cobertura regional. En la actualidad existen no menos de 10 pruebas internacionales que miden el logro estudiantil en diferentes reas de conocimiento, tal como se resume en forma ilustrativa en el Anexo A . Independientemente de su origen, estrictamente acadmico o de aplicacin poltica, las pruebas internacionales buscan el desarrollo de nuevas metodologas de investigacin comparada y enfoques analticos (Forster, 2000); actualmente, sin embargo, se tiende al desarrollo de estas pruebas como un instrumento que puede proveer importantes insumos de informacin para el diseo y mejoramiento de polticas educativas orientadas a elevar la calidad de los aprendizajes. Para ese fin, algunas de estas pruebas ofrecen lo que en este informe daremos a llamar opciones nacionales, es decir la posibilidad de que cada pas utilice el operativo de aplicacin de instrumentos a la muestra nacional para medir subpoblaciones especficas que por alguna razn ameriten una medicin ms enfocada, o de reas de conocimiento particulares y diferentes de las que evala la prueba general. As, un pas podra hacer uso del operativo internacional para evaluar, por ejemplo, un grupo etreo diferente o agregar 13

temes de contenidos curriculares nacionales no contemplados en la prueba internacional. Los resultados de las pruebas internacionales pueden ser reportados y difundidos por las agencias mismas que dirigen los estudios, por las agencias nacionales que coordinan los estudios en los pases participantes, por investigadores independientes o por la prensa (Forster, 2000; Macnab, 2000). Los datos que las pruebas arrojan suelen ser cuantiosos y por esa razn se eligen diferentes formas de reportarlos, de acuerdo a las audiencias a quienes estn dirigidos. Algunos reportes presentan un ranking de acuerdo al logro relativo de los pases participantes, con relacin al total del examen o a grupos de temes seleccionados para el reporte; tambin suele mostrarse la distribucin de los resultados en relacin a la media aritmtica de cada pas (dispersin), el logro de diferentes subpoblaciones, o las relaciones entre logro acadmico y diferentes variables contextuales relevadas por el estudio (Forster, 2000). Algunas de las formas en que suele usarse la informacin recogida son: la motivacin para mejorar polticas a partir de la simple comparacin con el logro de otros pases; la promocin de polticas de mejoramiento a travs de la difusin masiva de los resultados; el establecimiento de nuevos estndares acadmicos de acuerdo al desempeo de alumnos en otros pases; la identificacin de los factores escolares y extraescolares que muestran un efecto positivo en el logro de aprendizajes; y el estmulo para las investigaciones dentro del pas mediante la profundizacin de los resultados del estudio internacional (Forster, 2000; Macnab, 2000). III. BENEFICIOS Y PROBLEMAS DE LA PARTICIPACIN EN PRUEBAS INTERNACIONALES El valor de las comparaciones de logro acadmico entre pases o entre regiones es materia de discusin permanente entre investigadores. Los argumentos que se esgrimen a favor y en contra de esas comparaciones suelen ser de carcter eminentemente tcnico, aunque tambin entran en jue go factores de orden poltico e ideolgico. A continuacin se resumen las razones ms frecuentemente citadas por la literatura especializada con relacin a las ventajas y desventajas (o problemas) de la participacin en pruebas internacionales. Beneficios Los resultados comparados internacionalmente atraen la atencin de los medios de comunicacin, movilizan fuerzas polticas (Greany y Kellaghan, 1996) y suscitan debates sobre las implicancias prcticas de los resultados obtenidos (Husn, 1987; Husn y Tuijnman, 1994, en Kellaghan, 1996).

14

La construccin de pruebas requiere de los pases participantes una revisin cuidadosa de sus currculos y de su comparacin con los de otros pases (Beaton et al, 1999), lo cual puede conducir a su actualizacin y mejoramiento. Tambin motiva a educadores e investigadores a estudiar problemas del sector que no se haban considerado antes (Husn, 1987). Se desarrolla la capacidad local para la medicin de aprendizajes (Greany y Kellaghan, 1996; Torney-Purta, 1990; Bloom, 1974), en la medida en que educadores e investigadores de la educacin se ven llamados a interactuar con especialistas internacionales y as se mantienen actualizados (Beaton et al, 1999; Mislevy, 1995). Se conoce la efectividad de las polticas implementadas por otros pases (Beaton et al, 1999) Adems del logro acadmico propiamente dicho, existe una gran variedad de variables educativas que pueden compararse, tales como el clima escolar, la disponibilidad relativa de materiales educativos o los efectos de la educacin preescolar, as como una variedad de factores familiares y sociales, tales como el nivel sociocultural de los padres o la ubicacin geogrfica de los centros educativos, todos los cuales pueden contribuir a comprender cules son los efectos relativos de los diferentes factores sociales y escolares que afectan el rendimiento acadmico (Husn, 1987; Torney-Purta, 1990). Si bien algunos de estos factores pueden informar la toma de decisiones de poltica educativa y otros no, por caer fuera de las posibilidades sectoriales de accin, todos pueden en mayor o menor medida contribuir a una comprensin ms integral, menos parcializada, del estado actual del sistema educativo y sus condicionantes. Los gobiernos pueden incluir en estos estudios preguntas e temes que de otra manera deberan hacer por su propia cuenta, a travs de sus sistemas nacionales (Husn, 1987). La dispersin que se halla en los estudios comparativos internacionales suele ser mucho ms fuerte y evidente que la que se puede observar en estudios intra-nacionales, y por lo tanto se puede indagar ms profundamente sobre los efectos de diferentes variables sobre los resultados de aprendizaje (Husn, 1987). La construccin colectiva y aplicacin de pruebas puede promover prcticas profesionales democrticas debido al tipo de procedimientos y metodologas utilizadas (Torney-Purta, 1990). Algunas pruebas, como TIMSS, utilizan diseos jerrquicos para la recoleccin de datos, lo cual permitira, asumiendo que exista suficiente varianza en los datos totales, analizar cunto de la varianza se debe a 15

diferencias entre pases o a diferencias entre estudiantes dentro de cada pas (Bempechat et al, 2000). Estos anlisis pueden contribuir a revelar cmo algunas polticas similares pueden tener efectos diferenciales en los pases, dependiendo de otras variables complementarias. Un ejemplo de esto es el efecto positivo que la tarea en el hogar puede tener en el logro acadmico de los estudiantes chinos, mientras que en Per el efecto puede ser mucho menor debido al alto ndice de analfabetismo de los padres. Si bien en el proceso participan tcnicos internacionales, los informes de resultados son producidos por investigadores nacionales que conocen a fondo los problemas de su pas; por esta razn se espera que exista una interaccin entre investigadores y educadores por lo menos igual a la que puede existir en el caso de pruebas intra-nacionales, de manera tal que la informacin recabada y difundida provoque respuestas constructivas a los problemas detectados por el estudio (Bloom, 1974). Problemas y limitaciones Los resultados de los estudios, en particular cuando se presentan como ranking de logro entre pases, suelen desatar comentarios y crticas por parte de polticos, medios de comunicacin y pblico en general, de manera tal que predomina el efecto llamado carrera de caballos o juegos olmpicos, donde slo importa la posicin relativa de logro en el escenario internacional y no la generalmente abundante informacin sobre factores sociales, escolares y personales asociados al rendimiento (Greaney y Kellaghan, 1996). La prensa, particularmente, tiende a desconocer los aspectos ms complejos y autnticamente informativos de los resultados y slo destaca las posiciones en el ranking, a menudo con ttulos dramticos y escandalosos (Husn, 1987; Kellaghan, 1996). Simultneamente, no debe olvidarse que la tabla de posiciones puede, en efecto, suscitar movimientos de opinin importantes que generen medidas de accin para el mejoramiento de la calidad, como ha sido recientemente el caso en Alemania luego de la publicacin de los resultados de PISA. Si bien las pruebas internacionales utilizan diferentes formatos, algunos de ellos innovadores, los temes ms numerosos continan siendo diseados en forma de opcin mltiple. Aun cuando estos temes, si estn debidamente construidos, pueden evaluar habilidades cognitivas complejas, persisten crticas y dudas sobre su validez para ese fin (Greaney y Kellaghan, 1996). De la misma manera, se ha criticado a los estudios internacionales por carecer de metodologas que fomenten la construccin cooperativa y democrtica de las pruebas, lo cual pone en riesgo la participacin efectiva y el beneficio que puedan derivar de esa participacin los pases con escaso desarrollo tcnico (Husn, 1987). Debe considerarse que esta construccin 16

cooperativa a la que se hace referencia tiene que ver tanto con la participacin efectiva de los tcnicos de todos los pases involucrados, as como con la posible participacin de diferentes grupos profesionales en los mbitos educativos nacionales para la validacin de los contenidos de las pruebas. La complejidad de los estudios, sumada a la escasa capacidad que suele existir entre el pblico para interpretar los numerosos datos que derivan de los estudios comparativos, determina que la informacin que finalmente se difunde resulte ambigua o contradictoria, que un mismo dato pueda ser utilizado para argumentos antagnicos (dependiendo de la postura poltica), o que sencillamente se malinterpreten los datos y se llegue a conclusiones errneas (Husn, 1987). Los indicadores, interpretados aisladamente de su contexto cultural y estructural, pueden conducir a interpretaciones y acciones de poltica equivocadas (Bur stein, Oakes y Guiton, 1992, en Schmidt y McKnight, 1995). Ejemplo de esto ltimo puede ser el efecto relativo que puede tener sobre el rendimiento acadmico la ayuda de los padres en la tarea escolar, dependiendo del grado de alfabetizacin de las familias en cada pas. La validez de los estudios se ve amenazada por las grandes diferencias culturales entre los alumnos de diferentes pases, que hacen que las condiciones en que se toman las pruebas no sean iguales en cada pas. Entre estas diferencias destacan los diferentes grados de familiaridad que los alumnos puedan tener con las pruebas estandarizadas, los estilos de respuesta (Ej. tendencia a omitir o a adivinar respuestas), y las motivaciones que puedan tener los alumnos para hacer un esfuerzo significativo por resolver las preguntas (Mislevy, 1995). A menudo se toman decisiones de poltica sobre la base de interpretaciones de causalidad entre las variables estudiadas, cuando en realidad esa causalidad slo podra confirmarse mediante estudios experimentales controlados (Platt, 1975, en Mislevy, 1995). La informacin cualitativa recogida por los estudios comparativos no siempre resulta suficiente para comprender las variaciones que existen al interior de cada cultura y as comprender mejor cmo las creencias y percepciones de los alumnos afectan diferencialmente su rendimiento (Bempechat et al, 2000). Si bien se ha propuesto el uso de las pruebas internacionales para fines de responsabilizacin de los gobiernos y funcionarios, an no existe un modelo claro para operacionalizar una propuesta de este tipo, es decir definiciones claras sobre quin ser responsable, o quin tendr el poder o la autoridad para modificar y mejorar el rendimiento acadmico de los alumnos. En general, y como sucede con muchos sistemas de evaluacin nacionales, se 17

ha dado poco espacio a la discusin sobre el uso exacto que se dar a las pruebas, y puede pretenderse, errneamente, que la misma prueba sirva mltiples propsitos cuando en realidad esos propsitos pueden ser incompatibles (Kellaghan, 1996). Hasta la fecha, ni las agencias evaluadoras ni acadmicos especializados han llevado a cabo un registro sistemtico de los usos que se ha dado en diferentes pases a los resultados de las evaluaciones. Kellaghan (1996) resalta que los informes que actualmente existen presentan informacin limitada y relativamente superficial, y por lo tanto no se puede identificar los mecanismos exactos por medio de los cuales la informacin [de la IEA] se traduce en acciones de poltica. Aunque este no sea un problema inherente a las pruebas mismas, histricamente demuestra que los emprendimientos de evaluacin internacional no siempre logran informar eficazmente a las audiencias o clientes principales. El balance entre las ventajas y limitaciones que presentan las pruebas internacionales pareciera indicar, en principio, que la participacin en estos proyectos puede ser valiosa para los pases, inclusive para los pases en desarrollo (Greaney y Kellaghan, 1996), siempre y cuando se tome n ciertos recaudos con respecto a las caractersticas tcnicas de las pruebas y a las condiciones polticas e institucionales para su aplicacin, incluyendo la previsin de mecanismos para la correcta interpretacin y difusin de los resultados. La literatura actual propone una variedad de condiciones bajo las cuales debiera concretarse la participacin de un pas en pruebas internacionales comparadasii. Esas condiciones, que en esta seccin se presentan como nota marginal, son tomadas en cuenta para suste ntar algunas de las recomendaciones que se efectan hacia el final de este informe. IV. MARCO TERICO-CONCEPTUAL El presente estudio fue estructurado sobre la base de dos marcos tericos principales. El primero permite encuadrar la informacin recogida sobre evaluaciones internacionales comparadas dentro de un modelo secuencial o cronolgico de poltica y cambio educativo. Este modelo secuencial, que se explica a continuacin, se seleccion porque representa la lgica con que muchos de los informantes en la Regin justifican la participacin en pruebas internacionales y porque permiti anticipar algunos de los potenciales problemas que obstaculizan la implementacin efectiva de los cambios deseados. La perspectiva secuencial o cronolgica, permite observar los contextos y procesos de poltica educativa, y evaluativa en particular, como una sucesin de instancias lgicamente ordenadas. Los autores que aplican esta perspectiva utilizan diferentes nomenclaturas y nmeros de fases para su descripciniii,

18

aunque en conjunto coinciden en la existencia de las siguientes etapas en el desarrollo de polticas educativas centradas en el logro de aprendizajes: a) Reposo, o situacin de status quo, en que tanto los proveedores como los beneficiarios se sienten conformes con la calidad del servicio educativo, concretamente con los aprendizajes logrados por los alumnos. b) Percepcin de insuficiencia: En esta fase, algn actor, o grupo de actores del sistema percibe, o demuestra con algn tipo de evidencia, que el servicio educativo no est proveyendo suficientes oportunidades de aprendizaje y que por lo tanto el rendimiento de los estudiantes es inadecuado. c) Iniciativa y adopcin: Ese mismo grupo, u otros interesados, deciden proponer cambios en el sistema, impulsan el diseo de programas y estrategias comprehensivas que apuntan a elevar el nivel de los aprendizajes, buscan apoyo poltico y financiero para asegurar la viabilidad inicial de esos programas, y en algunas ocasiones buscan sensibilizar o movilizar a otros actores clave del sistema. d) Implementacin: Los programas se ponen en prctica, buscando articular nuevos elementos (currculo, textos, capacitacin docente, etc.) con recursos y condiciones ya existentes. e) Evaluacin de proceso y resultados : En esta fase se monitorea el proceso de implementacin para poder realizar ajustes a los nuevos programas en curso (evaluacin formativa), o se decide medir los resultados e impactos de esos programas (evaluacin sumativa). La evaluacin sumativa requiere, en el contexto del estudio que nos ocupa, la aplicacin de instrumentos que permitan medir objetivamente los logros de aprendizaje de los alumnos. f) Retroalimentacin : La informacin recabada mediante las evaluaciones se utiliza para mejorar los insumos o procesos de implementacin, y as elevar las posibilidades de que los programas en curso tengan mayor impacto en los aprendizajes. En el contexto de esta investigacin, las etapas de poltica mencionadas estarn referidas especficamente a las polticas de diseo, implementacin, evaluacin y mejoras del currculo prescrito. Dado ese escenario, la participacin en pruebas internacionales se concibe aqu como un continuo donde se suceden fases similares de desarrollo, desde la percepcin de problemas de aprendizaje y la decisin de utilizar una herramienta de evaluacin comparada para verificarlo, hasta el uso de la informacin de esa evaluacin para el mejoramiento de las condiciones conducentes a un mayor logro acadmico. Esas fases del proceso de evaluacin comparada internacional quedaran as explicitadas:

19

Reposo : Situacin en la cual no existe evidencia emprica disponible sobre el rendimiento acadmico de la poblacin estudiantil nacional con respecto a otros pases, ni sobre los factores que en esos pases impactan positivamente en la calidad de los aprendizajes. En consecuencia, no hay movilizacin poltica ni de la opinin pblica y profesional para promover nuevas evaluaciones internacionales que, a su vez, estimulen el diseo o mejoramiento de los programas curriculares. Percepcin de insuficiencia : Los resultados de aprendizaje obtenidos por un pas, segn muestran las mediciones nacionales de rendimiento u otros estudios acadmicos de investigacin educativa, estimulan la opinin y la investigacin sobre la necesidad de elevar la calidad de los aprendizajes y sobre las formas de lograrlo. Iniciativa y adopcin : La unidad central de administracin educativa, o alguna entidad acadmica con el aval oficial, resuelven que es necesario medirse con respecto al logro acadmico de otros pases y, de acuerdo a las prioridades curriculares y de poltica educativa en cada pas, se opta por uno o ms tipos de proyecto de evaluacin internacional. Se espera de esta manera realizar un seguimiento de los alcances y efectos de los programas curriculares nacionales. Implementacin: En cada pas se ponen en marcha los procesos tcnicos de evaluacin internacional, desde las primeras reuniones de discusin entre expertos sobre el marco conceptual a ser utilizado, hasta la seleccin y validacin de temes, seleccin de la muestra poblacional y aplicacin final de los instrumentos. Si la relacin entre los equipos tcnicos de medicin y los profesionales del desarrollo curricular en cada pas es fluida y cooperativa, es probable que el proceso de diseo de las pruebas contribuya a las primeras revisiones crticas de los contenidos curriculares nacionales, ya sean antiguos o de reciente diseo e implementacin. Entran en juego en esta fase los aspectos financieros, as como las capacidades organizacionales y profesionales que afectan la viabilidad y calidad de los operativos de diseo y aplicacin de las pruebas. En el contexto latinoamericano en particular, juegan un rol particularmente importante los aprendizajes tcnicos, de tipo estadstico y psicomtrico, que se desarrollan durante la experiencia. Interpretacin y diseminacin de resultados: Se lleva a cabo la lectura de los resultados de evaluacin por parte de tcnicos de medicin as como de los profesionales del desarrollo curricular convocados durante el proceso de implementacin. Esa lectura supone el anlisis comprensivo y la valoracin inicial, e inevitable, del nivel de logro obtenido. Se preparan informes de resultados para la prensa, la opinin pblica en general y para diferentes audiencias profesionales del sector, se ofrecen talleres de difusin y desarrollo de capacidades de interpretacin y anlisis de los datos, y se liberan las bases de datos para uso de los medios acadmicos con fines investigativos. Los esfuerzos de interpretacin se centran en las inferencias de tipo curriculares que 20

puedan realizarse, es decir en relacin a los contenidos prescritos y enseados de las reas de conocimiento evaluadas. Decisiones, impacto poltico y nuevas lneas de investigacin: Los resultados de las evaluaciones influyen directamente, o indirectamente mediante la presin de la opinin pblica y profesional, sobre las decisiones de funcionarios y profesionales del sector para elevar la calidad de los aprendizajes. Retroalimentacin: Las autoridades del sector o las agencias evaluadoras mismas llevan a cabo un sondeo o investigacin sistemtica sobre el tipo de impactos que ha tenido la experiencia de evaluacin comparada internacional. Los resultados de esa investigacin se utilizan para decidir futuras participaciones en pruebas internacionales. Para fines analticos, y asumiendo tericamente que las fases de poltica curricular y las de evaluacin comparada internacional son ms o menos sincrnicas, encuadramos el anlisis del ciclo de participacin en pruebas internacionales de cada pas dentro del ciclo de poltica, o reforma curricular, en el cual se inscribe histricamente. De esta manera se intenta ver, por ejemplo, en qu medida los procesos de implementacin de pruebas internacionales (elaboracin y aplicacin de instrumentos) contribuyen al desarrollo de capacidades profesionales para la implementacin y ajuste de los programas curriculares que se pretende evaluar. Dado que en la realidad cada pas ha participado en ms de una prueba, en diferentes momentos, y acompaando tiempos distintos del desarrollo curricular, este tipo de anlisis no deja de ser solamente un intento por contextualizar los ciclos de evaluacin comparada, sin pretender establecer relaciones exactas y sincronizadas entre ambos procesos. El marco secuencial de evaluacin comparada internacional as establecido permite no solamente ordenar el contenido de las entrevistas y de los datos recogidos sino que, en las primeras fases del trabajo de campo, tambin permiti anticipar uno de los aspectos del proceso que representa el mayor obstculo para el uso efectivo de la evaluacin internacional en el mejoramiento de la calidad de los aprendizajes. Ese obstculo, concretamente el de ausencia de dilogo entre investigadores o evaluadores y los usuarios potenciales de la informacin, requiri para su explicacin de un segundo referente terico que se hall en el trabajo de Fernando Reimers (1999). Reimers sostiene que en las altas esferas de administracin educativa en muchos pases del mundo, la mayor parte de las decisiones que se toman para incrementar las oportunidades de aprendizaje se realizan intuitivamente, especulando con la articulacin de algunos de los elementos del sistema (currculo, capacitacin, supervisin, etc.), en vez de tomarse como resultado del anlisis cuidadoso de la evidencia que muestran las investigaciones y los anlisis de poltica. El autor argumenta que esto se debe a la forma en que el conocimiento derivado de la investigacin es acumulado y procesado, y a que no 21

siempre se reconoce la diferencia entre la investigacin que pretende simplemente explicar la realidad, y la investigacin de poltica que, adems, busca describir cmo podra cambiarse esa realidad, que se asume es lo que los funcionarios necesitan saber. Esa funcin propositiva de la investigacin debera darse en forma de dilogo participativo entre investigadores y funcionarios u otros usuarios de la informacin, de manera tal que se logre un acuerdo entre las necesidades de informacin y las posibilidades reales de los investigadores de proveer esa informacin. Reimers cita a Husn (1994) para ejemplificar, precisamente, cmo la falta de dilogo entre investigadores y funcionarios ha impedido que muchos de los estudios internacionales de la IEA logren tener un impacto real en las polticas educativas de los pases participantes, y cmo con el paso de los aos se ha intentado reforzar ese vnculo entre proveedores y usuarios de informacin. El modelo racional de toma de decisiones, que asume que los funcionarios seleccionarn opciones de poltica sobre la base de un anlisis informado, est siendo cuestionado. Se reconoce que la mayor parte de los problemas no estn, ni pueden ser, perfectamente definidos y que los funcionarios no siempre pueden establecer prioridades de accin racionalmente sino en funcin de variables de oportunidad poltica y de poder. Por eso, para lograr decisiones informadas, es preciso ejercer cierto grado de persuasin de los decisores de polticas mediante un proceso de negociacin, y no de diseo unilateral, del proceso de reforma. Ese proceso debe ser interdisciplinario (que es, en realidad, la forma en que los funcionarios perciben intuitivamente los problemas de poltica), debe ser propositivo y no solamente descriptivo, y debe tener en cuenta que el anlisis debe realizarse y comunicarse dentro de los lmites de tiempo que imponen los ciclos de poltica. Reimers, adicionalmente, propone el uso de un mediador de conocimiento entre el mundo de la investigacin y el mundo de la poltica. La evidencia recogida para este estudio muestra que, en ciertas ocasiones, esa mediacin se logra a travs de la prensa y de otras instituciones acadmicas y no gubernamentales formalmente convocadas durante el proceso de evaluacin internacional. Sostiene Reimers que el problema del uso de la informacin no puede ser considerado recin despus de concluida la investigacin o el anlisis [...] la investigacin debe comenzar con la consideracin de las necesidades del cliente si se intenta evitar el riesgo de que los resultados del anlisis resulten irrelevantes para los funcionarios. En el contexto de esta investigacin, se ver que los problemas de comunicacin entre evaluadores y usuarios de la informacin derivada de las pruebas internacionales tiene importantes implicancias para el impacto, generalmente escaso, de esa informacin sobre los procesos de desarrollo curricular y de prctica pedaggica en los pases participantes. El uso de los dos referentes tericos mencionados, sobre etapas secuenciales de poltica y sobre dilogo informado entre investigadores y funcionarios, servir en este informe para organizar el reporte de los datos recogidos en forma

22

ordenada y contextualizada, y a la vez sustentar conceptualmente uno de los hallazgos clave en este estudio de investigacin. V. METODOLOGA Sobre la base del referente terico sobre usos de la informacin para decisiones de poltica, y tomando en cuenta el modelo secuencial o cronolgico de poltica antes descrito, el diseo del presente estudio qued metodolgicamente configurado de la siguiente manera: 1. Revisin bibliogrfica inicial sobre pruebas internacionales existentes, pases participantes y principales caractersticas de esas pruebas. Elaboracin inicial de marco terico-conceptual. 2. Diseo del cuestionario de entrevistas, principal herramienta de investigacin en este estudio, con una concepcin a priori de los momentos o fases que presentara la participacin de diferentes pases en pruebas internacionales. Ese cuestionario (ver Anexo B) fue revisado y corregido en dos oportunidades por un consultor externo iv y se aplic en una primera fase en varias entrevistas a altos funcionarios y ex-funcionarios de las oficinas nacionales de evaluacin educativa en cuatro pases de Amrica Latina y a acadmicos de los Estados Unidos involucrados en el diseo y aplicacin de pruebas internacionales (ver listado total de entrevistas en Anexo C ) . 3. Pilotaje y afinamiento de cuestionario de entrevistas y recoleccin de materiales bibliogrficos y documentales adicionales. 4. Primer anlisis de datos, con el objetivo de afinar el marco conceptual, revisar los instrumentos de campo e identificar nuevos posibles informantes. 5. Reelaboracin de marco terico-conceptual de poltica para encuadrar el anlisis del resto de las entrevistas. Bsqueda de sustento terico adicional para explicar el quiebre de comunicacin entre evaluadores/ investigadores y decisores de poltica. 6. Seleccin de nueve pases americanos como muestra o materia de estudio en relacin a su experiencia de participacin en pruebas de la IEA, LLECE y OCDE. Los pases seleccionados son Argentina, Chile, Colombia, Cuba, Ecuador, Estados Unidos, Mxico, Per y Uruguay. El caso de Uruguay se seleccion en un momento en que ese pas no haba participado en ninguna prueba internacional por decisin de los tcnicos nacionales, pero se consideraron valiosas las razones que ellos esgrimieron para no participar. Actualmente, Uruguay se encuentra participando en el proyecto PISA, y las razones para esa decisin tambin se toman en cuenta en este estudio. La inclusin de EEUU en la muestra se decidi porque la experiencia de ese pas en pruebas de la IEA arroja cierta luz sobre la forma en que Amrica 23

Latina puede hacer mejor uso de sus oportunidades de participacin en pruebas internacionales. Esta muestra no se considera representativa de la Regin en su conjunto, pero es suficiente para identificar algunas tendencias y patrones comunes en los procesos de participacin de Amrica Latina en pruebas internacionales. La seleccin de los pases estuvo condicionada por las limitaciones financieras de los investigadores, que prefirieron realizar entrevistas personales y telefnicas solamente, haciendo uso de tiempo y recursos financieros adicionales de otros proyectos de investigacin. 7. Finalizacin del trabajo de campo y desgrabaciones de entrevistas a cargo de personal contratado y revisadas luego por los investigadores. 8. Anlisis de datos: codificacin de las entrevistas y reordenamiento de la informacin de acuerdo a los momentos de la experiencia de evaluacin internacional y su relacin con los momentos de reforma curricular nacional, por tipo de prueba aplicada, por fases del proceso de participacin, y por pas. 9. Discusin sobre los hallazgos del estudio y presentacin de algunas posibles generalizaciones aplicables a todo Amrica Latina a partir de los mismos. 10. Redaccin de recomendaciones para futuras participaciones del Per y otros pases latinoamericanos en pruebas internacionales. Resulta importante destacar que, a lo largo del trabajo, se realiz un esfuerzo por distinguir analticamente las problemticas particulares de la evaluacin comparada internacional de aquellas problemticas propias de la evaluacin estandarizada en el nivel nacional. Esta distincin se hace dificultosa cuando las agencias evaluadoras nacionales son responsables por ambos tipos de pruebas. Sin embargo, se considera necesario analizar los problemas separadamente para poder arribar a conclusiones ms enfocadas y recomendaciones ms puntuales hacia el final del informe. VI. RESULTADOS A continuacin se presentan los resultados del trabajo de campo, concretamente los contenidos de las entrevistas y del material documental recogido. Vale aclarar que del total de pruebas internacionales en las que Amrica Latina ha participado, o est actualmente participando, se decidi reportar los datos de las experiencias del Primer Estudio Internacional Comparativo del LLECE (UNESCO-OREALC), de TIMSS, TIMSS-R y Educacin Cvica de la IEA, y de la prueba PISA administrada por la OCDE. El trabajo del LLECE se seleccion por ser el nico estudio comparado de cobertura estrictamente regional, y porque en l particip un nmero importante de pases latinoamericanos. La pruebas de la IEA fueron seleccionadas porque han convocado la participacin de algunos 24

pases de la Regin, y porque esa experiencia puede ser contrastada con la de otros pases, como Estados Unidos, donde el impacto de la misma evaluacin ha sido mucho ms significativo que en Amrica Latina. La prueba PISA se seleccion por ser una prueba acurricular que propone estndares internacionales, porque ha concitado el inters de varios pases de la Regin, y porque es la nica prueba en la que Per est participando en la actualidad. Una breve descripcin de las pruebas mencionadas se presenta en el Anexo D de este informe. Si bien los datos presentados en esta seccin pueden contener sesgos derivados de la interpretacin subjetiva de los investigadores, se ha intentado que la informacin reportada se ajuste estrictamente a las expresiones de los entrevistados. Para una mejor comprensin de los datos, la informacin se ha clasificado, en primer lugar, de acuerdo a las agencias que administran las pruebas (LLECE, IEA y OCDE). En segundo lugar, se organiza la informacin de acuerdo a las etapas en la secuencia de poltica y de evaluacin explicadas en el marco terico-conceptual. Finalmente, para cada una de esas etapas, se presenta la informacin de los pases de la muestra sobre los cuales se posee informacin relevante. Conviene agregar que, dado que la decisin para la participacin de pases latinoamericanos en pruebas internacionales se tom centrali zadamente o por iniciativas individuales, y que los procesos de evaluacin fueron eminentemente tcnicos y poco participativos, slo se consideran en este informe los testimonios de los decisores principales y no de otros actores que podran haber dado una opinin diferente si se les hubiera consultado.

Agencia: LLECE (UNESCO-OREALC) Prueba: Primer Estudio Internacional Comparativo sobre Lenguaje, Matemticas y Factores Asociados. Percepcin de insuficiencia Los orgenes de la prueba del LLECE se remontan al ao 1989, cuando la UNESCO llev a cabo un estudio comparativo exploratorio de siete pases de la Regin que inclua pruebas de rendimiento y encuestas. No fue un estudio riguroso, segn afirman representantes del LLECE, pero sent precedente y los bajos resultados alertaron a actores polticos y acadmicos de la Regin sobre las deficiencias de los sistemas educativos y pusieron en cuestin la eficacia de los ltimos treinta aos de polticas educativas. En una reunin en Campinas, Brasil, donde se presentaron los resultados de ese primer estudio exploratorio, los representantes regionales solicitaron a la UNESCO-OREALC que diseara un mecanismo de evaluacin que permitiera reunir informacin en forma sistemtica a travs de una organizacin estable. OREALC coincida en advertir que existan falencias importantes en trminos de calidad educativa, no ya 25

medidas en trminos de cobertura y universalizacin sino tambin en cuanto al logro de aprendizaje acadmico. Estos primeros hallazgos, entonces, dieron lugar a la necesidad de concebir un estudio internacional de mayor envergadura que permitiera medir con mayor rigor cientfico el nivel de logro acadmico de los estudiantes latinoamericanos. Iniciativa y adopcin Hacia el momento en que se crea el Laboratorio Latinoamericano para la Evaluacin de la Calidad de la Educacin (en adelante, Laboratorio), y que empieza a gestarse la idea de realizar una prueba comparativa latinoamericana, predominaba bsicamente la idea de la reforma de la administracin del Estado, no solamente de reforma de la educacin. Es all cuando se inicia un proceso de crtica muy fuerte al Estado benefactor y comienzan en la Regin procesos muy marcados de ajuste estructural, que en el rea social se sinti muy especialmente en el sector educacin. Se instala un discurso y algunas medidas concretas de descentralizacin, como la transferencia de gestin que realiza el Ministerio de Educacin de Argentina a los ministerios provinciales, y donde la administracin central se reserva el rol de evaluador a travs de su sistema estadstico y de medicin de aprendizajes. Esto implicaba comenzar a concebir una nueva forma de gestin que permitiera disear polticas educativas sin tener la gestin directa de las escuelas. Se observa una transicin de un modelo de planificacin normativa a un modelo de gerenciamiento donde se pretende controlar al sistema no ya desde los insumos provistos sino desde los resultados. Este modelo de gerenciamiento, que incluye por definicin un componente de evaluacin de resultados, no necesariamente se propona en forma explcita desde los diferentes planes de gobierno y sectoriales en la Regin, pero su necesidad s se senta a travs de las formas de gestin que planteaban las agencias crediticias internacionales, especialmente mediante el condicionamiento de los prstamos a la creacin de sistemas nacionales de evaluacin de la calidad educativa. En ese contexto poltico y de administracin pblica, era palpable un fuerte mensaje de que la riqueza y la competitividad de las naciones dependan de la eficiencia de sus sistemas educativos. Si bien esa relacin no se sustenta hasta el da de hoy con evidencia consistente (Forster, 2000), en su momento promovi el deseo de los representantes nacionales por develar el estado de la competitividad de sus pases segn indicara la capacidad competitiva de sus sistemas educativos en relacin a otros pases. La reunin en Campinas antes mencionada fue importante porque fue representativa de cada pas, de la sociedad civil (mediante la presencia de ONG de educacin), de los gobiernos y del entorno acadmico regional. Fue destacable en ese momento la participacin del aparato ejecutivo de diferentes pases, representados no por los ministros de educacin directamente, sino por 26

la lnea de funcionarios bajo su direccin. A pesar de que entre estos actores y representantes exista una clara percepcin sobre la crisis de la educacin en Amrica Latina, no se contaba con un referente emprico que ofreciera evidencia contundente sobre las falencias de los sistemas, particularmente en relacin al logro de aprendizajes. La peticin que se realiza en ese momento a OREALC tiene entonces mucha fuerza, porque proviene tanto de la academia como de los representantes polticos de diferentes pases. Tuvo especial impacto tambin el evento de PROMEDLAC de 1993 en Santiago de Chile, donde los ministros de educacin discutieron la necesidad de que UNESCO impulse el desarrollo de la evaluacin y la creacin de estndares en la Regin. Esta peticin por parte de los gobiernos se transforma en un mandato para la OREALC, quien comienza a invitar a los pases para participar en una experiencia de evaluacin conjunta. El consenso final para la realizacin del Primer Estudio Internacional Comparativo se logr en Mxico en 1996. Paralelamente, la OEI (Organizacin de Estados Iberoamericanos) comenzaba a generar su propio programa de evaluacin en educacin y, por su parte, la IEA ofreca la posibilidad de que Amrica Latina participara en TIMSS. Sin embargo, a pesar del inters inicial que manifestaron varios pases por la prueba de la IEA, muy pocos llegaron a inscribirse formalmente en el proyecto definitivo, y slo uno de ellos, Colombia, culmin el proceso y public los resultados internacionalmente. Esto, segn la interpretacin de OREALC, pudo deberse a que la participacin en TIMSS era costosa y los pases perciban que no estaran adecuadamente representados en la experiencia, quizs por sentirse en desventaja frente a equipos extranjeros d e alta calidad tcnica. La oferta de OREALC, por otra parte, implicaba una idea de identidad regional donde se generara una visin compartida sobre la evaluacin en un contexto organizacional de confianza, es decir donde predominara un clima de colaboracin mutua y aprendizaje. Cuando se aprob la idea de crear el Laboratorio prcticamente todos los pases optaron por adherirse. El Laboratorio, que es considerado ms que el estudio comparativo mismo, se concibi como una red de los sistemas nacionales de evaluacin emergentes a principios de los 90, en momentos en que la responsabilidad de crear y sostener un sistema de evaluacin era complejo desde el punto de vista tcnico y poltico. En esos momentos, el Laboratorio ofreca un espacio de dilogo y participacin para los funcionarios y tcnicos responsables de esos sistemas, y brind apoyo para la creacin de varios sistemas nacionales de evaluacin. Dentro de este contexto de dilogo intergubernamental, se considera que hubo dos razones fundamentales que motivaron la decisin final de realizar el estudio comparado. La primera fue la necesidad de establecer una comparacin propia, de raz latinoamericana, que tuviera el mnimo posible de sesgos, es decir que tuviera en consideracin las particularidades culturales y educativas de la regin, como por ejemplo las variedades lingsticas. La segunda, era obtener una herramienta de informacin que permitiera apoyar las decisiones de poltica educativa. En relacin a los posibles sesgos en las pruebas, se consideraba que 27

era fundamental contar con pruebas regionales que establecieran parmetros curriculares acordados por todos los pases participantes y que permitieran realizar inferencias ms pertinentes a la realidad educativa regional. Una tercera razn que motiv a los pases a participar en la prueba del Laboratorio en vez de participar en pruebas de cobertura mundial fue que el Laboratorio ofreci una alternativa extremadamente accesible en trminos econmicos en comparacin con la oferta de otros estudios internacionales. El proyecto de evaluacin comparada del Laboratorio fue financiado inicialmente con los fondos de cada pas participante, y posteriormente con aportes del BID, que se hicieron efectivos luego que el estudio haba concluido. Las motivaciones as definidas, entonces, determinaron que el primer objetivo para el Laboratorio fuera entregar una comparacin de logro, de rendimiento acadmico entre pases. En segundo lugar, se pretenda ofrecer un anlisis de factores asociados a ese rendimiento. Otros objetivos complementarios eran fortalecer los sistemas nacionales de medicin y evaluacin por la va de la prctica a travs del primer estudio comparado, establecer estndares educativos, y generar una lnea de investigacin a partir de los resultados. La materializacin de estos objetivos es materia de discusin en secciones subsiguientes. Adems de las razones que OREALC explica para la creacin del Laboratorio y de la prueba internacional comparada, existen las razones que cada pas, o mejor dicho los representantes tcnicos y polticos sectoriales de cada pas, tenan para sumarse al proyecto evaluativo regional. En Argentina, la decisin de participar se tom por dos razones. En primer lugar, por las oportunidades para la capacitacin que ofreca la experiencia. En segundo lugar, porque el Laboratorio constitua un espacio para la discusin de temas comunes a las reformas de varios pases, como por ejemplo aqulla sobre desarrollo curricular. En esos momentos tambin se consideraba importante tener capacidad tcnica instalada en el pas, y tener datos sobre el rendimiento en el mbito nacional, antes de embarcarse en una propuesta internacional comparada. Argentina, en efecto, realizaba operativos nacionales desde el ao 1993 y conoca las dificultades que supone institucionalizar y legitimar polticamente la evaluacin externa. Dadas esas dificultades, era necesario considerar los efectos de las evaluaciones en la opinin pblica, y en ese sentido convena participar primero en una prueba regional antes que arriesgarse a salir en los ltimos lugares en una prueba de cobertura mundial como TIMSS. Los efectos de un ranqueo desfavorable a Argentina se consideraban una amenaza a toda la estrategia de implantacin del sistema nacional de evaluacin. La solucin, segn los tcnicos nacionales, hubiera sido establecer un plan gradual para elaborar primero un conjunto de estndares latinoamericanos que pudieran luego alinearse con estndares internacionales. All se expresa la clara expectativa de Argentina de participar no solamente en

28

un proceso de medicin sino de establecer parmetros curriculares regionales sobre los cuales efectuar tal medicin, lo que no lleg a concretarse finalmente. En el caso de Colombia, el Ministerio de Educacin tambi n mostr un inters temprano en la participacin en el estudio comparado. Para los representantes tcnicos del ICFES, una unidad semiautnoma con muchos aos de trayectoria en medicin educacional, la idea del estudio comparado regional era atractiva aunque ellos no decidieron la participacin, simplemente respondieron a la peticin oficial del Ministerio de Educacin para que fueran co-representantes de Colombia, junto con un representante del Ministerio, ante el Laboratorio. Sin embargo, exista una moti vacin intrnseca por parte del ICFES en sumarse al proyecto comparado, en tanto se esperaba adquirir mayores capacidades tcnicas y contribuir a un proceso de definicin conjunta entre pases de las expectativas de logro acadmico y de un marco terico (epistemolgico) y de poltica educativa que permitiera interpretar adecuadamente los resultados de la medicin internacional. En cuanto a las expectativas tcnicas en particular, si bien ellos ya contaban con larga experiencia en el campo de la psicometra, saban que estaban atrasados, como el resto de la Regin, en muchos campos de conocimiento, como por ejemplo en relacin a modelos de IRT (Teora de Respuesta al tem). Simultneamente, Colombia esperaba contribuir con conocimientos propios al Laboratorio, pues adems de las mediciones nacionales haba pasado por la experiencia de participacin en TIMSS en el ao 1995. En Cuba la decisin de participar se tom luego de una visita del entonces Director del Laboratorio. Cuba no dispona del dinero para financiar su propia participacin en la prueba pero el Laboratorio ofreci la posibilidad de pagarlo y entonces decidi sumarse al proyecto. Para Cuba era la primera experiencia de comparacin internacional, y se daba en un momento en que el pas comenzaba a atravesar serias dificultades econmicas y un gran desafo por demostrar al mundo que sus polticas sociales eran efectivas. La comparacin, indudablemente, implicaba riesgos pero a la vez una gran oportunidad de legitimacin poltica para el pas si los resultados eran favorables, y tambin de contar con un referente emprico para evaluar sus polticas educativas. Desde el punto de vista de la administracin pblica, Cuba decidi participar en un momento de relativa descentralizacin en que se reestructur aron algunos aspectos del sector educacin, y en el que el Ministerio de Educacin central, en aras de mayor eficiencia y ahorro de recursos, opt por transferir algunas facultades de decisin al nivel de las escuelas, tales como la acreditacin de alumnos que anteriormente estaba en manos de un rgano evaluador central. Ecuador particip en una aplicacin piloto de la prueba, pero no particip en la aplicacin general por razones de discontinuidad poltica. Sin embargo, realizaron una aplicacin general en forma independiente ms adelante, aunque an no han recibido los resultados. Desde APRENDO, la agencia nacional de medicin, que no era en ese momento enteramente dependiente del Ministerio 29

de Educacin, se consideraba que era importante participar en una prueba comparada, pues tener referentes exclusivamente internos no se consideraba suficiente para juzgar la calidad de la educacin. Se saba cmo rendan las diferentes subpoblaciones del sistema educativo respecto de un conjunto de destrezas que se haban definido para el Ecuador, pero se hubiera valorado la medicin con respecto a otras naciones para rescatar informacin sobre las estrategias de poltica que mejor han funcionado en esas naciones. Adicionalmente, se confiaba en que la participacin habra contribuido a desarrollar capacidades nacionales de medicin. En relacin a futuras oportunidades de participacin, y teniendo en cuenta que es necesario priorizar la asignacin de recursos para decidir sobre el tipo de pruebas comparadas en las cuales participar, se considera que es mejor comenzar participando en estudios regionales antes que en estudios de cobertura mundial. En Per, la primera propuesta de adhesin al Laboratorio y participacin en la prueba comparada la realiz la representante de UNESCO en el pas, junto con otro funcionario de esa organizacin. En momentos en que la relacin entre UNESCO-Per y el Ministerio de Educacin se encontraba considerablemente debilitada, una prioridad de la organizacin era lograr que el Ministerio mantuviera el inters en el proyecto y que cumpliera su compromiso financiero con la OREALC. La decisin de participacin fue tomada por la jefa de la unidad de medicin, junto con la Oficina de Planificacin Estratgica y con el aval de la Viceministra. Si bien el Estado estaba atravesando un proceso de modernizacin de la gestin, y el sector educacin en particular experimentaba cambios de organizacin central y planes de mejoramiento de los servicios, la decisin final de participar en el Laboratorio no parece responder a un deseo, al menos no explcito, de reforzar una forma determinada de gestin, como puede ser la de gerenciamiento, o de efectuar mejoras de tipo pedaggico o curricular a partir de los resultados. Simultneamente, se sostiene que los Bancos ejercan una presin puntual para que se realizaran mediciones de logro acadmico, aunque esa presin no estaba referida especficamente a la participacin en pruebas internacionales. Las dos razones ms concretas que se exponen para la participacin son, por un lado, acceder a oportunidades de capacitacin tcnica en diseo de instrumentos y anlisis estadstico va el intercambio con expertos internacionales y, por otro lado, rescatar informacin que permitiera disear algunas medidas focalizadas de poltica, como por ejemplo en la educacin rural. Esa segunda intencin, sin embargo, no parece del todo fuerte dado que el Ministerio de Educacin ya estaba desarrollando un operativo de medicin nacional que le permitira tener ese tipo de informacin en un grado ms detallado, y la Unidad de Medicin no tena un inters particular en vincular los datos comparados internacionales con los datos que arrojara el sistema nacional.

30

El proceso de decisin y los primeros pasos de la participacin fueron algo accidentados, especialmente por razones polticas internas, pero finalmente, y a pesar de no cumplir con el compromiso financiero con OREALC, Per aplic las pruebas del Laboratorio. En Uruguay , la decisin final de no participar en la prueba del Laboratorio fue tomada por razones financieras, aunque a la base de esa decisin haba otras razones de carcter tcnico y poltico. Uruguay decidi no participar por dos razones principales. En primer lugar, no estaban convencidos sobre la calidad tcnica de los instrumentos que se utilizaran. En segundo lugar, consideraban que polticamente convena primero consolidar su sistema nacional, con las caractersticas que ellos queran imprimirle, sin complicar el proceso con la implementacin de un segundo operati vo con pruebas sobre las cuales ellos no tendran verdadero control. En ese tiempo, consideraban prioritario garantizar que sus pruebas nacionales fueran ptimas y que fueran avaladas y respetadas por los maestros. En otras palabras, teman que la participacin en una prueba internacional pudiera daar la credibilidad interna de su sistema de evaluacin, en gran medida por las fuertes resistencias docentes a la evaluacin externa que Uruguay ha tenido que confrontar. Implementacin Uno de los aspectos ms complejos del estudio fue el financiamiento. En la medida en que se iba consiguiendo dinero, tanto de los pases como de donantes internacionales, se iba contratando consultores para las diferentes etapas del proyecto, y slo cuando se recibieron aportes del BID, sumados a algunos fondos de la Fundacin Ford, se pudo constituir un equipo relativamente estable de profesionales. El dinero que los pases participantes contribuan al Laboratorio se devolva a los pases en forma de servicios de capacitacin para la medicin. Considerando la experiencia de ver cmo los pases de la Regin haban optado por no participar o por retirarse de TIMSS, se consideraba de vital importancia garantizar que los temes de las pruebas fueran significativos, en tanto tuvieran una fuerte vinculacin a los currculos de los pases participantes. Se invirtieron dos aos y medio en el diseo de las pruebas, con reuniones para la seleccin de temes, verificando currculos nacionales de matemticas y lenguaje. Este fue uno de los aspectos ms beneficiosos del proceso, pues puso a los pases en la necesidad de efectuar una revisin importante de sus currculos y as descubrir debilidades y fortalezas relativas. Si bien fue un trabajo largo y tedioso, fue absolutamente relevante para que todos se sintieran representados. Los representantes ante el Laboratorio, los llamados coordinadores nacionales, eran en su mayora los directores de los sistemas de evaluacin en sus propios pases, o de la oficina ministerial de la cual esos sistemas dependan. Segn la percepcin de los responsables del Laboratorio, los coordinadores nacionales 31

tenan una representatividad poltico-tcnica importante y todas las decisiones eran tomadas por acuerdo, tratando de asegurar que todas las voces estuvieran representadas. El diseo de la matriz curricular se hizo con la participacin, en algunos casos, de los tcnicos en currculo de los diferentes ministerios. En algunos pases hubo tensiones importantes entre las oficinas del currculo y los sistemas nacionales de evaluacin, y en algunos casos esa tensin determin que los departamentos de currculo no estuvieran representados en absoluto durante el proceso. En este sentido, se admite que la prueba final no tena una base curricular de igual significancia para todos los pases, lo cual repercutira en las inferencias de tipo curricular que se hicieran ms adelante. Esto, a pesar de que los contenidos que se incluan en las pruebas deban representar al menos un 80% de los currculos de lenguaje y matemticas de cada uno de los pases participantes. No se esperaba necesariamente una relacin tcnica entre las pruebas nacionales y la del Laboratorio, pero como se evaluaban los mismos grados que en varios sistemas nacionales, los pases esperaban confirmar de alguna manera lo que ellos mismos venan evaluando internamente. Se aplic la misma prueba en todos los pases, y no hubo opciones nacionales, con excepcin de Mxico donde, junto con la muestra internacional, se realiz una muestra nacional de cada uno de los estados. Desde OREALC se percibe que los pases no tenan definiciones muy concretas sobre el tipo de capacidades que deseaban desarrollar mediante su participacin en la prueba comparada. En la prctica, hubo ciertas capacidades que tuvieron mayor desarrollo que otras, siendo de mayor importancia las relacionadas a la construccin de pruebas, desde el anlisis curricular hasta la construccin de los temes mismos, pese a que los temes en su gran mayora fueron construidos por especialistas contratados ad hoc. Durante el desarrollo del estudio tambin participaron expertos de la IEA y de ETS. Desde la coordinacin del proyecto en Santiago se percibe que la comunicacin con los pases era frecuente y la discusin profunda, aunque esa percepcin no coincide, como se ver ms adelante, con la de todos los representantes de los pases participantes. Es necesario recordar, sin embargo, que hacia el momento en que se desarroll la prueba del Laboratorio, el uso de internet para la comunicacin era an incipiente, a la vez que los viajes resultaban difciles de costear. A esto se suma, tambin, que los tcnicos responsables en cada pas no estaban dedicados tiempo-completo al proyecto y por lo tanto sus propios tiempos para la comunicacin eran reducidos. Otro tipo de conocimiento que se gener ampliamente estuvo relacionado a las tcnicas de muestreo. Si bien el esquema del muestreo fue diseado centralmente por la coordinacin, las muestras nacionales fueron seleccionadas por cada pas individualmente y verificadas por la coordinacin en combinacin con un tercer pas que obraba de rbitro o testigo. Ese procedimiento tuvo un primer propsito que fue el de asegurar la validez de las muestras, y otro que aspiraba a fomentar la transferencia de expertise entre pases. Finalmente, la 32

experiencia del Laboratorio contribuy a desarrollar capacidades operativas para aplicaciones en gran escala, particularmente en los pases que no tenan experiencia con sistemas nacionales. Junto con la experiencia prctica, el Laboratorio ofreci una serie de talleres para desarrollar capacidades en la construccin de escalas, en la seleccin de las muestras, y en el uso de modelos jerrquicos lineales, entre otros. Las oportunidades de capacitacin, y de aplicacin prctica de las capacidades que habra brindado el Primer Estudio Internacional Comparativo, no aparecen como un elemento tan claro para otros actores del proceso, tanto internacionales como nacionales. Voces ajenas al Laboratorio, pero vinculadas estrechamente a la evaluacin educativa en la regin, consideran que el proceso pudo resultar confuso para algunos pases, especialmente para aqullos donde los sistemas nacionales se encontraban en ciernes o todava ausentes. La OEI, que tambin ofrece programas de capacitacin a los sistemas nacionales de evaluacin, sostiene que debieron extremarse los cuidados en los pases con ms bajo desarrollo tcnico, para evitar crear confusin en cuanto al objetivo de las capacitaciones. Si bien hay capacidades que son requeridas para ambos tipos de mediciones, nacionales e internacionales, los tcnicos nacionales deben tener claridad sobre el tipo de aplicacin que se le puede dar a los conocimientos adquiridos, y deben tener la posibilidad de experimentar gradualmente, quizs primero en el contexto nacional, y luego internacionalmente. Ms concretamente, se considera que es imperativo generar slidas capacidades nacionales de manera tal que los tcnicos que asistan en representacin de sus pases para las pruebas internacionales tengan efectiva autoridad profesional para influir sobre las decisiones tcnicas y as eviten terminar simplemente traduciendo y aplicando mecnicamente las pruebas que otros han diseado. Con esta postura de la OEI coinciden, en general, las percepciones que sobre el tema tienen quienes representaron a los diferentes pases participantes. En Argentina, por ejemplo, se percibi que los pases se embarcaban en la experiencia comparativa en desigualdad de condiciones, y que por lo tanto los aprendizajes durante el proceso dependan de sus capacidades iniciales en el terreno de la medicin. Los representantes tcnicos de Argentina se sentan comparativamente fuertes en cuanto a conocimientos tcnicos, especialmente porque haban ya ejecutado varios operativos en el mbito nacional. La muestra seleccionada, por ejemplo, fue una submuestra de la muestra del operativo nacional y se aplic al mismo tiempo que el operativo del ao 1997. Entre los aspectos ms positivos de la experiencia estn el tra nsitar experiencias compartidas con Amrica Latina, poder discutir con otros pases en situacin de desigualdad tcnica --para lo cual se requiere mucha tolerancia y buena voluntad-- y llegar a acuerdos para la toma de decisiones. Se tiene la percepcin que el Laboratorio no supo aprovechar adecuadamente los conocimientos y la 33

experiencia que se tena ya en algunos de los pases, por ejemplo, en la utilizacin de algunos modelos estadsticos. Aun as, el contenido de las discusiones sobre esos temas era interesante e instructivo. La representacin de Argentina fue tcnico-poltica, de alto rango ministerial, como fue el caso de la mayora de los pases. En la opinin de estos representantes, los estudios internacionales son estudios de cpula. Cuanto ms internacional es la cobertura del estudio, ms focalizado, ms restringido es el equipo tcnico-poltico que interviene. A pesar de eso, y si bien los tcnicos no mencionan haber trabajado en colaboracin con los equipos de desarrollo curricular del Ministerio de Educacin, los contenidos sugeridos por Argentina para la matriz curricular del estudio comparado fueron extrados de los Contenidos Bsicos Comunes del marco curricular oficial. En la experiencia de implementacin de Colombia , se considera que uno de los beneficios mayores fue el fortalecimiento de la relacin entre el Ministerio de Educacin y el ICFES, cuyos representantes en las reuniones de Laboratorio mantuvieron comunicacin constante. En el ICFES se organizaron las bases de datos, se digitaron los datos y se envi la informacin procesada al Ministerio. El ICFES considera que su fortaleza mayor siempre ha sido el manejo operativo de las aplicaciones nacionales, as como el procesamiento mismo de la informacin. La debilidad mayor, por su parte, ha estado siempre relacionada con las estrategias de difusin de la informacin sobre logro acadmico y factores asociados para lograr mayor impacto en el diseo de polticas de mejoramiento. En este sentido, el ICFES esperaba aprender ms mediante la participacin en la prueba comparada. Si bien tenan expectativas de obtener mayores conocimientos tcnicos mediante esta experiencia, los representantes sostienen que tuvieron poca participacin efectiva en el diseo de temes, en parte debido al hecho de que se sumaron al proyecto una vez que ste hubo comenzado. Para cuando los tcnicos del ICFES se incorporaron a la evaluacin, si bien tuvieron la posibilidad de revisar las pruebas y cuestionarios finales, sus sugerencias no fueron tenidas en cuenta pues las decisiones ya estaban tomadas. Slo pudieron influir en algunos cambios mnimos y ms bien formales. Entre las deficiencias ms importantes del proceso, mencionan que nunca tuvieron acceso al marco conceptual con el cual se haban construido los instrumentos. Esto se considera riesgoso pues afecta la validez del anlisis que pueda hacerse de los resultados. La falta de un marco conceptual fundamentado se hizo evidente, por ejemplo, cuando se puso a discusin uno de los temes de respuesta abierta de la prueba. Colombia rechaz dos veces todos los criterios de calificacin propuestos por los especialistas del Laboratorio, y finalmente el tem fue descartado. El ICFES ya vena experimentando con temes abiertos y conoca los criterios psicomtricos necesarios y aceptables para ese tipo de

34

medicin, y por esa razn tena ms elementos para juzgar el escaso sustento conceptual del diseo. Otras recomendaciones que se hicieron al Laboratorio tampoco fueron tenidas en cuenta. Una de las razones por las cuales se considera que la comunicacin y el intercambio fall es que no se dio un uso apropiado al recurso de correo electrnico, aunque vale recordar que este recurso no estaba entonces tan ampliamente difundido. La comunicacin flua de los pases hacia la sede del Laboratorio, pero no se facilit la comunicacin entre los pases mismos. Hubiera sido importante que toda la informacin y opiniones se distribuyeran ampliamente entre los participantes, si es que se pretenda desarrollar una visin regional sobre la evaluacin, y sobre las disciplinas, para poder hacer una aproximacin en conjunto a problemas comunes de reforma, y de desarrollo cientfico, cultural y social en Amrica Latina. En sntesis, hubo deseo e intencin de comunicacin y colaboracin multidireccional, pero fall la estrategia para lograrlas. La participacin del ICFES en esta fase de implementacin del estudio fue relativamente alta, pero lo aprendido no necesariamente redund tambin en beneficios de aprendizaje para el Ministerio de Educacin, quizs porque lo que se aprendi no es de aplicacin permanente en ese mbito. Para Cuba, la participacin en la prueba comparada de Laboratorio fue un proceso de amplio aprendizaje. En l participaron investigadores del Instituto Central de Ciencias Pedaggicas en representacin nacional, pero tambin de otras universidades, as como maestros y asesores provinciales y municipales en diferentes reas disciplinares. Se valora particularmente la participacin en el diseo de las matrices curriculares, pues fue en esa fase del estudio cuando se revelaron falencias del currculo cubano, como por ejemplo con relacin al escaso enfoque comunicativo en el rea de lenguaje, o la demora en introducir contenidos de matemticas en los grados inferiores. Tambin fue un momento de confrontacin tcnica entre diferentes formas de evaluar, con lo cual se gener debate y se accedi a nuevos conocimientos sobre evaluacin, como por ejemplo con relacin al diseo y calificacin de respuestas abiertas. Finalmente , la experiencia permiti acceder a nuevas tecnologas de medicin, tales como el modelo de Rasch y modelos jerrquicos lineales. Ese conocimiento se difundi a otros profesionales del pas que no estaban directamente involucrados en la evaluacin del Laboratorio. Tambin hubo intencin de incluir en el diseo del estudio una opcin nacional que, por razones de financiamiento, no pudo concretarse. Para Per, la representacin y participacin durante las primeras fases del proceso de implementacin de la prueba estuvo marcada por alguno problemas de tipo poltico, concretamente de antagonismo entre un dirigente sindical que fungi como representante ante el Laboratorio inicialmente y la cpula directiva del Ministerio. Luego cambi ese representante y el proceso de implementacin se volvi eminentemente tcnico. Durante las reuniones internacionales se 35

discuti el diseo de la prueba, la muestra y la utilidad potencial de la informacin que se recogera. La percepcin en cuanto a las posibilidades de influir sobre el diseo es que slo se materializ con relacin a los cuestionarios de factores asociados, no a las pruebas mismas. Participaron en la revisin de los temes ya formulados, pero los aportes no fueron sustanciales, sino slo para reducir algunos sesgos percibidos. Sin embargo, se considera que fue de gran utilidad un curso de capacitacin de 15 das de duracin que el Laboratorio ofreci en Santiago de Chile. Al igual que en Colombia, no se percibe que la experiencia haya constituido un espacio de identidad y comunicacin regional. Durante el proceso de desarrollo e implementacin las reuniones eran ms bien fluidas y Per no realiz mayores observaciones tcnicas, aunque en algunas de las reuniones los coordinadores nacionales llegaron a ciertos consensos para garantizar la comparabilidad de los datos. La escasa intervencin durante ese tiempo pudo haberse debido al tipo de dinmica utilizada para las discusiones, que ahorraba tiempo de debate y le permita al Laboratorio continuar con los tiempos establecidos desde el inicio. Las objeciones tcnicas mayores que Per hizo al Laboratorio no se incorporaron sino hasta el final del proyecto, cuando se dieron a conocer los resultados, tema que se retoma en la prxima seccin. Per no propuso aplicar opciones nacionales, pero s acord establecer estndares sobre los cuales realizar las mediciones, aunque luego ese acuerdo se cambi por decisin compartida entre los pases. Interpretacin y diseminacin de resultados La entrega de los resultados finales por parte de la UNESCO-OREALC se hizo directamente a los ministerios, a la vez que se realizaron conferencias de prensa en Santiago de Chile y se edit un compacto para televisin que fue difundido por la Red de TV Espaola a Amrica Latina. Todos los pases participantes de la prueba del Laboratorio haban asumido el compromiso de publicar los resultados, es decir que los resultados pudieran hacerse pblicos internacionalmente, independientemente de lo que cada gobierno decidiera hacer con la informacin. La OREALC considera que un sistema de evaluacin internacional debe operar en un marco de confianza mutua, y por eso fue muy difcil resolver las situaciones de conflicto que se presentaron hacia el final de la experiencia, cuando dos de los pases participantes, Mxico y Per, cuestionaron la validez de los resultados y desautorizaron su publicacin. Otro problema, relacionado al anterior, es que no se haba anticipado desde el Laboratorio que la informacin generada por la evaluacin sera de inters principalmente para la cpula de gabinete ejecutivo en cada pas, y que el flujo de informacin ms importante se dara solamente entre ministros de educacin y los presidentes de gobierno. Los pases participantes saban con anticipacin cul sera el mecanismo de anuncio de OREALC, de manera tal que pudieran 36

preparar sus propias estrategias de comunicacin internamente y ante la opinin pblica. Era decisin de los gobiernos cul sera la difusin que se dara a la informacin en cada pas, y en muc hos casos los resultados slo circularon en reuniones de cpula, acaso compartiendo un resumen con la prensa, pero sin la voluntad de generar debate pblico sobre el tema. Esta falta de difusin en los pases se atribuye, entre otras cosas, a la gran diferencia de rendimiento entre Cuba y el resto de los pases. Se interpreta que algunos de los pases que haban realizado cuantiosas inversiones en reformas con apoyo internacional, principalmente de Estados Unidos, sentan gran incomodidad al ver que un pas no alineado con las polticas de desarrollo de los 90 estuviera tan por encima del resultado del resto de la Regin. En cuanto a la difusin de los datos por parte de OREALC, la estrategia consisti bsicamente en la publicacin de dos informes oficiales. El primero presenta los resultados comparativos en forma de ranking y desagregados por estratos. Esta primera informacin se consider de carcter ms bien poltico, simplemente para saber la posicin relativa de los pases. El segundo informe, que sali tiempo despus, ofrece un anlisis de factores asociados al rendimiento acadmico en el conjunto de pases participantes, y se concibi con la idea de ofrecer mejores insumos de informacin para la toma de decisiones de poltica educativa y para estudios acadmicos en la Regin. Si bien el informe no presenta esta informacin desagregada por pases, lo cual limita el uso que cada sistema nacional le pueda dar a los datos, se espera que cada pas realice luego su propio anlisis de factores asociados con la asistencia tcnica del Laboratorio. Los equipos de representacin tcnica y poltica de los pases participantes no cambiaron demasiado entre las primeras fases de la experiencia y el momento en que se entregaron los resultados. Esto debi permitir que la informacin tuviera ms impacto dentro de cada pas, pero sin embargo ese impacto no se percibi, como ser descrito en la prxima seccin. La organizacin del Laboratorio asume parte de la responsabilidad por esa falta de impacto debido a que no se dedic tiempo y recursos suficientes a la planificacin y ejecucin de una estrategia de difusin regional adecuada. Este aspecto de las evaluaciones se considera como la gran debilidad de las experiencias de medicin, tanto internacionales como nacionales. Sin embargo, a pesar de esta autocrtica, cabe recordar que el Laboratorio, como organismo internacional e intergubernamental, tiene limitaciones formales en cuanto al grado de involucramiento e influencia que puede ejercer sobre las polticas educativas de los pases miembro, por lo cual se ven reducidas sus posibilidades de incidir sobre los mecanismos de divulgacin en el nivel nacional. En Argentina, la principal receptora de los resultados fue la Ministra de Educacin, quien los comparti inmediatamente con el gabinete ejecutivo de la Presidencia. La lectura que se dio a los datos fue mnima, en parte porque el primer informe slo fue comparativo y no permita realizar inferencias sobre las 37

razones que explicaban esos resultados. Se interpret que los datos confirmaban de alguna manera lo que decan los resultados de los operativos nacionales en cuanto a, por ejemplo, diferencias significativas de rendimiento entre estratos socioeconmicos, o entre escuelas pblicas y privadas. Como en el resto del continente, sorprendieron los resultados de Cuba, los que se atribuyeron al alto valor social que se le otorga a la educacin en ese pas. Antes de la devolucin de resultados no se previeron estrategias de difusin y a la prensa slo se le entreg una copia del informe oficial del Laboratorio, sin interpretaciones por parte del Ministerio. Se considera que habra podido darse ms uso a la informacin del segundo informe del Laboratorio, si ste hubiera salido durante la misma gestin ministerial que decidi la participacin en la prueba. Retrospectivamente, se piensa que la estrategia de difusin que falt debi consistir en una socializacin amplia de los resultados, con los medios de comunicacin, y entre directores de escuela, padres de familia y asociaciones civiles. Se asume que la escasa difusin de los resultados se debe, tambin, a que OREALC no propuso una estrategia definida al respecto. El Ministerio de Educacin de Colombia sostuvo con el ICFES algunas discusiones sobre la visin poltica del proyecto, sobre el tipo de informacin que se esperaba rescatar, y sobre el tipo de impacto que se esperaba luego de la difusin de los resultados. Sin embargo, debido a la falta de estrategia y de marco conceptual regional mencionados anteriormente, las conclusiones a las que llega el Laboratorio no estn planteadas en una forma que pueda afectar la toma de decisiones de poltica. Adems, se percibe que los resultados no estn contextualizados a la realidad regional, en parte por la ausencia de estndares regionales, y porque el proyecto no ofreci un marco interpretativo de los resultados con relacin a los objetivos y alcances de las reformas y polticas educativas implementadas en las dos ltimas dcadas. Es decir, si bien se estudiaron variables asociadas al logro acadmico, esas asociaciones no estn contextualizadas en un marco conceptual de poltica educativa regional. En Cuba, por su parte, exista la percepcin de que los resultados seran altos debido a los muchos aos de una poltica sectorial orientada a la distribucin masiva y equitativa de oportunidades educativas. Adems, se saba que Cuba tena, regionalmente, el ms alto ndice cultural de padres de familia, as como programas de salud infantil de amplia cobertura. Se esperaba con ansiedad los resultados del segundo informe, y se recibi con beneplcito la informacin sobre los efectos positivos del clima escolar sobre los aprendizajes, lo cual se interpreta como resultado de varias dcadas de polticas sociales en su pas que fomentan la solidaridad. La difusin que se dio a los resultados del primer informe tuvo un marcado, y deliberado, cariz poltico, en tanto se difundi por la prensa radial y televisiva, y entre los participantes del Congreso de Jvenes Comunistas, como un logro significativo de la poltica social cubana. En Per, al tiempo de publicarse los datos, el gobierno nacional an se aferraba al slogan de hacer de la educacin peruana la mejor de Amrica Latina, y los 38

resultados de la prueba comparada podan ser interpretados como evidencia de que poco o nada se estaba avanzando hasta entonces en esa direccin. Desde la conduccin del Laboratorio, y tambin por parte de los representantes nacionales por Per, se presuma desde antes de la conclusin del estudio que el gobierno no tena intenciones de publicar los resultados. Sin embargo, los representantes peruanos tambin expusieron razones tcnicas por las cuales se requeran ms detalles tcnicos sobre el anlisis de los datos, y se solicitaba un plazo adicional antes de publicar los resultados internacionales. Anteriormente, y durante la fase de diseo y aplicacin de pruebas, Per ya haba realizado algunas observaciones tcnicas sobre los instrumentos, que al parecer no fueron tenidas en cuenta. Finalmente, la peticin de un plazo adicional antes de la publicacin fue interpretado como que Per no autorizaba la publicacin de sus resultados y el Laboratorio liber el primer informe sin los datos peruanos. En un contexto de mucha tensin poltica en el Per, donde las crticas al autoritarismo del gobierno de Alberto Fujimori se venan intensificando, la no-publicacin de los resultados fue rpidamente interpretada como una privacin al derecho constitucional de acceso a la informacin pblica. A pesar de que existieron razones tcnicas fundamentadas por las cuales se solicit que los resultados no se publicaran, los coordinadores nacionales del Per son concientes de que probablemente nunca hubo intencin de publicar por parte del gobierno. Este hecho coincide con el embargo a la publicacin de los resultados de las pruebas nacionales, con lo cual se incrementan las razones para pensar que exista la intencin de ocultar cualquier informacin desfavorable al gobierno. Las primeras demandas de publicacin se realizaron en el Congreso de la Repblica, en la voz de un congresista de oposicin, y fueron seguidas por la demanda de informacin de al menos dos periodistas de televisin que saban de la participacin de Per en la prueba del Laboratorio. En esa oportunidad, el Ministerio nuevamente esgrimi razones tcnicas y no ofreci los resultados pblicamente mientras dur la presidencia de Fujimori. Esos resultados fueron liberados luego, durante el Gobierno de Transicin, mediante una publicacin de la Unidad de Medicin de la Calidad Educativa en el Ministerio. Decisiones, impacto poltico, y nuevas lneas de investigacin Los responsables por la ejecucin del estudio en el Laboratorio, como se expres anteriormente, coinciden con algunos de los coordinadores nacionales en que la falta de una estrategia fuerte de difusin determin que los resultados de la prueba no tuvieran un gran impacto poltico, a travs de la opinin pblica, ni en las decisiones de poltica educativa de la Regin. Las reacciones por parte de los gobiernos fueron variadas, dependiendo de las expectativas y de la coyuntura poltica de cada pas, aunque se reconoce que en general, exceptuando Cuba, fueron de tono bajo. Sin embargo, se espera que con la difusin del segundo informe sobre factores asociados y con el paso del tiempo, 39

los datos comiencen a ser utilizados por investigadores nacionales e internacionales para anlisis secundarios y proyectos de investigacin, probablemente comisionados por agentes no gubernamentales, as como por acadmicos y organizaciones sindicales. Luego del estudio general, algunos pases han realizado aplicaciones independientes de las pruebas, como por ejemplo Repblica Dominicana, Colombia y Costa Rica. stas han sido experiencias de investigacin, no de exploracin oficial para informar decisiones de poltica. Una forma en que los resultados pueden actualmente estar difundindose es por intermedio de los representantes nacionales que an hoy siguen ocupando puestos tcnicos o jerrquicos en los Ministerios de educacin, o que se encuentran en medios acadmicos que les permiten difundir la informacin a audiencias especializadas. Al momento de realizar las entrevistas que sustentan este trabajo de investigacin, se esperaba que el segundo informe sobre factores asociados llegara a manos de quienes puedan influir y decidir sobre polticas educativas, como por ejemplo para promover mejores relaciones humanas entre alumnos dada la evidencia que ofrece el estudio sobre la influencia del clima escolar sobre los aprendizajes. En Argentina no se percibieron grandes reacciones en el terreno poltico. En el mbito del Ministerio de Educacin particularmente, hubo escasa repercusin pues los resultados llegaron poco tiempo antes de que renunciara todo el equipo de alta direccin por diferencias polticas con la Presidencia. Pocos funcionarios de la gestin anterior, inclusive del rea de medicin, se desempean actualmente en el Ministerio de Educacin, con excepcin de algunos tcnicos de escasa representatividad poltica. Sin embargo, muchos de esos funcionarios circulan actualmente en medios acadmicos, desde donde tienen cierta influencia en la formacin de nuevos profesionales y especialistas en educacin. Al igual que en otros pases de Amrica Latina, algunos de los funcionarios que accedieron a los datos finales decidieron visitar escuelas cubanas para obtener evidencia presencial de los factores escolares y sociales que explican los altos rendimientos acadmicos de ese pas. Se considera que el segundo informe, probablemente, habra permitido pensar en investigaciones de mayor profundidad. La difusin de los resultados en Colombia , como se mencion anteriormente, tambin fue dbil y por lo tanto tambin lo fue el impacto sobre la educacin colombiana. El gobierno no tena recursos para publicar suficientes documentos, y slo se entregaron copias del informe de OREALC a gobernadores o secretarios de educacin de departamentos. Slo el ICFES tom la iniciativa de profundizar el anlisis de los datos, desarrollando un marco conceptual a posteriori que permitiera analizar los datos con referencia a criterios establecidos por consultores contratados, en vez de utilizar la tabla original de especificaciones que slo permita un anlisis referido a normas. Luego se pidi a los especialistas del Laboratorio que criticaran ese nuevo marco conceptual, el 40

cual fue considerado apropiado pero se observ que la calidad de los temes no estaba a la altura de ese marco. El resultado de ese anlisis no fue divulgado ni discutido con otros pases. Segn los tcnicos del ICFES, habra existido mayor preocupacin por difundir los resultados si la prueba hubiera estado referida a criterios y si hubiera estado sustentada por un marco conceptual slido que permitiera capacitar a los docentes en interpretaciones significativas desde el punto de vista epistemolgico y pedaggico. Dadas las condiciones actuales, se considera que el docente colombiano recibe informacin mejor y ms relevante por parte del ICFES en el mbito nacional que lo que poda ofrecer la prueba internacional comparada. En Cuba, adems de la difusin que hizo el gobierno de los resultados comparativamente favorables, se decidi premiar a los docentes con un incremento del 30% en sus salarios. Con esta medida tambin se pretenda desalentar el doble empleo de los maestros, pues los resultados del estudio mostraban una relacin negativa entre el multiempleo y altos rendimientos estudiantiles. En el terreno curricular, se decidi trabajar con ms diversidad de textos y se incentiv la produccin de mayor variedad de materiales educativos. Para Per, quizs el impacto ms evidente de la participacin en el estudio internacional del Laboratorio fue la publicacin de los resultados, que finalmente tuvo lugar durante el ltimo gobierno de transicin y que se considera un smbolo importante de la democratizacin del sector. Adems, se observa que diferentes medios y actores sectoriales citan frecuentemente los bajos resultados del Per con respecto a la Regin para sustentar diferentes argumentos sobre prioridades de poltica educativa.

Agencia: IEA - Pruebas: TIMSS, TIMSS-R y Educacin Cvica. A diferencia de la experiencia de evaluacin comparada de UNESCO-OREALC, no se cuenta para el caso de la IEA con la opinin de representantes regionales sobre los proyectos de evaluacin en los que han participado, y actualmente participan, algunos pases latinoamericanos. Dada esta situacin, en que cada pas decide su participacin individualmente y no como parte de un proyecto regional, se consideran, adems de las voces de los representantes nacionales, los testimonios y opiniones de quienes tuvieron a su cargo la ejecucin del estudio TIMSS en Estados Unidos y que, para beneficio de esta investigacin, tambin estn profundamente familiarizados con la realidad educativa de Amrica Latina. Percepcin de insuficiencia Tanto en Argentina como en Chile , la participacin en las pruebas de Educacin Cvica y de Ciencias y Matemticas de la IEA, se decidi con plena 41

conciencia de que los resultados con respecto a los pases desarrollados iban a ser extremadamente bajos. Se sabe, por las pruebas nacionales, y en el caso de Chile por participaciones internacionales anteriores, que existen importantes falencias por superar, tanto con relacin al currculo prescrito como al implementado en las reas evaluadas, y esos datos justificaron en gran medida la necesidad de evaluarse comparativamente en pruebas internacionales de cobertura mundial. En Estados Unidos , la participacin en TIMSS estuvo precedida por el aval del Presidente George Bush (padre) a la propuesta de los gobernadores de estados, reunidos en cumbre en el ao 1989 para proponer los objetivos Goals 2000 que orientaran muchos de los esfuerzos de reforma educativa en la dcada de los 90. Uno de los objetivos nacionales explcitos a principios de esa dcada fue el de llegar al primer puesto en los rankings internacionales de logro acadmico en matemticas y ciencias. Ya desde entonces Bill Clinton era el gobernador de mayor renombre. l mismo organiz la agenda de la Cumbre Nacional de Educacin y luego como Presidente dio particular mpetu a la consecucin de las metas de mejoramiento y logro acadmico. Esta percepcin de que Estados Unidos est en desventaja internacional debido al bajo rendimiento de sus alumnos tiene origen en un documento (McKnight, 1987) que tuvo gran impacto en el escenario poltico. Se trata de los resultados del SIMS (Segundo Estudio Internacional de Matemticas, IEA), a partir de los cuales NCTM, Consejo Nacional de Profesores de Matemticas, comenz a elaborar nuevos estndares en esa rea. El informe, que tuvo tambin un singular efecto en los medio acadmicos, refiere principalmente a los bajos resultados obtenidos por los estudiantes estadounidenses en matemticas con respecto a algunos pases asiticos, y a las escasas oportunidades curriculares de aprendizaje que explican esos bajos resultados. En el nivel estadual y local, los resultados de TIMSS dieron origen a una serie de iniciativas organi zacionales, entre ellas la de participar en TIMSS-R, para elevar los resultados de aprendizajes en ciencias y matemticas. As, en un intento por sumar esfuerzos y aunar criterios curriculares y de poltica, se crean consorcios educativos en diferentes estados del pasv . Uno de estos Consorcios, en el estado de Ohio, se dio a llamar SMART (Science and Mathematics Achievement Required for Tomorrow) y a l se harn referencias sistemticas a lo largo de este informe, como ilustracin de casos de unidades subnacionales que participaron en TIMSS-R independientemente de Estados Unidos como nacin. La creacin del Consorcio SMART tuvo origen en los magros resultados obtenidos por Estados Unidos en TIMSS. Una vez que se cre el Consorcio, con el objetivo central de elevar el rendimiento en ciencias y matemticas, aparece la invitacin a participar en TIMSS-R y las autoridades del Consorcio aceptan sumarse al proyecto de evaluacin. Por su parte, la organizacin sindical AFT (Federacin Estadounidense de Profesores), jug un rol importante durante el proceso de evaluacin TIMSS en 42

Estados Unidos. Segn la sub-directora de asuntos acadmicos de esa organizacin, estudios comparativos anteriores a TIMSS haban demostrado que haca falta elevar las expectativas de aprendizaje en el pas y la AFT, en respuesta a esa necesidad, haba producido una serie de libros con ejemplos de exmenes tipo que se toman en otros pases, como Francia y Alemania, en diferentes reas de conocimiento. Los representantes de AFT saban que existan brechas importantes en el rigor y la profundidad con que se tratan los contenidos acadmicos en la escuela bsica, y tambin estaban informados de que el gobierno federal haba planteado el desafo de llegar a ser primeros en el mundo en el rendimiento acadmico en ciencias y matemticas. Iniciativa y adopcin Argentina tuvo un intento truncado de participacin en TIMSS, debido a que la iniciativa fue individual, por parte de una universidad regional, pero no obtuvo el aval ministerial para continuar con el proyecto. Se consider entonces que en el medio de una transformacin curricular no se poda asumir una prueba internacional con estndares de contenido establecidos en pases con un desarrollo educativo muy superior. Si bien el proyecto TIMSS no considera haber establecido estndares sino ms bien una cuidadosa matriz de contenidos disciplinares representativos del curriculum prescrito en los pases participantes, existe la percepcin entre los entrevistados de Argentina que esos contenidos eran ms complejos que los que se planteaba la reforma internamente. Adems, las diferentes provincias argentinas iban aplicando los nuevos contenidos curriculares a tiempos diferentes, por lo que hubiera sido muy difcil hacer generalizaciones sobre el currculo implementado y logrado para el conjunto de subsistemas nacionales. Para el momento en que el Ministerio debi decidir la participacin, los estndares de TIMSS estaban acordados y no se consider conveniente insertarse en un proceso donde ya estaba todo decidido. Segn los tcnicos del Ministerio en ese momento, haba que tener un sistema nacional muy fuerte, con alta credibilidad, para realizar este proceso de aplicacin internacional. El sistema de evaluacin nacional estaba preocupado entonces por el lugar relativo que ocupaban las provincias en el escenario nacional, no por la posicin de Argentina en el mundo. Se trataba de generar polticas para la igualdad, acciones concretas de poltica y para eso, se argumenta, no era necesario participar en una prueba internacional que confirmara que se estaba lejos de lograr el rendimiento de los pases ms industrializados del mundo. Ese escenario fue cambiando en Argentina, y los tcnicos representantes de la administracin posterior ante la IEA consideraron que el sistema de medicin nacional estaba lo suficientemente afianzado y que no se deba temer a la comparacin con pases altamente desarrollados. Por lo contrario, se consider que slo el efecto de shock puede movilizar al gobierno y a la opinin pblica a efectuar cambios efectivos. Por esta razn es que el IDECE, actualmente 43

disuelto despus del cambio de gobierno nacional en 2002, decidi embarcarse simultneamente en los proyectos PIRLS, Educacin Cvica, TIMSS-R y TIMSS 2003, todos administrados por la IEA. Complementariamente, se decidi la participacin en PISA y ALL para poder cubrir los tres grupos etreos principales de la poblacin (nios, adolescentes y adultos). Una de las ventajas principales que se perciban con respecto a las pruebas de la IEA es que garantizan la rigurosidad en la aplicacin de los instrumentos y en los procesos posteriores de recojo y anlisis. El control y la supervisin de esos procesos se consideraban neurlgicos para una adecuada realizacin de las comparaciones e inferencias posteriores, y sobre lo cual los equipos nacionales tenan mucho que aprender. El inters por la participacin en el estudio de Educacin Cvica deriv de la conviccin del equipo del IDECE sobre la importancia, en un momento poltico complejo para la Argentina, de saber cul es el rol que cumple la escuela en la transmisin de valores y actitudes cvicas. Tambin era de inters pare el IDECE capacitar equipos tcnicos en psicometra y modelos estadsticos mediante la participacin en estas pruebas, pues no hay en Argentina programas universitarios especializados en esas reas. Adems, la prueba permita comenzar a reportar resultados de acuerdo al modelo IRT por primera vez en Argentina. Simultneamente, se consider que las pruebas de la IEA reportaran importantes beneficios en trminos de la relevancia curricular de la medicin, dado que los proyectos obligan a realizar una revisin sistemtica de los currculos prescritos de los pases participantes. Esta revisin, segn los tcnicos nacionales, favorece la reflexin sobre los contenidos actuales del currculo nacional a la vez que permite compararlos con los contenidos de otros pases participantes en los estudios. En la actualidad, habindose disuelto el IDECE y con nuevas autoridades en el rea de evaluacin del Ministerio de Educacin, habr que esperar para conocer el nuevo rumbo en lo que a pruebas internacionales se refiere. En Chile , la participacin en las pruebas de Cvica y TIMSS-R se dio en medio de un proceso de elaboracin curricular intenso y prolongado, donde interesaba especialmente saber cmo en los pases ms desarrollados se logra alinear los contenidos curriculares complejos con instrumentos de evaluacin adecuados. La intencin detrs de esta decisin no era comparar resultados competitivamente con otros pases sino comparar el rendimiento de Chile con respecto a estndares internacionales. Adems, la prueba de Cvica se aplic a una poblacin de estudiantes que accedieron al currculo de educacin cvica anterior a los nuevos marcos curriculares, con lo cual se pudo obtener una lnea de base antes de empezar a implementar el nuevo currculo de educacin cvica, en un momento de democratizacin nacional despus de muchos aos de 44

dictadura. Se considera de mucha utilidad tener este referente curricular externo para ver cmo evolucionan los estudiantes al ser expuestos a nuevos contenidos curriculares en la materia. Adems, la prueba permite medir variables contextuales y escolares que inciden sobre la formacin cvica, como por ejemplo las prcticas pedaggicas de la escuela o el contexto familiar. Se esperaba que la participacin contribuyera a reforzar las capacidades nacionales de medicin. La participacin de Colombia en TIMSS fue liderada, y oficialmente representada, por un investigador de la Universidad del Valle, en la ciudad de Cali, donde diriga un centro de investigacin y desarrollo de materiales educativos. La idea original para que participe Amrica Latina en la prueba la propuso un investigador canadiense, entonces miembro del Comit Ejecutivo de TIMSS. Fue este investigador quien promova la idea de que Amrica Latina se comparase con estndares internacionales y organiz una primera reunin en Venezuela donde invit a 10 12 pases a participar en la prueba. Las primeras reacciones a la invitacin fueron de escepticismo porque Amrica Latina se saba lejos de los estndares internacionales, y por lo tanto no haba objeto en la comparacin cuando las condiciones eran tan desiguales. Los investigadores de la Universidad del Valle percibieron rpidamente que el estudio era importante para conocer aspectos de la realidad de la educacin en ciencias y matemticas que no se haban explorado antes en Colombia, en el contexto de un estudio que se presentaba como muy bien organizado y en el cual se veran representados curricularmente. Esto ltimo, en contraste con representantes de otros pases que percibieron precisamente lo contrario, que su representacin curricular sera insignificante, por lo que es vlido suponer que la IEA fall en brindar informacin precisa a los pases de la Regin sobre las caractersticas de la prueba TIMSS. Para alentar la participacin de los pases invitados, y con la intencin de ahuyentar los fantasmas sobre la excesiva distancia que habra entre Amrica Latina y el mundo industrializado, el Comit Ejecutivo de TIMSS sugiri hacer un estudio piloto con las pruebas del SIMS (estudio anterior de la IEA) con algunas pocas instituciones en cada pas, a modo exploratorio. En Colombia se llev a cabo el estudio piloto, arroj como resultado un 50% de respuestas correctas, y con eso se prob que se poda participar sin correr el riesgo de efecto suelo en la medicin contra pases desarrollados. La Universidad del Valle no consigui al principio el aval oficial para afiliarse a la IEA, sin lo cual no poda aprobarse la participacin de Colombia, pero finalmente la IEA le permiti continuar, aun sin el consentimiento del Ministerio de Educacin. Justo antes del pilotaje general, cuando haba que decidir la participacin definitiva en el proyecto, la entonces Directora de Organizacin Escolar en el Ministerio de Educacin decidi que era necesario participar en la prueba de TIMSS y obtuvo los fondos necesarios con la colaboracin de la OEI.

45

Desde el ICFES, que tambin tuvo cierto grado de actuacin en el proceso de desarrollo y aplicacin de la prueba TIMSS en Colombia, se percibe que participar en experiencias de evaluacin de la IEA es positivo en varios sentidos. En primer lugar, el cronograma de desarrollo, aplicacin y devolucin de datos est cuidadosamente organizado y los plazos son inamovibles. En segundo lugar, las pruebas tienen un director de proyecto que es distinto del director general de la IEA, con lo cual se aseguran que la direccin del operativo est enfocada en los aspectos exclusivamente tcnicos del proyecto y no en cuestiones de poltica institucional ni en conseguir los recursos para poder continuar con las tareas programadas. La participacin en un proyecto de evaluacin de la IEA es considerada por el ICFES como una oportunidad de aprendizaje, no slo de los aspectos psicomtricos y estadsticos de la medicin, sino tambin de las estrategias organizacionales desplegadas para poder cumplir eficientemente con el plan de proyecto. A pesar de las ventajas de la participacin en estas pruebas, y segn profesionales del ICFES y de la Universidad del Valle, las autoridades actuales del Ministerio de Educacin consideran que ya se han realizado suficientes mediciones internacionales como para saber en qu condiciones est Colombia con relacin a otros pases. Esta decisin, sin embargo, refleja que no se estn tomando en cuenta las posibilidades de informacin que ofrecen las pruebas comparadas ms all del ranking internacional de posiciones. En Estados Unidos , la decisin de participar no fue materia de debate. Corresponda al ciclo de evaluaciones de la IEA aplicar una nueva prueba, y Estados Unidos participa sistemticamente en todas las aplicaciones de esa asociacin. A principios de la administracin de George Bush (padre), como se explic en la seccin anterior, Estados Unidos comenz a observar que Japn estaba tomando ventaja econmicamente. All comenz a cobrar mayor importancia el logro acadmico en m atemticas y ciencias, y Estados Unidos decidi que financiara la coordinacin internacional del estudio slo si se incorporaba a la prueba el rea de ciencias. As sucedi, y el estudio dej de ser TIMS para ser TIMSS, incluyendo tanto matemticas como c iencias naturales. Tambin se sumaron a la prueba algunos estados y distritos escolares del pas que participaron como unidades organizacionales independientes, al margen de su participacin en la muestra general de Estados Unidos, para poder compararse individualmente frente al mundo. La razn principal para esta participacin independiente era medirse con estndares internacionales y con sistemas ms competitivos, pues los referentes nacionales se consideraban demasiado bajos como para ofrecer una buena medida de rendimiento acadmico. La participacin de muchos otros pases en TIMSS se dio por cambios importantes en el escenario poltico mundial. Por ejemplo, los pases de Europa oriental que queran entrar en la escena internacional pero que no podan ingresar a espacios institucionales como la OTAN, se adscribieron a la IEA como una forma de comenzar a insertarse globalmente. Pero para muchos de esos 46

pases, al igual que otros en Asia, el rea de ciencias no era importante, por lo que Estados Unidos tuvo que realizar algunos esfuerzos de persuasin para que pases como Singapur se midieran tambin en esa rea y le permitieran a Amrica del Norte compararse con estos grandes competidores asiticos del mercado internacional. El Consorcio SMART, al cual se ha hecho referencia anteriormente, decidi su participacin en TIMSS cuando el Departamento Estadual de Educacin de Ohio ofreci financiar la participacin del estado en TIMSS-R, y para esto invit a los distritos del Consorcio a formar parte de la m uestra. Los distritos participantes deban representar, en conjunto, la conformacin del estatus socioeconmico y racial del estado de Ohio. Esa muestra fue estratificada e incluy unos 1000 casos (estudiantes) en total. En uno de los distritos participantes, la razn principal que los motiv a inscribirse en el proyecto fue que deseaban contar con una lnea de base, en trminos de informacin, que pudiera utilizarse para alinear el currculo del distrito con los estndares internacionales que planteaba TIMSS, y para conocer mejor las prcticas docentes y los patrones de aprendizaje de sus alumnos para luego desarrollar estndares de contenido y desempeo en las reas evaluadas. Para el Consorcio no fue necesario persuadir a las escuelas, pues los distritos se sumaron con entusiasmo al primer llamado. La decisin de participar la discuti cada distrito con sus directores y docentes, y la estrategia para esa discusin fue diferente en cada uno de esos distritos. No haba temor a las comparaciones entre escuelas o distritos dentro del consorcio porque las caractersticas de las muestras no las permita. En el mbito nacional, si bien la decisin de participar en TIMSS no fue discutida con las asociaciones sindicales docentes, AFT fue invitada a formar parte d e varios comits asesores durante el proyecto. En la percepcin de sus lderes, esa invitacin se debi a que la organizacin es apreciada por su reputacin profesional, por su seriedad al defender la necesidad de elevar las expectativas de logro en matemticas y ciencias, y por la comunicacin permanente que mantiene con los docentes norteamericanos, lo cual garantizaba mayores posibilidades de difusin, como se ver ms adelante. Para Mxico, hubo dos razones principales que motivaron la participacin en TIMSS. En primer lugar, se consider dentro de la SEP (Secretara de Educacin Pblica) que la experiencia reportara importantes beneficios de carcter tcnico, especficamente de aprendizaje sobre los contenidos en las reas evaluadas (matemticas y ciencias) y su secuenciacin en currculos de otros pases. En segundo lugar, se plane que los resultados de las pruebas seran insumos de informacin importantes para la toma de decisiones de poltica educativa. Originalmente, el proyecto iba a estar co-administrado por la SEP y por la Universidad Autnoma de Mxico (UNAM). Dado el inters de la UNAM por saber cules eran los conocimientos de los estudiantes al momento 47

de ingresar en la educacin superior, slo se pensaba evaluar la Poblacin 3 del modelo de TIMSS, es decir a los estudiantes en su ltimo ao de educacin secundaria. Mas luego, cuando la UNAM se retir del proyecto, la SEP asumi la responsabilidad total del proyecto y se decidi evaluar las tres poblaciones del modelo. Respecto a la posibilidad de participar en TIMSS, Uruguay opin en su momento que no se justificaba el esfuerzo y la inversin de recursos en compararse con pases tan distantes geogrfica, cultural y econmicamente. Si bien se tiene en cuenta que los estudios de la IEA tienen valor analtico ms all de las comparaciones competitivas, y de que la participacin puede desarrollar capacidades tcnicas valiosas, la participacin y la difusin masiva de los resultados mismos, particularmente de los rankings de logro, habran significado un shock demasiado grande debido a las fuertes resistencias ideolgicas a la evaluacin externa que recin comienzan a superarse en el mbito de las evaluaciones nacionales. En otras palabras, si bien se sabe que han perdido oportunidades de aprendizaje, tambin se han ganado oportunidades para afianzar la credibilidad del sistema nacional de evaluacin. Implementacin Chile , cuya participacin en pruebas de la IEA se ha dado en un contexto de gran estabilidad institucional, ha rescatado varios aprendizajes del proceso de implementacin de las pruebas de la IEA. En el caso del estudio de Educacin Cvica, por ejemplo, algunas de las capacidades desarrolladas estuvieron relacionadas con las estrategias operativas en el trabajo de campo, con diseos de manuales, aplicacin de instrumentos y anlisis estadstico. Ese desarrollo de capacidades deviene tanto de la interaccin con expertos internacionales como de los procesos tcnicos que se experimentan durante el proceso de evaluacin. Se considera muy valioso lo aprendido con relacin a los mecanismos utilizados por la IEA para asegurar el control permanente de la calidad y validez de los datos, o los requisitos estadsticos y de anlisis que impone el estudio, en trminos de procedimientos y de tecnologa como, por ejemplo, en la seleccin de los sistemas informticos (software) ms apropiados para realizar anlisis multivariados de grandes muestras. En cuanto a los contenidos de la prueba, Chile consider que el examen no estaba abordando en profundidad algunos de los temas que al pas le interesaban particularmente. Por ello se hizo uso de la posibilidad de incluir una opcin nacional y se elabor un conjunto de temes especiales, aunque respetando los dominios temticos de la prueba general. Esos temes se aplicaron al mismo tiempo que la prueba internacional. Tambin hubo la posibilidad de retirar del cuestionario las preguntas sobre afiliacin poltica, algo inaceptable en una encuesta avalada por el Ministerio de Educacin. Durante el estudio de Cvica participaron bsicamente tcnicos y algunos expertos en las disciplinas sociales que desde antes trabajaban con el SIMCE. A pesar de que Chile ingres tarde al proyecto, en las reuniones 48

internacionales hubo oportunidad de discutir los temes individualmente, antes y despus de la aplicacin piloto. Adicionalmente, y al igual que en el caso de Argentina, Chile rescat importantes oportunidades de aprendizaje sobre el modelo psicomtrico IRT, el cual pudo ser aplicado luego a los operativos de evaluacin nacionales. En Colombia , la participacin en TIMSS se dio en un marco institucional y financiero relativamente complejo debido a que los primeros pasos del proyecto TIMSS se tomaron con financiamiento propio de la Universidad del Valle, y slo cuando el proyecto se hallaba ms avanzado se consigui el apoyo oficial del Ministerio de Educacin y, en la medida en que se complejizaban las tareas vieron la necesidad de establecer una oficina para el proyecto, lo cual consiguieron hacer con el apoyo de la OEI y del PNUD. A pesar de las dificultades institucionales, la experiencia de TIMSS signific una excelente oportunidad de aprendizaje para los acadmicos participantes. En una primera etapa se llev a cabo la investigacin del marco contextual de la educacin en Colombia, tal como lo requera TIMSS, tarea que result compleja pues las estadsticas en Colombia estaban muy desactualizadas. La segunda fase consisti en la construccin del marco de referencia curricular de TIMSS. El trabajo grueso de esta etapa lo realiz un comit internacional en el cual Colombia no particip. Slo recibieron instrucciones de cmo sera la codificacin, en cada pas, de las guas curriculares, textos y entrevistas con expertos en currculo, de manera de establecer cul sera el currculo prescrito de referencia para Colombia. Luego se realizaron los estudios piloto de las pruebas y la evaluacin de los temes del banco de TIMSS, de manera tal de evaluar el comportamiento de cada tem en cada pas. Para la definicin de la muestra definitiva se convoc al ICFES. En ese momento se consigui el aval y la cooperacin financiera del Ministerio de Educacin y, ya con la muestra definida, se decidi la participacin definitiva en la aplicacin general de la prueba. A lo largo del proceso de medicin particip una docena de profesionales , como profesores del Taller de Materiales Didcticos de la Universidad del Valle, profesores del Instituto de Educacin y Pedagoga, y profesores de algunos colegios de educacin bsica. El mismo equipo codific y calific todas las preguntas abiertas siguiendo los manuales provistos por TIMSS. Todos los procedimientos estaban detallados en manuales, con lo cual se evitaban confusiones procedimentales, y cuando haba dudas se solucionaban mediante la comunicacin permanente con el centro de procesamiento de TIMSS. El ICFES mostr al principio cierta renuencia a aplicar preguntas abiertas, pues no crean que fuera posible calificarlas estandarizadamente. Sin embargo, una de las enseanzas que dej TIMSS es que pueden desarrollarse criterios adecuadamente fundamentados para la calificacin objetiva de ese tipo de preguntas.

49

En el caso de la prueba de Educacin Cvica, es importante destacar que la IEA invita a los pases, hacia el principio del proyecto, a discutir el marco conceptual que guiar la construccin de las pruebas, y que luego permite realizar anlisis ms sustantivos de los datos recogidos. Cada pas contrata a sus propios consultores para validar ese marco en el contexto nacional. Luego se envan los comentarios a la IEA, donde son revisados y utilizados para construir los instrumentos. Finalmente, la IEA convoca a una nueva reunin de pases para discutir los temes propuestos. Colombia tuvo la oportunidad de participar en todo ese proceso, que es considerado de alto valor por los tcnicos responsables nacionales. Vale recordar que esta prueba se administr enteramente desde el ICFES, y por lo tanto el proceso fue menos accidentado que la experiencia de TIMSS, cuando el proyecto se administraba desde una entidad independiente fuera de Bogot. El caso de Estados Unidos es peculiar en toda la experiencia TIMSS porque fue ese pas quien, adems de financiar la coordinacin internacional, ejerci el liderazgo tcnico del proyecto. Si bien hubo un comit tcnico de participacin internacional, toda la conceptualizacin del estudio y el desarrollo de los blueprints estuvo en manos de la Universidad Estadual de Michigan. Aun as, se daba representacin a otros pases en algunos aspectos especiales del estudio, como por ejemplo a Inglaterra en la evaluacin de demostraciones prcticas, o a la organizacin Statistics Canada en cuestiones de muestreo. Debido a que las implicancias polticas de este estudio seran altsimas, el gran desafo de Estados Unidos fue asegurarse de que las muestras de todos los pases fueran representativas. Segn asegura uno de nuestros entrevistados, el rigor de los estndares de muestreo utilizados por TIMSS marc un hito para ese aspecto de los estudios internaciona les de logro acadmico. Un aspecto relevante de esta fase de TIMSS en Estados Unidos es que se involucr activamente a los gremios de profesores y asociaciones profesionales de las disciplinas bajo estudio. Representantes de estos grupos fueron parte del comit asesor, lo cual contribuy significativamente a la sensibilizacin de las audiencias acadmicas y profesionales de la educacin, y aunque el centro de investigacin en la Universidad Estadual de Michigan tena una posicin propia con respecto al diseo de la prueba, nunca dej de consultar al Comit Asesor antes de tomar decisiones. Desde la conduccin tcnica del estudio en Estados Unidos, se consideraba que involucrar a las asociaciones profesionales era clave para lograr que los resultados tuvieran efecto en la poltica educativa. Por esa razn, a pesar de que las diferencias de opinin entre grupos complejizaron la tarea en algunas oportunidades, se decidi respetar siempre las intervenciones del Comit Asesor. ste, adems de contribuir a la sensibilizacin de una audiencia particularmente importante, protegi al equipo de conduccin de TIMSS en Estados Unidos contra algunas decisiones polticas de cpula en el nivel nacional que pudieron afectar seria y negativamente los objetivos del proyecto.

50

En el Consorcio SMART, el aprendizaje tcnico se dio bsicamente en relacin al anlisis estadstico de datos. Para esto se contrat a un experto que analiz y critic la informacin, y luego realiz recomendaciones sobre la mejor forma en que podan reportarse los datos. Algunos docentes, directores y profesores universitarios participaron en el anlisis de esos datos antes de ser difundidos. All se decidi qu tipo de variables se estudiaran ms en profundidad (tarea en casa, tiempo efectivo en clase, actitudes de los docentes hacia la disciplina, currculo prescrito vs. implementado). En el nivel distrital, se reunieron los directores de los departamentos de ciencias y matemticas para discutir la alineacin curricular entre escuelas, y entre el distrito y los estndares estaduales. Se considera que el tipo de aprendizaje ms valioso obtenido a travs de la participacin en TIMSS fue el relacionado al anlisis e interpretacin de datos. Todos los datos fueron analizados dentro del mbito del Consorcio, para lo cual previamente se envi a algunos miembros del personal a entrenarse en un seminario que TIMSS ofreca para que los participantes se familiarizasen con la base general de datos. En cuanto a otros grupos de inters, la fase de implementacin de TIMSS cont con la participacin de representantes de AFT, quienes aportaron a la discusin de los reportes preliminares del estudio para sugerir el tipo de informacin que ellos consideraban importante que se reportara al pblico, y a los docentes particularmente. Adems, tuvieron una activa participacin en un comit consultivo para el anlisis de las videograbaciones en aula, as como en el comit consultivo para el diseo del reporte principal. En cuanto a los procesos tcnicos en Mxico, existi cierto grado de comunicacin y trabajo compartido entre la Direccin General de Evaluacin y los equipos de desarrollo curricular en la SEP, especialmente para la validacin de reactivos, adems de haberse invitado a una veintena de profesores de educacin bsica para los procesos de calificacin de respuestas. Se considera que la experiencia finalmente contribuy algunos aprendizajes tcnicos valiosos, en relacin a tcnicas de muestreo y de organizacin operativa para las aplicaciones, pero se cuestion severamente desde un principio los mecanismos mediante los cuales el equipo central de TIMSS tomaba las decisiones sobre los contenidos de la prueba. Esas decisiones, que segn los tcnicos mexicanos no respetaban la voluntad de todos los pases participantes, llevaron finalmente a que Mxico no autorizara la publicacin de los resultados, como se discutir ms adelante. Interpretacin y diseminacin de resultados En Argentina, el equipo tcnico es conciente de que los resultados de las varias pruebas de IEA no van a ser favorables en comparacin con otros pases, especialmente en TIMSS-R y TIMSS 2003. Se preparan para un efecto de shock en la opinin pblica, pero, como se explic antes, se se considera un efecto 51

deseable si se quiere comenzar a cambiar el estado de la situacin. Recientemente, y quizs como parte de una estrategia de sensibilizacin a los prximos resultados de la prueba de Educacin Cvica, el ministro de Educacin encabez una Jornada Acadmica sobre "Evaluacin de la Educacin Cvica", realizada por la Academia Nacional de Ciencias Morales y Polticas. Del encuentro participaron varios asesores del Ministerio de Educacin, funcionarios del (ahora disuelto) IDECE, y miembros de la academia y de organizaciones no gubernamentales. Los participantes se refirieron a las principales reas del estudio, y realizaron anlisis y aportes para la interpretacin de los resultados de la prueba, que an no han sido publicados. Con respecto a los resultados de TIMSS-R, los funcionarios tcnicos en Chile interpretan que, de acuerdo a los niveles de inversin en educacin en Chile, as como al nivel cultural de los padres, el rendimiento de los alumnos chilenos en la prueba debi ser ms alto. En las reas de ciencias y matemticas, segn se desprende de los cuestionarios aplicados junto con la prueba, los docentes manifiestan gran inseguridad en sus conocimientos, lo cual indica por dnde habrn de orientarse algunas polticas de mejoramiento. En Chile no hay una organizacin institucional en el SIMCE ligada especficamente a la difusin de los resultados de pruebas internacionales, por lo cual se cuenta con tiempos muy limitados para el diseo de estrategias adecuadas de comunicacin de los resultados. Los resultados de TIMSS-R fueron publicados solamente en forma de ranking por un diario nacional, mientras que la Unidad de Curriculum y Evaluacin prepar un documento de difusin resaltando los aspectos ms sustantivos de los datos recogidos. A pesar de que la unidad de medicin del Ministerio de Educacin chileno est polticamente afianzada, la difusin de resultados de pruebas nacionales ha demostrado a esta unidad que se debe guardar extremo cuidado al momento de redactar los resultados de los estudios. Consideran que poco a poco las diferentes audiencias y la prensa aprendern a realizar una lectura ms interpretativa (es decir, no exclusivamente centrada en el ranqueo de posiciones) de los datos, lo que permitir gradualmente enriquecer el debate nacional sobre los aprendizajes en vez de polarizarlo. Para el caso del estudio de Educacin Cvica en Chile, que incluy una opcin nacional, los resultados que primero se difundan incluirn todos los datos comparativos internacionales de base. Los datos de la aplicacin diferenciada (temes de opcin nacional) sern difundidos y analizados posteriormente. Los datos internacionales comparados sern desagregados por dependencia (escuelas municipales, subvencionadas y particulares). Tambin en este caso el desafo mayor para el Ministerio ser la difusin, de manera tal que no se lea solamente el ranking internacional sino que los resultados de la prueba sean un estmulo para elevar los estndares en la disciplina, es decir que impacte en el ajuste de expectativas para docentes y alumnos de educacin cvica, y en virtud de esta expectativa es que se incorpor a una capacitacin para 40.000 profesores que ya estaba en curso, los resultados de la prueba de Educacin 52

Cvica. Dado que despus de un ao y medio las bases de datos se hacen totalmente pblicas, se espera que la comunidad acadmica las utilice y as contribuya a una mayor difusin de la informacin. En Colombia , se hace evidente que es necesario superar la concepcin que divulgacin equivale solamente a documentos impresos, y comprender que la verdadera divulgacin ocurre cuando se ensea a los actores a interpretar resultados, y ya se han hecho algunos avances en esa direccin. Con los resultados de Cvica, por ejemplo, se hicieron talleres y seminarios para las escuelas participantes. Un aspecto positivo de este estudio fue que durante la fase inicial se requera que cada pas realizara algunos estudios de caso, lo que le permiti a Colombia contextualizar sus resultados dentro de un marco conceptual internacional sobre civismo y democracia. La IEA recogi toda esa informacin inicial de los pases participantes y public un primer documento que los pases pudieron traducir y difundir ampliamente mucho antes que salieran los resultados comparados de la prueba. Anteriormente, durante la experiencia de TIMSS, y dado que el Ministerio de Educacin haba contribuido sustancialmente a la financiacin del estudio, hubo tambin inters oficial por conocer y divulgar los resultados de la prueba. En la ciudad de Cali, antes de la publicacin de los resultados, se realiz un seminario de casi una semana en el cual participaron funcionarios del Ministerio de Educacin y del ICFES. La intencin era comenzar a preparar a la audiencia en cargos directivos para comprender mejor los resultados y sus implicancias para la poltica educativa, y para ahuyentar el escepticismo que se perciba sobre las posibilidades de comparar pases tan desiguales como pueden ser Colombia y Japn. En general, sin embargo, los responsables tcnicos del estudio no percibieron que los funcionarios estuvieran demasiado temerosos de los efectos negativos de los resultados en la opinin pblica. El Ministerio de Educacin, por ejemplo, financi algunas publicaciones especiales para maestros de matemticas que inclua los resultados comparativos con los dems pases participantes. En Estados Unidos , luego de la prueba TIMSS, se publicaron primero los resultados del anlisis curricular, y varios meses despus se dio a conocer el ranking internacional. Esto contribuy a que, para cuando se supo que Estados Unidos ocupaba un lugar modesto en ese ranking, las audiencias ms especializadas ya tuvieran un conocimiento importante sobre los aspectos sustantivos del estudio, concretamente en relacin a la amplia pero superficial cobertura curricular que hacen las escuelas norteamericanas en ciencias y matemticas. Los resultados de ese anlisis curricular se divulgaron mediante la prensa televisiva, radial, e impresa. El director responsable del equipo tcnico de EEUU apareci en varias cadenas de noticias, y frente al Senado de la Nacin, comentando sobre los resultados del anlisis y sus implicancias, mientras que el co-director de ese equipo ofreci un debate en la National Public Radio. Seis meses despus se public el ranking internacional, en el cual Estados Unidos se 53

ubic alrededor de la media internacional, tanto en ciencias como en matemticas, y muy por debajo de los entonces temidos competidores asiticos. A pesar de los desfavorables resultados, sin embargo, las asociaciones profesionales que co-lideraron el proyecto, como la Fundacin Nacional de Ciencias (NSF) y el Consejo Nacional de Estadsticas Educativas (NCES), mantuvieron firme su compromiso de publicar la base de datos y de difundirla por todo el pas. NCES pag, y sigue pagando en la actualidad, un taller anual que se suma a las actividades del Encuentro Anual de la Asociacin Estadounidense de Investigaciones Educacionales (AERA). Este es un evento de amplsima asistencia y difusin en Estados Unidos, y por lo tanto un espacio ideal para la discusin y uso de los datos de TIMSS. Adicionalmente, NCES sigue distribuyendo manuales con los resultados del estudio y otorgando becas de financiamiento para anlisis secundarios de los datos. El TIMSS marc un cambio en la historia de la IEA, desde el momento en que sus pruebas dejan de ser slo un riguroso ejercicio acadmico para convertirse en el proyecto de un conjunto de pases cuyos gobiernos se interesan por las implicancias polticas y de poltica de los resultados. Este fenmeno se sinti tambin en Estados Unidos, y es por eso que se convenci a la Fundacin Nacional de Ciencias para que su donacin a la Universidad Estadual de Michigan permitiera contratar a una prestigiosa consultora de prensa de Nueva York que coordinara las relaciones pblicas y las estrategias de difusin de TIMSS. La consultora provey entrenamiento a los coordinadores nacionales y asign personal especializado a la colocacin de noticias sobre los anlisis de TIMSS en diferentes medios de comunicacin del pas. Es importante destacar que esa colocacin no significa pagar por los espacios de prensa, sino identificar los medios de comunicacin potencialmente interesados en difundir noticias educativas. Este es un servicio costoso que no podra haberse p agado si la empresa hubiera cobrado precios rigurosos de mercado. Pero las implicancias polticas del estudio y su difusin eran muy altas y se decidi utilizar el servicio muy temprano, mucho antes que se liberaran los resultados, de manera que el pblico estuviera sensibilizado sobre los aspectos curriculares del estudio antes de conocer el ranking. De hecho, se considera totalmente inusitado el inters pblico que se despert por la problemtica curricular en Estados Unidos. Cabe resaltar tambin que en ese pas existe una gran cantidad de periodistas especializados en el rea de educacin, que tienen largas y cercanas relaciones con las fuentes que les pueden proveer informacin relevante. Adems, la tica profesional de los medios de comunicacin hace posible que se pueda facilitar a los periodistas informacin que no ha sido pblicamente liberada de manera que puedan preparar sus informes y columnas de opinin con anticipacin. En Estados Unidos, a diferencia de Amrica Latina, fue relativamente sencillo motivar e interesar a la academia, a las comunidades educativas y a las asociaciones profesionales por los resultados de TIMSS. Con el grado de involucramiento que se dio a los representantes de esos medios en el Comit Asesor del estudio, y con la difusin estratgica de prensa, la comunidad pronto 54

prest inters y estuvo incluso dispuesta a pagar a los investigadores nacionales de TIMSS para recibir mejor y ms detallada informacin de los resultados. A pesar de esto, siempre existe escepticismo por parte del profesorado, y por lo tanto tambin se realizaron importantes esfuerzos en muchas localidades por difundir y utilizar la informacin que permitiera mejorar su currculo y sus logros de aprendizaje en ciencias y matemticas. Tambin en el nivel local se realizaron importantes esfuerzos para lograr una mejor interpretacin y difusin de los resultados. Los representantes principales de SMART, por ejemplo, asistieron a cuatro encuentros que TIMSS ofreci a los participantes de unidades subnacionales. All se analizaron y criticaron los datos y la mejor manera de presentarlos. Una vez analizados los resultados se present una sinopsis de los datos para que los docentes los comprendieran ms fcilmente. La informacin resultante de TIMSS no puede relacionarse fcilmente con los exmenes del estado de Ohio pues estos ltimos presentan temes de cuestionable calidad tcnica, adems de que cubren demasiados tpicos pero pocos conceptos en profundidad. A pesar de esto, se observan algunos patrones similares en los resultados de ambos tests. En relacin a los cuestionarios sobre actitudes o hbitos de estudio, el experto estadstico del Consorcio considera que hay que ser sumamente cuidadoso con las inferencias, pues stas pueden conducir a tomar decisiones equivocadas. Por ejemplo, los docentes del Consorcio expresaron en esos cuestionarios un alto grado de confianza en su dominio disciplinar de ciencias y matemticas. Sin embargo, el Consorcio sabe positivamente que gran parte de los problemas de aprendizaje de los alumnos se debe precisamente a los baches de conocimiento disciplinar que presenta el profesorado. Por otro lado, los datos del estudio que se consideran ms tiles son los relacionados al currculo prescrito y al currculo implementado. Por falta de tiempo no se ha realizado an un anlisis de temes individualmente pero s se han identificado y analizado diferentes grupos o franjas temticas en las dos reas evaluadas. Para muchos docentes, los datos de TIMSS son menos significativos que los del examen estadual, dado que estos ltimos son censales y los resultados se devuelven a todas las escuelas. En cuanto a la recepcin de datos por parte de AFT, los representantes admiten que haba cierto temor a los resultados comparativos con otros pases, pero a la vez la organizacin tena mucho inters por saber el nivel de rendimiento de los estudiantes estadounidenses con respecto a los de otros pases. Desde la sede de AFT en Washington, D.C., se organiz una conferencia para los lderes de la asociacin en todo el pas, en cooperacin con el Departamento de Educacin de EEUU. Se invit a representantes de seis pases con altos resultados en TIMSS para entender mejor sus sistemas y profundizar en la problemtica nacional. El foco de atencin en esa conferencia fue la formacin docente en diferentes pases. Uno de los ponentes fue el director mismo del estudio en EEUU, quien habl en profundidad de las implicancias curriculares de los resultados de TIMSS. Dos reconocidos investigadores de ese pas explicaron los resultados del anlisis de los videos de clases, en el cual haban participado 55

profesionales representantes de AFT. AFT haba sido invitada por TIMSS a sesiones especiales destinadas a sensibilizar audiencias particularmente interesadas. Entre las estrategias que utiliza AFT para difundir los resultados de TIMSS, cabe mencionar los cursos de perfeccionamiento para docentes donde incluyen datos de TIMSS y sus implicancias. En esas sesiones se pone especial nfasis en lo que los matemticos consideran como los elementos clave de una buena clase de matemticas, y se intenta rescatar toda la informacin posible mas all del ranking internacional. En general los docentes han respondido positivamente a la evidencia que presenta este estudio comparado. Si bien siempre hay profesionales escpticos sobre el valor de la informacin, la organizacin sostiene que, independientemente de las caractersticas de la prueba, siempre es posible reconocer cundo se est enseando bien, lo cual se considera un elemento clave para comenzar a introducir mejoras. Mxico, como se anticip en la seccin anterior, invoc razones tcnicas para desautorizar finalmente la publicacin de los datos. Quizs debido a los antecedentes mexicanos en cuanto al embargo impuesto por el gobierno de los aos 90 sobre los resultados de sus propias evaluaciones nacionales, internacionalmente se interpret que Mxico no autorizaba publicar los resultados de TIMSS para evitar el costo poltico de una desfavorable posicin en el ranking de pases participantes. Desde la SEP, sin embargo, se sigue sosteniendo en la actualidad que las razones que motivaron la desautorizacin de publicar los resultados se debi estrictamente a razones tcnicas y que el mismo gobierno que prefiri suspender la publicacin fue el que, poco tiempo despus autoriz sin reparos la publicacin de los datos preliminares de PISA, aun cuando Mxico sala en las ltimas posiciones respecto a los dems pases. Decisiones, impacto poltico y nuevas lneas de investigacin Los responsables tcnicos de Argentina que participaron en la gestin ministerial de mediados de dcada, si bien decidieron no participar en TIMSS, consideran que el estudio podra haber tenido gran impacto en las decisiones de poltica educativa. Aclaran, sin embargo, que para que esto suceda, la IEA debera reformular sus estrategias de aplicacin y anlisis de manera tal que la devolucin de resultados a los pases sea ms rpida. Se percibe que los ciclos de las pruebas de la IEA son demasiado extensos y por la tanto, dada la ausencia de polticas de Estado coherentes y continuas, los resultados se devuelven cuando los gobiernos han cambiado y con ellos las prioridades de poltica. Esto, sin embargo, puede estar fuera de las posibilidades de la IEA dada la complejidad de los estudios. En cuanto a las informaciones que se aguardan de las aplicaciones recientes de pruebas de la IEA, los coordinadores nacionales esperan que los resultados causen alarma y que movilicen a la opinin pblica y a decisores de poltica para realizar cambios y mejoras. En las oficinas de medicin de Chile, a pesar de que ya se ha pasado por la experiencia de difundir resultados de la IEA anteriormente, el impacto poltico 56

que pudieran tener los resultados de nuevos estudios sigue preocupando, especialmente si la difusin de los resultados coincide con momentos de tensin poltica en torno a la opinin pblica y de la oposicin sobre la efectividad de la Reforma Educacional chilena. Esta preocupacin est justificada por el rol que ha jugado la prensa en otras ocasiones al difundir casi exclusivamente la noticia sobre el bajo rendimiento de Chile comparado con el mundo, sin prestarle demasiada importancia a los otros datos de valor que ofrecen las pruebas de la IEA. Una revisin de los recortes de prensa chilena (on line, www.reduc.cl) sobre la participacin de este pas en pruebas de la IEA revela, efectivamente, un tono de alarma y bastante crtico hacia el sistema educativo pblico, aunque en segundo plano tambin se presentan algunas informaciones ms sustantivas, como por ejemplo sobre algunos de los factores socioeconmicos que explican los resultados. Del total de recortes revisados, es notoria la cantidad de artculos escritos por acadmicos de uno de los centros de investigacin sobre polticas pblicas de Chile, que utilizan los datos para hacer crticas y sugerencias concretas sobre la educacin pblica en el pas. Desde el Ministerio de Educacin, se est intentando que la informacin llegue a los profesores, para que haya impacto en el aula y en los contenidos. Con ese fin, precisamente, se estn sosteniendo algunas reuniones con funcionarios profesionales del rea de formacin y perfeccionamiento docente. En Colombia , mientras que la prensa difundi los resultados de TIMSS con ttulos ms bien escandalosos y poniendo nfasis en el ranking de posiciones, el Ministerio de Educacin decidi hacer una serie de publicaciones, basadas en los resultados, que ofrecan algunos recursos pedaggicos para que los profesores lograran mejores resultados de aprendizaje con elementos didcticos sencillos. Pero estas mismas publicaciones tambin mostraban que Colombia ocupaba el anteltimo lugar en el ranking mundial, y termin teniendo impacto tambin en el entorno acadmico y gubernamental. Se presentaron algunas propuestas al Congreso para la creacin de un programa de calidad de la educacin y de un ente independiente del Ministerio de Educacin para evaluar la calidad. La idea de que ese ente fuera independiente no prosper y por ltimo termin reestructurndose una unidad dentro del ICFES para realizar las evaluaciones nacionales. Uno de los grandes impactos del TIMSS fue que alent a los tcnicos del Servicio Nacional de Pruebas del ICFES a redisear el Examen de Estado (que regula el ingreso a la educacin superior), con un marco conceptual de referencia a criterios en vez de normas, y con anlisis de respuesta al tem. Esto permite actualmente contar con mejores indicadores sobre la calidad de la educacin en Colombia, y permite a los alumnos y a las instituciones comprender mejor cules son las deficiencias y las fortalezas del aprendizaje. Es tambin parte de los planes del ICFES hacer accesibles las bases de datos a los investigadores, aunque hasta ahora esto no se ha concretado.

57

En la Universidad del Valle, que como recordamos tuvo a su cargo la coordinacin de TIMSS en Colombia, el Programa de Educacin de Matemticas ha tomado los informes del estudio para hacer actividades de formacin y capacitacin de profesores. El anlisis all se concentra en los tipos de fallas conceptuales y procedimentales que los alumnos mostraron en la prueba. El coordinador del estudio remiti al Ministerio de Educacin una propuesta de actualizacin docente basada en los datos de TIMSS, pero lamentablemente cay en el olvido con el ltimo cambio de gobierno nacional. Los efectos de la participacin en TIMSS en Estados Unidos han sido muy variados y demasiado numerosos como para describirlos todos en este informe. En forma resumida, sin embargo, podra decirse que los efectos se dieron en dos niveles principales. En el nivel federal y estadual, los resultados de TIMSS confirmaron que hay serios problemas curriculares en matemticas y ciencias. La ausencia de un currculo nacional determina que la suma de currculos locales (en su mayora dictados por los libros de texto seleccionados) conforme un mosaico irregular de contenidos, con una gran cobertura de tpicos pero tratados con muy poca profundidad. La evidencia en este respecto puso en marcha una serie de medidas gubernamentales, no gubernamentales y profesionales para establecer estndares curriculares ms altos, y para alinear los diferentes elementos de la gestin y la prctica educativa desde una perspectiva sistmica que apuntara a elevar la calidad de los aprendizajes, y lograr los estndares propuestos. En el nivel local o distrital, las reacciones fueron variadas, y tambin lo fue el tipo de medidas que se tomaron para mejorar los aprendizajes y lograr los estndares establecidos por cada estado. En general, los esfuerzos se centraron en la alineacin curricular local con los estndares estaduales y en mejorar las condiciones pedaggicas para la entrega de mejores oportunidades de aprendizaje. Un efecto singular de TIMSS en el nivel local fue, como se ha descrito en secciones anteriores, la creacin de consorcios educativos, como SMART, que luego de participar en TIMSS-R ha decidido proveer extensas oportunidades de capacitacin a docentes sobre currculo, mtodos instruccionales y, especialmente, sobre cmo analizar datos de pruebas estandarizadas. En el nivel estadual, se estn revisando los exmenes estandarizados que, en comparacin con TIMSS, cubren demasiados tpicos pero pocos conceptos en profundidad. El Consorcio ha realizado varias propuestas de mejoramiento, pero la decisin final sobre la adopcin de esas medidas es, por ley, facultad de los distritos en forma individual. Finalmente, cabe mencionar los esfuerzos de AFT por incluir datos de TIMSS en sus capacitaciones, y por difundir un mensaje claro en torno a la necesidad de definir en qu consiste un buen currculo, y de lograr aunar criterios nacionales ante la variedad enorme de fuentes curriculares que existe en el pas.

58

En Mxico, si bien los resultados finales nunca fueron publicados, se conservaron las bases de datos originales dentro del mbito de la SEP. Inicialmente se plane hacer anlisis internos de los resultados con fines investigativos, pero luego, al ingresar en el proyecto PISA, los equipos tcnicos se vieron limitados en su tiempo disponible y se dedicaron en tiempo completo al nuevo proyecto.

Agencia: OCDE - Prueba: PISA Al igual que en el caso de las pruebas de la IEA, la decisin de participar en la prueba PISA la tom cada pas individualmente y por lo tanto no es posible presentar testimonios de representes regionales para esta experiencia de evaluacin. En consecuencia, se toman en cuenta a continuacin las voces de los representantes nacionales de evaluacin de Argentina, Mxico, Per y Uruguay. Iniciativa y adopcin Argentina ingres tardamente a PISA Plus, es decir que no se registr oficialmente a tiempo para integrarse a la totalidad de las actividades del proyecto, pero se ha registrado a tiempo para PISA 2003. Son dos las razones principales que motivaron la participacin en esta prueba. En primer lugar, porque ofrece un enfoque diferente al concentrarse no solamente en habilidades acadmicas o disciplinares sino en las destrezas cognitivas que se consideran fundamentales para desempearse competentemente en el mundo laboral de hoy. En segundo lugar, el equipo tcnico consider que los cuestionarios que acompaan la prueba estn adecuadamente diseados y muestran claramente cul es el objetivo de cada una de sus preguntas. Al igual que con las otras pruebas internacionales en que Argentina est participando, se espera que los resultados sean insumos efectivos de informacin para decisiones de poltica. En Chile , resultaba atractiva la participacin en una prueba que estuviera no solamente vinculada a los contenidos curriculares oficiales, sino que adems propusiera contenidos de aplicacin prctica, vinculados a las demandas cognitivas de la vida social y laboral del mundo actual. Tambin se consideraba importante, en un momento en que Chile busca insertarse econmicamente en el mercado internacional e incorporarse como pas miembro de la OCDE, compararse con los otros pases que conforman esa comunidad. Adicionalmente, Chile participa del proyecto WEI (Indicadores Mundiales de Educacin), tambin liderado por la OCDE, lo cual se consideraba un factor complementario importante para la participacin en los proyectos de esta agencia.

59

Para las autoridades tcnicas en Mxico, el proyecto eva luativo de PISA se perciba como ms confiable que el de TIMSS por ser una agencia intergubernamental. Adems, por ser pas miembro de la OCDE, Mxico tena el mandato formal de participar en la evaluacin internacional. A pesar de este mandato, sin embargo, los tcnicos nacionales establecieron un acuerdo con PISA para asegurarse que no pasaran por la misma experiencia que en TIMSS, es decir que los procedimientos tcnicos que se acordaran seran respetados y que slo bajo esa condicin se autorizara la publicacin de los resultados. Tambin en Mxico, como en otros pases, result ms atractivo el marco conceptual de PISA que el que ofrecen otras pruebas internacionales, especialmente porque las mediciones se centran en habilidades y competencias universales y no en el contenido de los currculos de los pases participantes. Adicionalmente, se valora el tipo de anlisis de contexto (factores asociados al logro de competencias) que realiza la prueba, y que les permitir tomar decisiones de poltica mejor informadas segn los factores que puedan ser manipulados mediante intervenciones desde la administracin educativa central. La participacin de Per en PISA Plus, y probablemente en prximas aplicaciones, se origina en la bsqueda, por parte de las oficinas de planeamiento y de medicin del Ministerio de Educacin, de un sistema adecuado de indicadores educacionales. La bsqueda los condujo a familiarizarse con la OCDE, particularmente con el proyecto WEI, y con la prueba internacional PISA. Impresionaron positivamente los avances realizados por la OCDE en evaluacin, y en la generacin y anlisis de informacin educacional, y eso motiv la participacin de Per en la prueba de logro acadmico. Existi apoyo de la alta direccin del Ministerio para participar, adems de que la experiencia no es demasiado costosa. Result atractiva la idea de medirse con estndares internacionales, aunque de especial importancia fue la posibilidad de acceder al trabajo conjunto con expertos en el campo de la medicin a gran escala, y as contribuir al desarrollo de capacidades institucionales de medicin y de formas de uso de la informacin. Se considera que toda comparacin es til, pero que estudiar lo que sucede en pases con alto rendimiento no significa necesariamente adoptar modelos externos para aplicarlos localmente. El valor de la comparacin reside en las preguntas que genera sobre cules son las vas posibles de mejoramiento. La participacin tambin se decidi por la calidad de los temes de la prueba, por ser exigentes e ingeniosos. Si bien algunos de esos temes pueden resultar un tanto descontextualizados para las poblaciones rurales del pas, se considera que el gran reto para el Per es lograr, precisamente, el dominio de conocimientos y capacidades cognitivas ms complejas, y para eso se requiere el acceso a formas de conocimiento de relevancia global. En Uruguay , slo a partir de 1999 comenz a considerarse la posibilidad de participar en un estudio internacional, pensando bsicamente en los beneficios que dicha participacin pudiera reportar a la unidad de medicin (UMRE), en 60

trminos de aprendizaje y desarrollo de la capacidad tcnica. Entre las opciones consideradas se prefiri participar en PISA-Plus, pues es la prueba que ofrece, en la opinin de los tcnicos, el esquema conceptual ms completo, una buena definicin de competencias, y una propuesta clara sobre la utilizacin de la informacin de factores de contexto. Implementacin En la experiencia de Argentina con PISA Plus, se observa que el proceso de implementacin ha sido bsicamente tcnico. No hay actores externos a la unidad de medicin involucrados, excepto por los consultores o tcnicos que se contratan para tareas muy puntuales, como por ejemplo las traducciones que requiere el proyecto, y la validacin posterior de esas traducciones por parte de pedagogos en las disciplinas involucradas. Como Argentina ha ingresado tarde a las aplicaciones de PISA, no se ha podido disear opciones nacionales. Sin embargo, se planea utilizar esas opciones en el futuro para poder incluir temes de las pruebas nacionales y as poder comparar la informacin recogida. En Chile , la participacin de diferentes actores ha sido, al igual que en Argentina, bsicamente de carcter tcnico, con representacin del equipo de pruebas internacionales y pruebas nacionales de la Unidad de Curriculum y Evaluacin del Ministerio de Educacin. Se percibe que, en la medida en que se gana experiencia en medicin internacional, y a partir de la unificacin de los equipos de evaluacin y curriculum bajo una misma unidad administrativa, la relacin entre los procesos de evaluacin y desarrollo curricular se va fortaleciendo, especialmente a travs de los procesos de revisin curricular sistemtica que requieren las pruebas internacionales. Segn los tcnicos de evaluacin en Mxico, la experiencia de evaluacin en el proyecto PISA ha permitido un mayor grado de participacin tcnica que en experiencias anteriores, lo cual se refleja en el carcter compartido de las decisiones que se toman internacionalmente en relacin a los contenidos de las pruebas. Adicionalmente, la seccin de preguntas abiertas de la prueba ha demandado de las autoridades de la SEP una convocatoria ms amplia a actores del medio educativo en el proyecto, especficamente para llevar a cabo la calificacin de respuestas. En este sentido, se cuenta ya con la colaboracin de docentes del estado de Mxico para el trabajo de calificacin, as como con tcnicos de los equipos de desarrollo curricular de la SEP. Finalmente, los tcnicos de medicin reportan un alto grado de confianza en los procesos metodolgicos utilizados por PISA, especialmente en relacin a la captura y procesamiento de datos, as como en los procedimientos para asegurar la validez de las traducciones de los reactivos. En Per, la participacin en PISA est resultando costosa en trminos de carga de trabajo para un grupo reducido de personal, aunque se considera que vale la 61

pena el esfuerzo. Esta experiencia da a los tcnicos la posibilidad de ensayar con aspectos tcnicos y conceptuales diferentes a los de las pruebas nacionales. Debido a que se ingres tarde en el proyecto, la Unidad de Medicin est comprimiendo en pocos meses mucho del trabajo que debi hacerse con ms tiempo y que habra permitido aprovechar totalmente la experiencia de aprendizaje. Aun as, hubo oportunidades de modificar algunos temes para adaptarlos al contexto peruano. Para PISA 2003 los tcnicos estn teniendo ms posibilidades de intervencin que en la aplicacin 2001. Para los tcnicos del Uruguay , son varias las posibilidades de aprendizaje que ofrece el programa PISA. En primer lugar, permitir generar ms conocimiento para diseo de temes fuera de las reas actualmente evaluadas por las pruebas nacionales. En segundo lugar, permitir desarrollar capacidades especficas en relacin al diseo, calificacin y procesamiento de la informacin de pruebas de respuestas abiertas. Tercero, se valora la oportunidad de un aprendizaje ms profundo de la teora de respuesta al tem, que hasta ahora slo conocan por referencias. Por ltimo, consideran que si bien ya tienen experiencia en el anlisis de factores socioeconmicos asociados al rendimiento, les ser valioso aprender ms sobre la medicin de variables escolares, curriculares e instruccionales. Se insiste particularmente en la importancia de participar en pruebas que estn fundadas en un marco conceptual slido, como en el caso de PISA, donde es posible comprender el porqu del diseo de los temes, y donde importa el logro con respecto a competencias previamente definidas como deseables, y no en relacin a un agregado de contenidos curriculares de varios pases como fue el caso de TIMSS o del Laboratorio, en los cuales la tabla de especificaciones result un intento por establecer denominadores comunes pero sin contar con un marco terico de referencia. Pese a que la IEA present para su prueba TIMSS un marco conceptual explcito sobre curriculum prescrito, implementado y alcanzado, y con niveles de anlisis en los mbitos central, escolar y ulico, Uruguay presenta nuevamente evidencia de que la agencia evaluadora no alcanz a transmitir a las autoridades tcnicas y polticas de las unidades de evaluacin un mensaje claro sobre las ventajas del tipo de anlisis que era posible realizar a partir de la prueba TIMSS. Interpretacin y diseminacin de resultados En Chile , se espera que la experiencia de difusin de los resultados de PISA sea ms beneficiosa y efectiva que en casos anteriores, especialmente porque se contar con ms tiempo para la planificacin de una estrategia adecuada y con mayor apoyo por parte de organizaciones internacionales para tal fin. Cabe resaltar que el Ministerio de Educacin de Chile difundi pblicamente los resultados de PISA 2000, cuando este pas no haba participado en la prueba, e hizo uso de esa oportunidad para informar a la comunidad educativa que Chile estara participando en la siguiente aplicacin del proyecto.

62

En Mxico se planea que los primeros destinatarios de los resultados sern los equipos tcnicos y autoridades polticas de la prxima administracin gubernamental nacional, lo cual aumentar las posibilidades de que los datos sean utilizados y de que el proyecto evaluativo se contine en el tiempo. En cuanto a los resultados preliminares de PISA, que consistieron en una aplicacin especfica de PISA Plus para que Mxico se comparara con otros pases de la Regin antes de ingresar en la aplicacin general de 2001, la Subsecretara de Planeacin y Coordinacin institucional ya ha difundido un documento interno con algunas especificaciones metodolgicas de la prueba, resultados preliminares para Mxico y su comparacin con pases latinoamericanos, as como algunas de las deficiencias de desempeo acadmico identificadas en los primeros anlisis. Los datos y las bases mismas tambin se han entregado a las administraciones estaduales. Aunque los datos no se presentan desagregados por estado, cada administracin local regional podr hacer su propio anlisis estadstico si as lo desea. En Per, se considera que despus de la experiencia con la prueba del Laboratorio es de suma importancia lograr que se difunda informacin sustantiva, no solamente el ranking internacional. Los tcnicos nacionales consideran que uno de los principales inconvenientes para la difusin de este tipo de informacin en el pas es que existen pocos expertos en educacin que sepan analizar e interpretar datos cuantitativos para luego realizar inferencias sustantivas relevantes. En este sentido, hay otros campos, como la economa o la sociologa, donde es ms comn encontrar profesionales con esas capacidades que contribuyan a la diseminacin acadmica de las informaciones investigativas. Con la intencin de superar ese obstculo, la coordinacin del estudio en Per est planeando un taller de varios das de duracin donde se explique a actores clave del sector cmo interpretar los resultados de PISA. Ahora que se percibe mayor estabilidad poltica en el pas, se espera que sea posible elaborar una estrategia efectiva de difusin. Uruguay , por su parte, planea difundir ampliamente los resultados de la prueba, as como lo que pudiera revelarse del instrumento mismo, tal como se ha hecho con las pruebas nacionales. De esta manera, se podra explicar a cada equipo de profesores, en cada establecimiento, qu es lo que las diferentes actividades de la prueba miden, para que ellos puedan aplicar la prueba, o temes seleccionados de la misma, y as comparar el desempeo de sus alumnos con el de los estudiantes en otros pases. Decisiones, impacto poltico y nuevas lneas de investigacin Para Chile , como se mencion anteriormente, el gran desafo consiste en lograr que los resultados de las pruebas, que en el caso de PISA probablemente tambin sern bajos con respecto a la media internacional, no causen solamente reacciones crticas contra la administracin educativa nacional, sino que adems 63

sean utilizados para implementar mejoras pedaggicas y curriculares. Sin embargo, dado que los nuevos marcos curricu lares recin estn terminando de implementarse en los aos superiores de la educacin media, se calcula que los resultados de PISA no promovern cambios en el currculo en el corto plazo. En Mxico, por su parte, se est estableciendo un acuerdo con el Ministerio de Trabajo para realizar un seguimiento longitudinal de los estudiantes evaluados, y as poder observar al cabo de algunos aos cul ha sido la insercin y el desempeo laboral de los sujetos participantes en la medicin. En trminos institucionales, se considera que ahora que la evaluacin internacional est en manos de la Subsecretara de Planeacin y Coordinacin Institucional, que es una dependencia ms ejecutiva que investigativa, el poder para la toma de decisiones sobre la base de los resultados de las pruebas se ver fortalecido. En la prctica, ya se estn realizando desde esa Subsecretara, y en funcin de los datos preliminares obtenidos, algunas propuestas para orientar mejoras en el Programa Nacional de Lectura y en el Programa de Escuelas de Calidad. Tambin se han realizado algunas propuestas para el desarrollo curricular de formacin docente inicial, en el currculo de matemticas de educacin bsica, y se han facilitado las bases de datos para su anlisis a la Academia Mexicana de Ciencias y al Centro de Investigacin y Docencia Econmica de Mxico. En las oficinas tcnicas de medicin del Per, actualmente, no existe mayor preocupacin por el posible impacto poltico de los resultados de PISA, quizs por lo que indica en ese sentido la experiencia pasada con la prueba del Laboratorio y con las pruebas nacionales. Se sabe que las noticias de prensa sern escandalosas, pero en la medida en que el pas siga participando y el pblico se acostumbre a que hay otras informaciones rescatables adems del ranking, los medios de comunicacin debern buscar otro tipo de noticias para vender a la poblacin. Entretanto, el Ministerio de Educacin habr tenido importantes ganancias en trminos de aprendizaje tcnico e institucional. Otro aspecto positivo de la prueba es que el pas ser propietario de los instrumentos y podrn ser aplicados nuevamente si se quiere profundizar las investigaciones. Los tcnicos nacionales de medicin en Uruguay no descartan que, a pesar del buen uso que se pretende dar a las pruebas, la medicin contra estndares internacionales como los de PISA pueda implicar un riesgo poltico considerable. Por lo tanto, antes de ingresar en una prueba de stas, y dado que se tiene la intencin real de difundir los datos, se consider necesario contar con el aval de las autoridades polticas del sector para asumir el costo de salir en los ltimos lugares del ranking internacional. VII. DISCUSIN Como puede observarse, existe ya un conjunto importante de experiencias de participacin en pruebas internacionales en Amrica Latina. Esas experiencias 64

han sido variadas y muestran diferentes grados de insercin e impacto efectivos en el escenario de las polticas y la prctica educativa de cada pas, dependiendo de los contextos polticos e institucionales en que se inscriben. En esta seccin se resume y discute algunos elementos comunes a la experiencia de participacin en pruebas internacionales de los pases seleccionados. El tamao de la muestra de pases en este estudio, as como el nmero limitado de actores entrevistados, restringen las posibilidades de hacer generalizaciones amplias a la Regin en cuanto a las caractersticas de las experiencias en evaluacin internacional y sus beneficios. Sin embargo, la cantidad de informacin obtenida amerita un resumen crtico que rena los aspectos ms importantes de las experiencias relatadas y que facilite la comprensin de los procesos descritos en la seccin anterior. En esta seccin se presenta ese resumen, organizado de acuerdo a las fases de evaluacin comparada internacional utilizadas como marco conceptual en este estudio. En cuanto a la fase inicial del ciclo de poltica curricular, donde tericamente se perciben los primeros descontentos con respecto a los resultados de aprendizaje obtenidos por los sistemas educativos nacionales, vale destacar que esa percepcin en Amrica Latina se basa, al menos parcialmente, en algunos referentes empricos, tales como los resultados de pruebas nacionales de logro acadmico, pruebas exploratorias comparadas en la Regin, o resultados de pruebas internacionales anteriores. Parte del descontento sobre la eficacia de los sistemas educativos, que conduce a la bsqueda de informacin comparada sobre rendimiento acadmico, deviene del convencimiento , no del todo fundamentado, de que los grandes problemas econmicos de la Regin tienen origen, en parte, en las deficiencias de aprendizaje de los estudiantes del sistema, que se gradan sin estar preparados para las demandas de conocimiento del mundo actual. Ese uso de referentes empricos es decididamente ms fuerte en pases como Estados Unidos, donde se ha hecho un uso mucho ms extensivo de los datos recogidos en pruebas nacionales y pruebas internacionales anteriores, y donde el temor por perder competitividad en el mercado internacional es, o al menos fue durante la ltima dcada, ms marcado. Las implicancias curriculares de las pruebas internacionales en Amrica Latina, en este sentido, han sido casi nulas puesto que no se registra evidencia de que los resultados de esas pruebas hayan alertado a los profesionales e investigadores de la educacin sobre la pertinencia o adecuacin de los contenidos curriculares nacionales. La excepcin, hasta donde pudo verificar este estudio, es Cuba dado que all la experiencia de evaluacin comparada permiti alertar a los representantes nacionales sobre la necesidad de introducir cambios en la secuenciacin de algunos conceptos matemticos, as como sobre el enfoque terico con que se plantean los contenidos en el rea de lenguaje. Las iniciativas de participacin, as como la eleccin del proyecto de evaluacin comparada ms conveniente para cada pas en Amrica Latina, han estado en la prctica definidas por tres objetivos principales. En primer lugar, 65

acceder a mayores oportunidades de capacitacin tcnica en medicin de aprendizajes y diseo de instrumentos. Existe, sobre la base de experiencias anteriores, una expectativa y percepcin compartidas entre los pases de la Regin en cuanto a los beneficios de participar en pruebas lideradas por agencias de alta capacidad tcnica y organizacional como la IEA o la OCDE. En este sentido, se valora especialmente lo que se puede aprender de la organizacin operativa de los proyectos, de la calidad tcnica de los instrumentos de medicin, de los procedimientos para garantizar la calidad y validez de la informacin, y de los mecanismos que esas instituciones implementan para brindar apoyo y orientacin a los pases participantes. En segundo lugar, se espera obtener informacin objetiva sobre el logro acadmico de los estudiantes en relacin a estndares de contenido internacionales, que impacte la opinin pblica y que facilite una toma de decisiones mejor informada para el mejoramiento del sistema educativo. En cuanto a la vinculacin de los proyectos comparativos con los sistemas nacionales de medicin, se espera desarrollar capacidades tcnicas que fortalezcan a estos ltimos, pero no se ha diseado generalmente un cruce sistemtico entre los datos obtenidos en ambos tipos de mediciones. En tercer lugar, existe la expectativa, al menos por parte de algunos actores, de que la participacin en una prueba internacional estimule la propuesta de estndares regionales contra los cuales medir el rendimiento de los pases latinoamericanos. Si esto ltimo no es posible, se espera al menos participar en pruebas internacionales de cobertura mundial que ofrezcan un marco conceptual slido que permita interpretaciones vlidas para el contexto latinoamericano. Cabe destacar que, si bien muchas de las decisiones de participacin en pruebas internacionales en Amrica Latina han estado inspiradas en la idea de establecer, o compararse con, estndares acadmicos ms claros y exigentes, y si bien eso demuestra algn inters comn por los aspectos curriculares de las reformas, la mayor parte de las decisiones se ha tomado sin la participacin directa de los responsables de las unidades de currculo de los organismos de gestin educativa nacionales, ni de otros actores que puedan ejercer influencia sobre el desarrollo curricular en cada pas. En este sentido, entonces, se podra afirmar que las iniciativas y decisiones de participacin en pruebas internacionales estn slo parcialmente alineadas con los objetivos nacionales de reforma y logro curricular. Si bien existen algunas opiniones supranacionales en la Regin que entienden la evaluacin internacional dentro de un contexto de poltica educativa basada en la nocin de gerenciamiento , en parte motivada por el condicionamiento de los organismos internacionales, la mayor parte de las decisiones de participacin no parece haberse tomado en funcin de ese modelo de gestin. Es decir, los beneficios que se esperan de la informacin recogida no estn relacionados necesariamente a las nociones de descentralizacin y responsabilizacin por los resultados, sino ms bien al deseo de proveer mayores herramientas de gestin 66

para un adecuado desarrollo e implementacin curricular. Esto, pese a lo sealado lneas arriba respecto a la dbil vinculacin de las iniciativas internacionales con las unidades responsables del currculo. En cuanto a la fase de implementacin de las pruebas internacionales, encontramos grandes diferencias entre la experiencia de participacin en la prueba del Laboratorio, por un lado, y en las pruebas de la IEA y de la OCDE por el otro. Esas diferencias, como se explic detalladamente en la seccin anterior, estn relacionadas principalmente a la capacidad tcnica, organizacional, financiera y operativa de las agencias que administran las pruebas. Es claro que la IEA y la OCDE aventajan al Laboratorio en todas esas caractersticas, a pesar de que la prueba regional report tambin varios beneficios a los pases participantes. Con respecto a los aspectos estrictamente curriculares, vale decir que la representatividad de los pases latinoamericanos en ambas experiencias es por lo menos cuestionable. La participacin en pruebas de la IEA se ha dado en condiciones de desigualdad con respecto a los pases desarrollados, pues Amrica Latina ha ingresado tarde a los proyectos de evaluacin, muchas veces con escasas capacidades tcnicas para la representacin, o con un dbil aval financiero e institucional por parte de sus gobiernos nacionales. Por estas razones, las posibilidades de que los pases de la Regin influyan en las decisiones con respecto a los marcos conceptuales y curriculares han sido extremadamente reducidas. En el caso de la prueba del Laboratorio, si bien la matriz curricular fue discutida con los pases, la falta de un mecanismo de comunicacin multidireccionalvi no permiti lograr un consenso con respecto a un conjunto de estndares deseables ni a un marco conceptual comn que permitiera una interpretacin ms sustantiva y contextualizada de los resultados, y por lo tanto la pertinencia curricular del proyecto se vio fuertemente debilitada. Recordemos que en las pruebas de la IEA o de la OCDE en Amrica Latina se valora precisamente que los pases se midan con referentes o estndares externos a la Regin, mientras que en la prueba del Laboratorio se esperaba llegar a acuerdos regionales sobre medidas de logro deseables. Una ltima diferencia que vale la pena resaltar es que, mientras que las tcnicas de muestreo y los instrumentos de las pruebas de la IEA y de la OCDE son apreciados por su rigor y validez, la direccin tcnica del Laboratorio enfrent varios desafos ante serios cuestionamientos tcnicos por parte de los coordinadores nacionales. Por otro lado, la participacin en pruebas internacionales en ambos casos ha favorecido la reflexin sobre los contenidos curriculares de cada pas, en la medida en que las comparaciones revelan diferencias importantes entre pases en cuanto a los enfoques epistemolgicos y a la distribucin de contenidos a lo largo del currculo de educacin bsica. Sin embargo, esa reflexin se ha dado principalmente entre tcnicos y expertos de las unidades de medicin, pero con escasa o ninguna participacin por parte de los profesionales de las reas de desarrollo curricular. En trminos de poltica 67

curricular, esto implica que la medicin internacional en cada pas tiene escasa vinculacin con los procesos de implementacin de aquellos programas curriculares que, segn se expresa, las evaluaciones desean mejorar. Sin embargo, el aspecto ms dbil de los proyectos de evaluacin, segn se observa en la experiencia de la mayor parte de los pases latinoamericanos, ha sido el de interpretacin y posterior diseminacin de los resultados. Adems de las insuficiencias en el planeamiento estratgico, la escasa difusin de resultados estuvo marcadamente influida por la falta de comunicacin y coordinacin entre los equipos tcnicos de medicin y los de desarrollo curricular en cada pas. Estos dos factores, falta de una estrategia de difusin y falta de trabajo conjunto entre actores clave, determinaron que finalmente existieran menos posibilidades de impacto en el mejoramiento de la implementacin de reformas y en la reformulacin de objetivos curriculares. Durante la prueba del Laboratorio, la debilidad en la interpretacin y diseminacin se debi, principalmente, a la falta de una estrategia preconcebida, as como a la falta de un marco conceptual slido y de estndares que permitieran una adecuada interpretacin sustantiva de los resultados, a la vez que el segundo informe oficial, que se esperaba tuviera ms impacto de poltica, lleg a los ministerios demasiado tarde, cuando las administraciones nacionales haban cambiado. Cuba fue, de acuerdo a las entrevistas, una excepcin en este sentido, dado que all los buenos resultados obtenidos fueron ampliamente difundidos desde la Presidencia, y favorecieron algunas decisiones sobre condiciones de trabajo docente, debido quizs en parte a la larga continuidad de la administracin gubernamental. En cuanto a los efectos de los resultados de pruebas de la IEA, es evidente que las desfavorables posiciones de Amrica Latina en los rankings internacionales han causado un efecto de shock en algunas audiencias, especialmente por la forma de reporte que ha utilizado la prensa. En la actualidad, los pases que han decidido continuar participando en pruebas de la IEA y de la OCDE son concientes de la necesidad de educar a la prensa y otras audiencias influyentes, de volverlas ms especializadas, de manera que puedan difundir informaciones ms relevantes que la temida tabla de posiciones. Los reportes que redactan las oficinas de evaluacin o currculo de los ministerios, por su parte, se consideran particularmente tiles cuando pueden tener impacto en el mbito local, escolar y pedaggico, y cuando contribuyen a desarrollar capacidades de anlisis e interpretacin de datos. El caso de Estados Unidos durante la prueba TIMSS fue singular, como se describi en la seccin anterior, por el alto involucramiento de diversos grupos de inters y la consulta sistemtica a actores del sector, as como tambin por la fuerte estrategia de difusin utilizada. Con respecto al impacto de la participacin en pruebas internacionales, en trminos de decisiones sobre poltica educativa, de repercusiones polticas, o de 68

investigaciones realizadas sobre los datos, nuevamente se hace evidente la diferencia entre la experiencia de Amrica Latina y lo ocurrido en Estados Unidos. En nuestra Regin, tanto la evaluacin del Labora torio como las pruebas de la IEA han tenido un impacto poltico y de poltica relativamente bajo. Las excepciones, segn nuestros datos, son Cuba, que tom algunas decisiones concretas de polticas sobre la base de los resultados del Laboratorio, y Chile, que ha debido enfrentar el impacto sobre la opinin pblica de los resultados en las pruebas de la IEA. En el caso del Laboratorio se han realizado algunas investigaciones posteriores, en los pases y por parte de la OREALC misma, pero hasta el momento no han sido mayormente difundidas. En cuanto a la participacin en pruebas de la IEA, la experiencia ha repercutido casi exclusivamente en el desarrollo tcnico de las unidades de medicin, lo cual no es un logro menor, pero no se reportan importantes medidas de poltica curricular, o educativa en general, en funcin de los resultados. Con respecto a PISA, una ventaja anticipada del proyecto que puede repercutir positivamente en el medio educativo es que las pruebas, es decir los instrumentos mismos de medicin, sern propiedad de los pases participantes, y podrn utilizarse en aplicaciones nuevas e independientes para medir otras muestras y as favorecer investigaciones ms profundas en el mbito nacional. En Estados Unidos, donde existen ms de 100 aos de trayectoria en medicin y evaluacin educacional, la experiencia ha sido muy diferente, particularmente en relacin a las pruebas TIMSS y TIMSS-R de la IEA. La creacin de consorcios educativos, el involucramiento de organizaciones sindicales docentes y asociaciones profesionales de las diferentes disciplinas acadmicas, as como las mltiples lneas de investigacin surgidas a partir de los resultados, confirman que el impacto de la participacin en pruebas internacionales depende no solamente del pote ncial informativo de esas pruebas sino tambin de las estrategias de sensibilizacin previas a la difusin final de los resultados. Vale recordar que para cuando la IEA liber los resultados de TIMSS, diferentes audiencias y medios de informacin ya estaba n expectantes y deseosos de conocer los resultados. Estas diferencias entre las experiencias de Estados Unidos y Amrica Latina confirman una vez ms que una dbil estrategia de sensibilizacin y difusin, as como la falta de un contrato entre funcionarios y usuarios en la bsqueda de informacin sistemtica, resulta en un escaso impacto de las evaluaciones en las decisiones sobre polticas educativas, y sobre polticas curriculares en particular. Adems, no se monitorean los resultados sobre las pocas decisiones que se toman en funcin de las informaciones de estudios comparados, y por lo tanto es difcil saber si se ha avanzado o no en la direccin deseada. De esta manera, la contribucin de los resultados de pruebas internacionales a nuevos ciclos de poltica curricular, o de mejoramiento de los existentes, es mnima y en muchos casos inexistente. En otras palabras, esto implica que en el futuro podrn tomarse nuevas iniciativas y decisiones centrales de poltica curricular sin

69

considerar la evidencia sobre los resultados de polticas y programas anteriores, segn indican los datos de las pruebas internacionales. VIII. RECOMENDACIONES PARA FUTURAS OPORTUNIDADES DE PARTICIPACIN DEL PER Y OTROS PASES LATINOAMERICANOS EN PRUEBAS INTERNACIONALES

La evidencia recogida en este trabajo, si bien no puede considerarse representativa de la Regin en su totalidad, ha permitido arribar a algunas conclusiones iniciales sobre la conveniencia de la participacin de pases latinoamericanos en futuras pruebas internacionales, as como sobre las condiciones en que esa participacin debiera darse. Mientras que la seccin anterior presenta resumidamente algunas conclusiones sobre las aspectos ms relevantes de las experiencias pasadas de participacin, y sobre la relacin de esas experiencias con los marcos de reforma curricular de la Regin, las conclusiones en este apartado se presentan directamente en forma de recomendaciones puntuales para participaciones futuras, y en curso, en pruebas internacionales de logro acadmico. 1. Dado que muchos de los pases de la Regin ya han participado en alguna prueba internacional con anterioridad, se recomienda utilizar las informaciones de esas pruebas para generar opinin y sensibilizar a audiencias de inters antes de iniciar nuevos programas de reforma o mejoramiento curricular, y antes de adscribirse a un nuevo proyecto de evaluacin comparada internacional. Una medida de ese tipo tendra el valor adicional de permitir el pilotaje de estrategias posibles de difusin de los resultados. Una forma viable de sensibilizacin es invitar a los representantes de la prensa y de organizaciones sindicales y profesionales de la educacin a participar en las discusiones iniciales del proyecto, en la discusin sobre resultados anteriores y sobre la importancia de iniciar nuevas evaluaciones, y sobre el vnculo concreto que se percibe entre las evaluaciones y los contenidos curriculares. Es importante que los coordinadores en el mbito nacional calculen con anticipacin, y en colaboracin con otras oficinas ministeriales, el costo material y el tiempo de trabajo que insumir la fase de discusin y sensibilizacin, de manera tal que esta fase sea un aspecto formal y viable del proyecto de evaluacin. Durante las discusiones, y mediante la informaciones que se hagan circular sobre resultados anteriores, se sugiere alertar sobre los posibles bajos resultados comparativos del pas, pero simultneamente explicar en forma ejemplificada las maneras en que la prxima prueba comparada puede informar sobre aspectos especficos de desarrollo o implementacin curricular. Paralelamente, esta fase puede comenzar a educar a las audiencias convocadas en algunos de los tecnicismos propios de la psicometra y de la sociometra, de manera tal que 70

comiencen a desarrollarse algunas capacidades de interpretacin y anlisis de datos ms all de los rankings . Si el proyecto de evaluacin est liderado por una institucin acadmica o no gubernamental, es especialmente importante reunir a las autoridades ministeriales de medicin y currculo, no slo para obtener el aval oficial, sino para establecer una especie de contrato sobre las necesidades de informacin percibidas por el ministerio, u organizacin equivalente, y el tipo de informaciones que puedan derivarse de la evaluacin comparada. 2. Al momento de decidir sobre el tipo de prueba internacional a aplicarse, cada pas debiera considerar los siguientes aspectos tcnicos y contextuales, que afectarn la mayor o menor utilidad de las experiencias de evaluacin comparada: a. El momento histrico en cuanto a la implantacin de las reformas curriculares, la duracin prevista del gobierno en funciones, y el grado de afianzamiento del sistema nacional de medicin de la calidad educativa. b. Las necesidades reales de la informacin que se va a recoger, y las posibilidades concretas de aprovecharla, de acuerdo a los momentos de desarrollo e implementacin curricular del pas y de acuerdo a las dificultades percibidas o comprobadas anteriormente en esos procesos. c. Las caractersticas de las pruebas en cuanto al marco conceptual utilizado, los dominios disciplinarios o cognitivos evaluados, y los factores escolares y socioeconmicos relevados en relacin al rendimiento. Si la prueba es de cobertura regional y se presenta como un proyecto de elaboracin conjunta entre los pases participantes, es importante definir un marco conceptual que considere el contexto de poltica educativa y curricular de la Regin y que permita una interpretacin contextualizada de los resultados del estudio. Un estudio de esta naturaleza debiera representar tambin una oportunidad para definir consensuadamente, entre los tcnicos de los pases, un conjunto de estndares mnimos de contenido, y para realizar una revisin de los currculos nacionales y as poder comparar, mediante la evaluacin, los alcances relativos de los currculos prescritos, implementados y logrados. d. Las oportunidades de participacin efectiva que el proyecto ofrece en relacin a la construccin o adecuacin de instrumentos de medicin, o a la inclusin de opciones nacionales de evaluacin, tales como temes especiales o submuestras de particular inters nacional o regional. Ante esta posibilidad, debiera considerarse 71

tambin cul es la capacidad tcnica de los coordinadores nacionales para hacer efectiva y viable esa participacin. e. La utilidad y pertinencia de la forma de reporte de resultados utilizada por la agencia evaluadora, de acuerdo al tipo de audiencias que se espera informar. 3. Durante la etapa de implementacin del proyecto, es decir durante el diseo de muestras, instrumentos y operativo de aplicacin, se recomienda motivar y asegurar el vnculo y la comunicacin permanente entre las unidades de medicin y los equipos de desarrollo curricular en los niveles central y regional en cada pas. Si partes de estos procesos son eminentemente tcnicas y requieren poca intervencin de personal de currculo, se recomienda por lo menos mantenerlos informados sistemticamente sobre los avances del proyecto y sobre las futuras fechas en que sern convocados para discutir y analizar los resultados del estudio. Simultneamente, debera mantenerse un tipo de comunicacin igualmente sistemtica con los representantes de la prensa y de las asociaciones sindicales y profesionales convocadas inicialmente (recomendacin #1). El mismo tipo de mecanismo debera operar entre los coordinadores y los actores gubernamentales y no gubernamentales si el operativo de evaluacin estuviera en manos de una institucin acadmica independiente. Estos mecanismos de comunicacin permanente son una forma de mantener vivo el contrato entre los tcnicos y los consumidores de informacin que ms pueden influir en la toma de decisiones para cambios de poltica y prctica curricular. Como las posibilidades son altas de que los usuarios gubernamentales (ministeriales) de la informacin cambien sbitamente debido a cambios polticos, se considera tanto ms importante reforzar los canales de comunicacin permanente con la prensa y con representantes de instituciones sindicales, acadmicas, profesionales y de la sociedad civil. 4. Hacia el momento en que se reciben los datos ya procesados de la agencia evaluadora, y de acuerdo a las recomendaciones anteriores, los posibles usuarios de la informacin deberan estar informados de las fechas en que sern convocados a analizar e interpretar los datos de la prueba. Aqu se sugiere realizar primero una sesin de anlisis y discusin entre los tcnicos de evaluacin y los representantes de desarrollo curricular, de manera tal de planificar en conjunto una agenda de discusin organizada para el momento de intercambio con representantes de la prensa, del mundo acadmico y de organizaciones no gubernamentales. Las discusiones con estos actores debiera conducir a una serie de recomendaciones puntuales sobre el tipo de reportes que sera deseable difundir, concretamente en relacin al formato, al tipo de informacin que se debe incluir, a las audiencias prioritarias y secundarias que debieran alcanzar, al nmero sugerido de publicaciones, y a los diferentes objetivos que los reportes debieran perseguir, como por 72

ejemplo, si deben brindar insumos de informacin para medidas de poltica o para decisiones de tipo curricular y pedaggico en el nivel local y escolar. Segn indica la evidencia hasta el presente, la sola difusin de la informacin por medio de reportes no es suficiente para que tenga un impacto real en las polticas y prcticas educativas. Es necesario organizar eventos locales con amplia participacin de directores de escuela y docentes, en los cuales se explique cmo interpretar los datos y se discuta sobre diferentes maneras de mejorar el desarrollo curricular en las escuelas y su implementacin en las aulas sobre la base de los datos analizados. Este es tambin el momento de revisar el contexto de poltica curricular, ver en qu momento de implantacin de los programas curriculares se encuentra el pas y sus regiones, cules son las dificultades que evidencian la pruebas nacionales, los informes de supervisin regionales, las investigaciones acadmicas y la prueba internacional misma para decidir qu tipo de mejoras (si no cules exactamente) se pueden recomendar a las autoridades nacionales y subnacionales de educacin. En este sentido, el anlisis de los datos debiera conducir a preguntas clave sobre la forma en que otros pases logran mejores rendimientos estudiantiles, y sobre las condiciones bajo las cuales esos logros son posibles. Vale recordar que una de las ventajas de las pruebas internacionales es que pueden revelar informacin sobre los efectos diferenciales de algunas variables sobre el logro de aprendizajes que no es posible detectar en un estudio intra-nacional. Tambin es importante recordar que las asociaciones entre variables dependientes e independientes que muestran los estudios internacionales deberan tomarse con cautela y ser analizadas dentro del contexto particular de cada pas. 5. Se recomienda hacer un seguimiento del tipo de decisiones de poltica y prctica educativa, y curricular en particular, tomadas en funcin de los resultados difundidos. Una vez identificadas, se sugiere comisionar o alentar a instituciones acadmicas el estudio de los resultados que sobre el aprendizaje de los estudiantes han tenido, o no, esas decisiones y cambios de prcticas. Las informaciones recogidas mediante estos estudios deberan canalizarse y difundirse adecuadamente para ofrecer evidencia ms concreta para la toma de decisiones sobre nuevas polticas y programas curriculares, as como para la decisin sobre nuevas evaluaciones internacionales y el tipo de estrategias que son ms efectivas para la difusin y uso de sus resultados. 6. Una vez que se ha participado en una experiencia internacional de evaluacin, y si la informacin obtenida de esa experiencia est a la altura de las expectativas de los coordinadores nacionales y de las autoridades polticas del sector, se aconseja continuar participando en nuevas mediciones, especialmente en las siguientes aplicaciones de la misma prueba. Esto puede permitir no solamente la medicin del progreso acadmico de las poblaciones evaluadas, sino tambin que el pblico y los usuarios de la informacin se acostumbren a contar con la informacin 73

peridicamente, y de esta manera maximizar el uso tcnico y poltico que pueda darse a esa informacin. 7. Se recomienda la participacin de unidades subnacionales de gestin educativa, como por ejemplo estados, departamentos o grupos de escuelas asociadas. Si la participacin no puede ser financiada por esas unidades, como probablemente ser el caso en Amrica Latina, la coordinacin central de la evaluacin (ministerios u otras agencias a cargo) debera considerar la posibilidad de conseguir recursos para promover esa participacin. Tambin se debera considerar la posibilidad de que la muestra nacional, en vez de ser conformada por alumnos de todo el pas, fuera construida con casos de un departamento o estado que presente la suficiente heterogeneidad demogrfica como para asegurar variabilidad en los resultados y, por ende, la posibilidad de analizar estadsticamente su relacin con las variables predictivas del logro. 8. Esto ltimo permitira, asumiendo que existe voluntad e inters por maximizar el impacto de la informacin, disear ms fcilmente estrategias de difusin y uso de los datos en un contexto ms reducido, para luego replicar esas estrategias en el mbito nacional. RECOMENDACIONES PARA FUTURAS INVESTIGACIONES SOBRE LA PARTICIPACIN DE AMRICA LATINA EN PRUEBAS INTERNACIONALES DE RENDIMIENTO ACADMICO Las sugerencias de investigacin que se presentan a continuacin guardan relacin, principalmente, con aspectos del diseo que por limitaciones en los recursos materiales no pudieron controlarse totalmente en este trabajo y que por lo tanto restringen las posibilidades de hacer generalizaciones ms amplias a la realidad de la Regin. En futuras investigaciones que profundicen o amplen los hallazgos de este trabajo se recomienda, en primer lugar, expandir la muestra de pases que hayan participado en pruebas intern acionales, incluyendo pases fuera del continente americano. En segundo lugar, convendra definir ms estrictamente los criterios para la seleccin de esos pases, como por ejemplo que todos hayan participado en al menos una prueba regional y otra de cobertura mundial. Luego, se recomienda expandir la muestra de actores entrevistados, incorporando especialmente representantes de medios acadmicos y actores involucrados en el diseo y entrega del servicio educativo en el mbito local y escolar. Si estos representantes no han tenido la oportunidad de participar en muestras de pruebas internacionales, o si no han sabido de la existencia de 74

tales pruebas, las entrevistas deberan enfocarse en el uso potencial que esos actores consideran que podran dar a las informaciones producidas por dichas pruebas. Finalmente, se sugiere identificar ms casos de usos concretos que se haya dado a los datos para la toma de decisiones de poltica educativa y curricular, en el nivel central, local y escolar. Adicionalmente, debera recogerse evidencia sobre el efecto o impacto que el uso de esa informacin ha tenido en los aprendizajes de las poblaciones evaluadas. A pesar de las limitaciones de tipo metodolgico impuestas por las condiciones materiales para este trabajo de investigacin, y de las consecuentes amenazas a la validez de las conclusiones presentadas con relacin a la totalidad de la Regin, esperamos con este trabajo haber contribuido significativamente a la comprensin de las condiciones tcnicas y polticas bajo las cuales los pases de Amrica Latina deberan participar en pruebas internacionales. Es nuestro deseo que los resultados de este informe de investigacin alcancen y se difundan en los espacios de decisin sobre evaluacin educativa en la Re gin, as como en el mbito acadmico, y as coadyuvar a una mejor utilizacin de los recursos disponibles para la medicin de rendimiento acadmico y, lo que es ms importante aun, para su impacto en la calidad de los aprendizajes.

75

Bibliografa Atkin, Myron and Paul Black (1997) Policy perils of international comparisons: The TIMSS case. Phi Delta Kappan, 79,1, 22-28. Ball, Stephen (1998) Big policies/small world: An introduction to international perspectives in education policy. Comparative Education, 34, 2, 119-130. Beaton, Albert et al (1999)The benefits and limitations of international educational achievement studies. International Institute for Educational Planning; International Academy of Education. UNESCO: Paris, France. Bempechat, Janine, Norma Jimenez & Beth Delamater (Borrador, 2000) Culturalcognitive issues in academic achievement: New directions for cross-national research . Board on International Comparative Studies in Education (BICSE), National Research Council. Bloom, Benjamin (1974) Implications of the IEA studies for curriculum and instruction. School Review, 82, 3, 413-435. Burstein, L. (1989) Conceptual considerations in instructionally sensitive assessment. Paper presented in the American Educational Research Annual Meeting, San Francisco. Burstein, L., Oakes, J. & Guiton, G. (1992) Education indicators, en M. Atkin (Ed.) Encyclopedia of educational research (6th edition). New York: Macmillan. Carter, D.S.G & ONeill, M.H (1995) International perspectives on educational reform and policy implementation. Brighton, Falmer. GRADE (2001) Mejoramiento de los procesos de desarrollo curricular y de materiales educativos . Informe final de la consultora No. 010-2000-ED/MECEP para el Ministerio de Educacin del Per. Farrell, Joseph (1979) The necessity of comparisons in the study of education: The salience of science and the problem of comparability. Presidential address, annual meeting of CIES, Mexico City, 1978, reprinted from Comparative Education Review, 23, 1. Ferrer, Guillermo (1999) Aspectos del curriculum prescrito en Amrica Latina: Revisin de tendencias contemporneas en curriculum, indicadores de logro, estndares y otros instrumentos. GRADE-PREAL. http://www.grade.org.pe/gteepreal/docs/Ferrer.pdf

76

Forster, Margaret (2000) A policy makers guide to international achievement studies. ACER Press, Australia. Greaney, Vincent & Thomas Kellaghan (1996) Monitoring the learning outcomes of education systems The World Bank: Washington, DC. Husn, Torsten (1994) Educational research and policy-making, in International Ecyclopaedia of Education, Ed. Torsten Husen and Postlethwaite, N. Oxford: Pergamon Press. Husn, Torsten (1987) Policy impact of IEA research. Comparative Education Review, 31, 1, 29-46. Husn, T. & Tuijnman, A (1994) Monitoring standards in education: Why and how it came about, in Tuijnman, A. & Postlethwaite, T. (Eds) Monitoring the standards of education, Oxford: Pergamon Press. Jones, P.W (1998) Globalisation and internationalism: democratic prospects for world education. Comparative Education, 34, 133-155. Kellaghan, Thomas (1996) IEA studies and educational policy. Assessment in Education, 3, 2, 133-160. Kohn, Melvin (1987) Cross-national research as an analytic strategy (American Sociological Association, 1987 Presidential Address). American Sociological Review, 52 (December: 713-731). Levin, Benjamin (2001) Conceptualizing the process of education reform from an international perspective . Education Policy Analysis Archives, 9, 13. http://epaa.asu.edu/epaa/v9n13.html Lyotard, J.F (1984) The postmodern condition: A report on knowledge. Manchester: Manchester Uni versity Press. Macnab, Donald (2000). Forces of change in mathematics education: the case of TIMSS. Educational Policy Analysis Archives 8,15. McKnight, Curtis (1987) The underachieving curriculum: Assessing U.S. school mathematics from an international perspective . A National Report on the Second International Mathematics Study. Mislevy, Robert (1995) What can we learn from international assessments? Educational Evaluation and Policy Analysis, Winter 1995, 17, 4, 419-437. National Commission on Excellence in Education (1983). A nation at risk . Washington, DC: U.S. Government Printing Office. 77

Platt, W.J (1975) Policy making and international studies in educational evaluation, en A.C. Purves & D.U. Levine (Eds.) Educational policy and international assessment. Berkeley, CA: McCutchen. Reimers, Fernando y Noel Mc Ginn (1997). Informed Dialogue: Using Research to Shape Education Policy Around the World . N.Y. y Londres. Praeger. Schmidt, William and Curtis McKnight (1995) Surveying educational opportunity in mathematics and science: An international perspective. Educational Evaluation and Policy Analysis, Fall 1995, 17, 3, 337-353. Smith, Adam (1776) An inquiry into the nature and causes of the wealth of nations. Dublin, Whitestone, 1776. 3 v. 22 cm. The Library of Congress, EEUU. Theisen, Gary; Paul Achola and Francis Musa Boakari (1983) The underachievement of cross-national studies of achievement. Comparative Education Review, 27, 1, 46-68. Torney-Purta, Judith (1990) International comparative research in education: Its role in educational improvement in the US. Educational Researcher, (volume, #?) 32-35 Torres, Rosa Mara (1999) Reformadores y docentes: El cambio educativo atrapado entre dos lgicas (Documento de trabajo para la discusin). IIPE Unesco: Buenos Aires. Wirt, Frederick. Comparing educational policies: Theories, units of analysis, and research strategies. Reprinted from Comparative Education Review, vol.24, no.2, (June 1980). Wolf, R (1979) Sampling. Bulletin 4: Secondary Study of Mathematics. Urbana, IL: Second International Mathematics Study.

78

Anexo A: Resumen de principales pruebas internacionales aplicadas en Amrica Latina.

Examen
Civic Education Study

Agencia

Aos de aplicacin 1999 y 19992000 (dos fases)

Cobertura internacional Global

Poblacin objetivo Adolescentes: 14 y 17-18 aos

reas curriculares y competencias Ciudadana y democracia; identidad nacional y relaciones internacionales; cohesin social y diversidad; economa y medio ambiente Lectura: prosa, documentacin e informacin cuantitativa. Lectura; alfabetizacin numrica (numeracy); razonamiento lgico; trabajo en equipo. Lenguaje y matemtica.

Tipo de prueba Preguntas cerradas y abiertas; escalas de actitud

IEA

Principales factores asociados Clima escolar; actividades extraescolares; recursos culturales en el hogar.

No de pases 1 latinoamericanos 2/32 [Colombia y Chile] 32 entre las dos fases del estudio

IALS International Adult Literacy Survey ALL- Adult Literacy and Lifeskills

OECD Statistics Canada NCES ETS Statistics Canada NCES OECD

19941998

Global

Adultos: 16-65 aos.

Preguntas cerradas y abiertas. Preguntas cerradas y abiertas.

Variables culturales, sociales y demogrficas Variables sociales, educacionales, y econmicas. Acceso y uso de NTIC.

1/22 [Chile]

2002

Global

Adultos: 16 a 65 aos.

3/22 [Argentina, Bolivia, y Costa Rica]

Primer Estudio Internacional Comparativo sobre Lenguaje, Matemtica y Factores Asociados


1

LLECE UNESCOOREALC

1997

Amrica Latina

Grados 3 y 4

Opcin mltiple y preguntas abiertas en lenguaje.

Variables escolares, familiares y sociales.

12 [Argentina, Bolivia, Brasil, Chile, Colombia, Cuba, Honduras, Mxico, Paraguay, Per, Repblica Dominicana y Venezuela]

Se indica el nmero de pases latinoamericanos participantes sobre el nmero total de pases participantes.

PIRLSProgress in International Reading Literacy Study PISAProgramme for International Stud ent Assessment TIMSSThird International Mathematics and Science Study TIMSS-R

IEA

(RLS 1991) 2001+

Global

Grado 4 (9 aos)

Lectura

Opcin mltiple y respuestas abiertas.

Hogar; escuela; prcticas pedaggicas; curriculum; polticas. Variables demogrficas, sociales, econmicas y educacionales. Curriculum; Prcticas pedaggicas Polticas; Actitudes; Hogar; Escuela. Curriculum; Prcticas pedaggicas Polticas; Actitudes; Hogar; Escuela.

2/35 [Argentina y Colombia]

OECD

2000 + PISA-Plus 2001

Global

15 aos

IEA

1995 +

Global

Grados 3-4, 7-8, y ltimo de educacin secundaria.

Destrezas para la vida: matemticas, lectura y ciencias. Ciencias y matemticas.

Opcin mltiple y respuesta abierta.

6/33 [Argentina, Brasil, Chile, Mxico, Per y Uruguay]

Opcin Mltiple, Respuesta abierta y Demostracin prctica. Opcin Mltiple, Respuesta abierta y Demostracin prctica.

2/45 [Colombia y Mxico]

IEA

1999

Global

Grados 3-4, 7-8, y ltimo de educacin secundaria.

Ciencias y Matemticas

2/38 [Argentina y Chile]

80

Anexo B: Cuestionario de entrevistas. 1. Iniciativa de participacin en pruebas internacionales: 1.1. Quin propone / decide participar? 1.1.1 Organizaciones internacionales-agencias evaluadoras? 1.1.2 Funcionarios. De qu sectores de la administracin pblica, especficamente? 1.1.3 Grupos de inters / acadmicos. 1.1.3.1 Otras? Quines suscriben o apoyan estos emprendimientos? Quines discrepan? Por qu? 1.2 Por qu se decide participar? 1.2.1 Comparar con otros pases? Cmo se previ que esa comparacin beneficiara las polticas educativas (u otras) nacionales? 1.2.2 Reforzar capacidades en el proceso? 1.2.2.1 Cules capacidades: de medicin, diseo, logstica, anlisis, diseminacin y uso? 1.2.3 Cul era el contexto poltico y de reforma educativa en el momento de la decisin? Haba cambiado ese contexto al momento de divulgar y usar los resultados de las pruebas? Si hubo cambio de contexto, Qu consecuencias trajo para el compromiso y la toma de decisiones de los funcionarios y tcnicos involucrados? 1.2.4 Qu relacin se anticip, al momento de decidir y ex-post, entre la prueba internacional y los sistemas nacionales y sub-nacionales de medicin existentes? 2. Desarrollo y aplicacin de pruebas: 2.1 Quines participan / participaron en las diferentes fases del proyecto (en cada prueba)? 2.1.1 Acadmicos y tcnicos expertos (del Ministerio de Educacin o contratados)? 2.1.2 Actores de la comunidad educativa con representatividad regional o local? 2.1.3 Sociedad civil? 2.1.4 De quines hablamos cuando nos referimos a los pases participantes? Sus representantes? Garantizan sus representantes (coordinadores nacionales) que el pas se vea bien

representado en las decisiones durante el diseo, o que se tomen decisiones acertadas sobre opciones nacionales? 2.2 Cmo participan? Cunta participacin efectiva tienen-han tenido los pases menos desarrollados en la determina cin de los objetivos curriculares / competencias a ser incluidos y en la construccin de los instrumentos de medicin? Qu efectos ha tenido ese grado de participacin sobre el diseo de las pruebas? En el anlisis de los resultados? En la difusin posterior? Qu aprenden los tcnicos/ acadmicos expertos en el proceso? Se ha decidido en algn caso la aplicacin de temes de opcin nacional? Qu tipo de temes? Con qu fin? Se relacionaban con el tipo de temes incluidos en las pruebas nacionales?

2.3

2.4 2.5

3. Devolucin de datos (resultados): 3.1. Cmo se preparan/ prepararon los funcionarios del Ministerio de Educacin para la difusin de resultados? Con qu capacidad cuentan / contaban para enfrentar posibles reacciones? Dficit? Cul? Cmo lo resolvieron? (entes externos, cuadros propios, descartaron informacin por razones tcnicas, etc.) 3.2. Quines reciben los resultados? Coordinador nacional? Qu garantas hay de difusin a funcionarios, actores de la comunidad educativa, prensa, etc.? 3.3. Quedaron satisfechos con la calidad de las mediciones comparaciones? Se obtuvo el producto que se esperaba? y

3.4. Qu grado de influencia en las polticas educativas tienen actualmente los miembros de las organizaciones que participaron o lideraron la administracin de pruebas en sus pases? Dnde estn? Qu hacen? Cmo usan (ellos u otros) los resultados en la actualidad para influir polticas educativas? 3.5. Qu tipo de informacin reciben (datos crudos, informacin procesada o interpretada, etc.)? 3.6. Cmo se difunden? A quines? 3.7. Para qu se usan los resultados? Cmo? Intencin vs. realidad. 82

3.7.1. Ranking /Carrera de caballos? Qu uso se le da a ese ranking? 3.7.2. Mejorar los procesos pedaggicos/ capacitacin y formacin docente? 3.7.2.1. Mediante informacin 3.7.2.2. Mediante mecanismos de responsabilizacin (accountability) 3.7.3. Mejorar el currculo intencional y/o implementado? 3.7.4. Mejorar gestin institucional escolar? 3.7.4.1. Mediante informacin 3.7.4.2. Mediante mecanismos de responsabilizacin (accountability) 3.7.5. Mejorar otros insumos y/o procesos de poltica y gestin (financiacin, nmero de alumnos por aula, materiales didcticos, etc.)? 3.7.6. Generar debate, llamar la atencin de los medios masivos? 3.7.7. Otros? 3.7.8. Cunto margen de control/ preparacin del pblico existe para la lectura e interpretacin de los resultados?

83

Anexo C: Entrevistas. Por razones de confidencialidad, solamente se reportan los nombres de las agencias o unidades ministeriales a la que pertenecen los 25 entrevistados de este estudio. Laboratorio Latinoamericano para la Evaluacin de la Calidad de la Educacin. UNESCO-OREALC. Organizacin de Estados Iberoamericanos . Programa Evaluacin de la Calidad de la Educacin. Argentina - IDECE (Instituto para el Desarrollo de la Calidad Educativa). Ministerio de Educacin. - Ex-Subsecretara de Evaluacin de la Calidad Educativa. Ministerio de Educacin. Chile - Programa Formacin Inicial Docente. Divisin Educacin Superior. - Unidad de Curriculum y Evaluacin/ SIMCE. Ministerio de Educacin. Colombia - ICFES (Instituto Colombiano para el Fomento de la Educacin Superior) - Universidad del Valle. Ciudad de Cali. Cuba - Instituto Central de Ciencias Pedaggicas. Ecuador - APRENDO. EB/PRODEC. Sistema semiautnomo oficial de medicin de la calidad de la educacin. Estados Unidos - Universidad de Wisconsin-Madison. - Universidad Estadual de Michigan/ Universidad Estadual de Nueva York, Albany. 84

- Federacin Estadounidense de Profesores. Departamento de Educacin. (American Federation of Teachers. Educational Issues Department.) - Consorcio SMART (Science and Mathematics Required for Tomorrow). Mxico - Subsecretara de Planeacin y Coordinacin Institucional, Secretara de Educacin Pblica. Per - Radio Programas del Per. - Unidad de Medicin de la Calidad. Ministerio de Educacin. - UNESCO-Per. Uruguay - Unidad de Medicin de Resultados Educativos (UMRE) de la Administracin Nacional de Educacin Pblica.

85

Anexo D: Resumen descriptivo de pruebas internacionales de LLECE, IEA y OCDE. El Primer Estudio Internacional Comparativo sobre Lenguaje y Matemticas y Factores Asociados del Laboratorio Latinoamericano para la Evaluacin de la Calidad Educativa (UNESCO-OREALC) fue aplicado en 1997 en 13 pases latinoamericanos, en los grados 3ro y 4to de educacin primaria, en las reas de lenguaje y matemticas. La prueba incluy temes de opcin mltiple y tambin de respuesta abierta, y recogi informacin sobre variables asociadas al logro acadmico, entre ellas de contexto socioeconmico, familiar, escolar y ulico. Los resultados confirmaron muchos de los datos que algunos sistemas nacionales ya haban comenzado a producir, como por ejemplo las diferencias de logro a favor de las escuelas urbanas y privadas, escasas diferencias de rendimiento entre gneros, y una fuerte asociacin positiva entre bajo nivel socioeconmico y bajo rendimiento acadmico. En cuanto a los resultados comparados internacionales, fue particularmente llamativa la diferencia entre Cuba y el resto de los pases de la Regin, con ms de dos desviaciones estndar a favor de Cuba. Los resultados fueron publicados por LLECE en dos informes. Un primer informe present bsicamente los datos comparativos de logro entre pases. El segundo informe present los factores asociados al rendimiento, pero con datos agregados al total de la Regin y no individualmente por pas. La prueba TIMSS administrada por la IEA fue aplicada en 1995 en unos 45 pases de todo el mundo. En algunos pases slo participaron algunas provincias y no todos los pases evaluaron todas las poblaciones objetivo del estudio. Esas poblaciones fueron los grados 3ro 4to de primaria, 7mo u 8vo grados, y ltimo ao de la educacin bsica (previo a la educacin superior). Las pruebas se centraron en las reas de matemticas y ciencias y la matriz curricular se defini mediante un relevamiento previo de los contenidos curriculares prescritos tanto por documentos oficiales como por libros de texto y materiales didcticos de uso masivo en un nmero significativo de pases. La prueba incluy temes de opcin mltiple, de respuesta abierta y de demostraciones prcticas (e.g. de laboratorio). Tambin se realiz un estudio cualitativo, mediante videograbaciones, sobre procesos pedaggicos de aula en seis pases de la muestra. Las principales variables relacionadas al logro acadmico que se estudiaron fueron el currculo prescrito e implementado, prcticas pedaggicas, polticas educativas, actitudes, y contexto familiar y escolar. Uno de los datos ms interesantes obtenidos del estudio se refiere a las grandes diferencias en las oportunidades de aprendizaje que tienen los alum nos de diferentes pases, dependiendo de la claridad y la profundidad con que se explicitan los contenidos curriculares en documentos oficiales y libros de texto. El estudio tambin revel que en muchos pases los docentes de ciencias y matemticas desconfan seriamente de sus conocimientos conceptuales en estas dos reas. En cuanto a los resultados comparados internacionales, qued confirmado que los pases del sudeste asitico, como Japn, Singapur y Corea del Sur, logran resultados muy 86

superiores a la mayora de los pases industrializados del mundo. El nico pas latinoamericano que particip y permiti la publicacin de los resultados, Colombia, obtuvo uno de los ltimos lugares en el ranking internacional. En 1998 se aplic TIMSS-R, es decir una repeticin de la prueba en unos 38 pases en todo el mundo, incluyendo tres pases latinoamericanos. Se evaluaron las mismas reas, para las mismas poblaciones objetivo, y se observ una alta participacin de sistemas educativos subnacionales, especialmente en Estados Unidos, como por ejemplo estados independientes y consorcios educativos. TIMSS ser aplicado nuevamente en el ao 2003. La prueba de Educacin Cvica, tambin administrada por la IEA, se aplica regularmente en pases de todo el mundo. Los contenidos de la prueba se centran en temas de ciudadana, gobierno y democracia. Tambin se recogen datos sobre factores sociales, familiares y actitudinales asociados al rendimiento acadmico. PISA, la prueba comparativa de la OCDE, se aplica regularmente en pases de todo el mundo a estudiantes de 15 aos de edad, cualquiera sea su grado de escolarizacin. Los pases miembro de la OCDE ingresan a la prueba automticamente, mientras que los dems pases son invitados a sumarse al proyecto mediante el pago de una cuota de membresa. Las pruebas de PISA no se disean a partir de una matriz curricular consensuada entre pases sino a partir de un conjunto de estndares de contenido y desempeo, elaborados por un grupo de especialistas en diferentes reas de conocimi ento, que se consideran imprescindibles para la adecuada insercin de los jvenes en la sociedad y en el mundo laboral de hoy. PISA volver a aplicarse en el ao 2003 y luego en el 2006. Notas Marginales
i

Traduccin de los autores, al igual que todas las citas de este trabajo que han sido extradas de textos originales en ingls.
ii

Kellaghan (1996) plantea un conjunto de ocho condiciones principales que deben darse para obtener el mayor beneficio posible de la participacin en pruebas internacionales: 1. Debiera asegurarse que los datos obtenidos en los estudios internacionales representan fielmente el logro acadmi co de los estudiantes en cada pas participante. Para lograr esto, es menester a) que exista consenso sobre qu resultados educativos son deseables y merecen ser medidos, b) que esos resultados puedan ser expresados con precisin y detalle suficientes como para permitir su medicin, c) que exista la tecnologa necesaria para realizar las mediciones, y d) que los alumnos evaluados sean representativos del sistema educativo de su pas, o del grupo especificado (Ej. cuarto y octavo grados; ltimo ao de secundaria). Los datos derivados de las pruebas internacionales debieran permitir comparaciones vlidas entre pases. En 87

este sentido, es particularmente crtico construir pruebas que reflejen los contenidos principales de los currculos de todos los pases participantes. Si los currculos no estn apropiadamente representados, la interpretacin de logro comparado puede perder validez. 2. Se debe guardar especial cuidado al seleccionar los contenidos de las pruebas cuando se intenta medir el capital humano de las naciones. Existen fuertes argumentos que cuestionan la posibilidad de establecer juicios sobre el capital humano de un pas solamente sobre la base de una prueba que mide un nmero limitado de capacidades y que generalmente evala grupos especficos y seleccionados de la poblacin estudiantil. 3. Tambin se requiere cautela al momento de establecer relaciones, especialmente relaciones causales, entre el capital humano de una nacin y su desempeo econmico. Se asume que, as como el nivel de educacin de una persona suele estar incuestionablemente asociado a sus ingresos, de la misma manera el rendimiento acadmico de los alumnos determina el capital humano de un pas y en consecuencia sus posibilidades de crecimiento econmico. Existe un conjunto de razones por las cuales esa relacin es difcilmente sustentable. 4. Se debe establecer con claridad, y con anticipacin, los propsitos de la prueba para poder decidir qu tipo de datos se van a recoger. Difcilmente una misma prueba puede servir mltiples propsitos simultneos, como por ejemplo emitir juicios sobre la calidad del currculo, establecer un mecanismo de responsabilizacin, y justificar la necesidad de una reforma estructural. Algunos de esos propsitos pueden ser simplemente incompatibles con un diseo de prueba en particular. 5. La informacin derivada de las pruebas debiera servir los propsitos y necesidades de los funcionarios del sistema educativo. Por ejemplo, la eleccin del tipo y cantidad de indicadores que se van a seleccionar debiera depender del tipo de informacin que los funcionarios necesitan. Tambin es importante que se establezcan mecanismos efectivos de comunicacin entre investigadores y funcionarios para aumentar las posibilidades de que la informacin recogida sea realmente utilizada. 6. Se necesita informacin contextual (social, poltica, econmica, estructural) sobre cada pas que permita establecer un marco dentro del cual interpretar los resultados de las pruebas. La experiencia de estudios comparados anteriores debiera servir a los investigadores para determinar qu variables suelen tener bajo valor predictivo del rendimiento acadmico y cules otras variables contextuales podran ser de mayor utilidad.

88

7. Las acciones que los gobiernos tomen sobre la base de la informacin recabada por los estudios internacionales deberan ser evaluadas para conocer su impacto sobre la calidad de la educacin en esos pases. Conocer el impacto de esas polticas sera de suma importancia para justificar la participacin de los pases en nuevas pruebas internacionales. 8. La informacin que se obtiene de los estudios debera ser lo suficientemente valiosa para los gobiernos, de manera tal que quede justificado el gasto realizado en su participacin. Por ejemplo, sera importante considerar qu otras oportunidades de investigacin se estn sacrificando al dedicar esfuerzos y recursos a la participacin en estudios internacionales comparados. Otros autores advierten, tambin a modo de condicin, sobre la necesidad de disear las pruebas internacionales de manera tal que los datos recogidos permitan el anlisis intra-nacional (Wolf, 1979, en Mislevy, 1995), y se enfatiza la necesidad de contar con datos desagregados para poder llegar a conclusiones tiles para el mejoramiento del currculo y de los procesos pedaggicos (Burstein, 1989, en Schmidt y McKnight, 1995). Finalmente, se argumenta que es absolutamente necesario, al momento de disear las pruebas, que se tengan en cuenta los contextos culturales de los estudiantes, de manera de saber qu significados y percepciones aportan los diferentes actores al proceso educativo, qu significa exactamente ser una persona instruida en diferentes pases, y as poder comprender mejor la relevancia de los resultados de acuerdo a cada contexto particular (Bempechat et al, 2000).
iii

Bowe, Ball y Gold (1992), en Levin (2001), por ejemplo, proponen un modelo tripartito para explicar los procesos de reforma educacional. En lo que los autores llaman una trayectoria de poltica, existen tres fases distintas y relativamente autnomas de desarrollo de reformas: influencia, produccin de texto y prctica. En la primera, la idea de una nueva medida de poltica es originalmente concebida e importa principalmente quin define su naturaleza. La segunda fase consiste en la concrecin de la medida de poltica como producto (texto). Aqu puede presentarse una primera desviacin entre las ideas originales y lo que finalmente queda registrado como norma. Luego, en la etapa de prctica, la medida de poltica se concreta en el campo educativo mismo. Nuevamente, pueden existir desviaciones entre el texto de la norma y lo que los profesionales realizan en su campo de accin. Este esquema guarda semejanzas con el modelo lineal propuesto por Levin (2001), quien distingue cuatro etapas principales en el proceso de formulacin de polticas: origen, adopcin , implementacin y resultados. La primera se refiere a los actores que conciben la idea de cambio, el rol que juegan en su formulacin, y las condiciones contextuales e ideolgicas que influyen en la iniciativa. En la fase de adopcin se suscitan las primeras desviaciones entre la idea original y la norma que finalmente regir, generalmente debido a cambios de idea por parte de los 89

actores, o a insuficiencias burocrticas o administrativas. Durante la implementacin surgen los problemas de concrecin de la medida de poltica en el terreno prctico, tales como oposicin profesional, falta de comunicacin o escasos recursos materiales. Finalmente, la etapa de resultados hace referencia a la evidencia disponible sobre los efectos de las reformas. Esta fase suele ser compleja debido a los diferentes tipos de resultados que se esperan de las reformas y del sistema, y porque a menudo esos resultados son difciles de evaluar. A la fase de evaluacin de resultados debiera agregarse un ltimo elemento, el de retroalimentacin, que permite, en teora, promover la iniciativa de cambio para formular nuevas polticas que solucionen los problemas identificados por la evaluacin. El proceso, idealmente, sera cclico y permanente. Segn Wirt (1980), sin embargo, ese ciclo puede interrumpirse en cualquiera de las fases, dependiendo del balance de fuerzas polticas que entran en juego.
iv v

Dr. Gilbert A. Valverde, Ph.D., State University of New York at Albany, EEUU.

Un consorcio educativo es una asociacin voluntaria de distritos escolares, que a su vez estn compuestos por varias escuelas bajo la misma administracin, con el fin de unir criterios y recursos para el mejoramiento de la calidad educativa de las escuelas participantes.
vi

Se argumenta que el flujo de comunicacin electrnica se daba principalmente entre el Laboratorio y cada pas individualmente, pero no entre los pases mismos.

90

You might also like