Introduccin

Andrs Snchez Moguel1 Edgar Andrade Muoz2 l propsito de este volumen es presentar los resultados de los Exmenes para la Calidad y el Logro Educativos aplicados en 2008 a estudiantes de tercero de secundaria (para abreviar, Excale 09; los nmeros no indican el ao de reporte, sino el grado escolar evaluado). Con estas pruebas se evalu el logro en las asignaturas de Espaol, Matemticas, Biologa y Formacin cvica y tica. Este reporte da continuidad a la difusin transparente y oportuna de los resultados de los Excale, publicados anualmente a partir de 2006. Sentido y propsito de los Excale En el marco de la misin del Instituto Nacional para la Evaluacin de la Educacin (INEE), que es contribuir al mejoramiento de la educacin en Mxico a travs de la realizacin de evaluaciones integrales de la calidad del sistema educativo y de los factores que la determinan [] (INEE, 2006, p. 23), los Excale tienen como propsito conocer lo que los estudiantes mexicanos en su conjunto aprenden del currculo nacional a lo largo de su educacin bsica. A partir de dicha evaluacin, el INEE aporta elementos para la reflexin, la toma de decisiones de poltica educativa y el rendimiento de cuentas a la sociedad mexicana. El INEE
1 Director de Pruebas y Medicin del Instituto Nacional para la Evaluacin de la Educacin. 2 Subdirector de Anlisis del Instituto Nacional para la Evaluacin de la Educacin.

reconoce que son los profesores frente a grupo quienes pueden hacer una evaluacin a profundidad de los conocimientos, habilidades y actitudes que sus alumnos van desarrollando a lo largo de su paso por la escuela. Los Excale no estn diseados para hacer una evaluacin individual de los estudiantes ni de las escuelas; su sentido es aportar la posibilidad de ver los resultados educativos a nivel de sistema, es decir, con respecto a grandes grupos de estudiantes: por modalidad, entidad, sexo, edad. Adems, estas pruebas permiten obtener elementos para reconocer los contenidos educativos que los estudiantes, como conjunto, dominan y no dominan. Una buena prctica de la evaluacin educativa, reconocida internacionalmente, es especificar los usos apropiados de los resultados, y prevenir a los usuarios de la informacin de posibles usos incorrectos, tal como seala el Joint Commitee on Testing Practices (JCTP, 2004, p. 8). Por ello, resulta pertinente no slo enunciar los propsitos de la prueba, como se ha hecho lneas arriba, sino tambin indicar claramente de qu maneras se pueden utilizar, cules son los usos pertinentes; adicionalmente, es importante explicitar, en la medida de lo posible, los usos que resultan claramente incorrectos para estas pruebas. Los resultados de las pruebas Excale permiten, entre otras cosas: Identificar la proporcin relativa de alumnos que logran dominar los objetivos de aprendizaje en las reas de contenido en donde el currculo nacional pone mayor nfasis. Conocer las fortalezas y debilidades del Siste-

17

El aprendizaje en tercero de secundaria en Mxico

Espaol, Matemticas, Biologa y Formacin cvica y tica

ma Educativo Nacional (SEN) en relacin con los aprendizajes que logran los estudiantes. Comparar, con prudencia3, los logros educativos de las 32 entidades federativas del pas y de las distintas modalidades. Analizar el impacto de variables explicativas asociadas al logro acadmico, como son los niveles socioeconmicos y culturales de las familias, las modalidades educativas, las oportunidades de aprendizaje, etctera. Fungir como punto de referencia para que los educadores, legisladores, gobernantes y la sociedad en general puedan evaluar la eficacia de las polticas educativas estatales y nacionales. Nutrir de informacin a los poderes Legislativo y Ejecutivo para analizar el progreso educativo a lo largo del tiempo. Dar cuenta a la sociedad sobre el logro acadmico de los estudiantes de su estado y de la Nacin (Cfr. Backhoff y Daz, 2005, p. 7). Los resultados pueden ser utilizados de manera especfica para: Analizar cambios en el tiempo en el logro educativo, a nivel nacional, estatal o por los estratos o modalidades reportados. Tambin pueden analizarse los cambios en el tiempo, en las variables de contexto medidas junto con las pruebas, y en su relacin con el logro. Al paso del tiempo, los cambios detectados pueden mostrar tendencias que sean esclarecedoras sobre el desarrollo de la educacin bsica a nivel nacional y estatal. Comparar los aprendizajes de hombres y mujeres con el propsito de monitorear posibles inequidades. Comparar los aprendizajes de alumnos en edad normativa y con extraedad, como un insumo para la reflexin de fenmenos como la reprobacin y el ingreso tardo a la educacin bsica. Al evaluar lo que se espera se ensee en las aulas, la informacin obtenida aporta elementos a la reflexin sobre los avances logrados por los estudiantes del SEN, y tambin sobre los contenidos en los cuales vale la pena redoblar esfuer3

Esta prudencia se refiere a que las comparaciones directas entre entidades, sin tomar en cuenta su composicin social, historia, proporciones de modalidades educativas y otros elementos que conforman el panorama contextual de la educacin, son incorrectas y potencialmente dainas para la educacin.

zos, cambiar estrategias de enseanza y comprender ms sobre los modos de aprender de los nios mexicanos de educacin bsica. Sin embargo, es importante sealar que, debido a los propsitos, diseo, construccin y aplicacin de los Excale, sus resultados no deben ser utilizados para: Evaluar individualmente a los estudiantes ni tampoco para evaluarlos como grupo escolar de una misma aula, como grupo de estudiantes de una misma escuela, o de una misma zona escolar. Estos niveles de agregacin no son suficientes para dar informacin confiable a partir de la muestra utilizada. Adems, la evaluacin individual de los estudiantes ya es llevada a cabo cotidianamente por sus profesores; y stos cuentan con muchos ms elementos para la valoracin individual del esfuerzo de los que una prueba de lpiz y papel podra aportar. Evaluar indirectamente el desempeo de profesores o escuelas a partir del logro de los alumnos. En primer lugar por lo mencionado en el punto anterior: estos niveles de agregacin no son suficientes para dar informacin confiable; en segundo lugar porque el logro educativo es producto de una gran cantidad de componentes, y los estudios para aislar el efecto en el desempeo de uno de dichos componentes requieren un diseo especfico, con el cual no cuentan los Excale. Evaluar el efecto de programas de mejora educativa estatales o federales. La muestra de estudiantes a la que se aplican los Excale es representativa de los estudiantes del pas, pero no de los estudiantes o las escuelas que participan en determinado programa; adems, como en el apartado anterior, hacer un estudio para aislar determinado componente (en este caso, los efectos de un programa) requiere un diseo especfico. Es posible, sin embargo, utilizar con prudencia los resultados de los Excale en estudios exploratorios no conclusivos. Hacer comparaciones entre diferentes asignaturas. Las escalas de las diferentes asignaturas evaluadas por los Excale son independientes, no son comparables entre s. Por lo tanto, no podran afirmarse cosas como los estudiantes saben ms de la asignatura tal que de la asignatura cual. S es posible, en cambio, analizar la proporcin de estudiantes que se encuentran en cada

18

Introduccin

nivel de logro por asignatura, aunque con precaucin, ya que stos tampoco estn homologados. El ejercicio de evaluacin que conforma los Excale implica conocer, y en algunos casos interpretar, los contenidos curriculares nacionales; comprender a profundidad su sentido y enfoque; disear instrumentos de evaluacin extendidos, en ocasiones con ms de doscientas preguntas, que den cuenta de los contenidos analizados; aplicar las pruebas en ejercicios muy controlados a muestras representativas de estudiantes; y analizar los resultados utilizando las tcnicas estadsticas ms slidas y acreditadas para la evaluacin de gran escala. Para llevar a cabo correctamente esta tarea, la Direccin de Pruebas y Medicin del INEE desarroll un plan de trabajo que indica los aos de aplicacin de las diferentes pruebas, y estableci las caractersticas y el mtodo de trabajo que garanticen la calidad con que los Excale puedan dar cuenta de su propsito fundamental. A continuacin se presentan de manera sucinta estos elementos. Caractersticas generales de los Excale Los Excale son pruebas criteriales, apegadas al currculo nacional y que basan su aplicacin en un arreglo matricial. Son criteriales porque tienen un referente fijo, que se establece de antemano, antes de aplicar las pruebas; en este sentido, son opuestos a las llamadas pruebas normativas (en las que el resultado obtenido por un individuo se compara con un referente mvil: la ejecucin de los dems individuos). El referente fijo que tienen las pruebas Excale es, precisamente, el currculo nacional. Que las pruebas estn apegadas al currculo significa que no incluyen contenidos que no se encuentran en el currculo, y tambin se procura que las pruebas incluyan la mayor cantidad posible de contenidos curriculares. Los equipos que disean y desarrollan las pruebas Excale pasan gran parte del tiempo de trabajo cuidando que los contenidos curriculares estn bien representados en las preguntas que se utilizan, tanto en la temtica, como en la extensin, como en el enfoque, los cuales han de ser los que la Secretara de Educacin Pblica explicita en materiales curriculares

como planes y programas, libros de texto de los alumnos, libros del profesor, ficheros y talleres nacionales, entre otros. Cuando se tiene la intencin de evaluar extensamente los contenidos curriculares, es comn desarrollar pruebas que tengan una gran cantidad de tems. Si el nmero de preguntas sobrepasa la cantidad a la que puede ser expuesto un alumno sin perder atencin o sentir tedio por la tarea de responder, se corre el riesgo de tener resultados sesgados por el cansancio. Ante ello, una posibilidad sera la aplicacin de las pruebas en sesiones cortas, a lo largo de varios das, lo cual tendra varios inconvenientes, de entre los que se destacan: un fuerte aumento en el presupuesto requerido para la aplicacin y la dificultad de asegurar la integridad de la muestra, es decir, que los estudiantes que participan en el primer da de aplicacin continen participando en das siguientes, hasta terminar las pruebas. Dado que los Excale no tienen el propsito de dar resultados por alumno ni por escuela, existe una segunda manera de desprenderse de la necesidad de exponer a los educandos a largas sesiones de evaluacin: utilizar un arreglo matricial. El arreglo matricial de los reactivos de las pruebas Excale consiste en repartir las preguntas de una misma escala en diferentes cuadernillos, de modo que cada estudiante es expuesto a una cantidad limitada de tems, adecuada a su edad y grado escolar. Los diferentes cuadernillos tienen diferentes grupos de preguntas, de tal manera que cada pregunta est en varios cuadernillos. Se atiende la variedad temtica y el equilibrio en la dificultad de las distintas preguntas de un mismo cuadernillo. De este modo, es posible utilizar las preguntas contestadas por los estudiantes para establecer una sola escala en la cual todos los reactivos se relacionan entre s y conocer cules son los contenidos que los alumnos dominan como conjunto, y cules no. Plan general de evaluacin Los Excale evalan, actualmente, cuatro grandes reas curriculares: Espaol, Matemticas, Ciencias naturales y Ciencias sociales (en este ltimo caso, los esfuerzos se han focalizado principal-

19

El aprendizaje en tercero de secundaria en Mxico

Espaol, Matemticas, Biologa y Formacin cvica y tica

Tabla I. Plan de Evaluacin aprendizaje Plan de Evaluacin del del Aprendizaje del INEE 2004-2016
Grados 3 Preescolar 3 Primaria 6 Primaria 3 Secundaria
Notas: E = Excale de Espaol M = Excale de Matemticas N = Excale de Ciencias Naturales S = Excale de Ciencias Sociales Construccin Aplicacin Anlisis Proceso del Excale E, M E, M N, S E, M N, S E, M N, S E, M N, S

Aos escolares 2004 2005 2006 2007

E, M

2008

2009

2010

2011
E, M

2012

2013

2014

2015
E, M

2016

E, M N, S E, M N, S

E, M N, S

E, M

E, M

E, M N, S

mente en Formacin cvica y tica4). Sin restar importancia a otras asignaturas, los equipos de trabajo que desarrollan las pruebas perciben que abarcar ms llevara a perder calidad en el trabajo, por lo que la decisin, tomada desde que se hizo la planeacin a largo plazo de los Excale, surge a partir de la consideracin de que, fundamentalmente, debieran evaluarse las reas instrumentales, es decir las que otorgan a los alumnos los lenguajes que les permitirn seguir aprendiendo, y las que concentran gran cantidad de contenidos curriculares. Es posible que, al paso del tiempo, cuando las escalas actuales estn bien consolidadas y el esfuerzo para mantenerlas vigentes sea menor, se puedan incluir contenidos de ms reas curriculares en los Excale. Por otro lado, tampoco es posible para el INEE ni necesario para los propsitos de evaluar al sistema en su conjunto, aplicar pruebas en todos los grados escolares de educacin bsica. Los Excale evalan los grados terminales de cada nivel (tercero de preescolar, sexto de primaria, tercero de secundaria) y tambin tercero de primaria, para balancear el seguimiento de los aprendizajes en periodos de tres aos de educacin. Es importante comentar que, aunque la evaluacin se hace al finalizar los grados sealados, los contenidos
4 La decisin de focalizar esfuerzos en Formacin cvica y tica con respecto a otras Ciencias sociales est relacionada con la importancia que tiene la formacin de todos los estudiantes del pas para que tengan una participacin cvica en la vida democrtica.

curriculares considerados para el diseo de las pruebas incluyen a los dos grados previos, y en ocasiones, incluso ms. Por ejemplo, el Excale 09, de tercero de secundaria, incluye contenidos de primero y segundo grados de secundaria. Esto permite analizar el logro en un espectro ms amplio (tres grados escolares consecutivos), lo cual es adecuado debido a que, como se indic, slo se llevan a cabo las aplicaciones de la prueba en algunos grados escolares. Adems, las pruebas Excale de los diferentes grados y asignaturas no se aplican cada ao. Dado que el propsito principal de los Excale es evaluar al sistema educativo en su conjunto, se considera que esta evaluacin puede hacerse en ciclos de cuatro aos; en efecto, debido a las inercias de todo un sistema educativo, sera muy poco probable que grandes cambios se lleven a cabo ao con ao, siendo ms factible que pequeos cambios puedan verse tras varios aos. Con la intencin de focalizar esfuerzos a disear o redisear escalas muy cuidadosamente, estos ciclos de cuatro aos se escalonan de tal modo que cada ao se evala un grado diferente. Adems, de esta manera se focaliza el esfuerzo de diseo y de anlisis en pocas pruebas a la vez, ya que un ciclo completo consta de tres etapas, las cuales aparecen representada, por barras, en la tabla I, dividida cada una en tres colores; el color ms tenue muestra el perodo de diseo y desarrollo de una prueba (construc-

20

Introduccin

cin); el color azul intenso muestra el periodo de perfeccionamiento, edicin y aplicacin (aplicacin); y el azul difuminado se refiere al periodo de anlisis y reporte (anlisis). Esta tabla muestra, adems, en qu aos se llevan a cabo los diferentes momentos de cada prueba. En la tabla, cada rectngulo de bordes redondeados seala el ciclo completo de una prueba: desde su construccin hasta el anlisis y su reporte final. Un momento crucial es el del ao en que se lleva a cabo la aplicacin, que se encuentra en medio de cada ciclo. Los bordes de construccin y anlisis no coinciden con los lmites de los aos, porque en el ao de aplicacin se realizan an procesos de construccin y tambin se inician algunos procesos de anlisis. En el extremo derecho de la tabla se pueden observar dos ciclos cortados, los cuales expresan el hecho de que el plan de pruebas no termina en 2016, sino contina con el mismo arreglo. Si se mira una columna en particular, se puede ver que cada ao se est construyendo una prueba, aplicando otra y analizando otra ms5. Por ejemplo, si se elige la columna del 2008 y la fila de tercero de secundaria, se podr observar que en ese ao se aplicaron cuatro Excale a estudiantes de tercero de secundaria: Espaol (E), Matemticas (M), Ciencias naturales (N) y Formacin cvica y tica (S). Este arreglo, que a primera vista pudiera parecer caprichoso, tiene un sentido, el cual est basado en el inters de darle a los resultados de las pruebas comparabilidad en el tiempo que maximice la informacin que podemos obtener de los Excale. En primer lugar, puede verse que en el 2005 se evaluaron simultneamente sexto de primaria y tercero de secundaria, tanto en Espaol como en Matemticas. Es el nico ao en el cual se evalu ms de un grado, y esto fue debido al inters de contar tan pronto como fuera posible con resultados de los grados terminales de la educacin bsica para contestar preguntas de este tipo: cmo es el logro educativo de los alumnos que terminan primaria y secundaria? Por otro lado, mirando a lo largo de un rengln, puede verse que las mismas asignaturas
5 El cuadro que aparece en el cruce de sexto de primaria y 2007 indica la rplica de los Excale de Espaol y Matemticas diseados en 2004 y aplicados en 2005, reaplicados en 2007. La intencin era tener pronto datos que permitieran hacer comparaciones en el tiempo. Dado que es un evento que sale de la lgica general del plan de pruebas, no se ha marcado de la misma manera que los dems ciclos.

en el mismo grado son evaluadas cada cuatro aos. Esto permite hacer series de tiempo que contrastan los resultados de muestras similares ante pruebas comparables, debido a que los Excale cuentan con un diseo que prev su equiparacin en aplicaciones sucesivas. Este anlisis es importante para contestar a preguntas como: mejoran en el tiempo los resultados de los alumnos con respecto a los aprendizajes curriculares? En tercer lugar, puede verse que haciendo un corte en cualquier ao posterior a 2007 se cuenta con resultados de cada grado escolar evaluado, que tienen, cuando ms, una antigedad de cuatro aos; esto permite la reflexin vertical de los resultados, es decir, tomar en cuenta el logro escolar de los estudiantes en distintos grados de una misma asignatura, a partir de preguntas tales como: qu saben los estudiantes de Matemticas de diferentes grados de educacin bsica? Finalmente, puede hacerse un seguimiento generacional del rendimiento. Por ejemplo, la generacin evaluada en 2007 en tercero de preescolar se encontrar en tercero de primaria en 2010, ao en que ese grado ser evaluado; tambin ser la misma que en 2013 se encontrar en sexto de primaria (que en ese ao ser evaluado) y en 2016 en tercero de secundaria (a quienes se aplicarn los Excale ese ao). Aunque el muestreo que se hace en cada aplicacin no busca que los mismos alumnos sean evaluados en cada ocasin, los resultados son generalizables a la poblacin, de tal manera que este arreglo permite contestar a preguntas tales como: de qu manera ha variado la proporcin de los estudiantes en los diferentes niveles de logro6, al paso de una misma generacin por los diferentes grados escolares? Debe hacerse notar que un estudio que responda a dicha pregunta no se centrara en evaluar a la cohorte en s, sino en los cambios debidos a su transcurso por la educacin bsica, como una exploracin de incidencias y resultados que puede aportar informacin a nivel de sistema, ya que slo una de cada cuatro cohortes tendr este tipo de seguimiento. Este Plan General de Evaluacin se ha cumplido con exactitud hasta ahora; poco a poco,
6 Ms adelante, en esta misma introduccin, se explica qu son los niveles de logro.

21

El aprendizaje en tercero de secundaria en Mxico

Espaol, Matemticas, Biologa y Formacin cvica y tica

conforme se van obteniendo resultados de las nuevas aplicaciones, va siendo posible realizar un mayor nmero de los anlisis enunciados en este apartado. Diferencias fundamentales de los Excale con respecto a otras pruebas de aplicacin nacional e internacional Las distintas pruebas nacionales e internacionales que se llevan a cabo en nuestro pas tienen diferencias importantes en su diseo, desarrollo, aplicacin y anlisis. Esto es debido a que ninguna evaluacin puede ser utilizada para todo propsito, como un surtidor indiscriminado de informacin de la calidad educativa. Cada prueba se disea para cumplir propsitos especficos, hace ciertos nfasis y permite determinados anlisis e interpretaciones; en su conjunto, las pruebas son complementarias porque muestran diferentes aspectos de la realidad educativa. Un ejemplo claro se refiere a las diferencias de aplicacin de los Excale y de la Evaluacin Nacional del Logro Acadmico en Centros Escolares (ENLACE). Las pruebas ENLACE estn muy orientadas a la retroalimentacin directa de alumnos, profesores y padres de familia, mientras que Excale, como se coment antes, se ocupa de mostrar una imagen de conjunto. Por estas diferencias de propsito, las primeras se aplican anualmente a todos los nios del pas de los grados tercero a sexto de primaria, y todos los grados de secundaria, y tienen una extensin de 46 a 74 reactivos como mximo para cada asignatura-grado (SEP, 2008), mientras que los Excale se aplican a muestras de estudiantes de algunos grados y no tiene un lmite fijo de reactivos, dado que se pretende abarcar la mayor cantidad posible de contenidos curriculares y cada estudiante slo contesta un fragmento de las pruebas. Adems, se ha comentado ms arriba que las pruebas Excale no se aplican anualmente en todos los grados para los que estn diseadas, debido a que no requieren dar cuenta del trabajo por alumno. Estas diferencias, entre otras, llevan a dos ejercicios de evaluacin que para el observador casual pueden parecer muy similares, pero que tienen nfasis distintos y posibilidades de informar distintas cosas, aunque complementarias. Los resultados de ambas pruebas, analizados y reflexionados simultneamente, pueden

ayudarnos a reconocer los elementos de la educacin bsica de nuestro pas desde una ptica de conjunto, sin perder de vista las particularidades y viceversa. Por otra parte, estn las pruebas internacionales que se aplican en nuestro pas, como PISA (Programme for International Student Assessment) y los Estudios Regionales Comparativos y Educativos que lleva a cabo el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE). stos tambin tienen propsitos diferentes y complementarios a los de Excale. PISA evala a la poblacin de jvenes de 15 aos, estn en un grado escolar o en otro, con respecto a competencias para la vida; los estudios del LLECE evalan qu tienen en comn los currculos de los pases participantes, en alumnos de primaria7. Estos dos estudios, al tener una perspectiva internacional, se interesan por conocer detalles de los diferentes sistemas educativos de los pases participantes, y hacen sus anlisis en torno a las diferencias y similitudes entre ellos. Las pruebas Excale, como se ha indicado ya, tienen como referente fijo el currculo nacional, es decir, lo que deben saber y saber hacer todos los estudiantes mexicanos. Es importante sealar que todas estas pruebas comparten algunos principios metodolgicos y psicomtricos a lo largo de su desarrollo, por ejemplo: incluyen en su diseo la participacin de diversos actores educativos, con puntos de vista distintos que ayudan a enriquecer las pruebas y evitar sesgos. Otro ejemplo lo da el recalcar que los resultados de todas ellas, utilizados como un conjunto de elementos para la reflexin, son tiles en la toma de decisiones de poltica educativa en el pas. Diseo, construccin, aplicacin y anlisis de los Excale Existe una serie de documentos tcnicos que de manera extensa y detallada explican las dife-

7En el reporte Resultados Nacionales. Segundo Estudio Regional Comparativo y Explicativo 2006 (SERCE) del INEE se detallan algunas diferencias y similitudes entre SERCE, Excale y PISA; particularmente en las pginas 56 a 62. Dicho estudio puede consultarse en la pgina web del INEE: www.inee.edu.mx

22

Captulo 1. Caracterizacin de las modalidades de educacin Introduccin secundaria

rentes fases de trabajo con los Excale8. En este apartado, ms que hacer una recapitulacin o una sntesis de todos ellos, se comentan algunos elementos cruciales del proceso para la aplicacin 2008 de tercero de secundaria. Sobre el diseo y la construccin Como se ha comentado antes, los Exmenes para la Calidad y el Logro Educativos estn alineados al currculo. Especficamente, los Excale 09 incluyen contenidos de primero, segundo y, en mayor medida, tercero de secundaria. Aunque la prueba se aplica a jvenes de tercer grado, se incluyen contenidos de los grados previos, de esta manera se pueden llevar a cabo anlisis que muestren lo que los estudiantes saben y no saben del currculo. Debe sealarse que los Excale 09 de Espaol y Matemticas, aplicados en 2008, son los primeros que, a partir del Plan de evaluacin, fueron rediseados. Esto es debido a que ya se contaba con una versin de Excale 09 de estas dos asignaturas, aplicada en 2005. Tras la aplicacin y el reporte, se encontraron nuevas interrogantes y elementos que sera deseable agregar a las pruebas. Por ello, durante 2007 y principios de 2008 se llev a cabo el rediseo de las pruebas de estas dos asignaturas, y el diseo, por primera vez, de las pruebas de Biologa y de Formacin cvica y tica. Para el rediseo, se consider el conjunto de contenidos que se haba utilizado en la aplicacin de 2005; sin embargo, se eliminaron algunos contenidos que no mostraron utilidad, se reformularon algunos otros, y se incluyeron nuevos contenidos de acuerdo a las necesidades de cada asignatura. En todos los casos, los comits Acadmico, de Especificaciones y de Construccin de reactivos fueron conscientes de que la prueba tena un antecedente y que la intencin era mejorar la escala, de manera que no se perdiera la posibilidad de
8 Por ejemplo, Backhoff y col. (2005). Exmenes de la Calidad y el Logro Educativos (Excale): nueva generacin de pruebas nacionales. Coleccin cuadernos de investigacin. Cuaderno no. 17. Mxico: Instituto Nacional para la Evaluacin de la Educacin; tambin deben citarse los manuales tcnicos dedicados a cada proceso de construccin de las pruebas, que pueden consultarse en:http://www.inee.edu.mx/index. php?option=com_content&view=category&layout=blo g&id=382&Itemid=1196

equiparacin entre las dos aplicaciones para la correcta comparacin de sus resultados. Es importante hacer notar que se decidi utilizar como base para el diseo de los Excale de Espaol, Matemticas y Biologa el currculo previo a la reforma curricular, es decir, el de 19939, en virtud de que la generacin que fue evaluada, inici la secundaria en el ciclo 2005-2006 y la finaliz en el ciclo 2007-2008, siendo la ltima que se form con los planes y programas de 1993. Como se coment anteriormente, una de las caractersticas de los Excale es que estn alineados al currculo, por lo tanto es justo evaluar lo que ste seala que los estudiantes deban aprender durante su paso por la secundaria. Sin embargo, dado que ya se conoca la propuesta de cambio curricular desde que inici el rediseo de los Excale 09 de Espaol y Matemticas, se procur enfatizar los contenidos que perduran en la reforma. Con relacin a esta decisin, vale la pena comentar lo sealado por diferentes participantes de los Comits Acadmicos de las pruebas rediseadas, quienes argumentaron que los contenidos de Matemticas, as como los procesos de comprensin y produccin del lenguaje permanecen, no cambian por la reforma; lo que cambia es el enfoque y las estrategias didcticas en Espaol y el nfasis que se hace en los distintos contenidos que conforman Matemticas. Por lo tanto, destacar los contenidos que perduran es uno de los elementos que posibilitan equiparar los resultados de futuras evaluaciones y con esto hacer comparables los logros educativos de los alumnos en el tiempo. Sobre la aplicacin de los Excale Al igual que otros estudios que realiza el INEE, los resultados presentados en este informe se infirieron a partir de las respuestas de una muestra de alumnos. Desde sus inicios, el INEE tom la decisin de realizar estudios del logro educativo utilizando muestras, por las siguientes razones: Son, con un margen bastante amplio, menos onerosos que los estudios censales. Se puede definir la precisin de los resultados obtenidos con una muestra, a fin de evaluar al sistema educativo de forma adecuada.
9 En el caso de Formacin cvica y tica se utiliz el currculo de 1999, que ya es una reforma con respecto al de 1993, y que es en el que se formaron los estudiantes evaluados.

23

El aprendizaje en tercero de secundaria en Mxico

Espaol, Matemticas, Biologa y Formacin cvica y tica

Se tiene mayor control sobre la administracin de los instrumentos de evaluacin, lo cual disminuye el riesgo de captar sesgos no cuantificables en detrimento de la calidad de la informacin a recolectar: m En una muestra es factible capacitar adecuadamente a todo el personal involucrado en el manejo de los instrumentos. En un censo es fcil perder el control de quin est participando. m En una muestra, las condiciones en que se resuelven las pruebas son ms homogneas que en los censos. m En una muestra se minimiza el riesgo de la prdida de material y la posterior divulgacin inadecuada del mismo. Los alumnos que participaron en el estudio, fueron seleccionados como una muestra de los alumnos del tercer grado de secundaria del Sistema Educativo Nacional inscritos en el ciclo escolar 2007-2008. En total aplicaron 80 mil 525 estudiantes de tercero de secundaria pertenecientes a 3 mil 304 escuelas de toda la Repblica Mexicana. En la fase de planeacin del estudio, se decidi proporcionar resultados de las principales subpoblaciones en que se divide la educacin secundaria en el Sistema Educativo Nacional: se-

cundarias Generales, Tcnicas, Telesecundarias y Privadas. Se decidi excluir las modalidades Comunitaria y Para trabajadores, las cuales agregan a menos del 1% de la poblacin del pas. De igual forma se excluyeron aquellas secundarias que no se pudieron identificar con base en la estadstica educativa de la SEP. Dado que gran parte de las modalidades General y Tcnica se desarrollan en contextos urbanos, el diseo de la muestra tambin contempl dar resultados para stas segn su nivel de marginacin: baja y alta marginacin, y rurales. Esta eleccin mostr ser atinada a partir de los resultados, que, como puede verse en las respectivas secciones de los captulos 2 al 5, muestran diferencias importantes segn los niveles de marginacin. Adicionalmente, se plane dar resultados por entidad federativa y, al interior de las entidades, de las modalidades educativas en donde se concentra la mayor cantidad de alumnos. Se excluyen algunas modalidades en las tablas de resultados por entidad debido a que se refieren a cantidades pequeas de alumnos. La tabla II seala las subpoblaciones para las cules se dise la muestra, y de las cuales puede dar resultados. stas se definen como dominios de estudio.

24

Introduccin

Tabla II. Dominios de estudio considerados en la muestra

Entidad federativa NACIONAL Nivel de marginacin Aguascalientes Baja California Baja California Sur Campeche Coahuila Colima Chiapas Chihuahua Distrito Federal Durango Guanajuato Guerrero Hidalgo Jalisco Mxico Michoacn Morelos Nayarit Nuevo Len Oaxaca Puebla Quertaro Quintana Roo San Luis Potos Sinaloa Sonora Tabasco Tamaulipas Tlaxcala Veracruz Yucatn Zacatecas Modalidad educativa Estatal General Tcnica Telesecundaria Privada

25

El aprendizaje en tercero de secundaria en Mxico

Espaol, Matemticas, Biologa y Formacin cvica y tica

Para seleccionar a los alumnos de la muestra, en primer lugar se eligieron las escuelas participantes, y al interior de stas se escogieron los alumnos mediante procedimientos probabilsticos. Las escuelas se seleccionaron de forma sistemtica a partir de un listado ordenado de acuerdo a la cantidad de alumnos que atienden. Los alumnos de cada escuela fueron elegidos mediante un muestreo aleatorio simple. El carcter probabilstico permite hacer inferencias vlidas para la poblacin de alumnos del pas y permite cuantificar el grado de precisin de los resultados. En el captulo 1 se describen con detalle las caractersticas de las modalidades educativas mencionadas, as como algunas diferencias de los contextos en que viven los estudiantes que asisten a ellas. Aunque el argumento se desarrollar con ms amplitud en dicho captulo, es importante anticipar que los resultados por modalidad de ninguna manera pueden asociarse a las escuelas como logro de stas directamente. Como se ir viendo a lo largo de este reporte, y se ha sealado repetidamente en informes similares, los resultados tienen muchas fuentes de variabilidad que incluyen lo escolar, pero tambin lo familiar, social y personal. Como se menciona lneas arriba, adems de las agrupaciones por modalidades, se decidi presentar por primera vez, a manera exploratoria, algunos desgloses en las modalidades General y Tcnica. Estos desgloses son llamados subpoblaciones a lo largo del texto. Las subpoblaciones son: Rurales: cuando los alumnos asisten a escuelas (generales o tcnicas) que se encuentran en poblaciones menores a 2 mil 500 habitantes. Urbanas de alta marginacin: cuando los alumnos asisten a escuelas (generales o tcnicas) que se encuentran en poblaciones mayores a 2 mil 500 habitantes y cuyos indicadores de marginacin socioeconmica sealan que es una zona de alta marginacin. Urbanas de baja marginacin: cuando los alumnos asisten a escuelas (generales o tcnicas) que se encuentran en poblaciones mayores a 2 mil 500 habitantes y cuyos indicadores de marginacin socioeconmica sealan que es una zona de baja marginacin.

La intencin fundamental de estos desgloses es dar cuenta de la variabilidad que existe en los resultados al interior de las dos modalidades de educacin secundaria que cuentan con ms estudiantes en el pas, y que son, de entrada, heterogneas en varios de sus elementos contextuales (como el grado de marginacin mismo), a diferencia de la modalidad Privada, la cual tiende, en general, a ser urbana y de baja marginacin, o la modalidad Telesecundaria, que tiende a ser, en general, rural y de alta marginacin. Los resultados de estas subpoblaciones se refieren en apartados especficos de los captulos 2 al 5, y en general, son considerados por separado debido a que an se consideran datos exploratorios y su uso reiterado en todas las tablas y grficas del reporte podra incrementar innecesariamente la dificultad de lectura. Sobre el anlisis de los resultados Las escalas utilizadas a lo largo de este reporte se establecieron utilizando el modelo de Rasch. En el caso de los resultados del aprendizaje, las puntuaciones obtenidas fueron despus sometidas a una transformacin lineal en la que: La media nacional es de 500 puntos. Una desviacin estndar de la poblacin nacional es igual a 100 puntos. Aunque los lmites son abiertos, la gran mayora de los valores posibles se ubican entre 200 y 800. Los valores cercanos a 200 indican menor grado de conocimientos y habilidades en la asignatura de que se est hablando; los valores cercanos a 800 indican mayor grado de conocimientos y habilidades en la asignatura. Cada asignatura tiene una escala independiente de las otras, lo cual significa que no pueden hacerse comparaciones directas entre una y otra; por ejemplo, asumiendo que la que tiene mayor puntuacin promedio fue aprendida en mayor medida que la otra. Para medir los resultados, las escalas son fijadas en los valores sealados en los prrafos anteriores la primera vez que un Excale se aplica a nivel nacional. De este modo, al obtener la media de grupos desagregados (por ejemplo, las modalidades o las subpoblaciones), se pueden comparar las diferencias entre grupos. De manera similar, cuando se hacen nuevas mediciones

26

Introduccin

se utiliza la escala fijada en la aplicacin inicial; as, las variaciones en la media muestran cambios en el tiempo en la poblacin nacional y en los grupos desagregados. Para el caso de Espaol y Matemticas, las escalas fueron fijadas a partir de la aplicacin de 2005, que fue la primera ocasin en que se hicieron Excale de estas dos asignaturas para tercero de secundaria. Por ello, los resultados que se muestran en este reporte no necesariamente tienen una media nacional de 500 en estas dos asignaturas. En cambio, para Biologa y Formacin cvica y tica, las medias nacionales estn centradas en 500, pues la aplicacin que se reporta, de 2008, fue la primera en estas dos asignaturas. Niveles de logro Desde el reporte de resultados de la primera aplicacin de los Excale se han utilizado los niveles de logro como una manera de facilitar la comprensin de los resultados en una visin global. Los niveles de logro que se utilizan para reportar los resultados de los Excale son cuatro, y su descripcin genrica se muestra en la tabla III. Los niveles de logro son acumulativos conforme se va ascendiendo en ellos; es decir: los conocimientos y habilidades que tiene un estudiante ubicado en el nivel Por debajo del bsico tambin los tiene un estudiante que se encuentra en el nivel Bsico, adems de los conocimientos y habilidades que se describen en este nivel; de la misma manera, un estudiante ubicado en el nivel

Medio tiene las habilidades y los conocimientos descritos en los dos niveles previos, adems de los de su propio nivel. Finalmente, adems de los conocimientos y las habilidades descritos en el nivel Avanzado, un estudiante que se localice en ste, tiene tambin las habilidades y los conocimientos descritos en los tres niveles previos. Estos niveles de logro tienen una expresin particular para cada una de las asignaturas, en cada uno de los grados que se evalan con los Excale, a la cual se arriba a partir de un mtodo especfico, con la participacin de especialistas de diferentes instituciones (Jornet y Backhoff, 2006). La expresin particular implica que se describen con algo de detalle los diferentes conocimientos y habilidades que se tienen con respecto a una asignatura especfica en cada nivel de logro. Los niveles de logro por asignatura se presentan al inicio de los captulos correspondientes a los resultados del aprendizaje; a partir de ellos, los resultados pueden describirse en trminos de porcentaje de alumnos que se encuentra en cada nivel. Un ltimo comentario sobre los niveles de logro: en principio, stos deben ser elementos fijos de la descripcin de las escalas, de modo que puedan ser utilizados a lo largo de los aos y ello permita la comparacin en el tiempo de diferentes aplicaciones de los Excale a un mismo grado y asignatura. A pesar de ello, a finales de 2008 se decidi hacer una reformulacin de los niveles de logro de Espaol y Matemticas de tercero de secundaria. La razn principal por la cual se re-

Tabla III. Niveles de logro genricos

Nivel de logro Avanzado Qu indica? Indica un dominio muy avanzado (intenso, inmejorable, ptimo o superior) de conocimientos, habilidades y destrezas escolares, que refl ejan el aprovechamiento mximo de lo previsto en el currculo. Indica un dominio sustancial (adecuado, apropiado, correcto o considerable) de conocimientos, habilidades y destrezas escolares que pone de manifi esto un buen aprovechamiento de lo previsto en el currculo. Indica un dominio imprescindible (sufi ciente, mnimo, esencial, fundamental o elemental) de conocimientos, habilidades y destrezas escolares necesarios para poder seguir progresando satisfactoriamente en la asignatura. Indica carencias importantes en el dominio curricular de los conocimientos, habilidades y destrezas escolares que expresan una limitacin para poder seguir progresando satisfactoriamente en la asignatura.

Medio

Bsico Por debajo del bsico

27

El aprendizaje en tercero de secundaria en Mxico

Espaol, Matemticas, Biologa y Formacin cvica y tica

solvi hacer este rediseo fue que los Excale de 2005 fueron los primeros en los cuales se utiliz el mtodo para establecer niveles de logro que se lleva a cabo hasta la fecha, por lo tanto se quera hacer una verificacin de que el trabajo se haba realizado correctamente. Adems, al aumentar los elementos a evaluar en las escalas y al redisear las pruebas, se consider deseable agregar elementos a la descripcin de los niveles de logro que ayudaran a caracterizarlos de mejor manera. Este trabajo culmin en descripciones de los niveles de logro ms enriquecidas, con ms elementos para identificar los diferentes niveles, y tambin con puntos de corte diferentes a los anteriores. Los puntos de corte son las puntuaciones en que se establecen los lmites entre un nivel de logro y el que sigue. Debido a que los resultados, utilizando los puntos de corte anteriores y los nuevos, no mostraron diferencias en su poder explicativo, se tom la decisin de utilizar las nuevas descripciones enriquecidas, pero en cambio, se conservaron los puntos de corte anteriores, para facilitar la comparacin entre una aplicacin y otra. Debe aclararse que la comparacin entre aplicaciones de los Excale no se abordar en este reporte, puesto que ser el tema de un documento especfico que est en preparacin. Adems de las escalas para medir el logro, en este documento se habla tambin de algunas escalas utilizadas para medir variables de contexto, particularmente en el captulo 6. Para stas, los valores resultantes tras la aplicacin del modelo de Rasch se transformaron en una escala que: Tiene una media de 0. Desviacin estndar de 1. Aunque sus lmites son abiertos, la gran mayora de los valores posibles estn entre -3 y 3, estando hacia -3 los valores ms bajos y hacia 3 los ms altos. Dependiendo de a qu se refiera una escala especfica, la interpretacin de bajo y alto significa diferentes cosas, que son sealadas al presentar la escala. Estructura del informe Este reporte tiene la intencin de permitir la fcil lectura y comprensin de los resultados de los Excale, sin perder, por ello, la seriedad y el rigor que requiere la descripcin de los resultados nacionales del logro educativo en los estudian-

tes de tercero de secundaria. Se ha procurado que el documento tenga elementos comunes con los reportes anteriores, as el lector que ya haya transitado por ellos se familiarizar rpidamente con la estructura y tipos de informacin presentados. Tambin hay algunos cambios con respecto a versiones anteriores del reporte. Cada captulo tiene una autora diferente. El captulo en que se presentan las caractersticas de la secundaria en Mxico estuvo a cargo de una especialista en el nivel. Los autores de los captulos de resultados son los propios responsables del desarrollo de las pruebas, quienes son especialistas en las asignaturas. De la misma manera, el captulo sobre factores contextuales fue escrito por quienes desarrollaron los cuestionarios de contexto. Finalmente, el captulo de resumen y conclusiones cuenta con la participacin de un grupo amplio de especialistas, internos y externos, quienes aportaron a la reflexin de los resultados a partir de varias reuniones de anlisis. Si bien esto hace que el documento vare en estilos y maneras de presentar la informacin, consideramos que esto es una riqueza, puesto que, por una parte, permite que el lenguaje de cada captulo de resultados est orientado a la disciplina a la que se refiere, y por otra, las diferencias en explicaciones y visiones permiten al lector tener una perspectiva amplia, y hacer sus propias interpretaciones. En el captulo 1 se presentan los elementos que contextualizan la evaluacin: las escuelas, los profesores y los alumnos de tercero de secundaria. Un propsito de esta contextualizacin es presentar con cierto detalle las caractersticas de las diferentes modalidades que se reportan, mostrando la heterogeneidad que tiene el Sistema Educativo Nacional en este nivel, y destacando que las condiciones familiares y sociales de los estudiantes de diferentes modalidades son distintas de entrada. En el captulo 2 se presentan los resultados del Excale 09 de Espaol; en el captulo 3 los resultados de Matemticas; en el captulo 4 los de Biologa y en el captulo 5 los de Formacin cvica y tica. Estos captulos comparten una misma estructura, debido a que se dio el mismo tratamiento analtico a los resultados de las cuatro asignaturas. En el captulo 2, por ser el primero que presenta grficos y tablas de resultados, se detalla la explicacin de estos elementos, ms

28

Introduccin

que en los posteriores, con la intencin de que el lector tenga elementos suficientes para realizar sus propias lecturas y obtener sus propias conclusiones al revisar estos materiales, por lo que se recomienda la lectura atenta del mismo. El captulo de cada asignatura inicia presentando brevemente los elementos curriculares que se tomaron en cuenta para desarrollar el Excale correspondiente, tras lo cual se describe la escala y los niveles de logro especficos para la asignatura. Los resultados propiamente dichos inician presentando las puntuaciones promedio y los porcentajes de alumnos, por modalidad educativa, que se encuentran en cada nivel de logro. Ello tiene el propsito de que el lector pueda situar el aprendizaje de los alumnos a nivel nacional y por modalidades, identificando las fortalezas y debilidades de cada grupo. Tambin se hacen desgloses por sexo, edad y entidad federativa, lo cual permite incorporar estos elementos a la visin de los resultados, que por fuerza debe ser mltiple. Cada uno de estos cuatro captulos termina con algunas consideraciones particulares al interior de cada dominio o rea temtica dentro de la asignatura correspondiente, lo cual permite identificar a grandes rasgos qu saben o no los estudiantes al terminar el tercer grado de secundaria, con respecto a lo que indica el currculo que debera saberse. El captulo 6 ofrece algunas consideraciones sobre los diferentes elementos contextuales que influyen en los niveles de logro. Para este captulo no se eligieron los factores que tienen mayor

influencia; la decisin gir ms bien alrededor del propsito de ilustrar de manera muy clara el hecho de que hay elementos tanto del alumno, como de su familia, su escuela, sus profesores y directores, que influyen en el aprendizaje, y la relacin entre estos elementos es compleja. El captulo 7 consta de una sntesis de los resultados, que los mira transversalmente destacando lo que es comn y lo que es particular a cada una de las asignaturas, considerndolas en su contexto educativo, para ofrecer algunas conclusiones generales, y otras por asignatura. Como se comentaba al inicio de este apartado, este captulo recoge los frutos de un ejercicio de reflexin colectiva coordinado por el INEE, en el cual participaron investigadores y profesores de diferentes instituciones que, a partir de los resultados mostrados en los captulos anteriores, generaron sus propias conclusiones y propusieron una serie de recomendaciones. Este ltimo captulo es el que realmente le da sentido al trabajo de evaluacin educativa. La planeacin cuidadosa para recolectar informacin, su acopio, anlisis y reporte slo cobran significado si sus resultados pueden traducirse en una mejor comprensin de la realidad educativa, y esta comprensin se traduce en propuestas viables y pertinentes. Al final del documento se pueden encontrar las referencias bibliogrficas, algunos anexos que detallan elementos del proceso de evaluacin, y los agradecimientos a la gran cantidad de personas que pusieron su talento y su tiempo en este trabajo de evaluacin nacional.

29