Professional Documents
Culture Documents
Daniel Bogoya
Captulo 1
David Glejberman
Mauricio Castro
Captulo 2
Daniel Bogoya
Giuliana Espinosa
Captulo 3
Claudia Tamassia
Mauricio Castro
Captulo 4
Carlos Pardo
Daniel Bogoya
Captulo 5
Ernesto Leigh
Traduccin
captulo 4 al espaol
Alejandro Urbn
Diagramacin y diseo
Publicado por la Ocina Regional de Educacin de la UNESCO para Amrica Latina y el Caribe
OREALC/UNESCO Santiago.
Permitida su reproduccin total o parcial, as como su traduccin a cualquier idioma citando la fuente.
Los autores son responsables por la seleccin y presentacin de los hechos contenidos en esta publicacin, as como
de las opiniones expresadas en ella, que no son necesariamente el pensamiento de UNESCO y no comprometen a la
Organizacin. Las denominaciones empleadas en esta publicacin y la presentacin de los datos que en ella guran no
implican, de parte de la UNESCO, ninguna toma de posicin respecto al estatuto jurdico de los pases, ciudades, ter-
ritorios o zonas, o de sus autoridades, ni respecto al trazado de sus fronteras o lmites.
ISBN: 978-956-322-008-7
PRESENTACIN
E
l Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE) es la red de los
sistemas de medicin de la calidad de la educacin de los pases de Amrica Latina y el Caribe. Al
mismo tiempo constituye un mbito de discusin tcnico poltico sobre el aprendizaje, otras vari-
ables relativas al desarrollo personal de los estudiantes, as como los factores asociados a estas.
La creacin del LLECE acontecida en Ciudad de Mxico en noviembre de 1994, marc un hito en el desar-
rollo de nuevas formas de cooperacin entre los pases de la Regin y en el papel de coordinacin que
asume la Ocina Regional de Educacin de la UNESCO, con sede en Santiago de Chile.
Sus objetivos principales consisten en generar conocimientos que contribuyan a que los Ministerios de
Educacin de la regin tomen decisiones informadas en materia de polticas educativas a partir del anli-
sis de los resultados de las investigaciones evaluativas que el LLECE realiza.
En el Laboratorio participan Argentina, Brasil, Chile, Colombia, Costa Rica, Cuba, Ecuador, El Salvador,
Guatemala, Honduras, Mxico, Nicaragua, Panam, Paraguay, Repblica Dominicana, y Uruguay. Tambin
forma parte del LLECE el estado mexicano de Nuevo Len. El LLECE realiza permanentes gestiones para que
se integre a sus actividades el resto de los pases de la regin.
Entre los aos 2004 y 2008 el LLECE realiz el Segundo Estudio Regional Comparativo y Explicativo (SERCE)
que evala el desempeo de los estudiantes en Amrica Latina y el Caribe e indaga sus factores asociados.
Dicho estudio se enmarca dentro de las acciones de la OREALC / UNESCO, tendientes a asegurar el derecho
de todos los estudiantes de la regin a recibir una educacin de calidad.
El principal propsito del SERCE fue generar conocimientos acerca de los rendimientos de los estudi-
antes de 3 y 6 grados de Educacin Primaria en Amrica Latina y el Caribe en las reas de Matemtica,
Lenguaje (Lectura y Escritura) y Ciencias y, al mismo tiempo, explicar dichos logros identicando las
caractersticas de los estudiantes, de las aulas y de las escuelas que se asocian a ellos en cada una de las
reas evaluadas.
Los resultados del referido estudio, se han publicado en los textos siguientes:
Primer reporte de los resultados del SERCE
Resumen Ejecutivo
Aportes para la enseanza de la Lectura
Aportes para la enseanza de la Matemtica
Aportes para la enseanza de las Ciencias
Con estos antecedentes corresponde ahora publicar el Reporte tcnico del SERCE, que busca mediante la
profundizacin y el anlisis detallado de lo realizado en este estudio, ofrecer a los profesionales inte-
resados en la investigacin evaluativa, la informacin que da sustento a todas las publicaciones antes
referidas. Lo anterior, con el objetivo de que puedan obtener un conocimiento ms profundo y amplio de la
realidad educativa latinoamericana y sobre todo de los mtodos cientcos movilizados para estudiarla.
El reporte consta de cinco captulos y un apartado destinado a los anexos. El captulo 1 est dedicado a
explicar el diseo de los instrumentos utilizados en este estudio (45 instrumentos).
Por su parte el captulo 2 se concentra en el diseo de la muestra; mientras que en el captulo 3 se expli-
can detalladamente los procedimientos utilizados para el levantamiento de los datos.
En el captulo 4 se describen las acciones realizadas en la direccin del aseguramiento de la calidad del
estudio, mientras que el captulo 5 y nal muestra exhaustivamente los mtodos y procedimientos utiliza-
dos para el procesamiento de los datos de esta importante investigacin evaluativa.
Finalmente, en los anexos se describen detalladamente los manuales e instructivos diseados y utilizados
como pautas para la realizacin de cada etapa de esta investigacin, as como los indicadores de calidad
y su comportamiento en cada uno de los pases participantes.
Tengo la seguridad de que la lectura minuciosa del presente texto contribuir a la elevacin de la cultura
evaluativa de los directivos y docentes que se entreguen a ella con alta motivacin y ansias de saber.
CAPTULO 3
LEVANTAMIENTO DE DATOS 86
CAPTULO 4
ASEGURAMIENTO DE LA CALIDAD 111
CAPTULO 5
PROCESAMIENTO DE DATOS 139
ANEXO
MANUALES E INSTRUCTIVOS 484
A. Tablas 485
Tabla 1.1. Tasa de participacin de escuelas 485
Tabla 1.2. Tasa de participacin de estudiantes, tercer grado 486
Tabla 1.3. Tasa de participacin de estudiantes, sexto grado 487
Tabla 4.1. Nivel de correspondencia para items
de respuesta abierta de tercer y sexto grado 488
Tabla 4.2. ndice Kappa para items de matemticas
de tercer y sexto grado 489
B. RESUMEN INTERNACIONAL 491
I.CARACTERSTICAS DEL MUESTREO 491
II.APLICACIN 491
III.CALIFICACIN DE ITEMS DE RESPUESTA ABIERTA 493
C. RESMENES NACIONALES 494
ARGENTINA 494
BRASIL 497
CHILE 500
COLOMBIA 503
COSTA RICA 506
CUBA 409
ECUADOR 512
EL SALVADOR 515
GUATEMALA 518
MXICO 521
NICARAGUA 524
NUEVO LEN, MXICO 527
PANAM 530
PARAGUAY 533
PER 536
REPBLICA DOMINICANA 539
URUGUAY 542
TRADUCCIN DE TEXTOS DE GRFICOS INEDITABLES 545
D. CRITERIOS Y PROCEDIMIENTOS PARA EL ASEGURAMIENTO
DE LA CALIDAD EN EL SERCE 546
SUMARIO 546
INTRODUCCIN 546
PARTE I 546
ASEGURAMIENTO DE LA CALIDAD EN LA PRODUCCIN
DE INSTRUMENTOS Y RESULTADOS 546
PARTE II
ASEGURAMIENTO DE LA CALIDAD EN LA IMPLEMENTACIN
DEL ESTUDIO EN LOS PASES 547
INTRODUCCIN 548
EL DOCUMENTO TIENE VARIOS PROPSITOS. 548
PARTE I.
ASEGURAMIENTO DE LA CALIDAD
EN LA PRODUCCIN DE INSTRUMENTOS Y RESULTADOS 551
CRITERIO I.1. - INSTRUMENTOS DE MEDICIN - PRUEBAS 551
CRITERIO I.2. INSTRUMENTOS DE MEDICIN - CUESTIONARIOS 553
CRITERIO I.3. - DISEO MUESTRAL 555
CRITERIO I.4. - PROCEDIMIENTOS DE APLICACIN ESTANDARIZADOS 557
CRITERIO I.5. - PROCESAMIENTO Y ANLISIS DE LA INFORMACIN 558
CRITERIO I.6. - REPORTES DE RESULTADOS 559
CRITERIO I.7. ACCESO A LAS BASES DE DATOS 560
PARTE II
ASEGURAMIENTO DE LA CALIDAD
EN LA IMPLEMENTACIN DEL ESTUDIO EN LOS PASES 562
CRITERIO II.1. - EQUIPO DE TRABAJO 562
CRITERIO II.2. - PARTICIPACIN EN LA APLICACIN PILOTO 564
CRITERIO II.3. - APLICACIN DE LAS PRUEBAS SERCE 566
CRITERIO II.4. - SUPERVISIN EXTERNA DE LA APLICACIN DEFINITIVA 568
CRITERIO II.5. - CUMPLIMIENTO DE PLAZOS Y CRONOGRAMAS 570
CRITERIO II.6. - ELABORACIN DEL MARCO MUESTRAL NACIONAL 572
CRITERIO II.7. - COBERTURA A LOGRAR EN LA APLICACIN DEFINITIVA 574
CRITERIO II.8. - CODIFICACIN DE PREGUNTAS DE RESPUESTA ABIERTA 576
CRITERIO II.9. - CAPTURA DE DATOS Y CONFORMACIN DE BASES DE DATOS 578
CRITERIO II.10. - CONFIDENCIALIDAD DE LOS INSTRUMENTOS 580
CRITERIO II.11. - CONFIDENCIALIDAD DE LOS RESULTADOS PROVISORIOS 582
CRITERIO II.12. - TRANSPARENCIA EN LA DIVULGACIN DE RESULTADOS 583
1
CAPTULO
DISEO
DE
INSTRUMENTOS
E
ste apartado describe la metodologa utilizada en el diseo y elaboracin de los instrumentos empleados
en el SERCE, as como el procedimiento seguido para analizar y aprobar las adaptaciones estructurales
y lingsticas especcas requeridas por los pases participantes y para realizar la respectiva traduccin
del espaol al portugus, con miras a producir la versin aplicada en Brasil. Los instrumentos se
conforman, por una parte, con las pruebas de desempeo acadmico, y por otra parte, con los cuestionarios
de factores asociados. Las actividades realizadas (cuadro I.1) para poder elaborar cada uno de los instrumentos
comprendieron, desde el anlisis curricular de la regin y la revisin del estado del arte en cada campo, hasta las
adaptaciones especcas de las versiones nacionales.
Actividades Periodo
9. Anlisis conceptual y ajuste de cuestionarios para la aplicacin denitiva. May Jun 2006
T
eniendo en consideracin las reas y grados denidos para ser evaluados, as como las recomendaciones
emanadas de la primera reunin del Comit Tcnico Consultivo (UNESCO, 2004a), se disearon siete
pruebas en total: tres de ellas dirigidas a evaluar los desempeos de los estudiantes de tercer grado
en lectura, matemtica y escritura; y otras cuatro pruebas encaminadas a evaluar el desempeo de los
estudiantes de sexto grado en los mismos campos de lectura, matemtica y escritura, ms el de ciencias naturales.
Enseguida se presenta el marco conceptual, el alcance y el formato de las pruebas y los principales elementos
derivados de la aplicacin piloto que permitieron anar las versiones denitivas.
ANLISIS CURRICULAR
Como un aporte al LLECE, el Instituto Colombiano para el Fomento de la Educacin Superior (ICFES) dispuso
y coordin un equipo de expertos en cada una de las reas previstas para la evaluacin: lenguaje, matemtica
y ciencias. Cada rea cont con cuatro especialistas expertos en los fundamentos conceptuales y la pedagoga
del rea y en proyectos de evaluacin a gran escala. Adicionalmente, se constituy un equipo trasversal socio-
pedaggico que brind su apoyo y particip en las discusiones semanales de los equipos de rea y se cont
tambin con el concurso de dos lectores crticos que revisaron cada uno de los textos generados y sugirieron los
ajustes pertinentes en el documento nal.
El trabajo se realiz durante cerca de nueve meses en los que se solicit a los pases latinoamericanos que
remitieran material curricular relevante, en particular: los diseos o estructuras curriculares nacionales, los
materiales dirigidos a estudiantes de los grados a evaluar (tercero y sexto) en las reas previstas (lenguaje,
matemtica y ciencias) y las pruebas utilizadas en operativos nacionales de evaluacin. Adicionalmente se
solicit informacin sobre la legislacin y normativa que rige aspectos de poltica curricular en cada pas. En
algunos casos no fue posible obtener todo el material mencionado, en especial fue difcil acceder a las pruebas
nacionales debido a las polticas de condencialidad de los pases; sin embargo, se logr acopiar cantidad
suciente de documentacin.
14 REPORTE TCNICO
Cuadro I.1.1.1. Enfoques identicados en el anlisis curricular
rea
Dimensin
Lenguaje1 Matemtica Ciencias
Con nfasis en el aspecto formativo Con nfasis en las estruc-
de la matemtica. turas conceptuales de las
ciencias.
Lingstico textual. Con nfasis en la importancia de
Disciplinar Gramatical prescriptivo. la educacin matemtica en la Descriptivo de las ciencias y
sociedad. de las leyes que lo rigen.
Pragmtico. Pragmtico.
Activo constructivista.
Activo constructivista.
Pedaggica Interactivo constructivista.
Instruccional directivo.
Instruccional directivo.
Lenguaje1
El anlisis curricular ofrece una panormica del currculo de la regin latinoamericana basada en la revisin de la
documentacin proveniente de Argentina, Bolivia, Brasil, Chile, Colombia, Costa Rica, Cuba, Ecuador, El Salvador,
Honduras, Mxico, Nicaragua, Paraguay, Per, Repblica Dominicana, Uruguay y Venezuela2. Para explorar
el enfoque prevaleciente en los pases cuya documentacin fue recibida y estudiada, en cada rea evaluada
(Bogoya, 2005), el anlisis consider tres dimensiones a manera de perspectivas: la disciplinar; la pedaggica; y
la evaluativa (cuadro I.1.1.1).
1 El anlisis curricular se hizo para el rea de lenguaje y comunicacin que incluye lectura,literatura y otros lenguajes; sin embargo, el cuadro nica-
mente recoge las subcategoras consideradas para el primero de estos aspectos.
2 Guatemala y Panam no fueron parte de este anlisis pero participaron en el estudio asumiendo el anlisis regional hecho sobre la base de la
informacin recolectada en los dems pases.
L
a denicin de las pruebas tuvo en consideracin el concepto de life skills que apareci como respuesta
a la necesidad de incluir en el currculo escolar elementos que fomentaran el desarrollo personal de los
estudiantes, ayudarlos a desarrollar su potencial y lograr una vida privada, profesional y social plena.
Adems, que pudieran ayudar a los estudiantes a hacer frente a riesgos, a tomar decisiones en situa-
ciones de emergencia y a desarrollar estrategias de supervivencia. El concepto suele referirse tambin como
competencias especcas, en el sentido de capacidades (saberes, habilidades/aptitudes, valores, actitudes y com-
portamientos) necesarias para enfrentar distintos tipos de contextos y problemas de la vida cotidiana, privada,
social y profesional, as como situaciones excepcionales, de manera exitosa (Atorresi, 2005; Bronzina, 2005;
Macedo, 2005).
Las competencias pueden asociarse con habilidades vinculadas al desempeo que surge en forma autnoma y
genuina, al conocimiento en accin y que puede aplicarse en contextos especcos, al saber que conjuga un saber
hacer con sentido y saber explicar aquello que se hace y por qu se hace.
La construccin y el desarrollo de competencias suponen una articulacin entre la apropiacin conciente del
saber y el desarrollo de habilidades cognitivas. Es necesario entonces, en esta perspectiva, ir ms all de los
conocimientos entendidos como acumulacin de informacin o denicin rgida de conceptos, para entrar en el
desarrollo de procedimientos intelectuales que permitan operar sobre el conocimiento, aplicarlo en situaciones
que aparecen por primera vez y producir nuevos conocimientos (Bogoya, 2000; Braslavsky, 2001).
Las estrategias educativas que procuran formar con el enfoque de las habilidades para la vida constituyen una
importante metodologa para promover la insercin a la sociedad de los jvenes como ciudadanos activos. Es
por esto que en las agendas educativas de todos los currculos debe promoverse el desarrollo de las habilidades
mencionadas para que los aprendizajes se transformen en capacidad para tomar decisiones, resolver problemas
novedosos, pensar creativa y crticamente, comunicarse con eciencia, y establecer y mantener relaciones inter-
personales.
16 REPORTE TCNICO
ESPECIFICACIONES
DE LAS PRUEBAS
Como conclusin del anlisis curricular se lleg a una primera versin de las especicaciones de las pruebas que
sirvieron como base para el diseo de los instrumentos. Dichas especicaciones denen los dominios conceptuales
y los desempeos previstos para cada rea, as como la proporcin de items para cada caso. Con posterioridad a
la publicacin de este anlisis curricular, se acogi la recomendacin del Comit Tcnico Consultivo de emplear
el trmino proceso en vez de desempeo.
Adicionalmente, las especicaciones derivadas del anlisis curricular fueron revisadas por los paneles de expertos
responsables de la construccin de los instrumentos y ajustadas para vincular el enfoque de habilidades para la
vida y las observaciones de los coordinadores nacionales. La modicacin ms importante tuvo lugar en el rea
de lenguaje en donde la prueba se separ en dos: una de escritura y otra de lectura. Por otra parte, se suprimi
el proceso de lectura crtico intertextual y se desagreg el de lectura inferencial en dos procesos: inferencial
simple e inferencial complejo.
Tambin en ciencias se produjo una modicacin importante: uno de los cuatro dominios conceptuales denidos
en el anlisis curricular ciencia, tecnologa y sociedad fue valorado por el panel de expertos como un dominio
transversal, presente en los otros tres dominios, y por tanto retirado de la malla de especicaciones (cuadro
I.1.1.2).
En todos los casos las pruebas son de lpiz y papel, mientras que los formatos de los items varan dependiendo
del rea evaluada. En las dos pruebas de lectura, una para tercero y la otra para sexto grado, todos los items son
cerrados, es decir, estn estructurados con un enunciado y cuatro opciones de respuesta con una nica opcin
correcta, y estn asociados a textos que se presentan en el transcurso del instrumento. Tras cada texto se plan-
tean entre dos y cinco items, que el estudiante evaluado debe responder, luego de leer el texto correspondiente,
seleccionando la opcin que considere correcta entre las cuatro posibles que se ofrecen.
En las dos pruebas de matemtica, una para tercero y la otra para sexto grado, y en la prueba de ciencias para
sexto grado, se utilizaron items abiertos, en los que el estudiante tiene que producir su propia respuesta, y tam-
bin items cerrados con un enunciado y cuatro opciones de respuesta con una nica opcin correcta. Finalmente,
en las dos pruebas de escritura, una para tercero y la otra para sexto grado, se pidi al estudiante producir un
texto escrito, primero en borrador y luego en limpio, siguiendo una determinada consigna (cuadro I.1.1.3).
Nmero de Items3
Grado rea
Cerrados Abiertos Total
Lectura 66 0 66
Tercero Matemtica 66 6 72
Escritura 0 2 2
Lectura 96 0 96
Matemtica 87 9 96
Sexto
Ciencias 84 6 90
Escritura 0 2 2
Nmero de items3
3 Los items que nalmente conformaron la prueba fueron seleccionados despus de la aplicacin piloto, en donde se puso a prueba una cantidad
mayor de ellos. Los criterios de seleccin combinaron los requerimientos de las especicaciones de las pruebas y el valor de los parmetros estadsticos resul-
tantes luego de la aplicacin piloto.
18 REPORTE TCNICO
La cantidad de items por prueba, a excepcin de la de escritura, ucta entre 66 y 96 por rea y grado.
Se estim que los estudiantes pueden ser evaluados en sesiones de no ms de 60 minutos de duracin, para
minimizar el riesgo de cansancio o distraccin, por lo que fue necesario optar por un diseo de evaluacin que
permitiera dividir la prueba en cuadernillos de menor extensin y que asegurara que la mayora de estudiantes
tuviera oportunidad de responder a todos los items propuestos en el cuadernillo, dentro del tiempo de duracin
de cada sesin. Por otra parte, la teora de respuesta al tem (modelo empleado para el escalamiento de las
pruebas) presenta la ventaja, entre otras, de permitir la estimacin del desempeo de cada estudiante frente a
toda la prueba, a partir de la ejecucin real en slo un subconjunto de items.
Para asegurar que todos los estudiantes evaluados respondieran una muestra semejante de items, en trminos
de los dominios conceptuales, los procesos evaluados y su nivel de dicultad, se opt por un modelo de bloques
incompletos balanceados. Cada prueba de lectura, matemtica y ciencias se dividi en 6 bloques (B1, B2, B3, B4,
B5 y B6), cada uno con un determinado nmero de items cerrados y abiertos (cuadro I.1.1.4).
Cuadro I.1.1.4. Distribucin de items por prueba, segn bloque, rea y grado
Nmero
Nmero de Items
Grado rea Nmero de Items cerrados Total de
abiertos
items
C1 B1 B2
C2 B3 B4
C3 B5 B6
C4 B2 B3
C5 B4 B5
C6 B6 B1
Para el caso de la prueba de escritura, se disearon dos cuadernillos por grado, cada uno con un solo item abierto
de respuesta extensa, requiriendo un texto relativo a una consigna especca que implic la elaboracin de un
borrador que luego se pas a limpio.
20 REPORTE TCNICO
lectura y otra de escritura, para cada grado (UNESCO,
ELABORACIN
2004b).
DE LOS ITEMS
En la XVI Reunin de Coordinadores Nacionales, cel-
ebrada en Managua en marzo de 2005, se present una
T
anto el anlisis curricular como los documentos segunda versin de las pruebas. Los pases contaron con
de habilidades para la vida, fueron circulados tres semanas para enviar sus comentarios en una grilla
entre los pases participantes, en cada una de de consulta que facilitaba su anlisis. En dicha reunin
sus versiones durante la respectiva elaboracin, se acord que tomando como referencia el anlisis cur-
con el n de socializar el alcance del anlisis, precisar ricular del estudio, se requera que por lo menos el 70%
conceptos y recibir aportes que permitieron anar los de los pases deba objetar un determinado tem para
textos denitivos. As mismo, los equipos tcnicos de proceder a suprimirlo (UNESCO, 2005a).
los pases prepararon y remitieron al LLECE numerosos
items ajustados a las especicaciones originales En abril de 2005 se organizaron reuniones de los pan-
planteadas en el anlisis curricular. eles de expertos que estudiaron las grillas de consulta
y anlisis de los pases con las objeciones a los items.
Sobre la base de estos aportes, cada panel de expertos Los items cuestionados fueron retirados o modica-
de rea dispuesto por UNESCO seleccion aquellos items dos.
que fueron empleados en las pruebas y elabor items
nuevos para cumplir con las especicaciones previstas.
Si bien los paneles de expertos fueron coordinados y
constituidos por especialistas o consultores de UNESCO,
ADAPTACIN LINGSTICA
algunos de sus miembros fueron invitados de los Y TRADUCCIN AL PORTUGUS
equipos tcnicos de los propios pases participantes.
De esta forma, se trat de una actividad que tambin
cont con el aporte de las coordinaciones nacionales Constituidos los cuadernillos con los items aproba-
del LLECE. dos conceptualmente por los pases, se procedi a la
diagramacin de una versin estndar que fue enviada
a los coordinadores nacionales junto con una planilla
en la que indicaron el cdigo de tem, la solicitud de
PERTINENCIA adaptacin y la justicacin de la misma, en caso de
DE LOS ITEMS alguna objecin a esta versin. Las solicitudes fueron
consideradas por la coordinacin tcnica del estu-
dio teniendo como criterio no alterar la dicultad de
En el marco del proceso de construccin de los in- los items ni el domino conceptual, los procesos o la
strumentos se dieron sucesivas consultas con los pases estructura de los mismos. Las solicitudes no aprobadas
participantes del estudio, respecto de la calidad y per- fueron explicadas y seguidas con una posibilidad de
tinencia curricular de cada uno de los items propues- rplica por parte del pas solicitante, que siempre tuvo
tos. En la XV Reunin de Coordinadores Nacionales, cel- la oportunidad de ampliar su argumentacin.
ebrada en la Habana en octubre de 2004, se present
una primera propuesta de diseo de las pruebas. En Cada rea tuvo su particularidad, por ejemplo, para el
dicha reunin los pases acordaron modicar los items caso de lectura y escritura se intent emplear, en la
de produccin escrita y separarlos de la prueba de len- medida de lo posible, castellano estndar para efectos
guaje, de forma tal que resultaron dos pruebas: una de de minimizar la cantidad de pedidos de adaptacin.
22 REPORTE TCNICO
I.1.2. DISEO DE LAS PRUEBAS
EN LA FASE PILOTO
Para la aplicacin piloto se utiliz un nmero de items mayor que el nmero especicado para las pruebas, en
las reas de lectura, escritura y matemtica, con el n de poder seleccionar entre estos items los que arrojaron
los mejores indicadores estadsticos, con destino a las pruebas denitivas. Para este efecto, se construyeron dos
bloques y dos cuadernillos ms que los previstos en el diseo y adicionalmente se colocaron ms items en cada
uno de los bloques (cuadro I.1.2.1).
En el caso de la prueba de ciencias, que slo se dise para el grado sexto, no fue posible alcanzar una produccin
de items mayor que la prevista, debido a que los items presentados en la XVI Reunin de Coordinadores Naciona-
les (UNESCO, 2005a) fueron objetados en su mayora, lo cual oblig a emplear el tiempo disponible, entre la fecha
de esta reunin y la de iniciacin de la aplicacin piloto, en apenas construir los nuevos items que permitieron
reemplazar aquellos objetados.
Escritura 0 4 4 4 4
Escritura 0 4 4 4 4
Las muestras nacionales de la aplicacin piloto fueron sucientemente grandes y diversas para valorar las
propiedades estadsticas de los items y de la prueba en su conjunto. As mismo, en el operativo se incorporaron
formularios que permitieron recoger informacin sobre el funcionamiento de las pruebas en campo, en trminos
de comprensin de instrucciones, adecuacin de los plazos y tiempos preestablecidos, entre otros aspectos
operativos que fueron puestos a prueba.
Las pruebas fueron administradas por examinadores externos a las escuelas, siguiendo las indicaciones
proporcionadas por el Manual del Aplicador para la aplicacin piloto (UNESCO, 2005c), donde se indican todos los
procedimientos y se incluyen las instrucciones que debieron darse a los estudiantes. Los directores de las escuelas
tambin recibieron el Manual del Coordinador de Centro Educativo para la aplicacin piloto ((UNESCO, 2005d),
con las instrucciones correspondientes que fueron observadas durante la administracin de las pruebas.
Entre los procedimientos establecidos, se asegur la alternancia de cuadernillos en todas las aulas evaluadas,
de forma tal que se consiguieron similares cantidades de cuadernillos respondidos de cada tipo, en las aulas,
escuelas y pases participantes.
4 La aplicacin piloto se realiz en todos los pases, con excepcin de Ecuador. En el caso de Brasil, la muestra piloto fue representativa nicamente
del Estado de Gois.
24 REPORTE TCNICO
I.1.3. DISEO
DE LAS PRUEBAS DEFINITIVAS
Una vez consolidada la informacin proveniente de la aplicacin piloto, se procesaron estos datos de acuerdo
con el modelo de Rasch, siguiendo la metodologa concertada entre los pases participantes, que se encuentra
documentada en el Manual de Procesamiento para el anlisis de items de la aplicacin piloto (UNESCO, 2005e).
Luego del procesamiento de los datos5, se organizaron reuniones de los paneles de expertos de rea para el
estudio respectivo de los indicadores estadsticos encontrados, la seleccin de los items de mejor desempeo y
que cumplieron con las especicaciones previstas en el diseo, y el ensamble de bloques y cuadernillos para las
pruebas denitivas.
Los objetivos de estos talleres fueron principalmente dos: primero, a la luz de los resultados de la aplicacin
piloto, denir los items, bloques y cuadernillos que conformaron las pruebas denitivas de lectura, matemtica y
escritura para tercer grado y en las mismas reas ms ciencias para sexto grado; y segundo, ajustar los manuales
de codicacin de la respuesta abierta de las pruebas de matemtica y ciencias, considerando los resultados de
la aplicacin y la consistencia entre correctores y supervisores. Adicionalmente, el panel de lenguaje tuvo como
objetivo valorar el nivel de consistencia de la correccin de la escritura, considerando las dicultades surgidas
de la amplitud de criterios a valorar y la poca experiencia en la regin sobre evaluaciones de este tipo a gran
escala.
En cada reunin participaron por lo menos dos especialistas del rea, un especialista en evaluacin y uno en
psicometra. Las principales actividades realizadas en el marco de estas reuniones se indican a continuacin.
PRESENTACIN
DEL MODELO DE ANLISIS
Esta labor estuvo a cargo del especialista en psicometra y consisti en la explicacin a los expertos de rea
del signicado de cada uno de los indicadores estadsticos que arroja el procesamiento de los datos, utilizando el
programa Winsteps, as como los criterios de aceptacin o rechazo de un determinado tem, desde la perspectiva
estadstica (cuadro I.1.3.1).
En el caso de las pruebas de matemtica y de ciencias, se incorporaron en el anlisis los items abiertos con la
metodologa de crdito parcial y se dispuso un anlisis adicional al colapsar crditos distintos en una sola cat-
egora. Tambin se suministr la frecuencia de casos en cada cdigo establecido, considerando tanto el crdito
otorgado como el proceso identicado por el codicador respectivo.
5 En el procesamiento los datos no se consideraron los de Costa Rica, debido a que este pas no remiti las bases de datos dentro del plazo establecido.
Ajuste prximo (INFIT) Mayor o igual que 0,80 y menor o igual que 1,20
Ajuste lejano (OUTFIT) Mayor o igual que 0,80 y menor o igual que 1,20
Promedio de habilidad por opcin Mayor para la clave que para las dems opciones
ITEMS
ANMALOS
A partir de los informes nacionales y del informe internacional de anlisis de items (UNESCO, 2006a), donde se
reportaron los valores estimados para cada indicador, tem a tem, se identicaron aquellos items cuyos indicado-
res no satiscieron algunos de los criterios establecidos. Adicionalmente, se analizaron de nuevo todos los items
y los respectivos informes de aplicacin provenientes de los pases, donde se incluyeron observaciones derivadas
de las preguntas formuladas por los estudiantes al momento de responder los cuadernillos, con el n de vericar
el cabal cumplimiento de las especicaciones conceptuales de las pruebas.
6 Los trminos entre parntesis indican la denominacin empleada por el programa Winsteps (utilizado para el procesamiento de los datos) y que se
utiliza en los reportes de anlisis de items.
26 REPORTE TCNICO
ceptual y el proceso que evala, la opcin que opera
ENSAMBLE DE
como clave o respuesta correcta y los parmetros es-
LAS PRUEBAS DEFINITIVAS tadsticos estimados con base en los resultados de la
aplicacin piloto.
U
na vez retirados los items anmalos, bien Luego, se veric la distribucin de los items entre cada
por razones conceptuales o estadsticas, se uno de los bloques previstos en el diseo, procurando
procedi a conformar cada una de las prue- cubrir el espectro ms amplio posible de dicultades
bas denitivas. Para ello se seleccionaron los y evitando redundancias o conglomerados demasiado
items cerrados que arrojaron los mejores indicadores densos en algn punto de la escala. En seguida, se pro-
estadsticos y que cumplieron con las especicaciones cedi a ensamblar cada uno de los cuadernillos de las
previstas en el diseo, en trminos de dominios con- pruebas denitivas, siguiendo el diseo establecido.
ceptuales y procesos, derivadas del anlisis curricular.
Igualmente se seleccionaron los items abiertos para Por otra parte, tambin fue necesario revisar y ajustar
incluir en las pruebas denitivas de matemtica y cien- los criterios de codicacin de las preguntas abiertas
cias, con base en criterios similares a los considerados de matemtica y ciencias que se siguieron en la apli-
en el caso de los items cerrados. cacin piloto, segn los resultados del anlisis de la
consistencia observada en la correccin, la tasa de co-
En las pruebas de matemtica y de ciencias, se pro- incidencias entre correctores y supervisores, el ndice
cur la conservacin de los bloques tal como fueron de Kappa estimado y cuyo valor debi ser mayor que
elaborados para la aplicacin piloto, en la medida de lo 0,60 y el juicio integral de los expertos del rea. Los
posible, pero se ajust el nmero de items por bloque. procedimientos de codicacin debidamente ajustados
En las pruebas de lectura, se control la temtica y la constituyeron los manuales respectivos para la apli-
extensin de los distintos textos y se procur man- cacin
tener un nmero similar de preguntas asociadas con denitiva (UNESCO, 2006b; UNESCO, 2006c).
cada texto. Es importante sealar que durante el proceso de con-
formacin de las pruebas denitivas, se atendieron
En el caso de las pruebas de matemtica y lectura de las recomendaciones surgidas en la segunda reunin
tercer grado, se seleccionaron items apropiados de an- del Comit Tcnico Consultivo (UNESCO, 2006d), so-
claje, para realizar la equiparacin entre el primer estu- bre todo en el sentido de mantener la estructura, el
dio y el segundo, dentro de las limitaciones tcnicas enunciado y las opciones de todos los items, en forma
dadas por las diferencias de diseo y de enfoque entre idntica a como fueron utilizados en la aplicacin pi-
uno y otro estudio. En las mismas pruebas, loto, con el n de asegurar la estabilidad en el valor y
para ambos grados, tambin se seleccionaron items la estructura de sus indicadores estadsticos.
apropiados de anclaje, para efectuar la equiparacin
entre tercero y sexto grados, considerando desde luego En el caso de la prueba de ciencias, sin embargo, de-
las restricciones derivadas del nmero de estos items, bido a que no se contaba con items adicionales a los
la diferencia entre algunos dominios conceptuales y la previstos en el diseo, fue necesario introducir modi-
distancia entre los grados considerados. caciones sustanciales en seis items, una modicacin
En seguida, se construyeron las tablas de especica- leve en un tem e introducir un tem completamente
ciones de las pruebas denitivas y la nuevo en reemplazo de uno eliminado, siempre a juicio
tabla de distribucin de items por bloque, incluyendo del respectivo panel de expertos.
el nombre asignado al tem, tanto en la aplicacin pi-
loto como en la aplicacin denitiva, el dominio con-
28 REPORTE TCNICO
Cuadro I.1.3.2. Especicaciones de la prueba de lectura para tercer grado
PROCESOS
Lectura inferencial Lectura inferencial TOTAL
Lectura literal
simple compleja
DOMINIOS
Porcentaje Porcentaje Porcentaje Porcentaje
Nmero Nmero Nmero Nmero
de items de items de items de items
de items de items de items de items
(%) (%) (%) (%)
Lectura de
25 37,88 23 34,85 9 13,63 57 86,36
prrafos
Lectura de
enunciados 8 12,12 1 1,52 0 0,00 9 13,64
y palabras
PROCESOS
Solucin de TOTAL
Reconocimiento de Solucin de
problemas
objetos y elementos problemas simples
DOMINIOS complejos
PROCESOS
Lectura inferencial Lectura inferencial TOTAL
Lectura literal
simple compleja
DOMINIOS
Porcentaje Porcentaje Porcentaje Porcentaje
Nmero Nmero Nmero Nmero
de items de items de items de items
de items de items de items de items
(%) (%) (%) (%)
Lectura de
18 18,75 40 41,67 15 15,63 73 76,05
prrafos
Lectura de
enunciados 7 7,29 9 9,37 7 7,29 23 23,95
y palabras
PROCESOS
Reconocimiento de Solucin de TOTAL
Solucin de
objetos y problemas
problemas simples
DOMINIOS elementos complejos
Porcentaje Porcentaje Porcentaje Porcentaje
Nmero Nmero Nmero Nmero
de items de items de items de items
de items de items de items de items
(%) (%) (%) (%)
Nmeros 8 8,33 15 15,63 4 4,17 27 28,13
Geometra 6 6,25 8 8,33 5 5,21 19 19,79
Medicin 4 4,17 11 11,46 6 6,25 21 21,88
Estadstica 8 8,33 7 7,29 1 1,04 16 16,66
Variacional 2 2,08 9 9,38 2 2,08 13 13,54
30 REPORTE TCNICO
Cuadro I.1.3.6. Especicaciones de la prueba de ciencias para sexto grado
PROCESOS
Aplicacin de TOTAL
Reconocimiento de Solucin de
conceptos e
conceptos problemas
DOMINIOS interpretacin
Porcentaje Porcentaje Porcentaje Porcentaje
Nmero Nmero Nmero Nmero
de items de items de items de items
de items de items de items de items
(%) (%) (%) (%)
Seres vivos
15 16,66 16 17,78 5 5,56 36 40,00
y salud
Tierra y
6 6,67 16 17,78 5 5,56 27 30,00
ambiente
Materia y
6 6,67 13 14,44 8 8,88 27 30,00
energa
ADAPTACIONES
LINGSTICAS
Luego de la conformacin de las pruebas denitivas, se someti a consulta en los respectivos pases la versin
estndar, junto con una planilla para efectos de documentar cualquier solicitud de adaptaciones.
Se estableci que las versiones nacionales mantuvieran los cambios aprobados en la fase piloto. Los pases slo
pudieron solicitar adaptaciones adicionales cuando los indicadores estadsticos de las pruebas, al nivel nacional,
mostraron desajustes o valores que no cumplieron con los criterios de aceptacin sealados (cuadro I.1.3.1). Los
nuevos pedidos de adaptacin fueron analizados por las coordinaciones de rea del LLECE y aprobados cuando se
consider pertinente.
En seguida, se diagramaron las versiones nacionales de las pruebas en forma centralizada y los pases tuvieron
luego la responsabilidad de su revisin y aprobacin nal.
Los cuestionarios que permiten identicar las variables del contexto donde tienen lugar los procesos educa-
tivos se disearon para atender el objetivo general del SERCE:
En este sentido, el diseo de los cuestionarios enfatiz en aquellos factores que se encuentran directamente
dentro del mbito de inuencia de los sistemas educativos. Estos factores, vinculados principalmente con los re-
cursos y prcticas que se realizan dentro de las escuelas y los niveles de autonoma con que actan, denominados
modicables, constituyen la principal orientacin para poder formular recomendaciones de poltica resultantes
del anlisis.
Para el diseo tambin se tuvieron en cuenta factores vinculados con las caractersticas socioculturales de los
estudiantes y sus familias, con el n de poner en contexto los resultados de las pruebas (UNESCO, 2006f). El dis-
eo referido correspondi a un proceso de discusin y construccin permanente de acuerdos entre especialistas
y coordinadores nacionales del LLECE7.
7 Se tomaron como base los acuerdos de los coordinadores nacionales de la XVI Reunin (Managua, marzo de 2005), XVII Reunin (Brasilia, junio de
2005) y XVIII Reunin (Montevideo, marzo de 2006). Igualmente se consideraron los aportes de los coordinadores nacionales Beatriz Picaroni, Hctor Valds y
lvaro Fortn, as como de los especialistas Santiago Cueto, Elena Martn y Tabar Fernndez, derivados de la reunin de discusin de cuestionarios de factores
asociados (Cartagena de Indias, noviembre de 2005).
32 REPORTE TCNICO
I.2.1. ANTECEDENTES
Para establecer los referentes que permitieron estructurar el marco conceptual y luego disear los cuestion-
arios respectivos, se parti de los principales hallazgos del Primer Estudio Internacional Comparativo y sobre
los cuales era necesario profundizar, para conrmar y conocer mejor los efectos ya observados. Igualmente, se
revisaron los resultados reportados en otros estudios internacionales semejantes como los que realiza el Southern
and Eastern Africa consortium for monitoring educational quality (SACMEQ8), el Programa PISA de la Organisation
for economic co-operation and development (OECD9) y el estudio TIMSS de la International association for the
10
evaluation of the educational achievement (IEA ). Por otra parte, fue central considerar la losofa del Proyecto
11
Regional de Educacin para Amrica Latina y el Caribe (PRELAC ), que pretende promover cambios para lograr
12
que todos los pases de la regin logren los objetivos y la metas de Educacin para Todos (EPT ) al ao 2015,
principalmente en lo que se reere a la mejora de la calidad y equidad educativa.
PRIMER ESTUDIO
INTERNACIONAL COMPARATIVO
Adems del Primer Informe dedicado a los resultados de rendimiento, el Primer Estudio Comparativo produjo
el Segundo Informe, el Informe Tcnico y el Estudio Cualitativo (UNESCO, 2000, 2001 y 2002), donde se muestran
los resultados agregados de factores asociados para el conjunto de pases, entre los que se destacan algunos
factores modicables como el tamao de la biblioteca escolar (efecto positivo), que los maestros cuenten con
otro trabajo (efecto negativo), percepcin de salario adecuado por parte de los docentes (efecto positivo), invo-
lucramiento de los padres o tutores en el aula o en la escuela (efecto positivo), agrupamiento de estudiantes de
acuerdo con sus habilidades (efecto negativo) y, con mayor peso explicativo en el rendimiento que las anteriores,
el clima de aula (efecto positivo). Todas estas variables estuvieron asociadas signicativamente al rendimiento
tanto en lenguaje como en matemtica, an despus de aplicar controles estadsticos mediante una serie de
covariables.
Desde luego, es importante sealar que las variables que resultaron signicativas para el conjunto de pases no lo
fueron para algunos en particular. Por ejemplo, si bien el clima de aula es altamente signicativo para el conjunto
de pases, al nivel nacional slo fue signicativo en matemtica para Chile, Colombia y Cuba, y en lenguaje para
Chile, Colombia, Cuba, Honduras y Dominicana, aunque en todos los dems pases el efecto es positivo pero no
signicativo.
Por otra parte, el estudio cualitativo13 mostr la importancia de contar con escuelas que propician un clima
favorable para el trabajo entre docentes y estudiantes (respeto, conanza, cordialidad y afecto), alto nivel de
compromiso de los docentes, liderazgo con toma de decisiones participativas, y la activa inclusin de los padres
y madres de familia en el quehacer escolar.
8 Ver http://www.sacmeq.org/.
9 Ver http://www.pisa.oecd.org/
10 Ver http://timss.bc.edu
11 Ver http://www.unesco.cl/medios/biblioteca/documentos/prelac_proyecto_regional_educacion_esp.pdf
12 Ver http://www.unesco.cl/ept/metas.act
13 Este estudio se realiz en siete pases: Argentina, Bolivia, Chile, Colombia, Costa Rica, Cuba y Venezuela.
E
stableciendo siempre la concordancia con el intelectual o demanda cognoscitiva involucrado en la
enfoque previsto, se revisaron los resultados resolucin de un determinado problema o ejercicio.
alcanzados en otros estudios internacionales.
Por ejemplo, derivado de los estudios real- Por otra parte, los resultados sugieren que al menos
izados por SACMEQ, en Kenia se encontr un efecto al interior de los pases los niveles de cobertura del
positivo y signicativo en el rendimiento cuando los currculo explican el rendimiento en las pruebas (Baker
docentes tienen una mayor formacin y cuando hacen y Le Tendre, 2005; Schmidt et al, 2001). De hecho,
comentarios a los estudiantes respecto de sus tareas, informes nacionales en Argentina (Cervini, 2001) y
as como cuando se incrementa el nmero de materi- Per (Rodrguez y Vargas, 2002; Zambrano, 2004) han
ales escolares con que cuenta el estudiante. Tambin conrmado esta relacin entre cobertura de currculo y
se encontr que la inasistencia de los estudiantes pro- resultados en las pruebas.
duce un efecto negativo en el rendimiento (Onsomu et
al, 2005). Adicionalmente, el nivel de demanda cognoscitiva ha
sido estimado en otros estudios a partir de muestras
En segundo lugar, el Programme for International Stu- de trabajo de los estudiantes. Estos estudios encuen-
dent Assessment (PISA) de la OECD14) ha generado tran que a mayor nivel de demanda cognoscitiva, se
un interesante reporte de factores asociados que ha logran mayores resultados de aprendizaje (Newmann et
puesto nfasis en los factores escolares de equidad y al, 2001). En lenguaje, Cueto et al (2006) encontraron
rendimiento en la prueba de comprensin de lectura una asociacin entre demanda cognoscitiva y retroali-
(OECD, 2005). Es interesante notar que el clima es- mentacin al estudiante con el incremento de puntajes
colar result una de las variables ms potentes para de inicio a n de ao escolar. El estudio de Cueto et al
explicar el rendimiento escolar. La denicin de clima (2003) tambin encontr una asociacin en-
comprendi las opiniones del director, la disciplina y el tre retroalimentacin correcta del profesor a los ejerci-
sentido de pertenencia de los estudiantes a la escuela. cios de los estudiantes y rendimiento para matemti-
PISA incluy adems una seccin de autonoma escolar ca.
con preguntas sobre decisiones acerca del personal de
la escuela, nanzas, currculo y enseanza, y polticas Otro anlisis interesante realizado por el equipo de
respecto de los estudiantes. Se encontr una asocia- TIMSS est referido a los textos escolares. Valverde
cin positiva entre autonoma y rendimiento. et al (2002) colectaron textos escolares de los pases
En tercer lugar, el Trends in International Mathematics participantes en el estudio para analizar cobertura cur-
and Science Studies (TIMSS15) incluye las oportuni- ricular y niveles de demanda cognoscitiva.
dades de aprendizaje como uno de sus componentes
importantes. El modelo original distingue entre cur-
rculo intencional (referido a la norma o documento
que debe guiar las prcticas escolares), el currculo
implementado (lo que se ensea en las aulas de clase)
14 Ver http://www.pisa.oecd.org/
15 Ver http://nces.ed.gov/timss/
34 REPORTE TCNICO
Proyecto Regional
para Amrica Latina y ElCaribe(PRELAC)
Foco 1: En los contenidos y prcticas de la educacin para construir sentidos acerca de nosotros mismos, los
dems y el mundo en el que vivimos.
Foco 2: En los docentes y fortalecimiento de su protagonismo en el cambio educativo para que respondan a las
necesidades de aprendizaje de los estudiantes.
Foco 3: En la cultura de las escuelas para que stas se conviertan en comunidades de aprendizaje y partici-
pacin.
Foco 4: En la gestin y exibilizacin de los sistemas educativos para ofrecer oportunidades de aprendizaje
efectivo a lo largo de la vida.
Foco 5: En la responsabilidad social por la educacin para generar compromisos con su desarrollo y resulta-
dos.18
Estos focos, que constituyen una gua central para la denicin del marco conceptual, incluyen varios temas
especcos, por ejemplo atencin a la diversidad social y cultural en la educacin, capacitacin docente, mto-
dos pedaggicos en el aula, autonoma escolar, participacin de las familias en la gestin de las escuelas, clima
escolar, uso de computadoras y otras tecnologas.
16 Ver http://www.unesco.cl/medios/biblioteca/documentos/prelac_proyecto_regional_educacion_esp.pdf
17 Ver http://www.unesco.cl/ept/metas.act
18 Tomado de http://www.unesco.cl/ept/prelac/4.act
E
l diseo previsto considera que la variabili- de su carcter instrumental. En efecto, son numer-
dad en los niveles de logro acadmico de los osos los esfuerzos de la teora social, desarrollada en
estudiantes es el resultado de un anidamiento especial en las ltimas cuatro dcadas, por promover
de condiciones que corresponden a diferentes una mirada ms comprensiva y compleja en trminos
niveles o planos de realidad. En los modelos ms usu- de interpretacin de fenmenos sociales. Esto implica
ales la variabilidad en el logro acadmico es vista como prestar atencin a la multidimensionalidad del accionar
el resultado de condiciones que son propias del su- humano y su carcter constitutivo de las estructuras
jeto de la observacin (el estudiante como individuo) sociales en las que se desarrolla, lo cual se vincula
incluyendo variables de su hogar. Asimismo, dichos directamente a los principios y estrategias adoptados
estudiantes muestran su desempeo en un contexto por el PRELAC.
inmediato en el que no se encuentran aislados, sino
que conguran un grupo con el que comparten algunos En los ltimos aos algunos autores han planteado
atributos, empezando por la propia dinmica del aula, modelos relevantes para el anlisis de factores aso-
las relaciones entre pares y fundamentalmente el ac- ciados. Murillo (2003) presenta una serie de modelos
cionar del docente como agente crucial en la estructur- tericos de la literatura internacional y balances de la
acin de las experiencias y prcticas del aula. investigacin sobre ecacia escolar en 12 pases de
Amrica Latina y Espaa. En la misma obra, Martinic y
Por otra parte, los grupos de estudiantes y docentes Pardo (2003) resumen los factores de ecacia escolar
conforman una relacin, al nivel de aula y de escuela, de los estudios. El modelo incluye variables de contex-
que puede ser determinada por la infraestructura y los to (especcamente marco regulatorio del sistema es-
recursos pedaggicos disponibles, y caracterizada por colar y caractersticas de la escuela), de entrada (car-
las formas de administracin y nanciamiento. Es nec- actersticas del profesor y del estudiante y su familia)
esario mencionar que la relacin referida tambin est y de procesos (al nivel de cultura escolar, gestin de
inuida por el rol de liderazgo del director, como el- la escuela y aula), cuya interaccin debe explicar los
emento clave que marca la dinmica institucional tanto productos educativos (principalmente rendimiento). La
hacia el interior de la escuela como en relacin con su discrepancia principal del modelo propuesto aqu con
entorno ms prximo, es decir, respecto de los padres el anterior, y con varios otros de la literatura inter-
de familia y la comunidad local. Las instituciones edu- nacional, es que los estudiantes y sus familias no se
cativas hacen parte de un sistema educativo nacional conciben como insumos para determinados logros aca-
en el que las normas, polticas y esquemas de apoyo dmicos sino que los estudiantes son el foco principal
a la gestin escolar o de toma de decisiones, tienen de anlisis.
un impacto sobre lo que la institucin hace, se espera Con base en los distintos elementos referidos, para el
que haga y puede hacer en su accionar cotidiano. Este diseo de los cuestionarios de contexto se denieron
accionar, nalmente, deriva o no en la satisfaccin de tres ejes principales (caractersticas socioculturales,
las necesidades y potencialidades de aprendizaje de los oportunidades y logros acadmicos) y la equidad edu-
estudiantes. cativa como una caracterstica transversal.
36 REPORTE TCNICO
por variables con alta relevancia en la explicacin del
CARACTERSTICAS
rendimiento, de acuerdo con los hallazgos de la lit-
SOCIOCULTURALES eratura internacional y con los resultados encontrados.
El valor de este segundo eje consiste en engarzarlo a
los otros dos: estudiantes de diversas caractersticas
El primer eje est referido a las caractersticas so- socioculturales asisten a escuelas que brindan mayores
cioculturales de los estudiantes, tanto al nivel individ- o menores niveles de oportunidades educativas, que se
ual como de grupos de estudiantes en aulas y escuelas. ajustan o no a sus necesidades y potencialidades, lo
Este eje considera variables del estudiante (sexo, edad, cual en conjunto permite explicar el rendimiento.
lengua materna y condicin de trabajador) y de sus fa-
milias (educacin de los padres, servicios disponibles y
apoyo a la educacin de los hijos). El eje no supone so-
lamente el control estadstico de variables para ajustar
LOGROS
el rendimiento, sino que es un elemento clave para ACADMICOS
entender los logros acadmicos de los estudiantes. As,
se coloca especial nfasis en identicar qu variables Finalmente el tercer eje est referido a los logros
del eje tienen mayor correlacin con rendimiento, de acadmicos y est representado principalmente por los
modo que pueda generarse un ndice de nivel sociocul- resultados que obtienen los estudiantes en las pruebas
tural. La correlacin de este ndice con los logros aca- de rendimiento. Estos datos sin embargo deben com-
dmicos (tercer eje) no es por s suciente, pues debe plementarse con otros, principalmente con el ndice de
describirse en detalle qu educacin estn recibiendo cobertura educativa logrado en cada sistema educativo
los estudiantes y si esta educacin se adapta a sus para cada uno de los grados evaluados. As, se espera
necesidades y potencialidades. presentar el rendimiento de los estudiantes que estn
en la escuela con el porcentaje de estudiantes en edad
de asistir a la escuela en los grados evaluados y que no
estn asistiendo.
OPORTUNIDADES
EDUCATIVAS El logro acadmico por s solo no es suciente sino que
es necesario presentarlo siempre en conjuncin con la
situacin particular de los dos ejes anteriores.
El segundo eje est conformado por las oportuni-
dades educativas e incluye tanto los insumos o recur-
sos educativos (tiempo de aprendizaje, presencia de
materiales educativos, existencia de biblioteca esco-
lar, recursos nancieros, infraestructura escolar y car-
actersticas del personal docente y directivo) como los
procesos mediante los cuales los insumos se vuelven
pedagoga (por ejemplo, cobertura del currculo, len-
gua de instruccin, autonoma educativa, uso de los
materiales, tareas y clima escolar). El anlisis para este
eje debe hacerse en algunos casos al nivel de aula, en
otros al nivel de escuela y nalmente algunos al nivel
de pas. Al igual que en el primer eje, se prev gen-
erar un ndice de oportunidades educativas, formado
Niveles de anlisiss
Aula
Escuela
Paass
IIb. Procesos escolares
EEn
n el esquema
el es
esqu
q em
qu emaa de marco
dell ma
marc conceptual
rcoo co
conc ptuall ((gura
ncep
ep gur
g I.2.2.1),
uraa I.
I.22.2.
2.
2 2.1)
1)),
38 REPORTE TCNICO
I.2.3. ETAPAS DEL DISEO
DE LOS CUESTIONARIOS
Para llegar al diseo nal de los cuestionarios, teniendo en cuenta los niveles y los ejes de anlisis del marco
conceptual desarrollado, se elabor una propuesta de items que luego fue consultada con los coordinadores
nacionales, para efectos de validar su pertinencia. Las observaciones de los coordinadores fueron analizadas e
incorporadas en una versin piloto estndar que de nuevo fue enviada a consideracin de los pases, junto con
un formato que debi llenarse cuando se requiri alguna adaptacin estructural o lingstica.
Las adaptaciones de estructura corresponden a situaciones especcas de cada pas. Por ejemplo, en el cuestionario
dirigido al docente se pregunta por su nivel educativo ms alto. En la versin para Colombia se prevn ocho
categoras de respuesta: 1, primaria; 2, secundaria; 3, media; 4, normalista; 5, bachiller pedaggico; 6, licenciado;
7, profesional; y 8, posgrado. Por su parte, la versin para Nicaragua contempla siete categoras de respuesta: 1,
primaria; 2, secundaria (media); 3, tcnica (no universitaria); 4, formacin docente / normalista; 5, universitaria;
6, postgrado; y 7, otro.
Una vez conformadas las versiones nacionales, atendiendo las respectivas adaptaciones, y realizada la traduccin
del castellano al portugus, se probaron estos cuestionarios durante la aplicacin piloto. Las observaciones
resultantes, las inquietudes formuladas por quienes respondieron cada cuestionario y los indicadores estadsticos
generados luego del procesamiento de los datos obtenidos, fueron objeto de estudio y anlisis, para establecer y
ajustar las preguntas que nalmente aparecieron en la versin denitiva de los cuestionarios.
Es importante sealar que tambin se incluyeron algunas preguntas ya utilizadas en el Primer Estudio Internacional
(con nes de conrmacin y de comparacin) y en otros estudios internacionales, principalmente PISA y TIMSS,
que han sido validadas en decenas de pases incluidos varios de la regin.
FACTORES
Y VARIABLES
Para el diseo de los cuestionarios se procedi a denir los factores bsicos que permiten explicar las varian-
zas entre los logros acadmicos de los estudiantes, agrupados en distintos niveles, y las variables mediante las
cuales es posible estimar un ndice que permita valorar cada factor.
Cuestionario donde
Factor Variables
se reere
Sexo, edad, lengua materna, educacin
Cuestionarios a
preescolar, edad de ingreso a la escuela,
Caractersticas de estudiantes, padres
repeticin, trabajo infantil, hbitos de lec-
los estudiantes. de familia y
tura, actitudes hacia las reas evaluadas y la
docentes.
escuela, y turno al que asisten19.
(19)
Los factores fueron agrupados y dispuestos en los distintos cuestionarios para explorar las caractersticas inher-
entes a cada actor del proceso educativo (cuadro I.2.3.1); del contexto de las escuelas, la autonoma del docente
y de la escuela y la existencia y uso de materiales educativos (cuadro I.2.3.2); y de la naturaleza del proceso
educativo mismo, incluyendo el clima del aula y la participacin de los padres de familia en la educacin de sus
hijos (cuadro I.2.3.3).
19 La novedad principal en este grupo respecto del primer estudio fue el anlisis de lengua materna indgena y trabajo infantil.
40 REPORTE TCNICO
Cuadro I.2.3.2. Factores asociados con las escuelas
Cuestionario donde se
Factor Variables
reere
Cuestionario donde se
Factor Variables
reere
Nmero de semanas y das previstos en el ao
escolar y en los que ha habido clases, duracin
Tiempo de Cuestionario
del da escolar, duracin de cada perodo esco-
aprendizaje. a directores.
lar y nmero de horas por rea evaluada a la
semana.
Lengua(s) en que ocurre parte o todo el apren-
dizaje, cobertura curricular, demanda cogno-
Oportunidades de Cuestionario
scitiva, tipo de textos y ejercicios que los estu- 20
aprendizaje. a docentes .
diantes suelen resolver, formas de evaluacin y
tareas para la casa.
Asignacin de estudiantes a grupos homog-
neos o heterogneos y redes o programas de Cuestionarios a estu-
Polticas respecto
apoyo a estudiantes con necesidades espe- diantes, docentes y
de estudiantes.
ciales (sobre todo repetidores o potenciales directores.
desertores).
Conictos y disciplina en el aula, relaciones
entre estudiantes, entre docentes, entre do-
centes y estudiantes, entre docentes y padres
Cuestionarios a estu-
21 de familia, episodios de violencia, comuni-
Clima escolar . diantes, docentes y
cacin entre el personal de la escuela, trabajo
directores.
en equipo de docentes, colaboracin entre
docentes y direccin y motivacin de los do-
centes.
(20 21)
20 Se denen cinco cuestionarios especcos de oportunidades de aprendizaje, a razn de uno para cada rea y grado evaluado.
21 Se pretende ampliar y profundizar las dimensiones identicadas como signicativas en el primer estudio, referidas el clima del aula.
42 REPORTE TCNICO
CUESTIONARIOS
Denidos los factores y las variables asociadas con cada factor, se procedi a ensamblar once cuestionarios
encaminados a recabar la informacin necesaria para caracterizar el contexto donde tiene lugar el proceso
educativo de los estudiantes. Diez cuestionarios fueron dirigidos a estudiantes, padres de familia, docentes y
directores de escuela, mientras que un cuestionario oper como cha de empadronamiento para reconocer la
localizacin de la escuela, el origen de los recursos econmicos de funcionamiento y la disponibilidad de recursos
educativos (cuadro I.2.3.4).
Para el caso de los docentes, se opt por ensamblar dos cuestionarios. Un primer cuestionario general (QP),
con nfasis en las caractersticas socioculturales, dedicacin a la escuela y distribucin de su tiempo en cada
actividad, satisfaccin con distintos aspectos, percepcin de dicultades y temas donde se considera importante
recibir apoyo tcnico. El segundo cuestionario tuvo el propsito especco de indagar por las caractersticas de
la enseanza en cada rea y en cada grado.
Nmero de
Nombre Poblacin que lo responde
preguntas
QA3 Estudiantes de tercer grado. 20
QA6 Estudiantes de sexto grado. 40
QL3 Docentes (sobre enseanza del lenguaje en tercer grado). 13
QL6 Docentes (sobre enseanza del lenguaje en sexto grado). 13
22 Se advierte que el cuestionario dirigido a los padres de familia (QF) no fue aplicado en Mxico por decisin autnoma del pas.
DISEO
DE
LA MUESTRA
En este captulo se explica el diseo muestral del Segundo Estudio Regional Comparativo y Explicativo (SERCE)
que lleva adelante el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin de UNESCO/
OREALC. En este captulo se abordan los siguientes temas:
4) Mtodo de muestreo.
7) Estratos adicionales optativos para cada pas y tratamiento de las muestras para entidades
subnacionales.
E
l SERCE estudia, en primer trmino, estudiar los logros educativos en Lenguaje, Matemtica y Ciencias
de los alumnos matriculados en tercero o sexto grados del nivel primario al nal del ao lectivo 2005-
2006 (escuelas con calendario norte) o ao lectivo 2006 (escuelas con calendario sur), en instituciones
educativas ocialmente reconocidas que otorgan una certicacin que habilita al nio a acceder al grado
o nivel educativo siguiente. No se considera parte del universo a los alumnos matriculados en instituciones de
educacin de adultos, en instituciones de educacin especial o en programas de educacin alternativa no formal
o no presencial. En el caso de 3 no se incluir a las escuelas dirigidas a nios cuya lengua materna es indgena,
dado que se considera que an no tienen suciente dominio del lenguaje como para realizar una prueba escrita.
En cambio, se considera que al nal de la educacin primaria (6), todos los nios deberan haber alcanzado un
nivel de dominio del lenguaje estndar que les permita realizar las pruebas. Tampoco forman parte del universo
de estudio los alumnos con necesidades educativas especiales que estn integrados en escuelas comunes.
En segundo trmino, el SERCE estudia los factores que tienen inuencia y/o explican los logros educativos de los
alumnos. Con este propsito son tambin universos objeto de estudio los siguientes:
s LOS HOGARES DE LOS ALUMNOS DE Y GRADOS
s LOS PADRES O TUTORES DE LOS ALUMNOS DE Y GRADOS
s LAS SECCIONES O AULAS A LAS QUE PERTENECEN LOS ALUMNOS DE Y GRADOS
s LOS MAESTROS QUE ENSEAN ,ENGUAJE Y -ATEMTICA A LOS ALUMNOS DE Y GRADOS
s LAS ESCUELAS A LAS QUE ASISTEN LOS ALUMNOS DE Y GRADOS
s LOS DIRECTORES DE LAS ESCUELAS A LAS QUE ASISTEN LOS ALUMNOS DE Y GRADOS
Los universos indicados en el apartado a) son estudiados a travs de la aplicacin de pruebas estandarizadas de
Lenguaje, Matemtica y Ciencias, as como de Cuestionarios autoadministrados. Los universos indicados en el
23
apartado b) son estudiados a travs de la aplicacin de cuestionarios autoadministrados .
23 Dado que las escuelas sern seleccionadas por muestreo probabilstico, automticamente estn siendo seleccionados por el mismo procedimiento
alumnos, maestros, padres y hogares, de 3 y 6. De modo que las inferencias sern vlidas para los diversos universos, si bien las estimaciones de error
debern realizarse especcamente para cada universo.
46 REPORTE TCNICO
II.2. SUBUNIVERSOS
DEL ESTUDIO
El estudio obtiene informacin a nivel regional, de cada pas y con desagregaciones dentro del pas al nivel de
los siguientes subuniversos o dominios de escuelas y estudiantes: urbano pblico, urbano privado y rural. Salvo
con la excepcin de Cuba, donde no existen escuelas privadas.
En relacin a las escuelas rurales, dado que alrededor de la mitad de los pases carecen de informacin suciente
como para aplicar la denicin estndar que se intent utilizar en el Piloto (escuelas ubicadas en localidades con
hasta 2500 habitantes), se decidi emplear la denicin de escuela rural vigente en cada pas. Obviamente esto
conlleva limitaciones de comparabilidad, por lo que las comparaciones de escuelas rurales entre pases deben
tomarse con cautela. Esto signica que en los informes regionales se caracteriza a las escuelas rurales de cada
pas.
El dominio urbano pblico ha sido en todos los pases lo sucientemente grande como para permitir una estrati-
cacin sociocultural a posteriori, a partir de los datos recogidos en los cuestionarios de factores asociados.
La estraticacin sociocultural no pudo realizarse en el diseo muestral, por falta de informacin sobre este
aspecto. Sin embargo, en trminos del anlisis, se considera que es particularmente relevante distinguir entre
distintos tipos de escuelas pblicas urbanas, principalmente en trminos de la composicin social de su alum-
24
nado . Para ello se han utilizado ndices y variables que permiten clasicar a estudiantes y escuelas por distintas
caractersticas socioeconmicas.
El subuniverso urbano privado ha sido en todos los pases lo sucientemente grande como para permitir estima-
ciones con niveles de precisin aceptables, que permiten hacer inferencias respecto de los resultados de apren-
dizaje de los estudiantes de estas escuelas en cada pas.
24 Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunin de Brasilia en junio de 2005.
Y MARCO MUESTRAL
II.3.1.EXCLUSIONES
VLIDAS
De acuerdo a la denicin de universo dada, no forman parte del mismo las escuelas Especiales (dirigidas
exclusivamente a alumnos con necesidades especiales), de educacin de Adultos y de educacin alternativa no
formal o no presencial.
- Las escuelas con menos de 6 alumnos matriculados en 3 y menos de 6 alumnos matriculados en 6 (por una
razn de relacin costo / benecio en la aplicacin).
- Las secciones con menos de 6 alumnos matriculados en el grado (relacin costo / benecio).
- Los alumnos de 3 en escuelas bilinges con lengua indgena (se entiende que no estarn en condiciones de
responder una prueba escrita en castellano o portugus).
Se excluyen de la muestra:
- Las secciones con 6 o ms alumnos matriculados y menos de 4 alumnos esperados en la fecha de las pruebas
(relacin costo / benecio).
25 La expresin establecimiento escolar denota un local fsico donde se desarrollan actividades de enseanza primaria a cargo de un responsable que
es el director del establecimiento. En un mismo local fsico puede funcionar ms de un establecimiento escolar.
48 REPORTE TCNICO
- Los alumnos cuya lengua materna no es el castellano o portugus y que no han recibido al menos dos aos
de enseanza en el lenguaje de la prueba (se entiende que no estarn en condiciones de responder una prueba
escrita).
- Los alumnos con necesidades especiales, cuya situacin les impide desempearse en una prueba escrita (por
ejemplo, un nio ciego) (vase al respecto el Manual del Coordinador Nacional, Aplicacin Piloto, Anexo V, Estu-
diantes con Necesidades Educativas Especiales).
- En los casos de escuelas en que realizaron la prueba menos del 50% de los alumnos de 3 alumnos que asisten
efectivamente a clases, tanto la escuela como los alumnos fueron excluidos de todos los anlisis y estimaciones
relativas a 3, incluso las nacionales (riesgo de seleccin intencional).
- En los casos de escuelas en que realizaron la prueba menos del 50% de los alumnos de 6 alumnos que asisten
efectivamente a clases, tanto la escuela como los alumnos fueron excluidos de todos los anlisis y estimaciones
relativas a 6, incluso las nacionales (riesgo de seleccin intencional).
Observaciones:
Slo se excluyen del universo las escuelas pequeas en trminos del nmero de alumnos de 3 y de 6. No se
excluyen del universo las escuelas que tienen al menos 6 alumnos en 3 al menos 6 alumnos en 6.
Seleccionada una escuela en la muestra, se procedi a solicitar informacin a la Coordinacin Nacional del
pas sobre el nmero efectivo de alumnos que concurran a clases. Si este nmero era inferior a 4 en 3 y en
6, entonces se procedi a sustituir esta escuela de la muestra por su reemplazo, y sortendose un nuevo
reemplazo.
Las exclusiones en la etapa del anlisis implicaron una reduccin del tamao efectivo de la muestra, lo que debe
ser tenido en cuenta al ponderar o expandir los resultados.
- aleatorio
- estraticado
- de conglomerados
La muestra se seleccion en cada pas mediante muestreo aleatorio (probabilstico) estraticado de conglomerados.
Los criterios para la estraticacin a priori se comentan en la seccin siguiente. Los conglomerados son las
escuelas del universo. En cada estrato se seleccion una muestra de escuelas, en una sola etapa de seleccin con
probabilidades iguales para todas las escuelas del estrato. La muestra de alumnos en cada estrato se conform
con todos los alumnos (salvo por las exclusiones vlidas) de las escuelas seleccionadas en cada estrato. Este
procedimiento garantiza probabilidades iguales de seleccin para todos los alumnos de un estrato. Sin embargo,
las probabilidades de seleccin de escuelas y alumnos no son iguales si las escuelas (o los alumnos) pertenecen
a estratos diferentes, lo que conduce a muestras no autoponderadas de alumnos.
Observaciones
- La probabilidad de que una escuela pertenezca a la muestra es igual al cociente nh / Nh, donde nh es el
tamao de la muestra de escuelas en el estrato h y Nh es el tamao del universo de escuelas en el mismo
estrato. Por ejemplo, si en un estrato (ver seccin 8) hay 150 escuelas y el tamao de muestra en dicho
estrato es 12, entonces la probabilidad de seleccin de escuelas y alumnos en dicho estrato es 0,08 (12
/ 150). Si en otro estrato para el mismo pas hay 6 escuelas y el tamao de la muestra es 3, entonces la
probabilidad de seleccin de escuelas y alumnos en dicho estrato es 0,50.
50 REPORTE TCNICO
26
Se utilizaron tres criterios para la estraticacin a priori de las escuelas con el propsito de
optimizar el muestreo y no para presentar resultados. Los resultados pueden presentarse de acuerdo a
los subuniversos mencionados anteriormente. Los criterios son:
o Tamao
El tipo de gestin, como variable de estraticacin, permite proporcionar informacin desagregada por
subuniversos de estudio: las escuelas de gestin pblica y las de gestin privada.
El tamao de la escuela se conoce que incide en los logros acadmicos de los alumnos, y la relacin
matrcula de 6 / matrcula de 3 permite discriminar las escuelas con diferentes tasas de retencin,
lo que tambin puede estar asociado al rendimiento escolar. Se reconoce que esta posible asociacin
puede verse distorsionada por aquellas escuelas nuevas (que pueden tener una escasa o nula matrcula
de 6) y tambin por los casos de pases donde el 3 y el 6 grados se dictan en diferentes escuelas.
El criterio tipo de gestin y rea geogrca determina tres categoras de escuelas, coincidentes con
27
los subuniversos de estudio: URBANO PBLICO, URBANO PRIVADO y RURAL .
El criterio tamao de la escuela determina tres categoras de escuelas, para lo cual se recomienda
utilizar las mismas deniciones para todos los pases:
28
- PEQUEA: escuela con una sola seccin en el grado
26 En este documento el trmino estrato se emplea a los efectos del muestreo. No se trata de estratos para el reporte de resultados. Para la denomi-
nacin de los subconjuntos de escuelas sobre los cuales se espera reportar resultados se emplea el trmino subuniverso.
27 Se considera que la escuela es rural segn la denicin propia de cada pas.
28 Si la escuela tiene alumnos de 3 y 6, el tamao estar dado por la cantidad de secciones en 3. Si la escuela slo tiene alumnos de 6, entonces
el tamao estar dado por la cantidad de secciones de este grado.
- R6/3 0,8
- Matrcula de 3 = 0
El valor 0,8 es paramtrico. De hecho se han realizado pruebas con el valor 0,75 (ver ANEXO 2) y se encontr
que en la mayora de los pases este valor de la variable determina tamaos desiguales para los estratos. Dicha
desigualdad se reduce en parte aumentando el lmite de 0,75 a 0,8.
En el caso de las escuelas ubicadas en zonas rurales el escaso nmero de escuelas grandes justica que se
colapsen los tamaos GRANDE y MEDIANA en una sola categora.
Con las deniciones precedentes, las escuelas del universo en cada pas se clasican en 32 estratos, como
mximo. Esto se puede observar en la tabla 1. En algunos pases esta desagregacin origin estratos sin escuelas
o con un nmero muy reducido de escuelas, por lo que se colapsaron estos casos en un nmero ms reducido
de estratos nales. Por ejemplo, en aquellos pases donde las escuelas con matrcula nula en 3 representan
menos del 5% de las escuelas, a los efectos de la seleccin de la muestra, todas las escuelas urbanas pblicas
con matrcula nula en 3 podran conformar un nico estrato a priori, y lo mismo podra hacerse con las urbanas
privadas y las rurales con matrcula nula en 3.
A los efectos de obtener estimaciones desagregadas de los subuniversos de estudio que determinan el tipo de
gestin y el rea geogrca, no se permiti colapsar estratos a priori que pertenecen a diferentes subuniversos
de estudio.
52 REPORTE TCNICO
Tabla 1. Estratos a priori para la seleccin de la muestra
R 0,8 1 2 3 4 5 6 7 8 9 10 11
0 R < 0,8 12 13 14 15 16 17 18 19 20 21 22
M3 = 0 23 24 25 26 27 28 29 30 31 32 33
La Tabla 1 indica los estratos en que se dividi la muestra en primera instancia, aunque despus se llevaron a
cabo algunos colapsos de estratos. La muestra de 3 se seleccion en los estratos 1 a 22 y la muestra de 6 en
los estratos 1 a 33, excepto por aquellos casos ya mencionados en las exclusiones vlidas.
Si en un pas, la cantidad de escuelas en el marco sin informacin de matrcula resulta signicativa, entonces
se agregaron estratos que indicaban sin informacin (S.I.) y la muestra en este estrato ser proporcional a su
importancia en el total de escuelas en el pas.
A partir del diseo anterior, se realizaron algunos colapsos de estratos, quedando la estraticacin por pas
de la forma en que se describe en las siguientes tablas:
54 REPORTE TCNICO
Tabla 6. Escuelas de la muestra para SERCE Costa Rica
Publico Urbano Privado Urbano Rural Total
Mi P M G Mi P M G Mi P M G
M6/M3>=0.80 17 12 13 6 3 36 9
M6/M3>=0 & M6/M3 <0.80 10 7 3 4 3 37 5 1
M3=0 2 1 2
Total 171
56 REPORTE TCNICO
Tabla 14. Escuelas de la muestra para SERCE Nicaragua
Total 219
El diseo muestral recomend que el nmero de escuelas por pas fuera al menos 150, con un mnimo de 3
por estrato a priori. De esta manera, y con los ajustes que se indican en la seccin siguiente, se esperaba obtener
en cada pas una muestra real no inferior a 4.000 alumnos en 3 y 3.500 en 6. Dado que el 3 y el 6 grado se
ofrecen en instituciones educativas diferentes en Brasil y Colombia, las muestras de 6 grado se reducen consid-
erablemente en estos pases. Sin embargo, como se observa abajo, se trata de escuelas densamente pobladas, lo
que ayuda a completar la cuota esperada de alumnos en la muestra.
58 REPORTE TCNICO
II.5. MUESTRA EFECTIVA
POR PASES
Despus de aplicar el diseo muestral y los distintos criterios de exclusin de se lleg a la muestra efectiva para
cada pas. Las siguientes tablas presentan las muestras efectivas para cada pas por rea y grado.
Tabla 19
Tamao efectivo de las muestras para Lenguaje 3
Tabla 21
Tamao efectivo de las muestras para Lenguaje 6
60 REPORTE TCNICO
Tabla 22
Tamao efectivo de las muestras para Matemtica 6
Tabla 23
Tamao efectivo de las muestras para Ciencias 6
d) Se seleccionan las escuelas de cada estrato mediante muestreo aleatorio simple sin reposicin
(probabilidades de seleccin iguales para todas las escuelas de un mismo estrato).
e) Se seleccionan suplentes respectivas para cada unidad de la muestra, tambin por muestreo aleatorio
simple sin reposicin. Cada escuela titular de la muestra tendr una escuela suplente. La escuela suplente
se elige en el mismo estrato de la titular, y en caso de disponerse de la informacin en el marco, en la
misma jurisdiccin de la titular.
Seleccionada una escuela en la muestra en los estratos 1 a 24, entonces todos los alumnos de 3 y de 6
pertenecen a la muestra de alumnos, salvo por lo mencionado en las exclusiones vlidas.
Seleccionada una escuela en la muestra en los estratos 25 a 32, entonces todos los alumnos de 6 pertenecen a
la muestra de alumnos, salvo por lo mencionado en las exclusiones vlidas.
El proceso de seleccin de escuelas se realiz por la CT-LLECE. Cada pas recibi el listado de escuelas titulares
con sus respectivas suplentes y con su cdigo LLECE asignado.
Los reemplazos de escuelas se realizaron mediante el sistema de suplentes respectivas. Los reemplazos, en todos
los casos, fueron autorizados por el Coordinador Nacional. ste elabor un informe de los reemplazos autorizados,
con la causal que los motiv y con las acciones que realiz para evitar el reemplazo.
62 REPORTE TCNICO
II.7. ESTRATOS ADICIONALES OPTATIVOS PARA CADA PAS
Y TRATAMIENTO DE LAS MUESTRAS PARA ENTIDADES SUBNACIONALES
(NUEVO LEN)
El diseo muestral seguido tiene, como una de sus caractersticas, la exibilidad. Ello implica que
se pueden denir criterios adicionales de estraticacin, se pueden variar los tamaos de muestra por
estrato (a condicin de respetar los mnimos establecidos para el operativo nacional) y que la infor-
macin que se recoja a nivel de las entidades subnacionales puede agregarse junto con la informacin
del nivel nacional, adecuadamente ponderada. Se proporcionar a los pases un formulario para indicar
sus opciones nacionales adicionales en materia de muestra.
Para las muestras de Nuevo Len se siguieron los mismos criterios que para la determinacin de las
muestras de los pases (estraticacin a priori, muestreo en conglomerados en una sola etapa de selec-
cin, probabilidades iguales para todas las escuelas de un mismo estrato mediante muestreo aleatorio
simple sin reposicin) de manera de garantizar precisin y conabilidad de los resultados a nivel re-
gional.
M6/M3>=0.80 22 3 9 8 5 20 1 3 13 3 3 35
M6/M3>=0 & M6/
12 3 6 7 17 10 3 7 3 25
M3 <0.80
M3=0 1
Total 219
Cada pas elabor un marco muestral, que consisti en una matriz de datos que en cada la presenta una
escuela y la informacin de identicacin de cada centro escolar, y en cada columna una variable asociada a cada
escuela. Las variables asociadas son:
a) Nombre de la escuela
e) Ubicacin 1 - Direccin
f) Ubicacin 2 - Localidad
g) Cdigo de Ubicacin 2
i) Cdigo de Ubicacin 3
64 REPORTE TCNICO
t) Cantidad de secciones de 6 (el dato ms actualizado)
u) Turnos en que funciona la escuela (matutino tarde doble turno - jornada completa)
w) Gestin (pblica o privada) (las escuelas de gestin privada que reciben subvencin estatal deben
ser consideradas privadas, salvo que el pas desee establecer un subuniverso explcito que permita
diferenciar ambos tipos de escuelas)
Uruguay solicit que las escuelas de Condicin Social Crtica fueran un subuniverso de su muestra, por lo cual
identic a tales escuelas en el marco muestral.
Las propiedades deseables de los marcos muestrales aplicables a este caso son:
- Cobertura: todas las escuelas del universo investigado se encuentran en el marco (completitud) y cada
unidad del universo a investigar gura una sola vez en el marco29.
- La identicacin y la ubicacin que guran en el marco son sucientes para direccionar al personal de campo
en caso que la escuela sea sorteada en la muestra.
- Calidad: las variables del marco no contienen errores (no contienen errores de importancia).
A los efectos de lograr estimaciones precisas, conables y no sesgadas de los parmetros a investigar, la
Coordinacin Tcnica control que los marcos muestrales cumplan satisfactoriamente con las propiedades
deseables arriba enumeradas.
29 Se recomiend tener un cuidado especial con los locales que albergan dos escuelas, una en el turno de la maana y otra en el turno vespertino.
Para controlar la calidad y actualizacin del marco, una vez seleccionada la muestra, se solicit a la Coordinacin
Nacional que contacte a las escuelas y actualice la informacin sobre cantidades de secciones y alumnos de 3
y 6. Esta informacin actualizada permiti ajustar la asignacin de cuadernillos a los alumnos y se emple a
posteriori por la Coordinacin Tcnica para realizar un anlisis de la calidad de la informacin empleada para
sortear la muestra.
Dado que slo se admitir una escuela suplente por cada escuela titular, es posible que el tamao de muestra
efectivamente alcanzado en el operativo resulte algo inferior al tamao originalmente planeado. Se considerar
que la muestra de un pas es suciente para realizar estimaciones conables si se cumplen a la vez las tres
condiciones siguientes:
a) El tamao de muestra efectivo de escuelas es por lo menos el 80% de las escuelas esperadas en cada
grado y rea.
c) El tamao de muestra efectivo alcanza por lo menos al 80% de los alumnos que concurren efectivamente
a clases.
Tabla 25
Tasa de respuesta (en %) en la muestra de escuelas
100
DESPUS DE LOS REEMPLAZOS
ACEPTABLE
90
80
70
60
50
40
30
20
10
10 20 30 40 50 60 70 80 90 100
ANTES DE LOS REEMPLAZOS
66 REPORTE TCNICO
Las tablas siguientes (26 a la 34) indican los tamaos efectivos y los porcentajes de cumplimiento
para las muestras de alumnos y escuelas en cada pas, por rea y grado evaluados.
68 REPORTE TCNICO
Tabla 28. Comparacin de escuelas esperadas versus escuelas efectivas en la muestra
nal para Lectura 6
70 REPORTE TCNICO
Tabla 30. Comparacin de escuelas esperadas versus escuelas efectivas en la muestra
nal para Matemtica 3
72 REPORTE TCNICO
Tabla 32. Comparacin de escuelas esperadas versus escuelas efectivas en la muestra
nal para Matemtica 6
74 REPORTE TCNICO
Tabla 34. Comparacin de escuelas esperadas versus escuelas efectivas en la muestra
nal para Ciencias 6
76 REPORTE TCNICO
II.8.3. CRITERIOS Y PROCEDIMIENTOS PARA EL CONTROL DE LAS MUESTRAS
REALMENTE OBTENIDAS UNA VEZ CULMINADA LA APLICACIN
a) QUE EL TAMAO DE LA MUESTRA EN CADA ESTRATO FUERA DE AL MENOS DOS ESCUELAS
b) que se dispona del nmero de alumnos que asisten regularmente a clase por seccin de la muestra para
COMPARAR CON EL NMERO DE ALUMNOS QUE HICIERON LAS PRUEBAS CRITERIO DE EXCLUSIN PARA EL ANLISIS
c) CUL FUE LA PROPORCIN DE ALUMNOS PARTICIPANTES EN CADA ESCUELA Y SECCIN
d) QUE EL TAMAO DE LA MUESTRA EFECTIVA DE ESCUELAS FUERA AL MENOS EL DE LA MUESTRA PLANEADA
e) que el tamao de la muestra efectiva de escuelas titulares fuera al menos el 70% de la muestra
PLANEADA
f) que las escuelas de la muestra fueron efectivamente las sorteadas como titulares o, en su defecto, las
SUPLENTES RESPECTIVAS
h) que se lograra la participacin en las pruebas del 80% de los alumnos de cada grado que concurren
EFECTIVAMENTE A CLASES
i) que todas las pruebas y cuestionarios contenan la identicacin precisa del alumno, la seccin, la
escuela y del estrato al que pertenece la escuela.
La simulacin realizada con los datos de dos pases del Primer Estudio Internacional Comparativo, con los
tamaos de muestra propuestos, permite armar que para un nivel de conanza del 95% el error de muestreo en
las pruebas de Lengua y Matemtica ser:
- INFERIOR AL PARA EL CONJUNTO DE TODOS LOS PASES
- DEL ORDEN DEL A NIVEL NACIONAL
- del orden del 10% para los dominios de estudio con una participacin del 40% o ms en la muestra total.
El diseo muestral permita reducir los niveles de error, pero ello requera incrementar la cantidad de escuelas
en la muestra. A los efectos de que los Coordinadores Nacionales tengan una idea aproximada, se estim para
un pas (Argentina), a partir de los datos del Primer Estudio (Matemtica), los tamaos de muestra necesarios
para lograr diferentes niveles de error a nivel nacional (ver Tabla 36). Esta informacin se proporcion ante la
eventualidad de alguno o todos los pases consideraran necesario alcanzar menores niveles de error, para que se
puedan estimar los costos involucrados.
Tabla 36
Ningn pas increment su tamao de muestra con el propsito de mejorar la precisin de sus estimaciones. En el
caso de Uruguay el tamao de la muestra aument a n de obtener precisiones razonables para grupos de escuelas
de inters particular como las de contexto sociocultural crtico y tiempo completo.
En las tablas siguientes (37 a 41) se especica la media y el error de estimacin relativo a la estimacin
puntual en cada rea y grado evaluados.
78 REPORTE TCNICO
Tabla 37. Media y error de precisin relativo de la estimacin puntual para Lectura de 3er grado por pas
Tabla 38. Media y error de precisin relativo de la estimacin puntual para Lectura de 6to grado por pas
Error
Pas rea Media
relativo
Argentina L6 506,45 1,89%
Brasil L6 520,32 2,19%
Colombia L6 514,94 2,12%
Costa Rica L6 563,19 1,10%
Cuba L6 595,92 2,18%
Chile L6 546,07 1,54%
Ecuador L6 447,44 2,05%
El Salvador L6 484,16 1,61%
Nuevo Len L6 542,35 1,22%
Guatemala L6 451,46 1,45%
Mxico L6 529,92 1,76%
Nicaragua L6 472,92 1,11%
Panam L6 472,05 1,53%
Paraguay L6 455,24 1,91%
Per L6 476,29 1,73%
R. Dominicana L6 421,47 1,52%
Uruguay L6 542,15 1,32%
Total ALyC L6 513,02 1,01%
Fuente:Bases de datos SERCE
Tabla 40. Media y error de precisin relativo de la estimacin puntual para Matemtica de 6to grado por
pas
Error
Pas rea Media
relativo
Argentina M6 513,02 1,50%
Brasil M6 499,42 2,31%
Colombia M6 492,71 1,90%
Costa Rica M6 549,33 1,34%
Cuba M6 637,46 3,40%
Chile M6 517,30 1,56%
Ecuador M6 459,50 2,15%
El Salvador M6 471,93 1,56%
Nuevo Len M6 553,94 1,34%
Guatemala M6 455,80 1,25%
Mxico M6 541,60 1,89%
Nicaragua M6 457,93 1,09%
Panam M6 451,59 1,39%
Paraguay M6 468,31 1,79%
Per M6 489,97 2,17%
R. Dominicana M6 415,63 0,95%
Uruguay M6 578,42 1,37%
Fuente:Bases de datos SERCE Total ALyC M6 506,69 1,05%
80 REPORTE TCNICO
Tabla 41. Media y error de precisin relativo de la estimacin puntual para Ciencias de 6to grado por pas
Error
Pas rea Media
relativo
Argentina C6 488,71 1,41%
Colombia C6 504,31 1,73%
Cuba C6 661,73 3,69%
El Salvador C6 479,10 1,38%
Nuevo Len C6 510,68 1,17%
Panam C6 472,51 1,33%
Paraguay C6 469,26 1,37%
Per C6 464,89 1,41%
R. Dominicana C6 426,31 1,11%
Uruguay C6 533,13 1,29%
Total ALyC C6 491,56 0,80%
Fuente:Bases de datos SERCE
Dado que la muestra no es autoponderada, es necesario utilizar ponderadores para representar adecuadamente
a la poblacin. La metodologa planteada en el Manual de muestreo para la aplicacin denitiva sobre el clculo
de los estimadores de las medias as como de sus errores estndar es tericamente correcta, pero tiene algunos
inconvenientes importantes que hacen que su uso sea restringido. Entre los ms importantes estn:
s Es muy difcil derivar las frmulas a emplear para una gran cantidad de estadsticos, por ejemplo los cuan-
tiles.
s En la construccin de estimadores se van arrastrando sesgos de forma considerable cuando los estratos mues-
trales tienen menos de 20 elementos.
sSe diculta la repeticin de los anlisis debido a que se requiere programarlos cada vez.
Por lo anterior, se decidi generar los ponderadores al nivel alumno y utilizarlos para estimar todos los estadsti-
cos necesarios. Para llegar a los ponderadores por alumno fue necesario ajustar la concepcin del diseo muestral
utilizado. El diseo original plantea que en cada escuela se iban a evaluar a todos los alumnos. Esto implica que
el ponderador del alumno deba ser igual al de su escuela. Es decir la probabilidad de seleccionar a un alumno en
particular iba a ser la misma de la probabilidad de seleccionar a su escuela. Sin embargo, por diversas razones,
esto no necesariamente ocurri as. En casos donde, por ejemplo, en cada escuela solamente se evalu al 85% de
los alumnos en promedio, no sera correcto asignar a los estudiantes la probabilidad de seleccin de la escuela.
Para superar este obstculo en el clculo de estimadores puntuales y sus correspondientes errores se consider el
tipo de muestreo como uno bitpico en vez de un unietpico. En este muestreo bietpico, la primera etapa cor-
responde a la seleccin de las escuelas mediante un muestreo aleatorio simple y, la segunda etapa, a la seleccin
de alumnos igualmente como un muestreo aleatorio simple. Esto asumiendo que los estudiantes que no fueron
evaluados se distribuyen aleatoriamente.
82 REPORTE TCNICO
Los pesos fueron calculados como factores de expansin, es decir, como el inverso de la probabilidad de selec-
cin, en correspondencia con este diseo muestral. En el caso de los estudiantes, por ejemplo, el peso o factor
de expansin puede interpretarse como el nmero de estudiantes de su estrato que un alumno representa. En
trminos tcnicos se us la siguiente lgica para calcular los ponderadores al nivel del alumno:
w*hij = whij Nh
h
h = sh whij
Nh = Cantidad de alumnos matriculados en el estrato h
h = Estimado de la cantidad de alumnos matriculados en el estrato h
Un procedimiento similar se utiliz para calcular los factores de expansin a nivel de escuela, realizando un
ajuste para asegurarse que los ponderadores representen al total de la poblacin de escuelas.
Los factores de expansin para las variables de docentes se calcularon considerando el nmero de aulas como
el nmero total de docentes en la escuela, dado que se careca de informacin sobre el nmero total real de
docentes en cada estrato y dominio. Por lo tanto, este mtodo debe tomarse con las reservas del caso, ya que en
contextos donde hay ms de un docente por aula pueden sesgarse las caractersticas de los profesores.
Los factores de expansin de las bases de logro son distintos a los factores de las bases de alumnos y familias.
Dado que todos los estudiantes en las bases de resultados de aprendizaje tienen una puntuacin estimada, se
opt por calcular el factor de expansin en funcin al nmero de estudiantes en cada una de las bases, para
salvaguardar que se hiciera una estimacin adecuada del logro de la poblacin en cada pas. Por ello pueden
existir algunas mnimas diferencias entre los pesos de las bases de resultados del mismo grado pero distinta rea.
En cuanto a las bases de alumnos y familias, los factores de expansin se calcularon independientemente para
cada grado. Se tom como base el nmero total de estudiantes que tuvo puntajes vlidos en al menos una de las
pruebas. Los factores de expansin de alumnos y familias de un mismo grado son iguales, dado que se calcularon
sobre el mismo nmero de estudiantes.
84 REPORTE TCNICO
Utilizando pesos es fcil estimar las medias y totales de la poblacin. Usando la tcnica de los pesos la esti-
macin de las varianzas es ms compleja pues tanto el numero de etapas, la estraticacin posterior y los ajustes
por no respuesta afectan la varianza. Unido a lo anterior hay que agregar el hecho de que se puede requerir vari-
anzas de estadsticas no lineales como la razn o la proporcin para lo cual no resulta trivial obtener estimaciones
insesgadas. Estos hechos han llevado al desarrollo de tcnicas ms sencillas de estimacin de varianzas, aunque
resulten menos precisas. Estas tcnicas se dividen en dos familias. Por un lado, las tcnicas de replicacin, entre
las que se cuentan el mtodo de grupos aleatorios, el de semimuestras reiteradas, el mtodo de Jacknife o de los
estimadores herramentales y el bootstrap o de autogeneracin. Por otro lado, estn los mtodos de linearizacin
(como el de las series de Taylor).
Las estimaciones de varianza en el SERCE se realizaron utilizando el mtodo de linearizacin de Taylor. El propsi-
to del procedimiento de linearizacin con series de Taylor es la aproximacin a la estimacin de inters por
medio de un estimador lineal. La varianza de esta aproximacin lineal es entonces estimada usando los mtodos
estndar de estimacin de varianza disponibles para estimadores lineales.
LEVANTAMIENTO
DE
DATOS
L
a aplicacin de los instrumentos del SERCE, para efectos de levantar los datos requeridos en el estudio,
30
fue realizada directamente por las coordinaciones nacionales de los pases participantes , con la direc-
cin y el apoyo de la coordinacin tcnica del Laboratorio Latinoamericano de Evaluacin de la Calidad de
la Educacin (LLECE-CT), en concordancia con el diseo establecido en el Plan de Trabajo (UNESCO, 2005)
y asegurando el cumplimiento de los Criterios y procedimientos denidos (UNESCO, 2006a).
Los coordinadores nacionales, que participaron activa y permanentemente en todas las etapas del estudio, tu-
vieron un papel esencial en los operativos en campo, donde fue necesario implementar cada uno de los proced-
imientos debidamente probados en la aplicacin piloto y previamente estandarizados en diversos manuales e
instructivos. De esta forma, fueron los responsables de estructurar y organizar la red de aplicacin, convocar y
capacitar a los aplicadores, reproducir y organizar el material, contactar a las escuelas participantes y asegurar
que las condiciones de aplicacin estuvieran de acuerdo con los procedimientos establecidos. Despus de admin-
istrados los instrumentos, fue necesario recuperar todo el material, organizarlo, codicar las respuestas de los
estudiantes a las preguntas abiertas, evaluar las pruebas de escritura y capturar toda la informacin mediante
interfases que permitieron la consolidacin de bases de datos que luego fueron remitidas al LLECE-CT.
30 Cada coordinacin nacional cont con un equipo de trabajo y un responsable, denominado coordinador nacional y designado por el respectivo
pas.
En seguida se describe el papel que desempearon tanto los coordinadores nacionales como los aplicadores
encargados del operativo de campo directamente en cada aula de clase.
III.1.1. COORDINADOR
NACIONAL
Los coordinadores nacionales fueron los principales responsables de la implementacin del proyecto en sus
respectivos pases. Para ello debieron leer y estudiar todos los manuales e instructivos elaborados, principalmente
el manual del coordinador nacional (UNESCO, 2006b), asistir a las reuniones y jornadas de capacitacin que se
efectuaron para asegurar la correcta ejecucin de cada tarea, organizar e implementar cada aspecto previsto y
delegar en representantes de sus equipos algunas de sus funciones. Otra responsabilidad importante consisti en
mantener interlocucin permanente con el LLECE-CT, indicando los requerimientos nacionales de adaptacin de
los procesos establecidos en los manuales y de los propios instrumentos.
Las actividades ejecutadas por los coordinadores nacionales, antes, durante y despus de la aplicacin, fueron
las siguientes (UNESCO, 2006b):
a) Antes de la aplicacin
s Constituir un equipo tcnico y administrativo con el cual pudieron conducir los diferentes procesos
requeridos;
s establecer un sistema que permiti velar por la seguridad del estudio y la condencialidad de los
instrumentos;
s denir fechas de aplicacin de los instrumentos en las escuelas, dentro del perodo de las ocho semanas
anteriores a la terminacin del ao escolar;
88 REPORTE TCNICO
s conformar el marco muestral del pas;
s recibir la muestra nacional y vericar que las cantidades de estudiantes matriculados y asistentes a la
escuelas en los grados tercero y sexto correspondieron con la informacin proporcionada en el marco
muestral;
s establecer contacto con los centros educativos de la muestra, informarlos de la evaluacin y solicitar su
cooperacin;
b) Durante la aplicacin
c) Despus de la aplicacin
s dirigir los procesos de correccin y codicacin de las respuestas a las preguntas abiertas y de evaluacin
de la prueba de escritura;
s organizar la captura de las respuestas a los instrumentos a travs de interfases personalizadas para cada
pas;
s remitir al LLECE-CT un informe de aplicacin junto con la documentacin de soporte requerida, las bases
consolidadas de datos y una submuestra de cuadernillos para el control de calidad de la codicacin de
las respuestas de los estudiantes a las preguntas abiertas.
Los directores tuvieron una funcin de enlace y de canal de comunicacin dentro de las escuelas, para efectos
de sensibilizar a la comunidad educativa acerca del estudio, transmitir el principio de condencialidad de la
informacin recabada, coordinar las actividades requeridas y disponer los elementos de logstica necesarios para
el operativo de aplicacin, siguiendo las instrucciones del Documento Informativo para el Director (UNESCO,
2006c). En especial llevaron a cabo las siguientes tareas:
s prever los aspectos organizativos necesarios para aplicar los instrumentos: disponibilidad de salones,
presencia de docentes y estudiantes en las fechas de aplicacin y forma de administrar el cuestionario
para las familias;
s familiarizacin de los estudiantes con el tipo de prueba, empleando el cuadernillo de ejemplo del anexo
del Documento Informativo (UNESCO, 2006d);
s apoyar a los aplicadores durante los das del operativo facilitando los medios que fueron necesarios;
90 REPORTE TCNICO
III.1.3. APLICADOR
DE INSTRUMENTOS
Los aplicadores fueron los responsables nales de administrar los instrumentos en cada escuela seleccionada
en la muestra. Para ello debieron observar rigurosamente todos los procedimientos establecidos en el manual
del aplicador y en el documento sobre pautas para la aplicacin de los cuestionarios (UNESCO, 2006d, 2006e), y
seguir las indicaciones recibidas en el proceso de capacitacin. Sus tareas fueron:
s establecer contacto con la escuela y coordinar con sus autoridades todos los aspectos que garantizaron
que la evaluacin se realiz con las mejores condiciones posibles;
s llenar los datos en las cartulas de los instrumentos de acuerdo con los cdigos asignados a cada
estudiante31, aula y escuela;
s aplicar los instrumentos a los estudiantes siguiendo estrictamente las pautas de aplicacin previstas;
s llevar registro de la asistencia de los estudiantes a las sesiones de evaluacin, de los incidentes
presentados y de las condiciones de evaluacin, completando los formularios respectivos;
31 Cada estudiante fue identicado con un cdigo de diez dgitos: los dos primeros para denotar el pas; el tercero, cuarto y quinto dgitos para la
escuela, el sexto dgito para el grado; el sptimo y octavo dgitos para el aula; y el noveno y dcimo dgitos para el consecutivo del estudiante dentro del aula.
A continuacin se describen las principales operaciones en campo que fueron realizadas en la fase de
implementacin del proyecto, desde la adaptacin de las versiones de instrumentos y manuales estandarizados
para su aplicacin en cada pas, hasta el envo de las bases de datos y del informe de aplicacin.
Aprobada la versin nacional de las pruebas de cada pas, se procedi a su diagramacin y envo en archivo
digital en formato .pdf al respectivo coordinador nacional, quien efectu una ltima revisin y aprobacin de esta
versin. Luego, cada pas reprodujo la cantidad exacta necesaria de cuadernillos para evaluar a los estudiantes de
su muestra, evitando, por razones de seguridad, la reproduccin de ejemplares adicionales, y manteniendo intacto
(sin nuevas modicaciones) el contenido del archivo con la versin nacional. En el caso de los cuestionarios, las
coordinaciones nacionales recibieron los archivos en versin digital en formato .doc; luego, tras la aprobacin de
sus pedidos de adaptacin, fueron facultadas para introducir los cambios respectivos.
Para la impresin de las pruebas y los cuestionarios, los pases siguieron las pautas proporcionadas: papel de 80
gramos/m2 o superior, color blanco (con 90% de blancura como mnimo), formato cuadernillo deseablemente
abrochado con dos ganchos o grapas e impresin en blanco y negro.
Las pruebas de lectura, matemtica y ciencias tuvieron seis tipos distintos de cuadernillos cada una, mientras
que la de escritura tuvo dos. La forma de distribucin de los cuadernillos entre los estudiantes fue en espiral,
para asegurar una cantidad similar de cuadernillos aplicados de cada tipo al nivel de aula, escuela y pas. La
distribucin de cuadernillos y cuestionarios, indicando los instrumentos asignados a cada estudiante, de acuerdo
32
con la muestra a evaluar, fue colocada en el formulario de registro de asistencia F2 .
Los sistemas de embalaje y distribucin de materiales variaron segn los pases, pero aseguraron en todos
los casos que los aplicadores llevaron consigo la cantidad de cuadernillos y cuestionarios establecida en el
mencionado formulario F2.
32 Para cada aula se dise un formulario F2 cuyo formato se dispuso en el anexo 2 del manual del aplicador.
92 REPORTE TCNICO
III.2.2. CONVOCATORIA
Y CAPACITACIN DE APLICADORES
Los coordinadores nacionales convocaron personas con el perl apropiado y luego los capacitaron para
realizar la aplicacin de forma apropiada. En especial se tuvo en consideracin que los candidatos cumplieran las
siguientes condiciones:
s profesional con experiencia docente en educacin bsica o estudiante de educacin prximo a egresar
con experiencia de prcticas profesionales en aula. Tambin se admitieron estudiantes de los ltimos
dos aos de psicologa o profesionales con experiencia en reas anes a evaluacin de grupos o
enseanza;
s con habilidades para la conduccin de grupos de nios, manejo uido de la lengua materna del lugar
donde se encuentran las escuelas y buen nivel de diccin, para la lectura apropiada de instrucciones;
s con buen nivel de comprensin lectora, para el seguimiento de instrucciones y pautas dadas en los
manuales;
s digno de conanza y sin vnculo laboral con las escuelas que formaron parte de la muestra;
s asertivo y seguro de s mismo a la vez que exible para adaptarse rpidamente y dar respuesta eciente
a situaciones imprevistas.
Luego de la convocatoria y seleccin del grupo de aplicadores, se organiz la capacitacin respectiva con el
apoyo de la pauta ofrecida en el anexo 2 del manual del coordinador nacional (UNESCO, 2006b). Fue necesario
capacitar cerca de un 10% ms de candidatos a aplicadores que los requeridos para el operativo, con el n de
poder efectuar reemplazos en los casos de ausencia de los aplicadores seleccionados.
Cada aplicador recibi el manual del aplicador (UNESCO, 2006d) con una semana de anticipacin a la capacitacin,
para su estudio y apropiacin de las estrictas medidas de condencialidad en la administracin del material.
Igualmente, los aplicadores recibieron ejemplares de los cuestionarios para conocer su contenido y poder
responder preguntas alusivas a la forma como debieron llenarse. La capacitacin de los aplicadores tuvo una
duracin mnima de seis horas, adems del tiempo destinado a asuntos administrativos como asignacin de aulas,
entrega de materiales y explicacin de rutas de acceso. Los aplicadores ya capacitados fueron certicados por
el coordinador nacional, quien les expidi la identicacin requerida para establecer contacto con las escuelas,
antes de la fecha prevista para la aplicacin, con el propsito de conrmar los planes del operativo y la asistencia
de los estudiantes y docentes en los das previstos para llevar a cabo esta aplicacin.
33
Por otra parte, los aplicadores, cuando recibieron el respectivo material, llenaron y rmaron el formulario F1 y
un Acuerdo donde asumieron el compromiso de:
33 Para cada aplicador se dise un formulario F1 cuyo formato se dispuso en el anexo 1 del manual del aplicador.
s no conservar ni dejar en las escuelas ningn ejemplar o copia de de ninguna prueba o temes de pruebas
o borradores de dichos materiales, ni permitir copia de los mismos;
s no divulgar por ningn medio a personas no autorizadas el contenido de los materiales antes
mencionados.
III.2.3. APLICACIN
DE LOS INSTRUMENTOS
En la fecha prevista de aplicacin (cuadro III.2.3.1), los aplicadores se hicieron presentes en la escuela
respectiva, presentaron su identicacin y localizaron el aula asignada, tomaron registro de asistencia de los
estudiantes y llenaron las cartulas de los instrumentos segn los cdigos indicados para cada estudiante en el
formulario F2. Luego, los aplicadores cumplieron con los siguientes estndares de aplicacin:
s respetar el cronograma, es decir, la secuencia de las evaluaciones y los tiempos de pausa entre ellas;
s respetar el tiempo de evaluacin dentro de cada sesin e informar oportunamente a los estudiantes
sobre la duracin, inicio, prrroga y trmino del mismo;
s cuidar que no ingresaran docentes u otras personas ajenas al proceso de evaluacin a las sesiones de
aplicacin de las pruebas a estudiantes;
s asegurar que los estudiantes contaran con los materiales necesarios para responder la prueba y que no
emplearan materiales no permitidos como calculadoras, telfonos celulares u otros;
s leer en voz alta y junto con el grupo las cartulas e instrucciones de cada prueba, asegurando que los
estudiantes comprendieron cmo marcar o escribir sus respuestas;
s mantener una actitud de apoyo durante la evaluacin para sostener un clima apropiado de trabajo,
supervisando que los estudiantes comprendieron las instrucciones;
s evitar ofrecer cualquier tipo de informacin no prevista en el manual que pudiera traducirse en ayuda
para responder, como por ejemplo explicar el signicado de palabras o dar cualquier tipo de orientacin
sobre el contenido de la prueba;
s recoger los cuadernillos y contarlos para asegurarse de tener el material completo, una vez que la sesin
concluy.
94 REPORTE TCNICO
Adems de la aplicacin de pruebas, los aplicadores administraron los cuestionarios a los propios estudiantes,
a sus padres, a docentes y a directores, brindando apoyo a los actores encuestados para que entendieran los
diferentes formatos de los cuestionarios, dando orientaciones para favorecer una mejor comprensin de los
contenidos de algunas preguntas.
34
Finalmente, los aplicadores llenaron el formulario F3 , organizaron todo el material y luego lo retornaron a la
coordinacin nacional. El formulario F3 permiti registrar los incidentes presentados, al momento de responder
los instrumentos, as como la solucin ofrecida por el aplicador.
34 Para cada aplicador se dise un formulario F3 cuyo formato se dispuso en el anexo 4 del manual del aplicador.
El retorno del material se organiz de diferente manera segn los mecanismos solicitados y aprobados para
cada pas. En todos los casos, se requiri a los aplicadores un conteo nal de los instrumentos y su registro en
el formulario F1, para vericar la devolucin de todo el material. El registro incluy una columna con el conteo
inicial del material entregado al aplicador y otra con el conteo nal del material devuelto, tanto respondido por
estudiantes, padres de familia, docentes o directores, como en blanco, en caso de no haber sido utilizado.
Las coordinaciones nacionales aprovecharon esta instancia de conteo para corregir los errores detectados en la
informacin registrada en las cartulas. Luego, organizaron los cuadernillos de las pruebas y los cuestionarios,
para adelantar los procesos de codicacin de respuestas abiertas de matemtica y ciencias y de evaluacin de la
prueba de escritura, as como el de captura de datos. Despus, debieron almacenar el material en un lugar seguro
por un plazo no menor de seis meses y en seguida procedieron a destruir todo este material.
III.2.5. CODIFICACIN
DE RESPUESTAS ABIERTAS
Para asegurar la misma metodologa en la codicacin de las respuestas abiertas de las pruebas de matemtica
y ciencias, se establecieron manuales e instructivos que debieron seguirse cabalmente, se brindaron talleres de
capacitacin y se mantuvo un apoyo permanente en lnea a los equipos nacionales responsables de esta tarea.
La prueba de ciencias se dise con seis tems abiertos, mientras que la de matemtica con seis tems abiertos
en tercer grado y con nueve tems abiertos en sexto grado. Para codicar las respuestas se siguieron las pautas
indicadas en los instructivos para organizar los procesos de codicacin (UNESCO, 2006j, 2006k) y los criterios
sealados en los manuales para la codicacin (UNESCO, 2006m, 2006n). Para la codicacin se emple el
modelo de crdito parcial con un cdigo de dos dgitos, donde el primero indica el crdito otorgado (nulo, parcial
o total) y el segundo permite identicar el tipo de proceso seguido por el estudiante.
El primer dgito correspondi a crdito total, cuando la respuesta fue correcta; crdito parcial, si la respuesta mostr
que el estudiante maneja parte de los procesos que evala el tem pero con algunos errores en el procedimiento,
es decir si la respuesta fue parcialmente correcta; y crdito nulo cuando la respuesta fue incorrecta. El segundo
dgito recogi el proceso empleado por el estudiante para responder el tem, en el caso de crdito total o parcial,
o el tipo de error cometido en el caso de crdito nulo. Adicionalmente se consideraron cdigos especiales para
situaciones de ausencia de respuesta o para tem no administrado (por ejemplo por problema de impresin en el
cuadernillo o falta de pgina con el tem).
96 REPORTE TCNICO
Para llevar a cabo adecuadamente el proceso de codicacin, los coordinadores nacionales realizaron las siguientes
actividades:
s revisar los manuales y los instructivos, proponer los ajustes respectivos y luego aprobarlos;
s enviar un representante con conocimiento en cada rea al taller de capacitacin en el uso del manual y
en la implementacin del proceso;
s convocar entre tres y cinco codicadores por prueba y grado que cumplieran con el perl adecuado para
hacer el trabajo;
s ubicar un espacio adecuado para realizar el trabajo que, adems, debi cumplir con las condiciones
necesarias para el resguardo seguro de los cuadernillos;
s enviar al LLECE-CT la submuestra de 30 cuadernillos por cada codicador (por rea y grado), una vez que
las bases de datos del pas remitidas fueron aprobadas.
a) Taller de capacitacin
Cada representante fue responsable de replicar la capacitacin con los codicadores de su pas, de supervisar la
adecuada implementacin de todas las etapas del proceso, de codicar el grupo de respuestas que le correspondi
y adems actu como punto de enlace para consultar y resolver las dudas que surgieron durante la codicacin.
Durante el taller, que fue dirigido por los coordinadores de los paneles de expertos de cada rea, los participantes
codicaron decenas de ejemplos reales, seleccionados de las aplicaciones realizadas hasta entonces en los pases
de calendario norte. Estos ejemplos fueron ilustrativos del uso de los diferentes cdigos y representativos de
respuestas inesperadas o difciles de calicar. Concluido el taller, se recogieron por consenso las sugerencias
de mejoras en cada descripcin para luego precisar la redaccin de los criterios que conformaron el respectivo
manual en la versin denitiva. Dos semanas despus del taller, cada pas recibi todo el material necesario para
iniciar la codicacin de manera descentralizada.
De acuerdo con lo dispuesto en los manuales e instructivos, el pas trabaj con un mximo de cinco codicadores
35
por rea y grado , incluyendo al representante que asisti al taller de capacitacin. Antes de iniciar el trabajo, el
material fue organizado para distribuir las respuestas de los estudiantes de una misma aula entre los diferentes
codicadores, minimizando as el sesgo al interior de un aula, se veric la informacin de las cartulas de los
cuadernillos seleccionados y se separaron en un grupo los correspondientes a los estudiantes presentes y en otro
grupo los que quedaron en blanco.
Con los cuadernillos respondidos se formaron tres pilas, cada una con los mismos tems abiertos: la primera pila,
con los cuadernillos uno y cuatro; la segunda, con los cuadernillos dos y cinco; y la tercera, con los cuadernillos
tres y seis. Luego se orden cada pila en forma ascendente, segn el cdigo del cuadernillo, y nalmente se
distribuyeron alternadamente los cuadernillos entre los codicadores responsables del grado y rea, de forma que
cada grupo de aula qued repartido en partes iguales entre todos ellos.
Los codicadores debieron sujetar estrictamente sus valoraciones a los criterios indicados en el manual, para cuyo
empleo fueron capacitados y evaluados por el representante que asisti al taller internacional. La capacitacin
fue una rplica del taller realizado en Santiago de Chile, pero los pases pudieron incluir mayor nmero de
ejemplos locales a n de facilitar la comprensin de los criterios. Durante la codicacin, en jornadas de menos
de cinco horas, para evitar el efecto del cansancio, el representante actu como supervisor de todo el proceso y
debi resolver las dudas presentadas o tramitarlas con el coordinador del panel de expertos.
35 Si bien originalmente el nmero de codicadores establecido por rea y grado fue tres, ste se ampli hasta cinco en respuesta al pedido de varios
pases participantes.
98 REPORTE TCNICO
III.2.6. EVALUACIN
DE LA PRUEBA DE ESCRITURA
De manera anloga a la codicacin de las respuestas abiertas de matemtica y ciencias, los pases evaluaron
en forma descentralizada las pruebas de escritura, teniendo en cuenta que el proceso fue ms complejo y requiri
mayores controles, debido a la naturaleza y objetivos de esta prueba, que comprendieron la valoracin de 19
aspectos en tercero y 22 aspectos en sexto grado. Adems, aunque el estudiante debi sujetarse a una consigna,
previamente probada y ajustada de acuerdo con los resultados de la aplicacin piloto, la naturaleza del estmulo
gener diversos tipos de respuestas.
a) Talleres de capacitacin
Se organizaron dos talleres dirigidos a capacitar a los representantes de los pases, quienes luego tuvieron
a su cargo la capacitacin del grupo de correctores de su pas y la supervisin del proceso. El primer taller fue
atendido por todos los pases de manera obligatoria, mientras que el segundo fue optativo y busc reforzar a
aquellos con menos experiencia en el tema. Debido al carcter pionero de esta evaluacin, el manual para la
evaluacin de las pruebas de escritura (UNESCO, 2006o), utilizado cono referente conceptual y metodolgico
para llevar a cabo el proceso, present el marco terico adoptado de manera extensa, incluyendo un glosario
terminolgico y los criterios para valorar cada aspecto considerado.
Los participantes recibieron con dos semanas de anticipacin a la fecha de realizacin de cada taller toda la
documentacin requerida, de manera que pudieron estudiarla y llegar al taller con sus consultas y dudas por
escrito. Los talleres fueron adems el espacio de discusin y de construccin de consensos, acerca de la forma
de organizar el proceso con varios correctores, emplear los criterios acordados para interpretar distintos tipos
de textos, utilizar las planillas diseadas para valorar cada aspecto de la escritura, anar el respectivo manual
y constituir una red de correctores en la regin, para intercambiar distintas inquietudes y lograr los acuerdos
respectivos.
b) Implementacin de la correccin
Siguiendo las indicaciones del instructivo para organizar los procesos de evaluacin (UNESCO, 2006l), se
utiliz solo una muestra de los instrumentos aplicados, debido a que el nmero de cuadernillos fue solo dos y
no seis como en las dems reas. Este diseo redujo signicativamente el tamao requerido de muestra, para
inferir los resultados con un nivel de precisin estadstica de 95% de conanza al interior de los pases. Pese
a ello, la decisin de aplicar la prueba de escritura a todos los estudiantes del grupo presentes en el da de la
evaluacin, respondi a facilitar la logstica, pues de lo contrario hubiera sido necesario retirar estudiantes de
las aulas, lo que podra generar desorden en la escuela y eventualmente sesgo por una escogencia no aleatoria
de los estudiantes.
As se logr que cada cuadernillo fuera corregido por dos personas distintas y pudieron enlazarse las correcciones
de todos los correctores con un nmero similar de cuadernillos en comn en cada pareja posible.
Previo al proceso de captura, se ofreci un taller de capacitacin en el manejo de la interfase diseada para
la captura de los datos, dirigido a los representantes de los pases que estuvieron a cargo de este proceso. Los
participantes, quienes debieron en lo posible dominar el manejo de bases de datos, recibieron antes del taller
los documentos de referencia, conformados por la versin piloto del software desarrollado, el manual de captura
de datos y el manual de usuario. Durante el taller, donde cada participante llev una muestra de cuadernillos de
su pas, para efectos de probar el uso de cada una de las utilidades del software, se revisaron y precisaron por
consenso todos los procedimientos previstos.
Tras el taller y luego de los ajustes pertinentes, los pases recibieron la versin denitiva del manual de captura
de datos (UNESCO, 2006p) y el manual del usuario Software de captura de datos (UNESCO, 2006q). Ms adelante,
se dispuso la versin estndar 3.2 del software desarrollado, con todas las utilidades implementadas, para iniciar
el proceso de captura en los pases con calendario norte. Despus, se hicieron actualizaciones y anamientos
al software, corrigiendo algunas novedades detectadas, y nalmente se liber la versin 3.4, con una interfase
(esquema III.2.7.1) que incorpor nuevos requerimientos.
36
As, el software comprendi las siguientes utilidades :
s generacin de listados de escuelas, aulas por escuela y estudiantes por aula y escuela;
36 El software fue desarrollado por un equipo tcnico de tres ingenieros de sistemas del Instituto Colombiano para el Fomento de la Educacin Superior
(ICFES), con base en los lineamientos de diseo del LLECE-CT.
Soportado por: ICFES - Grupo de Informatica Bogot D.C. , Colombia. V Def. 3,4, Octubre 24 de 2006
e- mail: sercesoporte@hotmail.com jquiroga@icfes.gov.co
Telfono: (057) 13346269 , (057) 1 3387338) ext. 310
Durante las doce semanas siguientes a la fecha de aplicacin, los pases organizaron sus equipos de digitacin,
realizaron la captura de los datos y consolidaron y remitieron las bases al LLECE-CT, donde se inici un proceso de
depuracin interactivo con los mismos pases, hasta aprobar dichas bases cuando se cumpli con las condiciones
requeridas.
Para acompaar el trabajo de los pases, se dispuso un sistema de consultas sobre el uso del software y de
solucin de dudas que oper de manera permanente, apoyando distintas tareas, desde la personalizacin del
software y la importacin de datos hasta la generacin de tablas especcas con la identicacin de los registros
duplicados, registros incompletos o campos con valores fuera del rango vlido. Es importante sealar que por
regla general, los mismos pases fueron los responsables de corregir todas las novedades encontradas hasta lograr
una base depurada.
Los coordinadores nacionales elaboraron y remitieron al LLECE-CT un informe de aplicacin nacional, de acuerdo
con un formato diseado para el efecto y entregado dentro de las dos semanas posteriores al envo de las bases de
datos, con el n de recabar datos ciertos acerca de la calidad del operativo. El informe incorpor una relacin de
las dicultades encontradas y valor las principales operaciones: adecuacin de los instrumentos, seleccin de la
muestra, constitucin de la red de aplicacin (convocatoria, seleccin y capacitacin de aplicadores), supervisin
del trabajo de los aplicadores, codicacin y captura de datos. Adems, reri aspectos sobre los mecanismos de
condencialidad empleados, la calidad y uidez de las comunicaciones con el LLECE-CT y los posibles errores o
sesgos detectados en las pruebas a partir de su aplicacin en campo (UNESCO, 2006r).
En todo caso, se emple como referente de aplicacin de calidad aquella que se realiza organizadamente, con
procedimientos estandarizados en todas las escuelas participantes, con personal formalmente capacitado, con
respeto a los estudiantes evaluados y a la organizacin escolar, con informacin oportuna a todos los actores
involucrados, con medidas de seguridad para resguardar la integridad y condencialidad del material, con una
mnima proporcin de instrumentos no contestados y con bajos ndices de incidencias durante la aplicacin.
El coordinador nacional, adjunto al envo fsico de un ejemplar del informe aplicacin nacional rmado por l,
remiti los siguientes documentos de respaldo:
s fotocopia de todos los formularios F2, con el registro de asistencia de los estudiantes;
s fotocopia de todos los formularios F3, con el registro de los incidentes de las sesiones de evaluacin.
Una vez aprobada la primera versin de la base de datos, se seleccionaron 30 cuadernillos por cada persona
responsable de codicar las respuestas a los tems abiertos de matemtica y de ciencias, tanto para tercero
como para sexto grado. La seleccin se realiz ordenando todos los cuadernillos segn el cdigo de codicador,
manteniendo el orden original de los registros en la base recibida, y tomando luego los primeros 30 cuadernillos
de cada grupo con cdigo consecutivo de aula igual a 09. Cuando el nmero de cuadernillos no lleg a 30, para
un determinado codicador, se utilizaron cuadernillos de los estudiantes 08, 07, y as sucesivamente, hasta
completar la cantidad requerida. El criterio del cdigo consecutivo igual a 09 fue emprico, pues con un menor
valor se concentraba la muestra en las escuelas ms pequeas y con un mayor valor la concentracin se localizaba
en las escuelas ms grandes.
Los coordinadores nacionales ubicaron y remitieron al LLECE-CT estos cuadernillos fsicos y luego se procedi a su
recorreccin centralizada, por parte de los coordinadores de los paneles de expertos. Adicionalmente, adjuntaron
los cuadernillos de escritura del Grupo A mencionado en el apartado III.2.6, que tambin fueron luego corregidos
por parte de la coordinadora y un experto del panel respectivo.
III.3. SISTEMA
DE SUPERVISIN EXTERNA
Con el propsito de asegurar de calidad del estudio, se implement un mecanismo de supervisin externa
que permiti, de una parte, incentivar a todos los actores involucrados en la fase de aplicacin a ajustarse a
los procedimientos establecidos, en la medida en que cualquiera poda ser objeto de observacin, y de otra
parte, valorar la medida en que estos procedimientos fueron observados y atendidos por los pases. Para ello, se
conformaron equipos de monitores externos en cada pas que fueron liderados por un observador internacional,
nominado por otro pas y seleccionado por el LLECE-CT, teniendo en cuenta su perl y disponibilidad de tiempo
para ejercer las funciones previstas en el respectivo instructivo (UNESCO, 2006f).
La funcin del observador internacional fue garantizar que en cada pas existiera un registro externo de las
condiciones de aplicacin, que sirvi posteriormente para analizar si el modo en que se organiz e implement
la aplicacin de las pruebas y dems instrumentos se ajust sucientemente a lo estipulado.
Para la seleccin de los observadores internacionales se solicit a los coordinadores nacionales la nominacin
de dos a tres personas con disposicin a realizar esta funcin. Los nominados deban pertenecer al equipo de la
coordinacin nacional y tener experiencia en la supervisin o conduccin de grandes operativos de evaluacin,
nacionales o internacionales. Los propios coordinadores nacionales pudieron nominarse como candidatos a
observadores. Junto con los nombres propuestos por cada pas, se solicit indicara las fechas en que cada persona
dispona de cinco das tiles corridos para viajar a otro pas a realizar este trabajo.
Luego, se seleccionaron las personas que cumplieron con el perl mencionado y que tuvieron disposicin para
viajar al pas asignado, en las fechas de aplicacin denidas, desde los dos das tiles anteriores al primer da de
aplicacin hasta por lo menos dos das despus de iniciada esta aplicacin, procurando involucrar representantes
de la mayor cantidad posible de pases. Para el caso del observador internacional que supervis la aplicacin en
Brasil, fue necesario, adems, considerar el manejo uido de la lengua portuguesa.
En los pases donde no fue posible conseguir un observador nominado por otro pas, se contrat a una consultora
externa para cumplir con esta funcin. Es importante sealar que integrantes del LLECE-CT visitaron algunos
pases para valorar el funcionamiento de los instrumentos y procesos en campo e incluso visitaron escuelas en
calidad de monitores externos, pero en ningn caso fungieron como observadores internacionales.
Las principales tareas encargadas al observador internacional, debidamente detalladas en el respectivo instructivo
fueron (UNESCO, 2006f):
s LLEGAR AL PAS ASIGNADO CON ANTELACIN AL INICIO DE LA APLICACIN VISITAR EL CENTRO NACIONAL Y ENTREVISTARSE
con el coordinador nacional y otros integrantes del equipo, siguiendo una pauta de trabajo;
s REALIZAR EL ENTRENAMIENTO DE LOS MONITORES EXTERNOS Y HACER LOS ARREGLOS ADMINISTRATIVOS REQUERIDOS PARA
su labor y la distribucin de recursos necesarios para su trabajo;
s SELECCIONAR LAS ESCUELAS QUE FUERON VISITADAS Y ASIGNARLAS A LOS MONITORES EXTERNOS CUIDANDO QUE LA
coordinacin nacional no conociera el resultado de la asignacin;
s RECIBIR LOS INFORMES DE LOS MONITORES EXTERNOS Y ELABORAR EL 2EPORTE DE !PLICACIN DE ACUERDO CON EL
formato establecido para el efecto.
III.3.2. SELECCIN
DE LOS MONITORES EXTERNOS
El principal papel del monitor externo fue observar sesiones de evaluacin en las escuelas participantes
y registrar, utilizando un formulario especco, todo aquello que en mayor o menor grado se apart de los
procedimientos estipulados en el manual del aplicador. Para su seleccin se solicit previamente a las
coordinaciones nacionales la nominacin de diez candidatos a monitores externos, que debieron cumplir con los
siguientes requisitos (UNESCO, 2006g):
s TENER EXPERIENCIA EN EDUCACIN CONOCIMIENTO DEL SISTEMA EDUCATIVO Y DEL FUNCIONAMIENTO DE LAS ESCUELAS
primarias y ser capaz de relacionarse positivamente con docentes y estudiantes;
s NO TENER RELACIN FUNCIONAL NI FAMILIAR CON LOS INTEGRANTES DE LA COORDINACIN NACIONAL NI CON LAS REAS
centrales del Ministerio de Educacin (condicin excluyente) y tener preferiblemente experiencia previa
en operativos nacionales de evaluacin;
s SER CAPAZ DE REPRESENTAR POSITIVAMENTE A LA 5.%3#/ ANTE LAS ESCUELAS DE CONDUCIR SU TRABAJO CON
autonoma e independencia de la coordinacin nacional y de comunicarse efectivamente con el LLECE-CT
a travs de correo electrnico;
s lRMAR UN COMPROMISO DE CONlDENCIALIDAD RESPECTO A TODOS LOS MATERIALES CON LOS QUE TUVO CONTACTO
especialmente los cuadernillos de las pruebas (UNESCO, 2006h).
Entre los candidatos nominados por los propios pases, se seleccionaron tantos monitores externos como fue
necesario, para asegurar la visita a un nmero mnimo de 20 escuelas en cada pas y con registro de al menos
dos sesiones en cada escuela, considerando aspectos como fechas de la aplicacin y localizacin geogrca de
las escuelas.
Para garantizar unicidad en la supervisin de las aplicaciones, los observadores internacionales capacitaron
a los monitores externos, siguiendo las indicaciones del instructivo (UNESCO, 2006f). Para ello, se concert una
sesin de trabajo de al menos cuatro horas de duracin con los monitores ya seleccionados, quienes previamente
recibieron y estudiaron la documentacin requerida, en especial el manual del monitor externo (UNESCO,
2006g).
En esta sesin, el observador internacional explic los objetivos de la supervisin externa y la forma de realizar
cada actividad, despej las dudas que surgieron, resolvi los temas administrativos asociados con los traslados
de los monitores, deni las escuelas que cada monitor debi visitar y pidi completar los formularios de
observacin por escrito, en el momento de las visitas a las escuelas. Los formularios de observacin se realizaron
a razn de uno por cada escuela visitada y se remitieron al observador internacional en un plazo no mayor de diez
das luego de la fecha de realizacin de las visitas.
Cada observador internacional recibi un listado con cerca de 60 escuelas del pas asignado, que fueron
preseleccionadas como candidatas a ser visitadas, teniendo en cuenta el criterio de diversidad, en trminos de
localizacin geogrca, tamao y cantidad de aulas y estratos de ruralidad (urbano y rural) y de sector (pblico,
privado y privado subsidiado). A partir del listado, el observador internacional seleccion las escuelas que fueron
visitadas, de acuerdo con los siguientes criterios:
s CUMPLIR CON LA CUOTA MNIMA DE ESCUELAS OBSERVADAS EN CADA PAS37;
s ABARCAR DISTINTAS REGIONES DEL PAS ENTRE DOS Y CUATRO SIEMPRE Y CUANDO FUERAN ACCESIBLES A LOS
monitores;
37 En Ecuador y Colombia, que tuvieron dos perodos de aplicacin diferentes, uno para cada uno de los dos calendarios ociales, debieron observarse
al menos ocho escuelas en el calendario norte (mayo-junio) y 12 en el calendario sur (segundo semestre de 2006).
s ECONOMA DE DESPLAZAMIENTOS ASIGNANDO A UN MONITOR ESCUELAS LOCALIZADAS EN LA MISMA REGIN
s VARIEDAD DE TIPOS DE ESCUELA ASEGURANDO OBSERVAR UN MNIMO DE CUATRO ESCUELAS DE CADA UNA DE TRES
categoras propuestas: urbana grande, urbana mediana o pequea, y rural. Adems, debieron incluirse
escuelas ubicadas en estratos socioeconmicos diferentes y en sectores distintos (pblico, privado y
privado subvencionado).
III.3.5. VISITA
AL CENTRO NACIONAL
El observador internacional, adems de organizar al equipo de monitores y visitar personalmente al menos tres
escuelas, realiz una visita al centro nacional con el propsito principal de revisar el modo como fueron desarrollados
cada uno de los procesos previstos. El observador internacional se entrevist con el coordinador nacional para
apreciar directamente la estructura disponible y recoger informacin sobre los siguientes aspectos:
s CONSTITUCIN E INTEGRANTES DEL EQUIPO NACIONAL RESPONSABLE DE LA IMPLEMENTACIN TAREAS QUE SE REALIZARON
directamente y aquellas que fueron contratadas con terceros;
s COMUNICACIN CON LAS ESCUELAS Y ADECUACIN DEL MODO DE IMPLEMENTACIN DEL ESTUDIO A LOS PROCEDIMIENTOS
estndar estipulados en los manuales e instructivos;
s ORGANIZACIN PREVISTA PARA LA CODIlCACIN DE PREGUNTAS ABIERTAS LA CORRECCIN DE LA PRUEBA DE ESCRITURA
y la captura de datos;
s PRINCIPALES DIlCULTADES Y PROBLEMAS ENCONTRADOS GRADO DE SATISFACCIN CON LA ORGANIZACIN DEL 3%2#% Y
el apoyo recibido desde el LLECE-CT.
Los monitores externos y el propio observador internacional debieron llegar a las escuelas, con al menos 45
minutos de anticipacin al inicio de la aplicacin, y presentarse ante el director en nombre de la UNESCO, con
una carta acreditacin. En seguida, llevaron a cabo las siguientes tareas:
s INFORMAR BREVEMENTE AL DIRECTOR Y AL APLICADOR ACERCA DEL SENTIDO DE SU PRESENCIA EN LA ESCUELA PARA
monitorear el desarrollo de la aplicacin, con el n de identicar si las pruebas fueron aplicadas de
manera similar en todos los pases participantes;
s OBSERVAR Y REGISTRAR LAS ACTIVIDADES SEGN LO PAUTADO EN EL FORMULARIO RESPECTIVO INCLUYENDO EL MODO
como los materiales llegaron a la escuela, condiciones del lugar donde se desarroll la prueba, horarios
de llegada del aplicador, inicio y n de cada parte de las sesiones, asistencia de los estudiantes y
distribucin de las pruebas, presencia de otras personas dentro del aula, instrucciones dadas por el
aplicador y el modo como sigui el guin, comportamiento de los estudiantes durante la prueba e
incidentes importantes, modo como el aplicador recogi y contabiliz los cuadernillos de prueba y
los cuestionarios, modo como se empacaron los materiales y como se hizo el protocolo de cierre de
aplicacin con el director de la escuela;
s COMPLETAR UN FORMULARIO DE OBSERVACIN EXTERNA POR CADA ESCUELA VISITADA
A partir de los datos colectados durante la visita al centro nacional y de la informacin recabada en los
formularios de observacin externa, cada observador internacional elabor un reporte nal, siguiendo el formato
denido para este efecto (UNESCO, 2006i). El reporte nal, que tuvo como insumos los formularios de observacin
externa, la pauta completada durante la entrevista con el equipo de la coordinacin nacional y un resumen de las
impresiones logradas sobre las aplicaciones supervisadas, se estructur con los siguientes elementos:
s DESCRIPCIN DE ACTIVIDADES REALIZADAS DURANTE LA VISITA AL PAS Y RESUMEN DE ESTADSTICAS GENERALES DE LAS
sesiones observadas;
s DESCRIPCIN DE HECHOS RELEVANTES Y RELACIN DE SESIONES QUE NO PUDIERON INICIARSE EN FORMA PUNTUAL
formularios F2 que no fueron llenados previamente a la aplicacin, cartulas de instrumentos que no
fueron llenadas de acuerdo con el formulario F2, sesiones donde el espacio de aplicacin no fue apropiado
o estudiantes que emplearon materiales no autorizados;
s RELACIN DE SESIONES EN LAS QUE SE MODIlC EL ORDEN DE APLICACIN ESTABLECIDO SE DETECTARON ERRORES DE
impresin en los instrumentos, se produjeron desvos relevantes respecto del guin indicado, estudiantes
salieron y entraron al aula durante la aplicacin, adultos ajenos al operativo estuvieron presentes,
aplicadores ayudaron a los estudiantes a responder o estudiantes copiaron de sus compaeros;
s ACTITUD DE LOS ESTUDIANTES PARA MANTENERSE EN ORDEN COOPERAR CON LA APLICACIN MOSTRAR INTERS Y
motivacin, procurar su mayor esfuerzo por responder lo mejor posible cada instrumento o mostrar
seales de cansancio.
Las caractersticas del operativo de levantamiento de los datos qued reejado en distintos ndices que aparecen
en las secciones 2, 3 y 4, y en los apndices B y C, del reporte sobre control de calidad (UNESCO, 2007).
ASEGURAMIENTO
DE
LA CALIDAD
E
ste informe presenta los resultados de los procedimientos de aseguramiento de calidad aplicados durante
el Segundo Estudio Regional Comparativo y Explicativo (SERCE). Estos procedimientos han sido compo-
nentes integrales de las etapas de diseo e implementacin del estudio. Las conclusiones presentadas en
este informe tienen por nalidad aportar a la aceptabilidad y validez de dichos resultados.
El estudio cont con la participacin de 16 pases (Argentina, Brasil, Chile, Colombia, Costa Rica, Cuba, Ecuador,
El Salvador, Guatemala, Mxico, Nicaragua, Panam, Paraguay, Per, Repblica Dominicana y Uruguay) y una enti-
dad nacional (Nuevo Len, Mxico). La evidencia presentada en este trabajo se deriva de una serie de documentos
preparados por la Coordinacin Tcnica del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educa-
cin (CT-LLECE), las Coordinaciones Nacionales y el aporte de especialistas. El propsito de este documento es el
de resumir y combinar los resultados obtenidos, y dentro de lo posible, relacionarlos con criterios especicados
en el documento Criterios y Procedimientos para el Aseguramiento de la Calidad en el SERCE (ver anexo D).
Este informe abarca las cuatro principales reas de monitoreo de la calidad: muestreo, procedimientos de imple-
mentacin, acopio de datos, y calicacin de los items de respuesta abierta. En conclusin, el documento ofrece
una visin general sobre la calidad de los resultados obtenidos.
IV.1 MUESTREO
Esta seccin del informe cubre la calidad global del muestreo (Criterio II.6) y las tasas de respuesta (Cri-
terio II.7). La poblacin objetivo del SERCE se ha denido de la siguiente manera:
Esta seccin del informe cubre los procedimientos La siguiente informacin se deriva de dos fuentes
de implementacin asociados con el acopio de datos principales:
38
para la aplicacin denitiva. El monitoreo de calidad
durante la aplicacin denitiva resulta esencial para
garantizar la validez de los resultados (Criterio II.3).
Los procedimientos de implementacin se detallan en
manuales y la informacin proporcionada se ha refor-
zado a travs de reuniones tcnicas y talleres de capa-
citacin.
Con relacin a la base de datos, se estableci un pero- Se solicit a los pases participantes que en sus infor-
do de 12 semanas dentro del cual los pases deberan mes nales (aplicacin denitiva) juzgaran la utilidad
ingresar y vericar los datos obtenidos en la aplicacin e idoneidad de los manuales y software de captura de
denitiva. Durante este tiempo los items de respuesta datos. En general, los pases se mostraron satisfechos
abierta se corregiran y enviaran a la CT-LLECE para su con el manual. De los 16 pases para los cuales se dis-
procesamiento. Los pases se dividieron en tres grupos pone de informacin, cinco catalogaron el manual de
de acuerdo a la fecha de presentacin de datos: (i) captura de datos como muy bueno; nueve como bue-
pases contemplados dentro del horizonte de 12 sema- no y dos como regular. La mayora de las dicultades
nas: Brasil, Chile, Panam, Paraguay, Per, Uruguay y guardaban relacin con aspectos de capacitacin, in-
Colombia; (ii) pases con hasta 12 semanas de demora: consistencias entre el manual y el software y problemas
Argentina, Costa Rica, Ecuador, El Salvador, Guatema- originados por la existencia de versiones mltiples del
la, Mxico y Nuevo Len; y (iii) pases con ms de 12 software.
semanas de demora: Costa Rica, Repblica Dominicana
y Nicaragua. La utilidad e idoneidad del software de captura de da-
tos fue catalogada como muy buena por cuatro pases,
CAPTURA DE DATOS Y ESTRUCTURA como buena por seis pases, como regular por cuatro
pases y como deciente por un pas. La mayora de los
DE LA BASE DE DATOS problemas estaban asociados a versiones mltiples del
software, prdida de datos, la falta de correspondencia
La precisin del proceso de captura de datos afecta
entre el software y las categoras utilizadas en los ins-
la validez y conabilidad de los resultados. Por consi-
trumentos nacionales y las fechas de los talleres de ca-
guiente, es responsabilidad de las Coordinaciones Na-
pacitacin algunos de los cuales se realizaron despus
cionales producir bases de datos limpias, precisas y co-
que algunos pases ya haban comenzado el proceso.
herentes con las especicaciones proporcionadas por la
Otros problemas reportados fueron la disponibilidad de
CT-LLECE (Criterio II.9). Los aspectos relacionados con
redes, la consistencia entre la informacin derivada de
la base de datos y la captura de datos se consideran
distintas fuentes, la baja velocidad de procesamiento y
esenciales para lograr un alto nivel de calidad. Con la
la falta de asistencia tcnica dentro de los pases.
nalidad de ayudar a los pases participantes y garanti-
zar la calidad de sus datos nales, se elabor el Manual
Independientemente de estos comentarios, en trmi-
de Captura de Datos junto con un programa compu-
nos generales el proceso de captura de datos fue con-
tacional (software) de captura de datos. Este manual
siderado positivo. Mientras que un pas inform que,
describe dicho software y proporciona directrices sobre
al momento de redactar sus informes, el proceso de
su instalacin, junto con ofrecer una serie de informes
captura de datos an no se haba completado, cinco
sobre los instrumentos (cuadernillos, cuestionario del
pases catalogaron el proceso como muy bueno, siete
estudiante y cuestionario familiar), e implementa una
como bueno y dos como regular.
serie de vericaciones de validez. Se organiz un Taller
300
250
Nmero de diferencias
200
150
100
30
0
ana
la
ica
na
y
or
gua
bia
sil
r
o
en
y
le
a
ado
gua
Per
gua
ma
xic
Cub
vad
Chi
nti
Bra
nic
R
a
om
ara
oL
Pan
M
ate
Ecu
Uru
ta
a
rge
Sal
mi
Par
Col
Nic
Cos
ev
Gu
Do
El
Nu
lica
b
Rep
1.000
0.900
0.800
0.700
0.600
0.500
0.400
0.300
0.200
0.100
0.000
DM3B2IT11 DM3B2IT12 DM3B4IT11 DM3B4IT12 DM3B6IT11 DM3B6IT12
o.
Item
Item - Matemtica
- Mathematics 3 3
G rade
1.000
0.900
0.800
0.700
0.600
0.500
0.400
0.300
0.200
0.100
0.000
DM6B2IT14 DM6B2IT15 DM6B2IT16 DM6B4IT14 DM6B4IT15 DM6B4IT16 DM6B6IT14 DM6B6IT15 DM6B6IT16
Item
Ite m - -Ma th e m a tics G ra6do.
Matemtica e 6
1.000
0.900
0.800
0.700
0.600
0.500
0.400
0.300
0.200
0.100
0.000
DC6.B1.IT 15 DC6.B2.IT 15 DC6.B3.IT 15 DC6.B4.IT 15 DC6.B5.IT 15 DC6.B6.IT 15
Grad e 3 3
Matemtica Math Matemtica
Grad 6
e 6 Math Ciencias
Gard e6 6 Science
1.000
0.900
0.800
0.700
ndice Kappa
0.600
0.500
0.400
0.300
0.200
0.100
0.000
y
gua
a
la
bia
le
ana
ay
or
r
ina
gua
sil
n
a
Ric
ado
am
Per
ma
xic
Cub
Le
Chi
vad
agu
Bra
om
ara
ent
nic
Pan
Uru
M
ate
Ecu
ta
Sal
Par
evo
Col
Nic
Arg
Cos
mi
Gu
Do
El
Nu
En la presente seccin se presenta el ICUPAC (ndice de Cumplimiento de las Pautas de Calidad del SERCE).
Este ndice es una medida resumen del grado en que los pases siguieron las pautas de calidad en la aplicacin
del SERCE.
El ndice se construy a partir de las siguientes variables referentes al cumplimiento de las pautas de la aplica-
cin:
s ) 0ORCENTAJE DE ESCUELAS DE LA MUESTRA SELECCIONADA INICIALMENTE POR LA #OORDINACIN DEL ,,%#% QUE
nalmente participaron en el estudio (sin reemplazo).
s ) 0ORCENTAJE DE ALUMNOS DE TERCER GRADO QUE PARTICIPARON EN LAS PRUEBAS DE ,ENGUAJE
s ) 0ORCENTAJE DE ALUMNOS DE TERCER GRADO QUE PARTICIPARON EN LAS PRUEBAS DE -ATEMTICA
s ) 0ORCENTAJE DE ALUMNOS DE SEXTO GRADO QUE PARTICIPARON EN LAS PRUEBAS DE ,ENGUAJE
s ) 0ORCENTAJE DE ALUMNOS DE SEXTO GRADO QUE PARTICIPARON EN LAS PRUEBAS DE -ATEMTICA
s )0ORCENTAJE DE SESIONES VISITADAS QUE EMPEZARON EN TIEMPO LAS PRUEBAS
s ) 0ORCENTAJE DE LOS MODELOS & CORRECTAMENTE LLENADOS
s ) 0ORCENTAJE DE PRUEBAS Y CUESTIONARIOS LLENADOS EN CORRESPONDENCIA CON EL &
s ) 0ORCENTAJE DE SESIONES DONDE NO TUVO LUGAR EL USO DE INSTRUMENTOS INAPROPIADOS EN LAS PRUEBAS
s ) !PLICACIN DE LAS PRUEBAS Y CUESTIONARIOS ACORDE AL CRONOGRAMA DE APLICACIN
s ) 0ORCENTAJE DE SESIONES VISITADAS DONDE NO HUBO DESVIACIONES POR EL APLICADOR DEL -ANUAL PARA LA
aplicacin de los instrumentos.
s ) 0ORCENTAJE DE SESIONES DONDE NO HUBO ESTUDIANTES QUE SALIERAN Y ENTRARAN DE LAS AULAS DURANTE LA
aplicacin de los instrumentos.
s ) 0ORCENTAJE DE SESIONES DONDE HUBO LA PRESENCIA DE OTRO ADULTO DURANTE LA APLICACIN DE LAS PRUE-
bas.
s ) 0ORCENTAJE DE LAS SESIONES VISITADAS DONDE NO SE PRODUJERON INTERRUPCIONES DURANTE LA APLICACIN DE
las pruebas.
s ) 0ORCENTAJE DE SESIONES DONDE NO SE PRODUJO AYUDA A LOS ESTUDIANTES POR PARTE DEL APLICADOR
s ) 0ORCENTAJE DE ESCUELAS DONDE NO HUBO EVIDENCIAS DE AVISO PREVIO A LA VISITA DE LOS OBSERVADORES
externos.
s ) #ONCORDANCIA ENTRE CORRECTORES -ATEMTICAS ERO
s ) #ONCORDANCIA ENTRE CORRECTORES -ATEMTICAS TO
s !DECUADA COBERTURA DE ESCUELAS Y ESTUDIANTES #
o I2: Porcentaje de alumnos de tercer grado que participaron en las pruebas de Lenguaje.
o I13: Porcentaje de sesiones donde hubo la presencia de otro adulto durante la aplicacin de
las pruebas.
o I15: Porcentaje de sesiones donde no se produjo ayuda a los estudiantes por parte del aplica-
dor.
o I16: Porcentaje de escuelas donde no hubo evidencias de aviso previo a la visita de los obser-
vadores externos.
o I2: Porcentaje de alumnos de tercer grado que participaron en las pruebas de Lenguaje.
o I3: Porcentaje de alumnos de tercer grado que participaron en las pruebas de Matemtica.
o I4: Porcentaje de alumnos de sexto grado que participaron en las pruebas de Lenguaje.
o I5: Porcentaje de alumnos de sexto grado que participaron en las pruebas de Matemtica.
s ,LENADO CONFORME DE LOS INSTRUMENTOS #
s !DMINISTRACIN DE PRUEBAS SEGN MANUAL #
o I11: Porcentaje de sesiones visitadas donde no hubo desviaciones por el aplicador del Manual
para la aplicacin de los instrumentos.
s #OMPONENTE NO ETIQUETADA AL NO PARECER CONSISTENTE SU AGRUPAMIENTO POR LO QUE NO SE CONSIDERO
para el ndice sinttico:
o I9: Porcentaje de sesiones donde no tuvo lugar el uso de instrumentos inapropiados en las
pruebas.
% Varianza
Componente % de Varianza
Acumulada
Adecuada cobertura de escuelas y
21.919 21.919
estudiantes
Adecuada cobertura de la prueba 20.472 42.391
Cada una de las componentes anteriormente descritas recibi una ponderacin relativa al grado de inuencia que
cada una de ellas podra tener en el sesgo de los resultados de las pruebas. Las ponderaciones que recibieron
fueron las siguientes:
s !DECUADA COBERTURA DE LA PRUEBA
s !DECUADA COBERTURA DE ESCUELAS Y ESTUDIANTES
s ,LENADO CONFORME DE LOS ESTUDIANTES
s !PLICACIN DE PRUEBAS SEGN EL MANUAL
Las razones para dar tal ponderacin a cada una de las componentes se explican enseguida:
s !DECUADA COBERTURA DE ESCUELAS Y ESTUDIANTES # La razn de esta ponderacin en
relacin a las otras tres es que la precisin de los estimadores es sensible a la prdida de escuelas de
la muestra y en consecuencia de alumnos, corriendo el peligro de tener intervalos de conanza muy
anchos o poca representatividad de la muestra, an a pesar de que se llenasen de manera conforme
los instrumentos y los aplicadores hubieren aplicado las pruebas segn el manual. Sin embargo, no se
espera que el comportamiento de esta falta de cobertura sea con sesgo intencional de seleccin sino por
razones justicadas, por lo que se ponder con peso relativo importante pero menor al de la anterior
componente.
s !DMINISTRACIN DE PRUEBAS SEGN MANUAL # Esta ponderacin es inferior a las dos
primeras componentes, porque esta puede introducir un sesgo pero se supone con un impacto en menor
escala que las ellas e similar a la anterior.
El ndice de cumplimiento de las pautas de calidad del SERCE se dene entonces de la siguiente manera:
)#50!#
#
#
#
#
Los resultados del ICUPAC muestran que los pases se agrupan en cuatro conjuntos que son muy parecidos al in-
terior de los mismos y muy diferentes entre ellos. La tcnica utilizada para esta clasicacin es el algoritmo de k
medias del anlisis de cluster, la cual se caracteriza por generar grupos con mxima varianza entre ellos y mnima
a su interior. A continuacin se presenta un graco que ilustra tal agrupamiento.
Como se puede ver en el grco (5.1), los pases se agrupan de la siguiente forma:
s #ON UN NIVEL ALTO DE CUMPLIMIENTO EST #UBA
1.50
Cuba
1.00
El Salvador
0.50
Ecuador
Nuevo Len
Nicaragua Mxico
Uruguay
Chile
0.00 Guatemala
Argentina
Brasil Per
Paraguay Panam
-0.50 Dominicana
Costa Rica
Colombia
-1.00
MUESTREO
En general, los pases cumplieron los requerimientos esenciales de muestreo (Criterio II.7). El estudio inclua
la participacin de 3.133 escuelas y una tasa mnima de participacin del 80%, requerimiento que fue cumplido
por todos los pases participantes. En cuanto a la tasa de participacin de las escuelas originalmente muestreadas
(70%), la mayora de los pases, con la excepcin de Brasil, Colombia y Ecuador, logr este objetivo. La requeri-
da tasa de participacin de estudiantes80% de los estudiantes muestreadosse resume a continuacin por
grado y asignatura:
s ,ENGUAJE
TERCER GRADO CRITERIO CUMPLIDO POR LA MAYORA DE LOS PASES CON LA EXCEPCIN DE !RGENTINA
Nicaragua, Paraguay, Per y Repblica Dominicana.
s ,ENGUAJE
SEXTO GRADO CRITERIO CUMPLIDO POR LA MAYORA DE LOS PASES CON LA EXCEPCIN DE "RASIL Y
Paraguay.
s -ATEMTICAS
TERCER GRADO CRITERIO CUMPLIDO POR LA MAYORA DE LOS PASES CON LA EXCEPCIN DE 2EPBLICA
Dominicana, Nicaragua y Paraguay.
s -ATEMTICAS SEXTO GRADO CRITERIO CUMPLIDO POR LA TOTALIDAD DE LOS PASES PARTICIPANTES
s #IENCIA SEXTO GRADO CRITERIO CUMPLIDO POR LA TOTALIDAD DE LOS PASES PARTICIPANTES
PROCESAMIENTO
DE
DATOS
E
l presente captulo describe el procesamiento de datos del SERCE. La lgica de presentacin divide el
procesamiento en dos etapas. La primera de ellas consiste en los procedimientos de control de calidad de
los datos y depuracin de los datos. La segunda etapa del procesamiento se reere a los procesos para la
generacin de informacin. En cada una de estas etapas se explica, por separado, los procesos relativos
a los datos de logro y los que se reeren a los cuestionarios de contexto. Esto porque hay diferencias importantes
en el procesamiento de datos, especialmente en la etapa de generacin de informacin.
En este captulo se presentan las principales procedimientos y resultados relativos a la depuracin de datos, la
estimacin de parmetros y escalamiento de tems, las escalas de habilidades, los niveles de desempeo, el ndice
de estatus socioeconmico de los estudiantes y la estructura de la base de datos regional.
El objetivo de este documento es describir brevemente las bases de datos del SERCE que se envan a los pases
bajo embargo para que, aquellos que lo deseen, puedan realizar los reportes nacionales del SERCE.
s #INCO BASES DE RESULTADOS DE LOS ESTUDIANTES
s #UATRO BASES CON DATOS DE ESTUDIANTES Y SUS FAMILIAS
s 3IETE BASES DE PROFESORES
s $OS BASES DE ESCUELAS Y DIRECTORES
s # #IENCIAS
s , ,ECTURA
s , ,ECTURA
s - -ATEMTICA
s - -ATEMTICA
s ,/')4?05.4!*% ES LA ESTIMACIN DE HABILIDAD EN LOGITS
s 05.4!*%?%34!.$!2?&).!, CORRESPONDE AL PUNTAJE ASIGNADO A CADA ESTUDIANTE DE ACUERDO A LA ESCALA
del SERCE, donde el promedio de las medias nacionales es igual a 500 y la desviacin estndar es 100.
s .IVEL QUE CORRESPONDE AL NIVEL DE DESEMPEO EN EL QUE SE UBICAN LOS ESTUDIANTES Y ESTN IDENTIlCA
dos por letras y una leyenda respectiva. Enseguida se describe el signicado de cada letra correspondi
ente a los niveles:
Adems de los resultados en resumen, al nal de cada base de aprendizaje se incluyen las respuestas que dieron
los estudiantes a cada uno de los tems de la prueba.
s #UESTIONARIO 1! CUESTIONARIO DE ALUMNOS DE
s #UESTIONARIO 1! CUESTIONARIO DE ALUMNOS DE
s #UESTIONARIO 1& CUESTIONARIO DE FAMILIA DE LOS ESTUDIANTES DE
s #UESTIONARIO 1& CUESTIONARIO DE FAMILIA DE LOS ESTUDIANTES DE
Cada una de las bases de datos tiene la clave del cuestionario y nmero de tem en los nombres de las variables,
adems de estar debidamente etiquetada con el texto del tem y las opciones de respuesta en todas las preguntas
de opcin mltiple.
Es preciso sealar que estas bases se construyeron a partir del nmero total de estudiantes que tuvo informacin
vlida para, al menos, una de las pruebas del SERCE. Por lo tanto, el nmero total de estudiantes en las bases
de alumnos y familias es levemente superior al nmero de estudiantes en cada una de las bases de resultados de
aprendizaje. Tambin cabe aclarar que se separaron los datos del cuestionario de familia en una base para cada
grado evaluado, esto para facilitar el anlisis por grado.
s #UESTIONARIO 10 #UESTIONARIO PARA EL DOCENTE
s #UESTIONARIO 1, #UESTIONARIO SOBRE LA ENSEANZA DE LENGUAJE
s #UESTIONARIO 1- #UESTIONARIO SOBRE LA ENSEANZA DE MATEMTICA
s #UESTIONARIO 10 #UESTIONARIO PARA EL DOCENTE
s #UESTIONARIO 1# #UESTIONARIO SOBRE LA ENSEANZA DE CIENCIAS
s #UESTIONARIO 1, #UESTIONARIO SOBRE LA ENSEANZA DE LENGUAJE
s #UESTIONARIO 1- #UESTIONARIO SOBRE LA ENSEANZA DE MATEMTICA
En las bases de docentes las variables de nombran con el cuestionario y el nmero de tem, y llevan las respec-
tivas etiquetas y opciones de respuesta.
s #UESTIONARIO &% &ICHA DE EMPADRONAMIENTO DE LA ESCUELA
s #UESTIONARIO 1$ #UESTIONARIO PARA EL DIRECTOR
Las bases estn debidamente etiquetadas y el nombre de las variables permite identicarlas en los cuestionarios.
Al nal de la cha de empadronamiento se incluyen una serie de variables auxiliares para identicar los grados
que ofrecan las escuelas y las reas y el grado en las que hubo estudiantes con puntajes vlidos en cada es-
cuela.
Notas adicionales
,A VARIABLE %342!4/!/2)').!,2?4##3# CORRESPONDE A LA ESTRATIlCACIN DEL 5RUGUAY DONDE SE CONSIDERO UNA
sobremuestra de escuelas de condicin social crtica.
Una vez recolectados y capturados, los datos de logro siguieron un proceso de depuracin para vericar su con-
sistencia. El procedimiento seguido consisti en disear e implementar un sistema de consultas en ambiente
Access, para vericar la estructura y el contenido de cada campo en cada tabla de datos. Una vez recibidas las
bases de datos, se ejecutaron las consultas y se gener un reporte de novedades (el 12 de marzo 2007) que fue
enviado a los pases con la solicitud de vericacin y correccin. En el caso de Repblica Dominicana y Per se
generaron reportes independientes. En el caso de Nicaragua y Costa Rica, no se gener un reporte especco sino
que se mantuvo comunicacin en lnea para acompaar el proceso de depuracin en el respectivo pas. Cada
vez que se reciba una nueva versin de cada base de datos, se ejecutaban de nuevo las consultas mencionadas
y se generaban nuevos reportes si continuaban apareciendo algunas novedades. En el caso de Cuba y Repblica
$OMINICANA SE GENERARON TRES REPORTES &INALMENTE CONCLUIDOS LOS PLAZOS PARA QUE CADA PAS DEPURARA SU BASE DE
datos, se procedi a realizar los ajustes respectivos, a consolidar la base de datos, y a generar la documentacin
JUNIO Y EL REPORTE DE IMPUTACIONES JUNIO ,OS REPORTES DE NOVEDADES GENERADOS FUERON LOS
siguientes:
1. Reporte de novedades de las bases de datos (12 marzo 2007), con indicaciones de las novedades encontra
das en las bases de datos recibidas. Se exceptuaron las bases de Repblica Dominicana, Per, Nicaragua y
Costa Rica porque en la fecha de realizacin del reporte (12 de marzo 2007) an no se haban recibido las
respectivas bases.
3EGUNDO REPORTE DE NOVEDADES DE LA BASE DE 2EPBLICA $OMINICANA ABRIL
2EPORTE DE NOVEDADES DE LA BASE DE 0ER MARZO
2EPORTE DE NOVEDADES DE LA BASE DE !RGENTINA ABRIL
Cada uno de los reportes mencionados consisti de 47 tablas. Cinco de estas tablas indicaban la existencia de
campos vacos en las pruebas para cada una de las reas y grados evaluados. Las restantes 42 tablas indicaban
la existencia de valores no vlidos en los tems abiertos de las pruebas de Matemtica y Ciencias. Enseguida se
presenta una tabla que indica las tablas que se generaron en los reportes de novedades.
4ABLA 2EGISTROS CON CAMPOS VACOS EN LA PRUEBA DE LECTURA PARA
4ABLA 2EGISTROS CON CAMPOS VACOS EN LA PRUEBA DE LECTURA PARA
4ABLA 2EGISTROS CON CAMPOS VACOS EN LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON CAMPOS VACOS EN LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON CAMPOS VACOS EN LA PRUEBA DE CIENCIAS PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE MATEMTICA PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE CIENCIAS PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE CIENCIAS PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE CIENCIAS PARA
4ABLA 2EGISTROS CON VALORES NO VLIDOS EN EL TEM DEL CUADERNILLO # DE LA PRUEBA DE CIENCIAS PARA
Una vez nalizado el proceso de control de calidad de las bases de datos se gener el Reporte de imputaciones
en la base de datos del SERCE (22 junio 2007), el cual se explica a continuacin.
Despus del proceso recursivo de revisin y correccin de las bases de datos de logro fue necesario suprimir
algunos de los registros o imputar algn valor como medio para preparar los datos para su procesamiento. La
presente seccin muestra las imputaciones realizadas a las bases de datos remitidas por los pases participantes
en la aplicacin denitiva del SERCE, referidas a las respuestas a los cuadernillos de las pruebas de Lectura,
Matemtica y Ciencias. Los cuadros 5.2 a 5.8 presentan los registros que han sido suprimidos y aquellos que han
sido modicados, junto con el valor imputado, as como las modicaciones generales a los datos de Brasil, Cuba
y Panam, a los cdigos de aula y de crdito parcial y los casos de las bases de Costa Rica, Repblica Dominicana
y Brasil que se recibieron en forma extempornea.
%L REPORTE DE IMPUTACIONES TAMBIN DA CUENTA EN LOS CUADROS A DEL NMERO DE REGISTROS QUE HAN SIDO
SUPRIMIDOS PARA EL PROCESAMIENTO DE LOS DATOS EN LAS PRUEBAS , , - - Y # PARA CADA PAS POR NO CUMPLIR
con los criterios de universo o muestra y porque corresponden a estudiantes que no respondieron la prueba, es
decir, aquellos registros donde todos los campos estn digitados como X, Y o Z. De acuerdo con el procedimiento
previsto, estos estudiantes no tuvieron un valor estimado para su habilidad.
En los cuadros 5.14 a 5.18 se reporta el nmero de registros por cada tipo de cuadernillo y para cada pas, en las
PRUEBAS , , - - Y # QUE CONFORMAN LA BASE DE DATOS Y QUE SERN UTILIZADOS PARA LA CALIBRACIN DE TEMS
y para la estimacin de habilidades.
Los signicados de los cdigos utilizados representan una pieza clave de informacin para comprender el alcance
de las imputaciones realizadas, por lo que se describen los cdigos y sus signicados enseguida:
s %L CDIGO h9v DE CRDITO PARCIAL SE REEMPLAZA POR h7v PARA MANTENER COMO NICA SIGNIlCACIN DEL CDIGO