Informe Tecnico Saber 5 y 9 2009

INFORMES
Informe tcnico SABER 5o. y 9o. 2009
Presidente de la Repblica Juan Manuel Santos Caldern Ministra de Educacin Nacional Mara Fernanda Campo Saavedra Viceministro de Educacin Preescolar, Bsica y Media Mauricio Perfetti del Corral
Directora General Margarita Pea Borrero Secretaria General Gioconda Pia Elles Jefe de la Oficina Asesora de Comunicaciones y Mercadeo Ana Mara Uribe Gonzlez Director de Evaluacin Julin Patricio Mario von Hildebrand Director de Produccin y Operaciones Francisco Ernesto Reyes Jimnez Director de Tecnologa Adolfo Serrano Martnez Subdirectora de Diseo de Instrumentos Flor Patricia Pedraza Daza Subdirectora de Anlisis y Divulgacin Maria Isabel Fernandes Cristvo Autores (en orden alfabtico) Yanneth Beatriz Castelblanco Marcelo Vctor Hernando Cervantes Botero Jenyfer Garca Naranjo Carolina Lopera Oquendo Roco del Pilar Mndez Surez lvaro Enrique Uzaheta Berdugo Editores Vctor Hernando Cervantes Botero Carolina Lopera Oquendo Revisor de estilo Fernando Carretero Socha Diagramacin Nicols Bravo Ramrez Alejandra Guzmn Escobar ISBN de la versin electrnica: 978-958-11-0578-6
Instituto Colombiano para la Evaluacin de la Educacin Calle 17 No. 3 - 40 Bogot, D.C., Colombia PBX. 338 7338 - Lnea Gratuita Nacional 018000-110858 www.icfes.gov.co Bogot, D. C., diciembre de 2011
Advertencia Con el fin de evitar la sobrecarga grfica que supondra utilizar en espaol o/a para denotar uno u otro gnero, el ICFES opta por emplear el masculino genrico en el que todas las menciones de este se refieren siempre a hombres y mujeres. ICFES. 2011. Todos los derechos de autor reservados . Todo el contenido es propiedad exclusiva y reservada del ICFES y es el resultado de investigaciones y obras protegidas por la legislacin nacional e internacional. No se autoriza su reproduccin, utilizacin ni explotacin a ningn tercero. Solo se autoriza su uso para fines exclusivamente acadmicos. Esta informacin no podr ser alterada, modificada o enmendada.
INFORMES
Contenido
Presentacin.............................................................................................................................................7 1. Marco de referencia SABER 5o. y 9o. 2009....................................................................................9 1.1 Antecedentes del programa de evaluacin para educacin bsica y secundaria SABER...10. 1.2 Diseo y desarrollo de los instrumentos de evaluacin.....................................................11. 1.3 Armada de pruebas.............................................................................................................25 Bases de datos....................................................................................................................28 Consulta, verificacin y captura de informacin.................................................................29 Unidades de agrupacin.....................................................................................................29 Vinculacin de examinadores y personal asociado al operativo........................................30 Socializacin........................................................................................................................31 Estructura del proceso logstico de las aplicaciones..........................................................31 Materiales.............................................................................................................................31 Control de calidad en el proceso de aplicacin..................................................................32 Poblacin objetivo................................................................................................................40 Marco muestral....................................................................................................................40 Unidades de muestreo y mtodo de seleccin...................................................................41 Tamaos de muestra............................................................................................................42 Proceso de ponderacin.....................................................................................................44
2. Logstica de aplicaciones...............................................................................................................27 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 4. 3.1 3.2 3.3 3.4 3.5
3. Diseo muestral...............................................................................................................................40
Revisin de las estadsticas de los tems.....................................................................................46 4.1 Estadsticas empleadas en el anlisis de tems..................................................................46 4.2 Estadsticas a nivel de prueba.............................................................................................52 4.3 Resultados de la revisin.....................................................................................................55 5.1 5.2 5.3 5.4 5.5 Metodologa para la construccin de las escalas de calificacin.......................................58 Determinacin de la escala de calificacin.........................................................................61 Componentes y competencias............................................................................................66 Determinacin de los puntos de corte y los niveles de desempeo..................................67 Estadsticas calculadas para los reportes...........................................................................71
5. Calificacin y definicin de escalas..............................................................................................58
Bibliografa..............................................................................................................................................74 Anexos 1. Diseo de la evaluacin: modelo de evidencias, especificaciones y construccin de preguntas.........................................................................................................77 2. Esquema de aplicacin de formas................................................................................................91 3. Aspectos logsticos.........................................................................................................................94 4. Descripcin de los niveles de desempeo.................................................................................102
Lista de cuadros, tablas y figuras

Cuadros Cuadro 1.1 Evolucin de las pruebas SABER para educacin bsica y secundaria................11 Cuadro 1.2 Etapas, actividades y periodo de realizacin de las fases de SABER 5o. y 9o. 2009.........................................................................................12 Cuadro 1.3 Competencias evaluadas en matemticas..............................................................17 Cuadro 1.4 Componentes evaluados en matemticas...............................................................18 Cuadro 1.5 Competencias evaluadas en lenguaje.....................................................................19 Cuadro 1.6 Componentes evaluados en lenguaje......................................................................20 Cuadro 1.7 Componentes evaluados en ciencias naturales......................................................20 Cuadro 1.8 Competencias evaluadas en ciencias naturales......................................................21 Cuadro 1.9 Nmero de preguntas por bloque en cada rea para quinto grado.......................23 Cuadro 1.10 Nmero de preguntas por bloque en cada rea para noveno grado.....................23
Cuadro 1.11 Distribucin de las preguntas por componente y competencia para la prueba de lenguaje en quinto y noveno grado....................................................................23 Cuadro 1.12 Distribucin de las preguntas por componente y competencia para la prueba de matemticas quinto grado ..................................................................................24 Cuadro 1.13 Distribucin de las preguntas por componente y competencia para la prueba de matemticas noveno grado ................................................................................24 de ciencias naturales quinto grado..........................................................................24 de ciencias naturales noveno grado........................................................................25 Cuadro 1.14 Distribucin de las preguntas por componente y competencia para la prueba Cuadro 1.15 Distribucin de las preguntas por componente y competencia para la prueba Cuadro 1.16 Nmero de preguntas por cuadernillo por rea y grado.........................................25 Cuadro 5.1 Descripcin general de los niveles de desempeo.................................................69
Tablas Tabla 2.1 Tabla 2.2 Tabla 2.3 Tabla 2.4 Tabla 2.5 Tabla 3.1 Nmero de estudiantes y establecimientos educativos participantes en el operativo censal (calendarios A y B)........................................................................ 27 Nmero de estudiantes y establecimientos educativos participantes en el operativo muestral (aplicaciones controlada y estadstica)..................................... 28 Total de sedes seleccionadas para monitoreo segn calendario y aplicacin....... 34 Comparativo de hallazgos en los tres tipos de aplicacin, calendario B................ 37 Comparativo de hallazgos en los tres tipos de aplicacin, calendario A................ 38 Tamaos del marco muestral, SABER 5o. y 9o. 2009............................................. 41
INFORMES
Tabla 3.2
Nmero de estudiantes y tasas de respuesta por estrato segn grado................. 43 Reporte de estadsticas globales y por calendario de un tem con estadsticas .apropiadas y uno anulado........................................................................................ 51 Distribucin porcentual de estudiantes que no alcanzan a responder los tems... 53 Coeficiente alfa de Cronbach pruebas SABER 5o. y 9o. 2009................................ 55 Correlacin tem-prueba y discriminacin tems eliminados en quinto grado ....... 56 Correlacin tem-prueba y discriminacin tems eliminados en noveno grado ..... 57 Ponderaciones para el ndice socioeconmico ..................................................... 64 Constantes para la transformacin a la escala de reporte ..................................... 66 Nmero de docentes en cada una de las reas y grados....................................... 68 Puntos de corte en la escala de calificacin de SABER 5o. y 9o. 2009.................. 70
Tabla 4.1 Tabla 4.2 Tabla 4.3 Tabla 4.4 Tabla 4.5 Tabla 5.1 Tabla 5.2 Tabla 5.3 Tabla 5.4
Figuras Figura 1.1 Metodologa de diseo basado en evidencias..........................................................15 Figura 4.1 Reporte de estadsticas globales y por calendario de un tem con estadsticas apropiadas..............................................................................................49 Figura 4.2 Reporte de estadsticas globales y por calendario de un tem anulado...................50 Figura 4.3 Ejemplo de distribucin de respuestas correctas para dos cuadernillos de una misma prueba.................................................................................................54 Figura 5.1 Ejemplo de curva caracterstica del tem...................................................................62 Figura 5.2 Distribucin y puntos de corte de los residuales estandarizados de componentes y competencias...................................................................................67 Anexos Cuadros Cuadro A1.1 Competencia: la comunicacin, la representacin y la modelacin.....................78 Cuadro A1.2 Competencia: el razonamiento y la argumentacin..............................................78 Cuadro A1.3 Competencia: el planteamiento y resolucin de problemas.................................79 Cuadro A1.4 Competencia: la comunicacin, la representacin y la modelacin.....................80 Cuadro A1.5 Competencia: el razonamiento y la argumentacin..............................................81 Cuadro A1.6 Competencia: el razonamiento y la argumentacin..............................................82 Cuadro A1.7 Competencia: lectora..............................................................................................82 Cuadro A1.8 Competencia: escritora...........................................................................................83 Cuadro A1.9 Competencia: lectora..............................................................................................84 Cuadro A1.10 Competencia: escritora...........................................................................................85 Cuadro A1.11 Competencia: uso comprensivo del conocimiento cientfico................................86
Cuadro A1.12 Competencia: explicacin de fenmenos..............................................................87 Cuadro A1.13 Competencia: indagacin......................................................................................88 Cuadro A1.14 Competencia: uso comprensivo del conocimiento cientfico................................88 Cuadro A1.15 Competencia: explicacin de fenmenos..............................................................89 Cuadro A1.16 Competencia: indagacin......................................................................................90
Cuadro A2.1 Esquema de armada de formas de matemticas para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009.........................................................92 Cuadro A2.2 Esquema de armada de formas de lenguaje para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009..............................................................93 Cuadro A2.3 Esquema de armada de formas de ciencias naturales para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009.........................................................93 Cuadro A3.1 Cronograma calendario B......................................................................................95 Cuadro A3.2 Cronograma calendario A......................................................................................95 Cuadro A3.3 Material de examen para cada tipo de aplicacin.................................................96 Cuadro A3.4 Formatos de aplicacin correspondientes a calendario y tipo de aplicacin.......97 Cuadro A3.5 Examinadores y procedimientos de aplicacin.....................................................98 Cuadro A3.6 Esquema de aplicacin........................................................................................101 Cuadro A4.1 Descripcin general de niveles de desempeo en lenguaje, quinto grado........103 Cuadro A4.2 Descripcin general de niveles de desempeo en lenguaje, noveno grado......106
Cuadro A4.3 Descripcin general de niveles de desempeo en matemticas, quinto grado.........................................................................................................109 Cuadro A4.4 Descripcin general de niveles de desempeo en matemticas, noveno grado.......................................................................................................111 Cuadro A4.5 Descripcin general de niveles de desempeo en ciencias naturales, quinto grado.........................................................................................................113. Cuadro A4.6 Descripcin general de niveles de desempeo en ciencias naturales, noveno grado.......................................................................................................115
INFORMES
Presentacin
SABER 5o. y 9o. es una evaluacin nacional de carcter externo que se aplica peridicamente, cada tres aos, a estudiantes de educacin bsica de todo el pas con el fin de conocer el desarrollo de las competencias bsicas en las reas de lenguaje, matemticas y ciencias naturales. Los datos recopilados en cada aplicacin de SABER 5o. y 9o. son una fuente valiosa para orientar la definicin de polticas y programas de mejoramiento y para profundizar en el estudio de los determinantes de la calidad de la educacin. El diseo y aplicacin de SABER 5o. y 9o. 2009 son metodolgicamente complejos no solo por sus caractersticas de aplicacin sino tambin por su implementacin y produccin de resultados, lo cual ha demandado la utilizacin de tcnicas de anlisis ms precisas. Este Informe tcnico SABER 5o. y 9o. 2009, adems de describir las bases tericas y las metodologas implementadas en el diseo y produccin de resultados de este estudio, presenta las caractersticas relacionadas con la ejecucin del proyecto a un nivel de detalle que les permite a los investigadores comprender y replicar sus resultados. El lector encontrar informacin sobre la prueba y el diseo de la muestra, las metodologas utilizadas para analizar los datos, las caractersticas tcnicas del proyecto y el mecanismo de aplicacin y control de calidad de la informacin. En conjunto, esta informacin permitir un mejor uso y compresin de las bases de datos del estudio, las cuales se encuentran a disposicin de todos los investigadores y encargados de la poltica educativa que deseen profundizar en estudios y anlisis sobre esta evaluacin. El informe se organiza en cinco captulos. En el primero se presenta el marco de referencia de la evaluacin, el cual contiene una descripcin detallada de los procedimientos desarrollados durante el diseo y la ejecucin del estudio SABER 5o. y 9o. 2009. En el segundo, se documentan los procesos y las particularidades de la estructura de aplicacin de la evaluacin y los mecanismos de control de calidad de la informacin. El tercero recoge el diseo muestral utilizado en las aplicaciones controlada y estadstica, y describe el conjunto de especificaciones que definieron la poblacin objeto del estudio, el marco muestral, las unidades de muestreo y el mtodo de seleccin de la muestra. El cuarto captulo presenta las estadsticas utilizadas en el anlisis de tems y se ilustran los reportes obtenidos empleando los resultados reales de algunos de los tems que formaron parte de las pruebas. Finalmente, el captulo 5 expone la metodologa usada en la definicin de las escalas de calificacin de las pruebas SABER 5o. y 9o. 2009 y de los niveles de desempeo reportados. Adicionalmente, el lector encontrar anexos con la informacin complementaria sobre las caractersticas tcnicas del estudio.
La elaboracin de este informe estuvo a cargo de profesionales de las subdirecciones de Diseo de Instrumentos, Estadstica y de Anlisis y Divulgacin de la Direccin de Evaluacin del ICFES. Agradecemos la participacin de Mara Nelcy Rodriguez, quien en su labor como Subdirectora de Estadstica colabor en la definicin y en el desarrollo inicial de los contenidos de este informe, de Martha Snchez, John Jairo Rivera, Carlos Pardo, Martha Ligia Cuevas, Luis Adrin Quintero, Cristian Montao y Aracely Mora por sus valiosos aportes derivados de la revisin tcnica.
INFORMES
1. Marco de referencia SABER 5o. y 9o. 2009

Yanneth Beatriz Castelblanco Marcelo*
Uno de los propsitos de la poltica educativa es garantizar que todos los estudiantes, sin importar su procedencia y contexto socioeconmico y cultural, reciban en la escuela una educacin de alta calidad que contribuya al desarrollo de sus competencias necesarias para vivir, convivir, ser productivos en todos los mbitos y seguir aprendiendo a lo largo de sus vidas. SABER 5o. y 9o., como componente fundamental de la estrategia a favor de la calidad de la educacin en el pas, se encuentra alineada a los Estndares Bsicos de Competencias establecidos por el Ministerio de Educacin Nacional (MEN, 2006). Estos se constituyen como el punto de partida para la definicin de los propsitos de la evaluacin, en la medida en que son los referentes comunes acerca de los conocimientos, habilidades y valores que todos los estudiantes colombianos deben desarrollar durante la trayectoria escolar, independientemente de su procedencia, condiciones sociales, econmicas y culturales. Por tanto, constituyen los criterios comunes de la evaluacin y de los resultados de esta, y tienen como propsito fundamental posibilitar el monitoreo de los avances en el tiempo y el diseo de estrategias focalizadas de mejoramiento acordes con las necesidades particulares de la poblacin. Dentro de la promulgacin de la Ley 715, la prueba SABER 5o. y 9o. se ha aplicado en forma censal en dos ocasiones: una entre 2002 y 2003 y otra entre 2005 y 2006, de acuerdo con el calendario acadmico (A y B) vigente en las entidades territoriales. Los resultados de ambas se han divulgado ampliamente por diversos medios, con el propsito de fortalecer los procesos de autoevaluacin institucional, as como para definir e implementar programas y acciones de mejoramiento en los establecimientos educativos, las secretaras de educacin y el Ministerio de Educacin Nacional. En 2009 se llev a cabo una nueva evaluacin censal en el marco de SABER 5o. y 9o., el Instituto Colombiano para la Evaluacin de la Educacin (ICFES) trabaj desde 2007 en su diseo, basado en la experiencia adquirida en los aos anteriores. Como resultado, se logr un diseo para un conjunto de aplicaciones que garantiza la medicin de la evolucin de los resultados en un periodo de doce aos, lo que corresponde a cinco aplicaciones que se efectuarn entre 2009 y 2021.
Subdireccin de Diseo de Instrumentos, Direccin de Evaluacin. ycastelblanco@icfes.gov.co
Este captulo contiene una descripcin detallada de los procedimientos que se desarrollaron durante el diseo y la ejecucin del estudio SABER 5o. y 9o. 2009.
1.1 Antecedentes del programa de evaluacin para educacin bsica y secundaria SABER
Las pruebas SABER de evaluacin para educacin bsica y secundaria se han aplicado desde comienzos de la dcada de los aos 1990. En 1992 y 1997 se evaluaron los estudiantes de 3o. y 5o. de educacin bsica primaria, y de 7o. y 9o. de educacin bsica secundaria, a travs de muestras representativas a nivel departamental. En las aplicaciones de 1991 y 1992 se evaluaron las reas de matemticas y lenguaje, y se recogieron datos socioeconmicos del estudiante y su familia para identificar los factores asociados con los desempeos. En 1997 y 1998 se evaluaron los mismos grados y reas que en la aplicacin anterior. Las evaluaciones censales trienales, obligatorias desde la expedicin de la Ley 715 de 2001, posibilitan que todas las instituciones educativas dispongan de informacin confiable acerca de lo que sus estudiantes saben y saben hacer y, a partir de esta, adelantar acciones especficas para superar las dificultades encontradas. SABER 5o. y 9o. se ha aplicado en forma censal en tres ocasiones: una entre 2002 y 2003, otra entre 2005 y 2006 y la ltima se realiz en 2009. En 2002 se aplicaron dos pruebas para los grados 5o. y 9o. que evaluaron las reas de matemticas y lenguaje. En 2003 se evaluaron las reas de ciencias naturales y competencias ciudadanas. En 2005 y 2006 se evaluaron, en los mismos grados, las reas de matemticas, lenguaje, ciencias naturales, ciencias sociales y competencias ciudadanas (vese cuadro 1.1). En 2009 se realizaron dos aplicaciones, de acuerdo con el calendario acadmico (A y B) vigente en las entidades territoriales, en las que se evaluaron las reas de matemticas, lenguaje y ciencias naturales en los grados 5o. y 9o. Tanto la estructura de prueba como el esquema de aplicacin de esta evaluacin presentan diferencias en comparacin con las aplicaciones anteriores. Por ejemplo, los tems que conforman las pruebas se construyeron segn la metodologa de especificaciones de contenido del modelo basado en evidencias, la cual permite construir evaluaciones sustentadas en criterios objetivos, que generan informacin confiable y explcita sobre lo que los estudiantes saben y saben hacer en desarrollo del propsito y del objeto de evaluacin en cada rea.
10
INFORMES
Cuadro 1.1 Evolucin de las pruebas SABER para educacin bsica y secundaria
L L L
Elaboracin: Direccin de Evaluacin, ICFES
1.2 Diseo y desarrollo de los instrumentos de evaluacin

Para llevar a cabo las pruebas SABER, al igual que cualquier otra prueba, es necesario desarrollar cuatro grandes procesos: diseo, aplicacin, procesamiento y produccin de informes. En 2007, el ICFES solicit asesora tcnica especializada al Educational Testing Service (ETS) para la revisin, evaluacin y actualizacin de los procedimientos de diseo, desarrollo de tems, aplicacin, procesamiento y produccin de informes de resultados de las pruebas correspondientes al programa de evaluacin educativa SABER 5o. y 9o. Como resultado de este trabajo se logr un diseo para un conjunto de aplicaciones, que garantiza la medicin de la evolucin de los resultados en un periodo de doce aos, lo que corresponde a cinco aplicaciones que se realizarn entre 2009 y 2021. En el cuadro 1.2 se muestran en detalle las fases de diseo, desarrollo de tems, aplicacin, procesamiento y produccin de informes de resultados de las pruebas que se desarrollaron para SABER 2009.
11
Cuadro 1.2. Etapas, actividades y periodo de realizacin de las fases de SABER 5o. y 9o. 2009
Etapas
I. Diseo de la evaluacin SABER proyectado para 12 aos (2009 al 2021)
Actividades
Definicin y alcance del propsito de la evaluacin reas por evaluar Poblacin objetivo Instrumentos (pruebas y cuestionarios de factores asociados) Resultados Construccin de especificaciones de prueba basada en el modelo de evidencias Construccin de pruebas Elaboracin de cuestionarios de factores asociados Pilotaje de instrumentos Armado y ensamblaje de pruebas Edicin de cuadernillos y cuestionarios Aplicacin de instrumentos definitivos en poblacin censal Aplicacin de instrumentos definitivos y cuestionarios de factores asociados con supervisin y monitoreo del ICFES. Organizacin de material, captura de datos, consolidacin y depuracin de informacin Consolidacin de bases de datos de factores asociados Calibracin de tems, definicin de tems utilizables, generacin de escalas Definicin de niveles de desempeo mediante la metodologa de Standard Setting Publicacin de resultados para establecimientos educativos y sedes-jornada. Resultados agregados por departamentos, municipios y entidades territoriales certificadas Elaboracin de reportes y divulgacin de resultados muestrales (Informe nacional) Publicacin de resultados muestrales (Informe nacional) Estudio de equiparacin SABER 2002-2005-2009. Publicacin estudio de factores asociados
II. Diseo y desarrollo de los instrumentos de evaluacin
III. Aplicacin definitiva de las pruebas y cuestionarios
IV. Produccin y divulgacin de resultados

Este captulo se centrar en las etapas I y II relacionadas con la definicin del diseo de SABER 5o. y 9o. 2009 y el diseo y desarrollo de los instrumentos de evaluacin.
12
INFORMES
1.2.1 Diseo de la evaluacin SABER 5o. y 9o. 2009

La etapa de diseo involucra la definicin del propsito de evaluacin, de la poblacin objetivo y del objeto de evaluacin, as como la delimitacin de las dimensiones cognitivas y disciplinares por evaluar en las reas de matemticas, lenguaje y ciencias naturales, la concrecin de la estructura de prueba y el desarrollo de las especificaciones de contenido en cada rea. La definicin del propsito de evaluacin, de la poblacin objetivo y de las reas y grados por evaluar en SABER 5o. y 9o. 2009, as como del esquema de aplicacin a implementar, se realiz en sesiones con el equipo de trabajo del ICFES y funcionarios del Ministerio de Educacin Nacional entre mayo y junio de 2007. Como resultado de este trabajo se determinaron los siguientes aspectos de la evaluacin: Propsito: contribuir al mejoramiento de la calidad de la educacin colombiana, mediante la realizacin de evaluaciones censales peridicas en las que se valoran las competencias bsicas de los estudiantes y se analizan los factores que inciden en sus logros. Los resultados de estas evaluaciones permiten que los establecimientos educativos, las secretaras de educacin, el Ministerio de Educacin Nacional y la sociedad en general conozcan cules son las fortalezas y debilidades y, a partir de estas, puedan definir planes de mejoramiento en sus respectivos mbitos de actuacin. Su carcter peridico posibilita, adems, valorar cules han sido los avances en un determinado lapso y establecer el impacto de programas y acciones especficas de mejoramiento. Poblacin por evaluar: SABER 5o. y 9o. evala la calidad de la educacin en la totalidad de los establecimientos educativos, tanto oficiales como privados, mediante la aplicacin de pruebas de competencias bsicas a los estudiantes de quinto grado de educacin bsica primaria y de noveno grado de educacin bsica secundaria. Vale la pena resaltar que aunque se aplica a estudiantes que estn en estos grados, las pruebas evalan lo correspondiente al ciclo de educacin bsica primaria (1o. a 5o.) y al ciclo de bsica secundaria (6o. a 9o.). La aplicacin de las pruebas se realiz dos veces, en mayo y en octubre, teniendo en consideracin los calendarios escolares que estn vigentes en el pas: el calendario A, que cubre cerca del 80% de las instituciones escolares, y el calendario B, con cerca del 20% restante. reas por evaluar y periodicidad: se considera que cada tres (3) aos se deben evaluar las reas de lenguaje y matemticas. El diseo de SABER 5o. y 9o. permitir la inclusin alterna de otras reas, por ejemplo, ciencias naturales, ciencias sociales o competencias ciudadanas en las aplicaciones siguientes. En 2009 se evalu el rea de ciencias naturales.
13
Carcter de la aplicacin: la medicin de SABER 5o. y 9o. combina, en cada uno de los calendarios, una aplicacin muestral controlada y una censal. Adicionalmente, se les ofrecer a las entidades territoriales la posibilidad de financiar sobremuestras adicionales que permiten generar resultados con niveles de confiabilidad suficientes para reportar en cada una de ellas y compararse entre s y con las dems ciudades participantes y, a la vez, mejorar la representatividad de la muestra nacional, con un operativo de caractersticas de aplicacin similares al muestral pero controlado por las secretarias de educacin, denominada aplicacin estadstica. La aplicacin muestral es desarrollada totalmente por el ICFES, con un diseo muestral representativo a nivel nacional, sector y zona. El detalle del diseo muestral se presenta en el captulo 3. La aplicacin censal involucra todas las instituciones educativas a nivel nacional y su control est a cargo de estas, con el apoyo de las secretaras de educacin y la veedura de integrantes de la comunidad educativa.
1.2.2 Diseo y desarrollo de los instrumentos de evaluacin a. Marcos de referencia

Luego de la definicin de los aspectos generales del diseo, se inici el ajuste y actualizacin de los marcos de referencia con la participacin de expertos en las diferentes reas evaluadas. El ICFES coordin este ajuste con grupos de trabajo conformados por expertos en las reas por evaluar, docentes en ejercicio de los grados 5o. y 9o. y representantes del Ministerio de Educacin Nacional. Durante este proceso, se trazaron claramente los constructos que iban a medirse y se definieron las categoras de evaluacin, los cuales se basaron en los Estndares Bsicos de Competencias en Matemticas, Lenguaje y Ciencias Naturales (MEN, 2006). Una vez terminados, estos marcos fueron validados por docentes y otros expertos en las reas; as mismo, se sometieron a la lectura y juicio de expertos internacionales. Con las observaciones y los aportes recibidos en esta retroalimentacin, se efectuaron algunos ajustes finales a los marcos de referencia en cada rea.
b. Especificaciones de prueba
Una buena evaluacin, ya sea realizada por los docentes en sus aulas o llevada a cabo a travs de pruebas estandarizadas, debe sustentarse en instrumentos con un alto grado de validez, de manera que permitan establecer con precisin qu saben y saben hacer los estudiantes y, con base en ello, identificar cules son sus fortalezas y debilidades para avanzar en el proceso formativo. De esta manera, para obtener resultados confiables en una evaluacin es necesario que las dimensiones conceptuales y cognitivas y los logros que definen cada nivel de desempeo por evaluar estn adecuadamente representados en especificaciones de contenido, pues en estas se apoyarn las interpretaciones que se hagan de los resultados de una prueba.
14
INFORMES
Caractersticas como la exigencia particular de una pregunta en un cruce de dominios evaluados, la dificultad de la misma, el tipo de estmulos o situaciones en las que se formulan las tareas de evaluacin y el alcance de los conceptos particulares por evaluar en la poblacin objetivo, deben quedar explcitas en las especificaciones de prueba para lograr construir bloques de preguntas paralelos dentro de una misma aplicacin y la comparacin entre aplicaciones. En el caso de SABER 5o. y 9o. 2009, las competencias, los componentes y los logros de cada rea que se esperan cubrir por cada nivel se definieron con suficiente detalle en las especificaciones de contenido, las cuales permitieron replicar los dominios evaluados en formas paralelas de la prueba. Esto es necesario para asegurar que la asignacin de niveles tiene caractersticas y significados comparables de una forma a otra y para garantizar la comparabilidad entre aplicaciones de la prueba en el tiempo. La definicin de las especificaciones para SABER 5o. y 9o. 2009 se estandariz y aline con los Estndares Bsicos de Competencias (MEN, 2006), y se estructur segn la metodologa de diseo basado en evidencias, la cual permiti definir las especificaciones de contenido por evaluar en matemticas, lenguaje y ciencias naturales. Esta metodologa consiste en un conjunto de procesos que parten de la identificacin de las competencias que sern evaluadas y llegan hasta la definicin de las tareas que debe responder un estudiante, de manera que estas ltimas se constituyan en evidencias que den cuenta de los conocimientos, habilidades o capacidades que se quieren medir (vase figura 1.1). En este proceso de construccin de las especificaciones participaron docentes en ejercicio y expertos en la enseanza de las reas evaluadas. Seguir esta metodologa garantiza la homogeneidad de los instrumentos que se elaboren durante un periodo largo, pues provee los elementos necesarios para que grupos diferentes de constructores de preguntas puedan producir pruebas equivalentes.
Figura 1.1 Metodologa de diseo basado en evidencias
Estndares Bsicos de Competencias
Competencia 1
Estndar
Competencia 2
Competencia n
Afirmacin 1
Afirmacin 2
Afirmacin 3
Docentes y expertos en evaluacin

Tarea 1
Evidencia 1
Evidencia 2
Evidencia n
Tarea 2
Tarea n
Pregunta 1
Pregunta 2
Pregunta n
15
Al aplicar la metodologa, se parti de los Estndares Bsicos de Competencias (MEN, 2006) que son los referentes comunes acerca de los conocimientos, habilidades y valores que todos los estudiantes colombianos deben desarrollar en su trayectoria escolar, independientemente de su procedencia y condiciones sociales, econmicas y culturales. Los estndares se organizan alrededor de conjuntos de competencias y de componentes, de acuerdo con las caractersticas disciplinares de cada rea. La naturaleza de estas competencias y componentes hace que no todas sean evaluables a travs de pruebas de papel y lpiz; por tanto, dependiendo del proceso de evaluacin que se pretenda desarrollar, se eligen aquellas que, adems de permitir dar cuenta de un conjunto de habilidades y conocimientos fundamentales que los estudiantes deben desarrollar durante su formacin bsica, puedan medirse a travs de pruebas estandarizadas con preguntas de seleccin mltiple. Para cada una de las competencias y los componentes seleccionados de los estndares, se formulan afirmaciones. Estas son enunciados que se formulan acerca de los conocimientos, capacidades y habilidades de los estudiantes, atendiendo a la pregunta Qu se quiere decir sobre los estudiantes a partir de sus respuestas a una evaluacin? Las afirmaciones estn enunciadas a travs de verbos no observables; por ejemplo: comprende, interpreta, analiza. Las evidencias se refieren a enunciados que representan conductas o productos observables mediante los cuales es posible verificar los desempeos a los que se refieren las afirmaciones. Las evidencias responden a la pregunta Qu tiene que hacer el evaluado que permita inferir lo que sabe o sabe hacer? Cada afirmacin debe tener el nmero de evidencias suficiente y necesario para poder sustentarla, y debe ser pertinente con las caractersticas o restricciones de prueba. Finalmente, a partir de la descripcin de las evidencias que dan cuenta de una afirmacin, se proponen tareas que se refieren a lo que se les pide a los evaluados que hagan en una prueba. Estos enunciados representan una tarea especfica, una descripcin de un potencial o una familia de preguntas. Para construir una tarea de evaluacin es necesario identificar y caracterizar qu afecta su dificultad y tambin lo que puede afectar su validez. Con este nuevo diseo de la estructura de las pruebas y del esquema de aplicacin adoptado, SABER 5o. y 9o. 2009 se concibe como la lnea de base de la evaluacin en educacin bsica del pas hasta el ao 2021. A continuacin, se describe brevemente la evaluacin en cada una de las reas y de las especificaciones de las pruebas en trminos de competencias y componentes definidos. As mismo, en el anexo 1 se presentan las afirmaciones que sustentan los dominios evaluados en cada una de las reas.
16
INFORMES
Prueba de matemticas
La evaluacin en matemticas est referida al saber hacer en el contexto matemtico escolar, es decir, a las formas de proceder asociadas al uso de los conceptos y estructuras matemticas. En este sentido, se privilegian las significaciones que el estudiante ha logrado construir y que pone en evidencia cuando se enfrenta con diferentes situaciones y problemticas enmarcadas en las mismas matemticas, la vida diaria y las otras ciencias. De esta manera, en las pruebas es fundamental evaluar el significado de los conceptos matemticos y la prctica significativa, relacionada esta ltima con la matematizacin que exige al estudiante simbolizar, formular, cuantificar, validar, esquematizar, representar y generalizar. Estas actividades le permitirn al estudiante desarrollar descripciones matemticas, explicaciones o construcciones. En los Estndares Bsicos de Competencias y los lineamientos curriculares para el rea se establecen cinco procesos generales de la actividad matemtica: la formulacin, el tratamiento y resolucin de problemas; la modelacin de procesos y fenmenos de la realidad; la comunicacin; el razonamiento y la formulacin, comparacin y ejercitacin de procedimientos. Para los propsitos de la evaluacin, estos procesos se reagruparon en tres competencias especficas, las cuales se detallan en el cuadro 1.3.
Cuadro 1.3. Competencias evaluadas en matemticas
Competencia
La comunicacin, la representacin y la modelacin El razonamiento y la argumentacin
Descripcin
Capacidad del estudiante para expresar ideas, interpretar, representar, usar diferentes tipos de lenguaje y describir relaciones. Dar cuenta del cmo y del porqu de los caminos que se siguen para llegar a conclusiones, es decir, justificar y distinguir los tipos de razonamiento y evaluar cadenas de argumentos para llegar a conclusiones determinadas. Formulacin de problemas a partir de situaciones dentro y fuera de las matemticas, el desarrollo y aplicacin de diferentes estrategias y la capacidad de verificar e interpretar resultados a la luz del problema original y a la generalizacin de soluciones y estrategias para dar solucin a nuevas situaciones.
El planteamiento y resolucin de problemas
Por otro lado, en los Estndares Bsicos de Competencias y en los lineamientos curriculares se establecen cinco tipos de pensamientos relacionados con el desarrollo de las competencias matemticas: el pensamiento numrico y sistemas numricos; el pensamiento espacial y los sistemas geomtricos; el pensamiento mtrico y los sistemas de medidas; el pensamiento
17
aleatorio y los sistemas de datos; y el pensamiento variacional y los sistemas algebraicos y analticos. Estos pensamientos se agruparon en los tres componentes evaluados en la prueba: el numrico-variacional, el geomtrico-mtrico y el aleatorio. El cuadro 1.4 describe cada uno de estos.
Cuadro 1.4. Componentes evaluados en matemticas
Componente
Descripcin
Comprensin de los nmeros, la estructura del sistema de numeracin; el significado de las operaciones, la comprensin de sus propiedades y de las relaciones entre ellas; el uso de los nmeros y las operaciones en la resolucin de problemas diversos, la descripcin de fenmenos de cambio y dependencia; conceptos y procedimientos asociados al concepto de funcin. Construccin y manipulacin de representaciones de los objetos del espacio, el desarrollo del pensamiento visual, el anlisis abstracto de figuras y formas en el plano y en el espacio a travs de la observacin de patrones y regularidades, el razonamiento geomtrico y la solucin de problemas de medicin, la comprensin de los procesos de conservacin, la estimacin de magnitudes, la apreciacin del rango, la seleccin de unidades de medida, de patrones y de instrumentos y el uso de unidades, entre otros. Representacin, lectura e interpretacin de datos en contexto; el anlisis cuantitativo de diversas formas de representacin de informacin numrica, el anlisis cuantitativo de regularidades, de tendencias, de tipos de crecimiento, y la formulacin de inferencias y argumentos usando medidas de tendencia central y de dispersin; y el reconocimiento, descripcin y el anlisis de eventos aleatorios.
Numrico-variacional
Geomtrico-mtrico
Aleatorio
Vale destacar que esta divisin no pretende separar las matemticas en elementos discretos; por el contrario, los mismos tienen la intencin de proporcionar un esquema de clasificacin til que describe el espectro total de los componentes matemticos planteados en los Estndares Bsicos de Competencias.
Prueba de lenguaje
Los Estndares Bsicos de Competencias producidos por el Ministerio de Educacin Nacional destacan la importancia del lenguaje como requisito para la adquisicin de conocimientos y como parte fundamental para la interaccin en el entorno social. Los estndares abarcan tanto el lenguaje verbal como el no verbal y estn orientados a las capacidades expresivas y comprensivas de los estudiantes. Por ello, se organizan en torno a cinco factores: (a) produccin
18
INFORMES
textual; (b) comprensin e interpretacin textual; (c) literatura, que comprende la perspectiva esttica del lenguaje; (d) medios de comunicacin y otros sistemas simblicos; y (e) tica de la comunicacin, el elemento transversal a los cuatro factores anteriores. A su vez, en esta diversidad de factores o manifestaciones del lenguaje ocurren varios procesos, dentro de los que se encuentran: la construccin de sistemas de significacin, la interpretacin y produccin de textos, los procesos culturales y estticos asociados al lenguaje, los principios de interaccin y procesos culturales implicados en la tica de la comunicacin y los procesos de desarrollo del pensamiento. En concordancia con los planteamientos de los estndares, la prueba de lenguaje evala la competencia comunicativa a travs de dos procesos: la compresin e interpretacin textual (lectura) y la produccin textual (produccin o escritura), de acuerdo con lo que se presenta en el cuadro 1.5.
Cuadro 1.5. Competencias evaluadas en lenguaje
Procesos
Descripcin
Se refiere a la bsqueda y reconstruccin del sentido y los significados presentes en diferentes tipos de textos (literarios, informativos, descriptivos, avisos, tablas, grficos, entre otros) y otras formas de comunicacin no verbal, tales como gestos, msica y expresiones artsticas. En trminos generales, la prueba de lectura propone a los estudiantes una reflexin en torno a qu dice el texto (contenidos conceptuales e ideolgicos), cmo lo dice (organizacin), para qu y por qu lo dice (pragmtica); cundo lo dice y quin lo dice. Tiene que ver con la generacin de significados, tanto para expresarse como para transmitir informacin o interactuar con los dems. La prueba evala el proceso de escritura y no la escritura en s. Esto significa que no se les solicita a los estudiantes la elaboracin de textos escritos, sino que las preguntas indagan sobre los tipos de textos que ellos utilizaran para lograr un determinado propsito o finalidad comunicativa; la forma como los organizaran para expresar un mensaje o una idea y aspectos relativos al uso adecuado de las palabras y frases para que se produzcan textos con sentido. De esta manera, respecto a este proceso, en la prueba se revisan las siguientes fases o etapas del proceso de escritura: (a) planeacin, preescritura o preparacin; (b) textualizacin, escritura o elaboracin de borradores; y (c) revisin o reescritura.
Lectura
Escritura
19
Por otra parte, en la prueba de lenguaje se consideran tres componentes transversales a las dos competencias evaluadas, los cuales se describen en el cuadro 1.6.
Cuadro 1.6 Componentes evaluados en lenguaje
Componente
Semntico Sintctico Pragmtico
Descripcin
Sentido del texto en trminos de su significado. Este componente indaga por el qu se dice en el texto. Organizacin del texto en trminos de su coherencia y cohesin, por tanto, indaga por el cmo se dice. Para qu se dice, en funcin de la situacin de comunicacin que envuelve el texto, es decir, las particularidades de comunicacin que se emplean en l.
Prueba de ciencias naturales
Los Estndares Bsicos de Competencias en Ciencias Naturales (MEN, 2006) resaltan la importancia de la formacin cientfica dado el contexto actual, en un mundo en el que la ciencia y la tecnologa cada vez desempean un papel ms importante en la vida cotidiana y el desarrollo de las sociedades. Por esta razn, se adopta la perspectiva de la ciencia como prctica social, al entenderse como un proceso colectivo de construccin, validacin y debate. De esta manera, por ciencias naturales se entienden los cuerpos de conocimientos, en permanente construccin, que se ocupan del mundo natural, teniendo presente la complejidad del mismo. Las ciencias naturales, a su vez, se dividen en tres grandes categoras entrelazadas entre s: entorno vivo, entorno fsico y ciencia, tecnologa y sociedad. Esta divisin constituye los tres componentes evaluados en la prueba, tal como se muestra en el cuadro 1.7.
Cuadro 1.7. Componentes evaluados en ciencias naturales
Componente
Descripcin
Este componente aborda temas relacionados con los seres vivos y sus interacciones. Se centra en el organismo para entender sus procesos internos y sus relaciones con los medios fsico y bitico. Los temas unificadores que se abordan dentro de este componente son: estructura y funcin, homestasis, herencia y reproduccin, ecologa, evolucin, diversidad y similaridad. Se orienta a la comprensin de los conceptos, principios y teoras a partir de los cuales el hombre describe y explica el mundo fsico con el cual interacta. Dentro de este se estudia el universo; la materia, sus propiedades, su estructura y transformaciones, apropiando nociones o conceptos como mezclas, combinaciones, reacciones qumicas, energa, movimiento, fuerza, tiempo, espacio y sistemas de medicin. Busca estimular en los jvenes la independencia de criterio y un sentido de responsabilidad crtica hacia el modo como la ciencia y la tecnologa pueden afectar sus vidas, las de sus comunidades y las del mundo en general.
Entorno vivo
Entorno fsico
Ciencia, tecnologa y sociedad
20
INFORMES
Los propsitos o metas de la formacin en ciencias hacen nfasis en la indagacin cientfica, en la formulacin de preguntas y en la capacidad analtica y crtica, sin restarle importancia a los conceptos. Es as como los estndares enfatizan en la forma de aproximacin al conocimiento cientfico, en el manejo de conocimientos propios de las ciencias naturales y en el desarrollo de compromisos personales y sociales. En particular, la prueba de ciencias tiene como objetivo establecer y diferenciar las competencias de los estudiantes para poner en juego sus conocimientos bsicos de las ciencias naturales en la comprensin y resolucin de problemas. La prueba evala, adems, la comprensin que los estudiantes tienen sobre las particularidades y los alcances del conocimiento cientfico y la capacidad que ellos poseen para diferenciar este conocimiento de otros saberes. Esta evaluacin tambin indaga por la capacidad de los estudiantes para establecer relaciones entre nociones y conceptos provenientes de contextos propios de la ciencia y de otras reas del conocimiento, al ejercitar su capacidad crtica, entendida esta como la habilidad para identificar inconsistencias y falacias en una argumentacin, para valorar la calidad de una informacin o de un mensaje y para asumir una posicin propia. Lo anterior forma parte de los requerimientos del mundo moderno que exigen la capacidad de interpretar y actuar socialmente de manera reflexiva, eficiente, honesta y tica. Con este marco, la prueba aborda tres competencias que hacen referencia al aspecto disciplinar y metodolgico del trabajo de las ciencias, tal como se muestra en el cuadro 1.8.
Cuadro 1.8. Competencias evaluadas en ciencias naturales
Competencia
Descripcin
Capacidad para comprender y usar conceptos, teoras y modelos en la solucin de problemas, a partir del conocimiento adquirido. Esta competencia se relaciona con el conocimiento disciplinar de las ciencias naturales, de manera que las preguntas de la prueba buscan que el estudiante relacione conceptos y conocimientos adquiridos con fenmenos que se observan con frecuencia. Capacidad para construir explicaciones y comprender argumentos y modelos, que den razn de fenmenos. Est relacionada con la forma como los estudiantes van construyendo sus explicaciones en el contexto de la ciencia escolar y busca fomentar en el estudiante una actitud crtica y analtica que le permita establecer la validez o coherencia de una afirmacin o un argumento. Capacidad para plantear preguntas y procedimientos adecuados, para buscar, seleccionar, organizar e interpretar informacin relevante para dar respuesta a esas preguntas. Esta competencia involucra los procedimientos, las distintas metodologas que se dan para generar ms preguntas o intentar dar respuesta a una de ellas. Por tanto, el proceso de indagacin en ciencias implica, entre otras cosas, plantear preguntas, buscar relaciones de causa/efecto, hacer predicciones, identificar variables, realizar mediciones y organizar y analizar resultados.
Uso comprensivo del conocimiento cientfico
Explicacin de fenmenos
Indagacin
21
c. Construccin de instrumentos de evaluacin

De acuerdo con las dimensiones definidas para la evaluacin en cada una de las reas y con las especificaciones de contenido, descritas en el apartado anterior, se construyeron las preguntas con las cuales se hicieron las aplicaciones piloto y luego se seleccionaron las preguntas para armar los instrumentos definitivos. La construccin de los tems en cada una de las reas evaluadas fue coordinada por los encargados de prueba del Grupo de Evaluacin de la Educacin Bsica y Media, actualmente Subdireccin de Produccin de Instrumentos, y cont con la participacin de un equipo diverso de docentes expertos en los contenidos por evaluar. Los docentes de las reas se convocaron y se seleccionaron a partir de un examen y, luego de un entrenamiento, se dio inicio al proceso de construccin de tems. Respecto al tipo de preguntas, para todas las pruebas se estableci la construccin de preguntas de seleccin mltiple con nica respuesta. En estas preguntas se presenta el enunciado y cuatro opciones de respuesta, denominadas A, B, C y D; solo una de ellas es correcta y vlida en relacin con la situacin planteada. El taller de entrenamiento para los constructores de tems se centra bsicamente en dos aspectos. El primero de ellos se relaciona con el marco de referencia y la estructura de la prueba; se precisan las definiciones sobre el objeto de evaluacin por rea, as como las competencias y los componentes. El segundo aspecto est relacionado con las tcnicas para la construccin de los tems y se utiliza como gua el manual de construccin de preguntas del ICFES.
d. Estructura de las pruebas

Dadas las condiciones de aplicacin de los instrumentos, es decir que los estudiantes responden la prueba en la jornada escolar, el nmero de preguntas que conforman un cuadernillo de prueba que responde cada estudiante es una muestra de la totalidad de la estructura de prueba. En cada cuadernillo, una forma de prueba (lenguaje, matemticas y ciencias naturales) consta de dos bloques de tems. Un bloque es un grupo de preguntas que responde a las mismas caractersticas de contenido y de dificultad que la prueba completa. En total se aplicaron ocho bloques distintos para cada rea en cada grado. El nmero de preguntas por bloque para cada rea y grado, as como el nmero total de preguntas por prueba en cada grado se presentan en los cuadros 1.9 y 1.10.
22
INFORMES
Cuadro 1.9. Nmero de preguntas por bloque en cada rea para quinto grado
rea
Lenguaje Matemticas Ciencias naturales
Nmero de bloques
8 8 8
Nmero de preguntas por bloque

18 24 24
Total preguntas por prueba

144 192 192
Cuadro 1.10. Nmero de preguntas por bloque en cada rea para noveno grado
rea
Nmero de bloques
8 8 8
Nmero de preguntas por bloque

27 27 27
Total preguntas por prueba

216 216 216
Las tablas siguientes muestran la distribucin porcentual de las preguntas de las pruebas de lenguaje, matemticas y ciencias naturales en cada una de las competencias y los componentes evaluados.
Lenguaje
En el caso de la prueba de lenguaje, la distribucin de preguntas por componente y competencia es la misma en quinto y noveno grado (vase cuadro 1.11).
Cuadro 1.11. Distribucin de las preguntas por componente y competencia para la prueba de lenguaje en quinto y noveno grado
Componente
Semntico Sintctico Pragmtico Total
Lectora
23% 22% 22% 67%
Competencia Escritora
12% 11% 11% 34%
Total
34% 33% 33% 100%
23
Matemticas
En la prueba de matemticas, la distribucin de preguntas por componente y competencia es distinta para los dos grados (vanse cuadros 1.12 y 1.13).
Cuadro 1.12. Distribucin de las preguntas por componente y competencia para la prueba de matemticas quinto grado
Componente
Numrico Geomtrico Aleatorio Total
Razonamiento
10% 19% 6% 35%
Competencia Comunicacin Resolucin

15% 10% 10% 35% 15% 11% 4% 30%
Total
40% 40% 20% 100%
Cuadro 1.13. Distribucin de las preguntas por componente y competencia para la prueba de matemticas noveno grado
Componente
Numrico Geomtrico Aleatorio Total
Razonamiento
11% 15% 11% 37%
Competencia Comunicacin Resolucin

13% 11% 10% 34% 11% 9% 9% 29%
Total
35% 35% 30% 100%
Ciencias naturales
En la prueba de ciencias naturales, la distribucin de preguntas por componente y competencia es distinta para los dos grados (vanse cuadros 1.14 y 1.15).
Cuadro 1.14. Distribucin de las preguntas por componente y competencia para la prueba de ciencias naturales quinto grado
Competencia Componente
Entorno vivo Entorno fsico CTS Total
Uso comprensivo del conocimiento cientfico 11% 11% 8% 30%
Explicacin de fenmenos 11% 11% 8% 30%
Indagacin 20% 20% -40%
Total
42% 42% 16% 100%
24
INFORMES
Cuadro 1.15. Distribucin de las preguntas por componente y competencia para la prueba de ciencias naturales noveno grado
Competencia Componente
Entorno vivo Entorno fsico CTS Total
Uso comprensivo del conocimiento cientfico 11% 11% 9% 31%
Explicacin de fenmenos 11% 11% 9% 31%
Indagacin 19% 19% -38%
Total
41% 41% 18% 100%
De esta manera, el nmero de preguntas por prueba que responde un estudiante vara segn el grado y rea. Los estudiantes de quinto grado debieron contestar 36 preguntas en el rea de lenguaje y 48 en matemticas y ciencias; en noveno grado, todas las reas se evaluaron con 54 preguntas (vase cuadro 1.16).
Cuadro 1.16. Nmero de preguntas por cuadernillo por rea y grado
rea
Quinto
36 48 48
Noveno
54 54 54
1.3 Armada de pruebas

La armada o ensamblaje es un paso muy importante en el desarrollo de las pruebas, pues la validez de la interpretacin de los resultados depende en gran medida de un proceso de ensamblaje cuidadoso y exacto. En esta etapa es fundamental el seguimiento de las especificaciones de prueba, en trminos del nmero de afirmaciones y evidencias definidas, para que en cada bloque de preguntas armado est representada la totalidad de las dimensiones de la estructura de prueba. Esto asegura que cada bloque cumpla la distribucin de preguntas mostrada en los cuadros 11 a 15. Vale la pena mencionar que la armada de pruebas se ha desarrollado teniendo en cuenta las configuraciones previstas para las siguientes cuatro (4) aplicaciones de la evaluacin SABER 5o. y 9o. 2009.
25
Como se mencion, cada forma de prueba que responde un estudiante estuvo conformada por dos bloques de tems. Para el grado quinto, en la prueba de lenguaje se ensamblaron ocho (8) bloques de 18 tems cada uno, mientras que para las reas de matemticas y ciencias naturales se ensamblaron ocho (8) bloques de 24 tems cada uno. Para grado noveno, en las tres reas se ensamblaron ocho (8) bloques de 27 tems cada uno. Los bloques de una prueba se distribuyeron entre bloques tipo A y tipo B, los cuales son ensamblados siguiendo la misma estructura, es decir, tienen la misma cantidad de preguntas por competencia, componente y nivel de dificultad, pero pueden tener distintas evidencias. As, cada uno de los bloques tipo A se arm con la mitad de las evidencias y de tipo B se arm con las evidencias restantes, de manera que al responder los dos bloques se completa la estructura total de la prueba. El anexo 2 muestra la armada de las formas a partir de los ocho (8) bloques para cada una de las aplicaciones. Al cumplir las especificaciones de diseo descritas en el presente captulo, se consolidaron los instrumentos de evaluacin SABER 5o. y 9o. 2009, con los cuales se logr asegurar el cubrimiento de la totalidad del contenido definido para cada una de las dimensiones de la evaluacin, as como con los distintos niveles de dificultad esperados. Con esto se garantizan dos elementos fundamentales de la evaluacin externa, su validez y su confiabilidad.
26
INFORMES
2. Logstica de aplicaciones
Roco del Pilar Mndez Surez* lvaro Enrique Uzaheta Berdugo** y Jenyfer Garca Naranjo***
El proceso logstico de la aplicacin de las pruebas SABER 5o. y 9o. 2009 se constituy en un gran reto por el nmero de establecimientos educativos y estudiantes evaluados y por la magnitud de todos los recursos movilizados para llevar a cabo la aplicacin. En esta se evaluaron ms de un milln de estudiantes y cerca de 17.000 colegios. En el operativo muestral (aplicaciones controlada y estadstica) participaron cerca de 102.000 alumnos de quinto y un poco ms de 87.000 de noveno grado. La aplicacin controlada corresponde a la realizada en su totalidad por el ICFES en los establecimientos seleccionados para la muestra representativa a nivel nacional. La aplicacin estadstica corresponde a la realizada con seguimiento de las entidades territoriales certificadas que participaron con sobremuestras representativas en cada una de ellas1. Las tablas 2.1 y 2.2 presentan la participacin de estudiantes y de establecimientos por calendario para los operativos censal y muestral.
Tabla 2.1. Nmero de estudiantes y establecimientos educativos participantes en el operativo censal (calendarios A y B)
Grado
Quinto
Calendario
A B Total A
Estudiantes
595.768 64.103 659.871 409.227 48.528 457.755
Establecimientos
13.233 2.248 15.481 7.044 913 7.957
Noveno
B Total
Nota. Debido a que muchos establecimientos educativos ofrecen simultneamente ambos grados, la suma de los mismos supera los 17.000 enunciados en el texto.
* Subdireccin de Anlisis y Divulgacin, Direccin de Evaluacin. rmendez@icfes.gov.co ** Subdireccin de Estadstica, Direccin de Evaluacin. auzaheta@icfes.gov.co *** Subdireccin de Estadstica, Direccin de Evaluacin. jnaranjo@icfes.gov.co
1
Realizada en Medelln y Bogot para calendario A; y en Cali, Buenaventura, Buga, Cartago, Palmira, Tulu y Jamund, para calendario B.
27
Tabla 2.2 Nmero de estudiantes y establecimientos educativos participantes en el operativo muestral (aplicaciones controlada y estadstica)
Grado
Quinto
Calendario
A B Total A
Estudiantes
73.658 28.106 101.764 61.781 24.778 86.559
Establecimientos
986 453 1.439 850 366 1.216
Noveno
B Total
En este captulo se describen los procesos y las particularidades de la estructura de los tres tipos de aplicaciones (censal, estadstica y controlada) en los dos calendarios escolares (A y B), a fin de proporcionar el referente de un esfuerzo sin precedentes que debe capitalizarse para el alistamiento logstico de prximas versiones de este proceso de evaluacin que cuenta con un amplio reconocimiento nacional. De esta manera, se describen las principales etapas del operativo, como la consolidacin de la base de datos, la socializacin de la aplicacin, la asignacin del material de aplicacin y de examen, la vinculacin del recurso humano y la definicin de los procedimientos que deban cumplir los examinadores, as como la estructura del proceso logstico y el monitoreo de la calidad de la aplicacin.
2.1 Bases de datos

El Ministerio de Educacin Nacional suministr la base de datos del Sistema de Informacin de Matrcula (SIMAT)2, la cual fue validada por las secretaras de educacin a travs del aplicativo web que el ICFES dispuso para ello. En calendario A, algunos rectores ingresaron a verificar la informacin de matrcula por un mdulo de consulta va web, este servicio permiti corregir la informacin de matricula cuando era necesario y facilit el acercamiento del ICFES a los establecimientos educativos del sector privado. Para las aplicaciones control y estadstica se utiliz el servicio de un centro de contacto (Contact Center), particularmente para confirmar informacin especfica del establecimiento educativo y de las instrucciones de llegada a los mismos.
Herramienta creada por el Ministerio de Educacin Nacional para facilitar el reporte exacto, por parte de las secretaras de educacin, de los nios y nias que se matriculan en las instituciones educativas del pas. Tomado de http://www.colombiaaprende.edu.co/html/home/1592/article-120491.html
28
INFORMES
En esta etapa se concret el nmero de cuadernillos y el material de aplicacin necesario, as como el personal requerido y se ajustaron las proyecciones en los recursos financieros requeridos para la aplicacin. Por ello, mediante la validacin y actualizacin realizada desde el nivel de entidad territorial hasta el institucional, se implement la consolidacin de la base de datos como el primer paso para el alistamiento logstico (vanse los cronogramas en cada calendario, cuadros A3.1 y A3.2 del anexo 3).
2.2 Consulta, verificacin y captura de informacin

Con el objetivo de mejorar la calidad de la informacin y reducir al mnimo los factores que pudiesen generar incertidumbre, se desarroll un aplicativo web que le permita al rector o coordinador de sede verificar la matrcula de su institucin, consultar la agenda de socializacin para los procesos de capacitacin y el punto de recoleccin del material de examen, determinando la distancia entre el punto donde se encontraba y en donde deba recoger el material, haciendo uso de un sistema de posicionamiento global (GPS, por su sigla en ingls). El aplicativo incluy los siguientes mdulos: Mdulo de verificacin de informacin (base de datos). Mdulo de asignacin de cuadernillos. Mdulo de material de aplicacin. Mdulo de consulta de informacin relacionada con las etapas de socializacin y entrega del material de examen. Mdulo para informar desde las unidades de agrupacin la reasignacin de cuadernillos para la aplicacin censal. Mdulo de diligenciamiento del informe del rector. De igual forma, se cont con un micrositio web con la informacin pertinente para las secretaras de educacin y los establecimientos educativos acerca del proyecto SABER.
2.3 Unidades de agrupacin

Los establecimientos educativos y los municipios se agruparon por cercana3. En cada unidad se defini un punto central, tanto para la socializacin como para la entrega del material de examen de las aplicaciones censal y estadstica. Cada unidad de agrupacin cont con un coordinador que representaba al ICFES y un encargado del ente territorial.
Denominadas de forma particular en algunas regiones, comunas, cadeles, etc.
29
Teniendo en cuenta la organizacin de las entidades territoriales, las unidades se conformaron as: Entes certificadosmunicipios: en un solo punto se hizo la entrega del material de examen. Entes certificadosciudad capital: ms de un punto para la entrega del material de examen. Entes departamentales: unidad de agrupacin por municipios. Dentro de cada unidad se seleccion un municipio de ubicacin central para realizar la entrega del material de examen. Esta organizacin facilit el contacto directo con los representantes de los establecimientos educativos en los procesos de socializacin, entrega de material y recepcin de las hojas de respuestas. Asimismo, posibilit descentralizar los procesos de seleccin y capacitacin de examinadores, lo cual minimiz el traslado de personas por los costos que esto puede representar para un proceso de aplicacin en viticos y transporte.
2.4 Vinculacin de examinadores y personal asociado al operativo

El recurso humano y los procedimientos asociados a los roles asignados constituyen uno de los aspectos que identificaron el operativo en cada tipo de aplicacin (vase cuadro A3.3 del anexo 3); para ello, se seleccionaron y prepararon los examinadores as como de los monitores externos. En calendario B, cuya aplicacin se realiz en el mes de mayo la capacitacin del personal se hizo en una sola reunin en la que se explicaron los aspectos logsticos y los procedimientos respectivos. Tratndose de un operativo sin precedentes en cuanto al nmero de instituciones evaluadas, cerca del 80% de los examinadores estuvo conformado por personal de reciente vinculacin. En calendario A, (aplicacin en octubre) la capacitacin se imparti dos semanas antes de la aplicacin; luego, en la semana previa a esta, se entreg el material de aplicacin, se dieron las ltimas instrucciones en cuanto a la logstica de aplicacin y se despejaron las dudas al respecto. Para la aplicacin controlada, todo el grupo responsable de la aplicacin fue externo a la institucin educativa (delegados, coordinadores de salones y aplicadores). El ICFES escogi las universidades de donde se solicitaron estudiantes para este proceso de acuerdo con el perfil requerido; luego de seleccionado el equipo de personas, el Instituto las capacit y les asign los sitios. Los coordinadores y aplicadores se seleccionaron directamente en las cabeceras municipales y fueron capacitados por los delegados y, en ciudades capitales, por los coordinadores de nodo. Adems de los examinadores, se designaron monitores externos para realizar visitas en los sitios de aplicacin. A cada uno se le asignaba alrededor de tres sitios, en los cuales deban certificar que los delegados y aplicadores estuvieran cumpliendo los procedimientos de aplicacin; adems, realizaban acompaamiento, resolvan dudas, verificaban el orden del sitio y las condiciones del lugar de presentacin del examen.
30
INFORMES
2.5 Socializacin
En los dos calendarios, la convocatoria para las jornadas de socializacin dirigida a rectores estuvo a cargo de las secretaras de educacin y se sustent en la organizacin del territorio nacional por unidades de agrupacin. En esta etapa, el apoyo y acompaamiento del ICFES estuvo representado en los desarrollos web anteriormente descritos, y especialmente en un CD interactivo con los procedimientos de aplicacin y el material impreso de manuales y anexos que tenan que manejar durante la aplicacin. Lo anterior permiti unificar la informacin que se suministr en todos los puntos denominados unidades de agrupacin y ser muy claros en los procedimientos establecidos para la aplicacin de las pruebas.
2.6 Estructura del proceso logstico de las aplicaciones

Conforme a sus caractersticas y al calendario escolar, cada tipo de aplicacin tuvo un esquema de aplicacin particular, respecto al tiempo prescrito y al acompaamiento realizado por los examinadores (vase cuadro A3.4 del anexo 3). De otra parte, como se describe a continuacin, la organizacin por nodos y unidades de agrupacin fueron el rasgo ms sobresaliente del operativo logstico de 2009.
2.7 Materiales
En el operativo hubo dos tipos de materiales: el de examen, constituido por los cuadernillos y hojas de respuestas correspondientes a cada tipo de aplicacin y calendario, como se describe en el cuadro A3.5 del anexo 3; y el de aplicacin, conformado por los insumos que el delegado y el rector o coordinador de sede reciba en la capacitacin del ICFES para que fuese entregado a los aplicadores. Este segundo tipo de material inclua: Cuadro de tiempos para cada sesin. Facsmil en formato ampliado del ejemplo de hojas de respuestas para cada grado. Facsmil en formato ampliado del cuestionario sociodemogrfico. Versin impresa de los manuales de procedimientos para el delegado, rector o coordinador de sede, para los coordinadores de saln y para los aplicadores. Formatos de aplicacin, numerados como anexos (vase cuadro A3.6 del anexo 3)4.
Para la aplicacin censal se gener una menor cantidad de anexos, dado el considerable nmero de evaluados; adems, al contar con una muestra representativa en la cual se aplicaban los mismos cuadernillos, era posible inferir la informacin inconsistente. De otra parte, considerando la experiencia de calendario B en el que se obtuvo informacin redundante mediante la aplicacin de numerosos formatos, para calendario A se redujo su cantidad.
31
Adicionalmente, el delegado, rector o coordinador de sede y las secretaras de educacin disponan de un CD con la siguiente informacin: Lineamientos generales SABER 5o. y 9o. 20095. Los manuales de procedimientos con presentacin interactiva. Archivos en formato PDF de todo el material para utilizar en la aplicacin de las pruebas.
2.7.1 Empaque del material de examen

Esta etapa se realiz teniendo en cuenta la codificacin por sede-jornada6. Para cada una de ellas, el material de examen se empac de manera individual para cada evaluado, en una bolsa plstica sellada (cuadernillo, hoja de respuestas y de operaciones), identificada por grado (quinto y noveno). Luego se agrup el material de las sedes, de acuerdo con su respectiva institucin principal. En los casos en que se registraban numerosas sedes anexas a una institucin principal, como se advierte en el modelo educativo Escuela nueva en las zonas rurales, el empacado de material se realizaba al nivel de sede jornada. En calendario B se hizo un solo paquete para cada institucin con sus sedes. En calendario A, por su parte, el embalaje se realiz en cajas individuales para cada sede jornada, lo que produjo un mayor volumen de empaquetados y, por ende, ms espacio para almacenar el material que se entregaba a cada rector.
2.7.2 Distribucin del material de examen

Para la aplicacin censal, en las unidades de agrupacin se entreg a cada rector o a quien l hubiera delegado el material debidamente identificado, tanto el de la institucin principal como el de cada sede que tena a cargo. En la aplicacin estadstica, el material se entreg en las unidades de agrupacin a cada delegado, responsable de la aplicacin. En la aplicacin controlada, el material se entreg a cada delegado, en cada sede jornada.
2.8 Control de calidad en el proceso de aplicacin

Las condiciones de aplicacin en las evaluaciones influyen notablemente en la validez y veracidad de los resultados obtenidos por la poblacin; por ello, se requiere contar con
5 6
Entregados en versin impresa para calendario B. Se define como sede el espacio fsico donde se desarrollan actividades de enseanza, la cual est a cargo de un responsable que es el coordinador o profesor asignado y puede funcionar en diferentes jornadas.
32
INFORMES
procedimientos estandarizados de aplicacin que disminuyan los posibles efectos causados por condiciones heterogneas, y contribuyan a hacer comparables los resultados entre los diferentes grupos que presentan la prueba. En este apartado se explica cmo fueron los procedimientos de control de calidad de la aplicacin y de la informacin de las pruebas SABER 5o. y 9o. 2009. A pesar de que las pruebas realizadas por el ICFES cuentan con una serie de protocolos bien definidos, cuyo objetivo es proporcionar condiciones de aplicacin homogneas a todos los evaluados, es necesario hacerle seguimiento al proceso de aplicacin para revisar el cumplimiento de las normas y los procedimientos. En este sentido, en las aplicaciones de SABER 5o. y 9o. 2009 se llev a cabo un proceso de monitoreo, cuyo objetivo fue supervisar las condiciones generales de la aplicacin y la capacitacin de los aplicadores y detectar fallas u omisiones en los procedimientos establecidos para identificar los principales errores, a fin de corregirlos en evaluaciones posteriores. Este proceso fue realizado por personal (monitores) contratado por el ICFES en cada una de las etapas que componan los tres tipos de aplicaciones. Para esto, a los monitores se les suministr un formato que serva de gua de trabajo e instrumento para el registro de las observaciones, el cual se acompa de un instructivo con la descripcin de los procedimientos, las pautas de observacin y las indicaciones para el diligenciamiento de las formas de registro. En cada calendario de aplicacin se implement una versin distinta de la herramienta de recoleccin descrita, buscando mejorar preguntas que haban presentado inconvenientes durante el primer periodo. En calendario A, se utiliz un formato nico para los tres tipos de aplicaciones; en el B se gener uno para las aplicaciones censal y estadstica, y otro para la aplicacin controlada. A continuacin se describe detalladamente el proceso de monitoreo en ambas aplicaciones.
2.8.1 Sedes seleccionadas para el monitoreo

El monitoreo en la prueba SABER 5o. y 9o. 2009 se realiz a una muestra de sedes jornadas seleccionadas de forma aleatoria para cada calendario, en la cual se consideraron los diferentes tipos de aplicacin (censal, controlada y estadstica) (vase tabla 2.3).
33
Tabla 2.3 Total de sedes seleccionadas para monitoreo segn calendario y aplicacin
Calendario Aplicacin
Total Censal Controlada Estadstica Total
Mayo (B) Porcentaje 18,3 25,1 56,6 100 Total 384 96 50 530
Octubre (A) Porcentaje 72,5 18,1 9,4 100
46 63 142 251
La aplicacin censal se monitore en Bogot, Medelln, Bucaramanga, Ccuta, Barranquilla, Cartagena, Manizales y Villavicencio. La controlada en calendario B se monitore en los municipios de Pasto, Cali, Andaluca, Buenaventura, Palmira, Tulu, Guaitarilla, Anserma Nuevo, Calima y San Pablo de los departamentos de Valle del Cauca y Nario; en calendario A, se hizo en los municipios de Mosquera, Abrego, Villas del Rosario, Cinaga de Oro, San Diego, Ariguan, Santa Marta, Riohacha y Neiva. Finalmente, la aplicacin estadstica se monitore en Bogot y Medelln. En la aplicacin de calendario B se alcanz una cobertura del 61% de las sedes seleccionadas para el monitoreo (83% en censal, 53% en controlada y 65% estadstica), que a pesar de no ser la esperada, sirvi para detectar algunas fallas y corregirlas, gracias a lo cual la aplicacin de calendario A se consigui una cobertura del monitoreo del 86% (83% en censal, 92% en controlada y 93% en estadstica).
2.8.2 Descripcin del monitoreo

En ambas aplicaciones, el monitoreo se dividi en dos etapas: de la reunin previa y del momento de la aplicacin. A continuacin se explica en qu consisti cada etapa y cules fueron las diferencias de acuerdo con el calendario (A o B, con aplicacin en octubre y mayo, respectivamente) y el tipo de aplicacin (censal, controlada y estadstica).
Monitoreo de la reunin previa (primera etapa)
Esta etapa se efectu nicamente en las sedes jornadas con aplicacin controlada. En las sedes con aplicacin estadstica, la reunin previa se llev a cabo el mismo da en que se desarroll la primera jornada de aplicacin controlada7; las de aplicacin censal no
7
La aplicacin controlada se realiz un da antes que las aplicaciones estadstica y censal.
34
INFORMES
tuvieron un momento definido para su realizacin. Para la recoleccin de la informacin, el monitor tuvo que asistir a la reunin de capacitacin impartida por el delegado del ICFES el da anterior a la aplicacin y observar su desarrollo. A la reunin asistieron el rector o encargado de la sede jornada y las personas que se desempearon el da de la prueba como aplicadores y coordinadores de salones. Durante el desarrollo de la reunin, el monitor, mediante observacin o indagacin a alguno de los asistentes, capturaba informacin sobre los siguientes aspectos: Datos de bsicos de la sede educativa: se registraron departamento, municipio, nombre, cdigo DANE, jornada, nombre del rector, grados que presentan la prueba y nmero de grupos en cada grado. Comunicacin con la institucin educativa: el rector o encargado de la sede respondi si la institucin recibi la notificacin de la aplicacin de la prueba, medio utilizado para la notificacin y el momento en que la recibi. Capacitacin: se respondieron preguntas referentes a las instrucciones impartidas, entrega de materiales, solucin clara de las dudas expuestas, materiales de ayuda para la capacitacin, organizacin y dominio del proceso por los aplicadores. Estudio de factores asociados8: se tom registro sobre la orientacin dada por el delegado para el diligenciamiento del cuestionario, entrega del material al rector, docentes y estudiantes y almacenamiento seguro de los cuestionarios despus del diligenciamiento. Solo se tom informacin en las sedes jornadas seleccionadas en la muestra para el estudio de factores asociados.
Monitoreo en el momento de la aplicacin (segunda etapa)
Durante esta etapa se indag en torno a aspectos propios de la aplicacin, con el propsito de recoger informacin sobre el seguimiento de los protocolos de seguridad, la transparencia en los procedimientos y las condiciones de aplicacin. Los aspectos evaluados por el monitor fueron: Preparacin de la aplicacin: mediante observacin o con la ayuda del aplicador, siempre que no se interfiriera en su labor, se recolect informacin sobre las condiciones de seguridad del material antes de su distribucin, presencia de aplicadores suficientes de acuerdo con la cantidad de salones que presentaron las pruebas y el cumplimiento de las instrucciones definidas en el manual del aplicador.
La muestra de factores asociados fue seleccionada nicamente de las sedes jornadas que pertenecan a la aplicacin controlada.
35
Observacin del primer bloque de preguntas: se monitore el desarrollo de la aplicacin durante la primera sesin, en el lapso correspondiente al primer bloque de preguntas (45 minutos), en uno de los salones de la sede jornada y durante la segunda sesin, en el lapso del tercer bloque de preguntas, en un segundo saln (si exista). Del aplicador se recolectaron los datos de identificacin, nivel educativo, ocupacin y si tena experiencia como aplicador. De la aplicacin en particular, se registr informacin relacionada con la utilizacin de materiales de ayuda para la socializacin de las instrucciones y la ocurrencia de situaciones irregulares durante la aplicacin, a los estudiantes o al aplicador. Primera ronda por los salones que presentan la prueba: despus del monitoreo del primer y del tercer bloque de preguntas, se inici un recorrido por los dems salones en que estuviera presentndose la prueba. Durante al menos 5 minutos, se observ la forma en que se desarroll la prueba y se llev registro de aspectos como el ruido, personas ajenas a la aplicacin que pudieran estar interfiriendo, estudiantes conversando entre s, traspaso de papeles u objetos, entre otros. Labor del delegado: los monitores evaluaron la labor que realiz el delegado, teniendo en cuenta las pautas definidas en el respectivo manual de procedimientos para esta figura, y que el monitor deba conocer. Observaciones, impresiones y recomendaciones: se dispuso de secciones para registrar informacin que tal vez no haba sido considerada en las secciones del formato de monitoreo y fueran de importancia para mejorarlos en prximas aplicaciones; por ejemplo, que el monitor diera su opinin sobre el trabajo realizado, la capacitacin recibida, la organizacin del proceso de monitoreo, las dificultades encontradas y las recomendaciones que considerara necesarias para mejorar el proceso. Durante la aplicacin de calendario B las dos etapas se realizaron en sedes jornadas diferentes, es decir, en donde se monitore la reunin previa no se monitore el proceso de aplicacin, y viceversa. En la aplicacin de calendario A, ambas etapas se realizaron sobre un mismo conjunto de sedes jornadas. En las sedes de calendario B seleccionadas para monitoreo, la informacin sobre la reunin previa se obtuvo a partir de una entrevista al aplicador registrada en el formato utilizado para el monitoreo. En la aplicacin de octubre, este formato se ajust de acuerdo con las dificultades observadas durante la aplicacin de mayo. Adems, el formato de monitoreo de las aplicaciones estadstica y censal incluy preguntas sobre la reunin previa y la capacitacin recibida, que se realizaban en el da mismo de la aplicacin, de forma anloga a la recoleccin de la informacin sobre la reunin previa en las sedes jornadas seleccionadas para monitoreo, en el momento de aplicacin.
36
INFORMES
2.8.3 Resultados generales del monitoreo

Las tablas 2.4 y 2.5 recogen los resultados del monitoreo, en ambas aplicaciones de SABER 5o. y 9o. 2009. Esta informacin permiti observar aspectos que pasaron inadvertidos desde la visin macro de los coordinadores de unidades de agrupacin, especialmente aquellos relacionados con la necesidad de incentivar una mayor apropiacin de los procedimientos por los examinadores9.
Tabla 2.4 Comparativo de hallazgos en los tres tipos de aplicacin, calendario B
Situaciones presentadas
Salones en los que se observaron estudiantes conversando entre s Salones en los que se observaron estudiantes levantndose de sus asientos durante la prueba Salones en los que se report intercambio de papeles u objetos entre los estudiantes Salones en los que se report el uso de elementos no permitidos durante la prueba Salones en los que se reportaron estudiantes intentando copiar a sus compaeros Salones en los que se report ruido o desorden durante la aplicacin Salones en los que se report entrada de personas ajenas a la aplicacin Salones en los que se reportaron ayudas del aplicador en los temas de la prueba Salones en los que se reportaron interrupciones durante la aplicacin Salones en los que estudiantes siguieron contestando una vez finalizado el tiempo de la prueba El aplicador tom medidas para controlar las situaciones presentadas
Porcentaje de salones Control

50,9 33,3 10,5 7,0 19,3 24,6 7,0 14,0 17,5 12,3 87,5
Estadstica
67,7 24,2 17,7 1,6 30,6 30,6 11,3 16,1 6,5 8,1 93,5
Censal
36,7 16,5 1,3 2,5 13,9 20,3 6,3 15,2 8,9 5,1 90,5
Para esto se utiliz la informacin de 134 sedes jornadas de la aplicacin de calendario B y 454 de aplicacin calendario A.
37
Tabla 2.5 Comparativo de hallazgos en los tres tipos de aplicacin, calendario A
Situaciones presentadas
Salones en los que se observaron estudiantes conversando entre s Salones en los que se observaron estudiantes levantndose de sus asientos durante la prueba Salones en los que se report intercambio de papeles u objetos entre los estudiantes Salones en los que se report el uso de elementos no permitidos durante la prueba Salones en los que se reportaron estudiantes intentando copiar a sus compaeros Salones en los que se report ruido o desorden durante la aplicacin Salones en los que se report entrada de personas ajenas a la aplicacin Salones en los que se reportaron ayudas del aplicador en los temas de la prueba Salones en los que se reportaron interrupciones durante la aplicacin Salones en los que estudiantes siguieron contestando una vez finalizado el tiempo de la prueba
Porcentaje de salones Control

72,5 33,7 22,5 7,5 28,7 38,7 6,2 12,5 12,5 10,0
Estadstica
83,6 43,4 29,6 11,9 45,3 50,9 19,5 11,9 29,6 23,9
Censal
73,9 50,9 22,4 5,7 40,4 38,5 23,0 20,4 25,6 25,7
De forma general, tanto en la aplicacin de mayo como en la de octubre el monitoreo arroj los siguientes aspectos positivos: Notificacin de la aplicacin de la prueba a la sede jornada. En la aplicacin de mayo se encontr que el 37% de las sedes jornadas recibieron la notificacin el da anterior; esta cifra disminuy a 2,2% en octubre. En el 97% y 98%, para mayo y octubre respectivamente, de las sedes jornadas hubo suficientes aplicadores para el desarrollo de la prueba. La persona que recibi el material verific que estuviera debidamente sellado y en las condiciones requeridas. Las sedes jornadas contaron con los espacios fsicos adecuados para la recepcin y custodia del material, antes de la entrega en los salones.
38
INFORMES
Los aplicadores consideraron que las dudas presentadas en las capacitaciones fueron resueltas de forma adecuada. En ms del 80% de las sedes jornadas, las condiciones de iluminacin fueron apropiadas para la aplicacin de la prueba. En ms del 80% de los casos, los delegados cumplieron satisfactoriamente sus funciones. No obstante, se detectaron algunos aspectos negativos que deben corregirse para mejorar en las prximas aplicaciones. Dentro de estos se encuentran: En la aplicacin de mayo se observ que el ingreso y ubicacin de los estudiantes al saln se hizo de forma correcta en el 94% de los casos; sin embargo, en octubre esta cifra disminuy al 87%. La organizacin y distribucin del material de examen a los aplicadores tambin se afect en octubre: del 96% en mayo baj al 85% en octubre. En el 33% y 43%, en mayo y octubre respectivamente, de las sedes jornadas se observ ruido y desorden dentro y fuera del saln. Aproximadamente el 90% de los aplicadores manifestaron haber recibido la capacitacin. En el 44% y 35%, en mayo y octubre respectivamente, de los salones en donde se presentaba la prueba no tenan los materiales de ayuda necesarios para el desarrollo de la misma. En ms del 70% de las sedes se reportaron estudiantes conversando entre s durante la aplicacin. Se observ que hubo estudiantes intercambiando objetos entre s y haciendo intentos de copia. Se observ ayuda de los aplicadores a los estudiantes en la prueba en aproximadamente el 20% de los salones.
39
3. Diseo muestral
Jenyfer Garca Naranjo***
Este captulo describe el diseo muestral usado en la prueba SABER 5o. y 9o. 2009 para las aplicaciones controlada y estadstica. Aborda el conjunto de especificaciones usadas para definir la poblacin objeto del estudio, el marco muestral, las unidades de muestreo y el mtodo de seleccin de la muestra. El diseo muestral de la prueba es multietpico y tiene como objetivo garantizar que los datos proporcionados por el estudio brinden estimaciones confiables y precisas de la poblacin estudiantil a nivel nacional. Adicionalmente, el diseo muestral incluye los procedimientos indicados para la estimacin del error muestral inherente a un estudio realizado mediante una muestra probabilstica. Este y otros componentes se describen en el captulo 4.
3.1 Poblacin objetivo

La poblacin objetivo de SABER 5o. y 9o. 2009 est conformada por todos los estudiantes matriculados en los grados quinto y noveno de educacin bsica del pas, impartida en los establecimientos educativos oficiales y privados, urbanos y rurales. Adicionalmente, y en concordancia con el Decreto 366 de febrero 9 de 2009, por medio del cual se reglamenta la organizacin del servicio de apoyo pedaggico para la atencin de los estudiantes con discapacidad y con capacidades o talentos excepcionales en el marco de la educacin inclusiva, todos los estudiantes que presentaran alguna discapacidad fsica, sensorial o cognitiva que estuvieran inscritos en los grados mencionados, tambin fueron evaluados en SABER 5o. y 9o. 2009. Se excluyen de la poblacin objetivo a aquellos estudiantes matriculados en establecimientos de educacin para adultos, instituciones de educacin especial o programas de educacin alternativa no formal o no presencial y las jornadas nocturnas de los establecimientos educativos, en caso de tenerlas.
3.2 Marco muestral

Acorde con diseo muestral de SABER 5o. y 9o. 2009, el marco muestral est constituido por el listado de establecimientos educativos que tuvieron estudiantes inscritos en quinto y noveno grado. Esta informacin la provee el Sistema Nacional de Informacin de Educacin Bsica y Media (SINEB) constituido por la Resolucin 166 del 04 de febrero de 2003 del Ministerio de Educacin Nacional (MEN), en la cual se establece que todos los departamentos y distritos deben reportar los datos bsicos de todas las instituciones educativas y sus sedes jornadas
*
Subdireccin de Estadstica, Direccin de Evaluacin. jnaranjo@icfes.gov.co
40
INFORMES
(nombre, ubicacin, nombre del rector o rectora, cantidad de sedes matrcula, grados, jornadas). Para el momento de la seleccin de la muestra, la informacin ms reciente disponible del SINEB corresponda al ao 2008 para ambos calendarios (A y B). Entre la etapa del diseo muestral y el procesamiento de datos se hizo una actualizacin a 2009, por tanto, los resultados se procesaron con la informacin actualizada. En la tabla 3.1 se presenta de manera resumida la informacin del marco muestral usado en el planteamiento del diseo muestral.
Tabla 3.1 Tamaos del marco muestral, SABER 5o. y 9o. 2009
Calendario A B Total
Establecimientos
Sedes 38.306 5.392 43.698
Sedes jornadas 42.500 5.996 48.496
Estudiantes 5o. Estudiantes 9o. 797.504 119.716 917.220 552.753 81.142 633.895
15.912 3.458 19.370
3.3 Unidades de muestreo y mtodo de seleccin

De acuerdo con la naturaleza jerrquica de la poblacin de estudio, se plante un diseo en tres etapas de seleccin. Estas etapas fueron: seleccin de establecimientos, sedes jornadas y estudiantes. A continuacin se describe cada una de ellas.
3.3.1 Primera etapa

La primera etapa consisti en un muestreo aleatorio simple (MAS) estratificado de establecimientos educativos. Segn la Ley 115 de febrero 8 de 1994, se entiende por establecimiento educativo o institucin educativa, toda institucin de carcter estatal, privada o de economa solidaria, organizada con el fin de prestar el servicio pblico educativo y la persona responsable de este es el rector. En su inters por obtener resultados de calidad, el ICFES utiliz como criterio de estratificacin cada una de las entidades territoriales del pas en la aplicacin para calendario B (mayo). Sin embargo, en la aplicacin de calendario A (octubre) no cont con los recursos necesarios para llevar a cabo este proceso. Por tanto, se les propuso a las entidades territoriales interesadas garantizar precisin y confiabilidad en sus estimaciones, asumir los costos de la sobremuestra en el operativo de recoleccin. Finalmente, las entidades territoriales certificadas consideradas como estrato en el diseo muestral fueron: Bogot, Bucaramanga, Buenaventura, Buga, Cali, Cartago, Medelln, Pasto y Tulu; los dems entes se agruparon en un estrato denominado Resto del pas. Adicionalmente, debido a que en el rea rural son comunes los establecimientos que solo ofrecen quinto grado, y para evitar que en la muestra hubiera sobrerrepresentacin de alumnos de quinto y pocos alumnos de noveno, los establecimientos educativos se agruparon en dos
41
estratos: (1) establecimientos que ofrecen el grado noveno (el establecimiento tiene quinto, noveno o ambos grados: estrato QN); (2) establecimientos que no ofrecen noveno grado (estrato Q). En total se consideraron 20 estratos en la primera etapa del diseo.
3.3.2 Segunda etapa

En esta etapa se seleccionaron todas las sedes jornadas que pertenecen a los establecimientos seleccionados en la primera etapa. Puesto que la aplicacin censal se realiz paralelamente y todas las sedes aplicaron la prueba, no se consider apropiado controlar la aplicacin en algunas sedes de un establecimiento educativo y en otras no.
3.3.3 Tercera etapa

En la tercera etapa se identificaron los estudiantes dentro de las sedes jornadas seleccionadas que cumplan las caractersticas requeridas para presentar la prueba. Luego se les asignaron aleatoriamente dos de las tres reas evaluadas (matemticas y lenguaje, matemticas y ciencias o lenguaje y ciencias), de modo que alrededor de dos tercios de los estudiantes en un establecimiento fueron evaluados en cada rea. En general, en todos los establecimientos se evaluaron las tres reas, excepto en aquellos que tuvieran menos de tres estudiantes.
3.4 Tamaos de muestra

Con el fin de establecer los tamaos de muestra requeridos para obtener estimaciones con determinado nivel de precisin, se simul un universo de estudiantes basado en la informacin de referencia proveniente de la prueba SABER 5o. y 9o. 2002. El parmetro de inters en la simulacin fue el porcentaje de estudiantes por nivel de desempeo. Esto debido a que este es el parmetro con mayor variabilidad y, por tanto, desde el punto de vista estadstico, requiere el mayor tamao de muestra para un nivel de precisin fijado, especialmente en aquellos casos en que la distribucin porcentual de estudiantes oscila alrededor del 50%. Como base para la simulacin, se clasificaron los estudiantes que presentaron las pruebas en 2002 en la mitad con resultados ms altos y la mitad con resultados ms bajos. A partir de esta clasificacin de los estudiantes, se clasificaron los establecimientos en aquellos en los que ms de la mitad de sus estudiantes tuvieron resultados bajos _establecimientos con desempeo bajo_ y en los que no _establecimientos con desempeo alto_. Seguidamente, a nivel de municipio se calcul el porcentaje de establecimientos en cada una de las dos categoras, y se calcularon los porcentajes de estudiantes con desempeo bajo y alto en cada una de las dos categoras de establecimientos por municipio. Estos porcentajes definieron las distribuciones en la aplicacin de 2002 de establecimientos con desempeos bajos y altos por municipio, y de estudiantes con desempeos bajos y altos, condicionadas por su pertenencia a un establecimiento de determinado desempeo.
42
INFORMES
El marco de muestreo empleado para la simulacin consisti en los datos de la base de datos SINEB del ao 2008. Los establecimientos incluidos en esta base se ubicaron aleatoriamente en las categoras de establecimientos de bajo y de alto desempeo de acuerdo con los porcentajes de cada categora calculados para el ao 2002. Posteriormente, en la base, cada estudiante fue asignado aleatoriamente al grupo de estudiantes con bajo o con alto desempeo de acuerdo con los porcentajes calculados para el ao 2002 en la categora de establecimientos a la que fue asignado el establecimiento al que perteneca y el municipio en el que este se encuentra. En la simulacin se sigui el diseo de muestra presentado en la seccin 3.3 y se estableci el tamao de muestra adecuado segn las restricciones de precisin y costos para el estudio. Estos tamaos se definieron de acuerdo con la precisin obtenida a nivel nacional y para las entidades territoriales consideradas, de forma que el error estndar para estimar una proporcin del 50% de estudiantes a nivel nacional o en el estrato se encontrara alrededor de 2,5. En la tabla 3.2 se presentan los tamaos de muestra esperados, los efectivos y el porcentaje de respuesta obtenido para cada estrato del diseo muestral, segn el grado.
Tabla 3.2 Nmero de estudiantes y tasas de respuesta por estrato segn grado
Estrato Q QN Q QN Q QN Q QN Q QN Q QN Q QN Q QN Q QN Q QN
Tamao de muestra esperado Quinto Noveno 34.006 5.140 2.936 1.385 11.898 1.806 10.335 4.952 2.310 25.321 1.073 34.589 129 4.712 243 3.455 327 1.578 568 12.012 29 2.074 449 12.252 476 5.292 25 3.549 967 32.666
Tamao de muestra efectivo Quinto 907 30.619 120 4.370 213 2.368 292 1.433 519 10.729 29 1.968 394 11.250 468 4.833 20 2.300 782 27.951 Noveno 27.929 4.248 2.102 1.303 10.159 1.746 9.355 4.405 2.180 22.502
Porcentaje (%) de respuesta Quinto 84,5 88,5 93,0 92,7 87,7 68,5 89,3 90,8 91,4 89,3 100,0 94,9 87,8 91,8 98,3 91,3 80,0 64,8 80,9 85,6 Noveno 82,1 82,6 71,6 94,1 85,4 96,7 90,5 89,0 94,4 88,9
Bogot Bucaramanga Buenaventura Buga Cali Cartago Medelln Pasto Tulu Resto del pas
43
En general, las tasas de participacin superan el 80%, lo cual es favorable para la obtencin de resultados; sin embargo, se realizaron ajustes por no respuesta para corregir este efecto. Este procedimiento se explica en la siguiente seccin. Los estratos con menor tasa de respuesta fueron Tulu y Buenaventura en QN.
3.5 Proceso de ponderacin

El clculo de las ponderaciones se realiz a fin de establecer la cantidad aproximada de alumnos que son representados por los alumnos evaluados, dependiendo del tipo de aplicacin a la que fueron sometidos (censal, controlada o estadstica). En primer lugar, se calcula el peso para cada establecimiento educativo, el peso de cada sede jornada que por la naturaleza del diseo siempre es 1 y, finalmente, se calcula el peso para cada estudiante. El diseo estratificado MAS permite calcular de forma sencilla las probabilidades de seleccin de las unidades de muestreo en cada etapa. El peso de las unidades muestrales en cada etapa es el inverso de la probabilidad de inclusin, y el peso final de un estudiante es el producto de cada uno de los pesos.
3.5.1 Peso en la primera etapa (establecimientos educativos)

El peso de la primera etapa representa el inverso de la probabilidad de que un establecimiento educativo sea seleccionado en la muestra segn el estrato al que pertenece, es decir, para un establecimiento j el peso o factor de expansin est dado por
f exp
Donde:
= h hj n h
(1)
h representa el estrato al que pertenece el establecimiento educativo.
Nh nh
es el nmero de establecimientos educativos en el estrato h. es el nmero de establecimientos educativos del estrato h seleccionados en la muestra en la primera etapa.
44
INFORMES
3.5.2 Peso en la tercera etapa (estudiantes)

El peso en la tercera etapa est determinado por el rea que fue asignada al estudiante y el grado al que este pertenece. Se obtiene calculando el inverso de la probabilidad de que un estudiante presente un rea dentro de la sede jornada. El factor de expansin para un estudiante l, para un rea y grado especficos, se puede representar mediante la siguiente ecuacin:
f exp
= n hjk hjkl hjk
(2)
Donde:
Nhjk nhjk
es el nmero de estudiantes en la sede jornada k del establecimiento j en el estrato h, para el grado fijado. es el nmero de estudiantes seleccionados en la muestra en la sede jornada k del establecimiento j en el estrato h, para el rea y grado fijados.
Por tanto, el peso final para un estudiante l para un rea y grado especficos, se calcula como sigue:
Nh Nhjk f exp = hjkl nh nhjk

(3)
45
4. Revisin de las estadsticas de los tems

Vctor Hernando Cervantes Botero*
En el proceso de revisin de estadsticas de los tems se tuvieron en cuenta estadsticas derivadas de la Teora Clsica de los Test y de la Teora de Respuesta al tem. El objetivo del anlisis de las estadsticas fue evaluar las propiedades psicomtricas de los tems incluidos en las pruebas SABER 5o. y 9o. 2009, para garantizar su calidad y la de estas al permitir la deteccin de problemas en algunos de los tems de diferentes cuadernillos. Este procedimiento de anlisis de tems y de prueba se llev a cabo antes de realizar la calibracin de los tems para la calificacin de las pruebas, la cual se presenta en el captulo 5 de este informe. En aquellos casos en que en algn tem se detect un valor inusual en las estadsticas analizadas, se verific la versin impresa de los cuadernillos para identificar posibles fallas y determinar la necesidad de anularlo de la calibracin y calificacin definitivas. En este captulo se describen las estadsticas utilizadas para el anlisis de tems y se ilustran los reportes obtenidos empleando los resultados reales de algunos de los tems que formaron parte de las pruebas. Adems, se presentan las estadsticas a nivel de prueba que se obtuvieron por forma de prueba, con anterioridad a la calibracin de los tems.
4.1 Estadsticas empleadas en el anlisis de tems

A continuacin se presentan las definiciones de las estadsticas calculadas para cada uno de los tems de las pruebas SABER 5o. y 9o. 2009. Estas estadsticas se calcularon de forma separada por cada grado y para cada rea evaluada. En el anlisis de tems, se incluy nicamente al conjunto de estudiantes que participaron en las aplicaciones controlada y estadstica dentro de las muestras a nivel nacional y de entidades territoriales.
4.1.1 Estadsticas derivadas de la Teora Clsica de los Test

A continuacin se detallan las estadsticas derivadas de la Teora Clsica de los Test (TCT) que se obtuvieron para cada tem. Ms informacin sobre estas estadsticas, calculadas sin ponderaciones, pueden consultarse en Martnez10 (2005), entre otros.
Subdireccin de Estadstica, Direccin de Evaluacin. vcervantes@icfes.gov.co Captulo 18.
10
46
INFORMES
N: Nmero de estudiantes a quienes se administr el tem. Dificultad: se define como la proporcin de estudiantes que lo respondi correctamente respecto al total de estudiantes a quienes se administr el tem. Discriminacin: corresponde a la diferencia entre la proporcin de estudiantes de mejor desempeo que contestaron correctamente al tem y la proporcin de estudiantes de ms bajo desempeo que lo contestaron correctamente. Los grupos de desempeos ms altos y ms bajos corresponden respectivamente al 27% de los estudiantes a quienes se les administr el tem con mayor nmero de respuestas correctas y al 27% de los estudiantes con menor nmero de respuestas correctas en la prueba. Correlacin tem-prueba: se calcul usando la correlacin punto-biserial entre el acierto al tem y la suma de respuestas correctas en los dems tems de la prueba (es decir, el total de respuestas correctas no incluy al tem para el cual se calcul la correlacin). Flujo de opciones: corresponde a las proporciones de estudiantes que eligieron cada una de las opciones de respuesta del tem. N. omisiones: nmero de estudiantes a quienes se present el tem en el cuadernillo de prueba y que no marcaron ninguna opcin de respuesta. N. no alcanzado: nmero de estudiantes a quienes se present el tem en el cuadernillo de prueba y que no marcaron ninguna opcin de respuesta en el tem y en ninguno de los siguientes hasta el final del cuadernillo del rea.
4.1.2 Estadsticas derivadas de la Teora de la Respuesta al tem

A continuacin se detallan las estadsticas derivadas de la Teora de la Respuesta al tem (TRI) que se obtuvieron para cada tem. Ms informacin sobre estas estadsticas pueden consultarse en Hambleton, Swaminathan y Rogers (1991), entre otros. El modelo de la TRI empleado se describe en el captulo 5 de este informe. Para el clculo de estas estadsticas se utilizaron las ponderaciones derivadas del diseo muestral. Dificultad: corresponde al valor de habilidad en el que la probabilidad de acertar el tem se estima igual a 0,5. Discriminacin: es proporcional al cambio en la probabilidad de acertar al tem alrededor del valor estimado para la dificultad. Curvas empricas por opcin de respuesta: las curvas empricas de cada opcin de respuesta se calcularon por la proporcin de evaluados que eligi la opcin entre aquellos a quienes se les present el tem, agrupados en 31 intervalos de la habilidad estimada para cada estudiante.
47
Pendientes de las curvas empricas por opcin de respuesta: las pendientes por opcin de respuesta se calcularon a partir de la recta de mejor ajuste estimada por mnimos cuadrados ordinarios entre la proporcin de eleccin de la opcin, calculada para la curva emprica, sobre el punto medio de los intervalos de habilidad utilizados para calcular la curva emprica.
4.1.3 Criterios para generar advertencias

Adems de los valores y grficos de las estadsticas de los tems calculados, se generaron algunas advertencias relacionadas con los valores encontrados para cada tem. La inclusin de una advertencia en uno de los tems busc sealar posibles problemas con el tem; sin embargo, que este presentara una advertencia no implicaba que el tem se eliminara. Las advertencias generadas fueron las siguientes: La dificultad del tem, bajo TCT, fue menor que 0,1 o mayor que 0,9. Alguna opcin de respuesta tuvo una proporcin de eleccin mayor que 0,9. La discriminacin del tem, bajo TCT, fue menor que 0,2. La discriminacin del tem, bajo TCT, fue menor que 0,3 pero mayor que 0,2. La correlacin tem-prueba fue menor que 0,1. La dificultad del tem, bajo TRI, fue menor que -3 o mayor que 3. La discriminacin del tem, bajo TRI, fue menor que 0,5. Dos o ms pendientes de las curvas empricas de las opciones del tem fueron positivas. La pendiente de la curva emprica de la opcin correcta del tem fue negativa.
De acuerdo con la revisin de las estadsticas de los tems, de las advertencias generadas a partir de las mismas, de la revisin del contenido y de la versin impresa de los tems los revisores emitieron un criterio de aceptacin o anulacin de cada tem para ser incluido en la escala de cada prueba.
4.1.4 Anlisis por cuadernillos y por calendario

Las estadsticas de los tems derivadas de la TCT, descritas en la seccin 4.1.1, se calcularon para cada tem en las diferentes formas de prueba en que apareci y a nivel global, sin tener en cuenta la forma particular. Las estadsticas globales fueron calculadas, adems, en la aplicacin de cada calendario y en el total de evaluados por las pruebas SABER 5o. y 9o. 2009 en condiciones controladas. Las estadsticas derivadas de la TRI, descritas en la seccin 4.1.2, se calcularon nicamente a nivel global para los evaluados en el ao 2009, en condiciones controladas. Entre las diferentes formas de prueba en que aparece un tem se compararon las estadsticas obtenidas y se verific que fueran similares entre ellas. Un anlisis ms profundo para la deteccin de posibles funcionamientos diferenciales de los tems, no solo entre diferentes formas sino entre diferentes grupos de la poblacin evaluada, est previsto luego de los tiempos de obtencin de resultados de la evaluacin de 2009; los resultados de este estudi servirn para el diseo de las prximas evaluaciones de las pruebas de SABER 5o. y 9o.
48
INFORMES
4.1.5 Ejemplos de estadsticas

Las figuras 4.1 y 4.2 presentan ejemplos del reporte a nivel global por calendario presentado a los revisores de los tems. La tabla 4.1 presenta las estadsticas de los mismos tems por forma de prueba.
Figura 4.1 Reporte de estadsticas globales y por calendario de un tem con estadsticas apropiadas
x x x x x x x x x x x x x
x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x
x x
x x x x
x x
x x x
x x x
x x x
x x x
x x
x x
x x x
x x
x x x
x x
x x x
x x
x x
x x
En la primera seccin de las figuras se encuentra una tabla con las estadsticas relacionadas con conteos (parte superior izquierda), como el nmero de evaluados a quienes se present un tem, cuntos lo respondieron correctamente, cuntos lo omitieron y cuntos no alcanzaron a responderlo, y una tabla con las estadsticas derivadas de la TCT asociadas con la clave (parte superior derecha), donde se encuentran la dificultad del tem, la desviacin estndar del mismo, la correlacin punto-biserial tem-prueba y la discriminacin. Cada tabla muestra las estadsticas calculadas para la aplicacin de calendario B (mayo), la de calendario A (octubre)
49
y en total para ambas aplicaciones. Estas son seguidas por la grfica de la curva caracterstica del tem (lnea slida). Junto a la curva caracterstica del tem se presenta la grfica de la curva emprica asociada con la clave (lnea punteada). La siguiente seccin de la figura incluye una tabla que muestra el flujo de opciones por aplicacin y para el total en ambas aplicaciones y una tabla con los parmetros de los tems estimados a partir del total de evaluados. Puesto que estos fueron estimados empleando los pesos muestrales, esta tabla tambin presenta las correspondientes expansiones del nmero de evaluados y de evaluados que acertaron a la pregunta, as como las estimaciones de correlacin tem-prueba. A continuacin de estas tablas se presenta la grfica con las curvas empricas por opcin de respuestas.
Figura 4.2 Reporte de estadsticas globales y por calendario de un tem anulado
x x x
x x x
x x x x
x x x x
x x x
x x x
x x x x
x x
x x x
x x x x
x x x
x x x
x x x
x x x x x x x x
x x x
x x x x
x x x
x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x
x x x
x x
x x x
x x x
x x x
x x x x
50
INFORMES
La ltima seccin de la figura contiene el espacio para observaciones al tem que podan emplear los revisores, un espacio para indicar si se decidi anular el tem y una tabla que presenta qu advertencias fueron generadas para el tem de acuerdo con los criterios presentados en la seccin anterior.
Tabla 4.1 Reporte de estadsticas globales y por calendario de un tem con estadsticas apropiadas y uno anulado
Con estadsticas apropiadas Forma de prueba 1 N Dificultad Discriminacin Corr. tem-prueba A% B% C% D% N. Omisiones N. no alcanzado 15.000 0,54 0,65 0,42 19,77 16,39 54,13 9,08 71 34 2 15.000 0,60 0,63 0,40 17,67 14,24 59,84 7,71 52 17 3 1.919 0,46 0,58 0,35 23,92 19,23 46,33 9,59 10 0 4 1.924 0,51 0,61 0,38 20,32 19,85 51,30 7,28 20 1 1 15.000 0,25 0,19 0,08 24,92 20,71 30,82 20,99 325 128 2
Anulado 3 1.919 0,22 0,13 0,04 22,30 22,41 30,38 22,09 47 17 4 1.924 0,24 0,20 0,08 24,22 21,41 28,48 20,69 95 58
15.000 0,24 0,17 0,07 24,47 20,83 30,25 22,07 325 95
51
4.2 Estadsticas a nivel de prueba 4.2.1 Distribucin de respuestas correctas y de preguntas no alcanzadas
Se revisaron la distribucin de estudiantes que no alcanzaron a completar cada bloque de tems y la distribucin de estudiantes por cada nmero posible de respuestas correctas, en cada forma de prueba. La revisin de la distribucin de omisiones tuvo como objetivo evaluar un posible efecto de velocidad sobre el rendimiento en las pruebas, visible en caso de encontrar proporciones elevadas de evaluados que no lograran completar las pruebas. La revisin de la distribucin de respuestas correctas tuvo como objetivo comparar la dificultad aproximada de los diferentes bloques y verificar la similitud entre ellos; sin embargo, esta revisin tambin permiti detectar problemas en la distribucin de las hojas de respuestas de algunos cuadernillos en la aplicacin de mayo, para los cuales la asignacin entre forma de hoja de respuesta y cuadernillo correspondiente no fue correcta. La tabla 4.2 presenta las distribuciones porcentuales de tems no alcanzados a responder en dos de los bloques de preguntas de cada uno de los grados de las pruebas SABER 5o. y 9o. 2009. Esta ilustra los bloques de tems en cada grado para los cuales el porcentaje de evaluados que no alcanz a responder al ltimo tem del mismo fue menor y mayor, respectivamente. Para estos clculos, se consider que un estudiante no alcanz a responder un tem si registr omisiones en el tem y en todos los tems subsiguientes del bloque. Finalmente, la figura 4.3 presenta las distribuciones de respuestas correctas para dos formas de prueba de cada grado, en una misma rea.
52
INFORMES
Tabla 4.2 Distribucin porcentual de estudiantes que no alcanzan a responder los tems
Cantidad de tems no alcanzados 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
Quinto grado Menor 99,1 0,9 0,4 0,1 0,1 0 0,1 0 0 0,1 0 0 0 0,1 0 0 0 0 0 Mayor 92,6 7,4 1,1 0,3 0,3 0,4 0,5 1 0,4 0,7 0,5 0,3 0,4 0,1 0,7 0 0,2 0 0,2 0,1 0,2 0 0 0 0 Menor 98,9 1,08 0,14 0,1 0,2 0,11 0,04 0,04 0,05 0,03 0,03 0,04 0,04 0,03 0,02 0,01 0,03 0,01 0,01 0 0,02 0,01 0,01 0,01 0,02 0 0,01 0
Noveno grado Mayor 94,2 5,76 0,39 0,19 0 0,38 0,39 1,15 0 0 0,19 0,96 0,38 1,15 0,2 0 0 0,19 0 0,19 0 0 0 0 0 0 0 0
53
Figura 4.3 Ejemplo de distribucin de respuestas correctas para dos cuadernillos de una misma prueba
Quinto grado
Noveno grado
Porcentaje
Nmero de respuestas correctas Elaboracin: Direccin de Evaluacin, ICFES
Porcentaje
Nmero de respuestas correctas
4.2.2 Confiabilidad
La confiabilidad de las pruebas de cada rea y grado se estim empleando el coeficiente alfa de Cronbach, a nivel de cada una de las formas de prueba utilizadas. El coeficiente para cada forma de prueba se calcul por calendario y globalmente para los dos calendarios juntos11. Para calcular la confiabilidad de las pruebas se tuvo en cuenta la revisin de las estadsticas de cada tem en las diferentes formas de prueba y la ocurrencia en la forma de evaluados que no alcanzaran a completarlo; as, los tems eliminados no se incluyeron en las clculos de confiabilidad, en la calibracin, ni en la calificacin de las pruebas; los tems en las formas de prueba para las que se detectaron problemas en la asignacin de las hojas de respuestas se trataron como no presentados al conjunto de evaluados a quienes les correspondieron. La tabla 4.3 recoge los coeficientes alfa obtenidos para cada una de las formas de prueba y la mediana de los coeficientes de las formas de cada prueba a nivel global.
11
En el caso de las formas de prueba que solamente se emplearon en la aplicacin de uno de los dos calendarios, estos dos valores coinciden.
54
INFORMES
Tabla 4.3 Coeficiente alfa de Cronbach pruebas SABER 5o. y 9o. 2009
Forma de prueba 1 2 3 4 5 6 7 8 9 Mediana
Quinto grado Lenguaje 0,82 0,82 0,82 0,80 0,83 0,84 0,80 0,80 0,81 0,82 Matemticas 0,87 0,87 0,89 0,88 0,88 0,84 0,86 0,87 0,87 0,87 Ciencias naturales 0,83 0,84 0,83 0,85 0,81 0,88 0,83 0,84 0,81 0,83 Lenguaje 0,85 0,83 0,83 0,83 0,84 0,86 0,84 0,82 0,83 0,83
Noveno grado Matemticas 0,85 0,82 0,82 0,84 0,84 0,85 0,83 0,83 0,84 0,84 Ciencias naturales 0,81 0,80 0,81 0,83 0,83 0,83 0,83 0,82 0,80 0,82
4.3 Resultados de la revisin

A partir de la revisin de las estadsticas de los tems y de las distribuciones de respuestas correctas e tems no alcanzados, en la aplicacin de calendario B de 2009 se identificaron algunos problemas en la distribucin de algunos formatos de hojas de respuesta. De esta identificacin, para la calibracin y calificacin de la aplicacin de calendario B de 2010, no se consideraron las partes finales de ocho (8) formas de prueba de quinto grado en esta aplicacin: segundo bloque de la prueba de lenguaje y segundo bloque y 6 preguntas para las pruebas de matemticas y ciencias naturales en los cuadernillos correspondientes. A partir de la revisin global de los 1.176 tems que conformaron las pruebas de los dos grados y las tres reas evaluadas, para la calibracin y calificacin definitiva de los estudiantes se anularon un total de 52 tems. De los tems anulados todos mostraron un valor de discriminacin o de correlacin tem-prueba muy bajos o negativos. Las tablas 4.4 y 4.5 presentan estas estadsticas para todos los tems eliminados para quinto y noveno grado, respectivamente.
55
Tabla 4.4 Correlacin tem-prueba y discriminacin tems eliminados en quinto grado
rea
tem CA07 CA19 CA24 CC19 CD10
Correlacin tem-prueba 0,057 0,099 0,091 0,074 0,021 0,084 0,109 0,091 -0,021 0,069 0,051 0,105 -0,047 0,091 0,076 0,110 -0,013 -0,060 0,041 0,076 0,043 0,131 0,140 0,156 0,063
Discriminacin 0,188 0,183 0,220 0,178 0,133 0,223 0,261 0,148 0,042 0,133 0,149 0,201 0,056 0,280 0,251 0,218 0,080 0,038 0,150 0,236 0,203 0,308 0,228 0,094 0,107
Observaciones Distractores confusos. Distractores confusos. Distractores confusos.
Ciencias naturales
CD11 CE12 CE19 CF12 CG12 CG14 CG19 LA07 LB01 LB10 LC10
Distractores confusos. Distractores confusos. Distractores confusos. Distractores confusos. Problema de diagramacin.
Lenguaje
LD03 LF09 LG11 LG18 LH03 LH06 MB12
Distractores confusos. Distractores confusos. Problema de diagramacin. Distractores confusos. Problema de diagramacin.
Matemticas
MF04 MF24
56
INFORMES
Tabla 4.5 Correlacin tem-prueba y discriminacin tems eliminados en noveno grado
rea
tem CB05 CC27 CD18
Correlacin tem-prueba 0,141 0,088 -0,009 0,062 0,097 0,061 0,091 0,096 0,017 -0,032 0,092 0,027 0,121 0,021 0,114 0,076 0,021 0,083 0,044 0,098 0,008 -0,095 0,027 0,111 0,003 0,008 0,033
Discriminacin 0,154 0,147 0,083 0,193 0,222 0,161 0,242 0,233 0,128 0,069 0,256 0,161 0,208 0,142 0,264 0,208 0,121 0,172 0,157 0,111 0,129 -0,016 0,129 0,142 0,066 0,103 0,109
Observaciones Distractores confusos.
Ciencias naturales
CE27 CF24 CF27 CH04 CH12 LA02 LA17 LB01 LB04 LB22 LC04 LD11 LE17 LF10 LF25 LG08 LH05 LH07 LH15 MC23 MC27
Distractores confusos. Distractores confusos. Distractores confusos.
Distractores confusos. Distractores confusos. Distractores confusos.
Lenguaje
Distractores confusos. Distractores confusos. Distractores confusos. Distractores confusos. Problema de diagramacin.
Matemticas
MG26 MH25 MH26
57
5. Calificacin y definicin de escalas

Vctor Hernando Cervantes Botero* Carolina Lopera Oquendo**
En este captulo se presenta la metodologa usada para la definicin de las escalas de calificacin de las pruebas SABER 5o. y 9o. 2009 y de los niveles de desempeo reportados. En la seccin 5.1 se describen brevemente los aspectos tericos del modelo de respuesta al tem utilizado y de la metodologa de valores plausibles. La seccin 5.2 registra los anlisis especficos realizados para la calibracin, calificacin y trasformacin de la escala. En la 5.3 se presentan los anlisis efectuados para obtener resultados de fortalezas y debilidades por componentes y competencias para los establecimientos educativos en cada grado y rea. En la seccin 5.4 se aborda la metodologa empleada para la determinacin de los puntos de corte y de los niveles de desempeo reportados. Finalmente, en la 5.5 se presentan los procedimientos empleados en el clculo de las principales estadsticas reportadas en los resultados.
5.1 Metodologa para la construccin de las escalas de calificacin

Las escalas en las cuales se reportan los puntajes de las pruebas SABER 5o. y 9o. 2009 se construyeron empleando el modelo logstico de dos parmetros de la teora de respuesta al tem. Adems, se emple la metodologa de valores plausibles con el fin de obtener los puntajes que se utilizaron para realizar las estimaciones a niveles agregados de resultados relacionados con el desempeo, en cada una de las pruebas. A continuacin se presentan el modelo psicomtrico utilizado para definir la escala y el procedimiento de valores plausibles para la generacin de los puntajes.
5.1.1 Modelo de respuesta al tem logstico de dos parmetros

Los modelos de respuesta al tem (TRI) son modelos psicomtricos que datan de la dcada de los aos 1950 (verbigracia, Lord, 1950) y que se han desarrollado e implementado especialmente desde la dcada de los aos 1970. Estos modelos representan la habilidad de un evaluado como una variable latente y modelan la probabilidad de que el evaluado proporcione cierta respuesta a partir del valor no observado de su habilidad y de un conjunto de caractersticas o parmetros de los tems (Lord & Novick, 1968).
Subdireccin de Estadstica, Direccin de Evaluacin. vcervantes@icfes.gov.co Subdireccin de Anlisis y Divulgacin. clopera@icfes.gov.co
**
58
INFORMES
En particular, el modelo utilizado en las pruebas SABER 5o. y 9o. 2009, fue el de respuesta al tem logstico de dos parmetros. Este modelo considera dos parmetros para describir cada tem y se expresa como:
P Ui = 1 qj , ai ,bi
Donde:
ai (qj - bi)
(4)
Ui, es la respuesta al i-simo tem, con 1 representando el caso en que la respuesta fue correcta
y 0 si fue incorrecta.
qj es la habilidad del estudiante j en la prueba.

ai representa la capacidad discriminativa del tem. bi representa la dificultad del tem.
La escala de los parmetros en los modelos de respuesta al tem, como el empleado para SABER 5o. y 9o. 2009, no son identificables, dado que los valores que puede tomar la habilidad, representada por qj, se pueden remplazar por qj* = m qj + s, y dadas las trasformaciones anlogas de los parmetros de los tems, la probabilidad calculada por la ecuacin que representa el modelo es la misma (Hambleton, Swaminathan & Rogers, 1991). Esto implica que la escala en que se expresan los puntajes, por lo menos en la primera ocasin en que se aplica la prueba, se define de forma arbitraria. Para cada una de las pruebas de SABER 5o. y 9o. 2009, se defini que la escala se expresara de forma que el promedio de los evaluados en los tres tipos de aplicacin (controlada, estadstica y censal) fuera 300 y su desviacin estndar fuera 80; segn esta escala, las puntuaciones alejadas hasta 2,5 desviaciones estndar de la media se encuentran entre 100 y 500 puntos.
5.1.2 Estimacin usando valores plausibles

Para los estudiantes que presentaron la prueba SABER 5o. y 9o. 2009, se obtuvo el resultado de su desempeo a partir de cinco valores, denominados valores plausibles (PV1 a PV5). Estos valores son tiles, pues tienen en cuenta la aleatoriedad producida por el hecho de que los estudiantes responden a un nmero pequeo de preguntas, lo cual permite obtener mejores estimaciones de las estadsticas de inters relacionadas con el desempeo en las pruebas a nivel agregado (von Davier, Gonzalez & Mislevy, 2009).
59
La metodologa de valores plausibles se basa en los procedimientos de imputacin mltiple propuestos por Rubin (1987), que incorpora los modelos de respuesta al tem. Esta metodologa fue propuesta inicialmente por Mislevy (1991, 1992) y se emplea actualmente para la obtencin de estadsticas agregadas en diversas pruebas internacionales como TIMSS (Foy, Galia & Li, 2008) y PISA (Organizacin para la Cooperacin y Desarrollo Econmicos [OECD], 2009), entre otras. Los valores plausibles se obtienen como una muestra aleatoria de la distribucin condicional de la habilidad para cada estudiante, denotada por P (qj U,a,b,Xj ,b,s 2 ), en la cual se condiciona tanto por las respuestas dadas por el evaluado a los tems (U ) y los parmetros estimados para los mismos en el proceso de calibracin (a,b), como por toda la informacin de y sus relaciones con la habilidad de los evaluados en la poblacin (b ) y una varianza comn a todos los evaluados (s 2 ). Dada la calibracin de los tems obtenida, es necesario conocer los valores de b y s 2 para definir la distribucin condicional de la habilidad. Para esto, se asume un modelo lineal para la habilidad P (qj Xj ,b,s 2 ) = N(Xj ,b,s 2 ), con lo cual la distribucin condicional puede ser expresada como: contexto disponible, tal como el nivel socioeconmico del estudiante, para cada evaluado (Xj)
(5)
Los valores de b y s 2 se estiman mediante un algoritmo de Esperanza-Maximizacin (Mislevy, 1991, 1992; Educational Testing Service [ETS], 2009). Para realizar estimaciones relacionadas con los puntajes de los estudiantes con base en los valores plausibles, se debe realizar la estimacin de la estadstica de manera independiente para cada uno de los valores plausibles, teniendo en cuenta, adems, los factores de expansin correspondientes (Mislevy, 1992; Foy et al., 2008; von Davier et al., 2009). De manera que, suponiendo que la estadstica que se desea estimar es h, se deben encontrar las estimaciones h1,...,h5 para los cinco valores plausibles, y la estimacin de inters se obtiene de la forma:
1h 5
(6)
60
INFORMES
Por ejemplo, si se desea estimar el puntaje promedio de todos los estudiantes, se estima el promedio para la variable PV1, as como para las variables PV2 a PV5. Al final se obtienen cinco estimaciones, las cuales se promedian para determinar la estimacin del puntaje promedio. Los errores estndar asociados a las estimaciones que emplean valores plausibles se obtienen a partir de la raz cuadrada de la varianza de las estimaciones, para la cual se toman en cuenta los siguientes dos componentes: (1) la varianza de la estimacin debida al diseo muestral para el caso de la aplicacin en condiciones controladas, y (2) la varianza debida a la incertidumbre de la medicin. As, el error estndar asociado con una estimacin se calcula como:
1 5
1 1 5 4
(7)
Donde h es la varianza del estimador calculada a partir de los valores en la variable PV1 de acuerdo con el diseo muestral (von Davier et al., 2009). Los procedimientos para obtener la estimacin de la varianza de los estimadores mediante el mtodo Jackknife se presentan en la seccin 5.5.
5.2 Determinacin de la escala de calificacin

La escala de calificacin para cada una de las pruebas aplicadas en SABER 5o. y 9o. 2009, se defini en tres pasos. En primer lugar, se realiz la calibracin de los tems a partir de la aplicacin en condiciones controladas; luego se obtuvieron 5 estimaciones de habilidad para cada evaluado por grado y rea, usando la metodologa de valores plausibles en la aplicacin censal. Finalmente, se obtuvieron las trasformaciones afines por grado y rea tales que el promedio de los evaluados fuera 300 y su desviacin estndar 80. A continuacin se describe el procedimiento realizado en cada uno de estos pasos.
5.2.1 Calibracin de los tems

La calibracin de los parmetros de los tems se realiz ajustando el modelo TRI logstico de dos parmetros para cada prueba y en cada grado. En el proceso de calibracin se incluyeron nicamente a los estudiantes evaluados en condiciones de aplicacin controladas. Todos los tems de cada una de las pruebas de cada grado fueron calibrados simultneamente incluyendo las diferentes formas de prueba descritas en el captulo 1. Para todos los evaluados incluidos se emplearon los factores de expansin obtenidos de acuerdo con el procedimiento sealado en el captulo 3 para los pesos muestrales en condiciones controladas. La estimacin de los parmetros de los tems se realiz utilizando el paquete Bilog-MG (Zimowski et al., 2003).
61
Despus de la calibracin de los parmetros de los tems, se verific grficamente que los parmetros obtenidos reprodujeran de forma adecuada la distribucin de las respuestas de los evaluados en los diferentes niveles de habilidad. Este ajuste se evalu comparando la curva caracterstica (CCI)12 de cada tem con la curva emprica dada por las proporciones empricas de respuestas acertadas, en 31 intervalos de las habilidades estimadas para cada evaluado. Si las dos curvas son cercanas entre s, el modelo de respuesta al tem muestra un buen ajuste (Foy et al., 2008). Ntese que las estadsticas de ajuste de los modelos de respuesta al tem son, en general, resultado de la comparacin entre la curva emprica correspondiente a la clave y la curva caracterstica del tem obtenida a partir de los parmetros estimados para cada tem; estas estadsticas siguen, aproximadamente, distribuciones ji-cuadrado con grados de libertad dependientes del nmero de intervalos en que se agrupe la habilidad. El valor de las estadsticas no se presenta puesto que para los tamaos de muestra de SABER 5o. y 9o. 2009 hasta las desviaciones ms pequeas al modelo son, en cualquier caso, detectadas por estas pruebas para valores convencionales de significacin estadstica (Stone, 2003). La figura 5.1 muestra un ejemplo de la CCI para un tem de ciencias en quinto grado, estas curvas, as como las curvas empricas por distractor, tambin fueron obtenidas como parte de las estadsticas de los tems como se presenta en la seccin 4.1 del captulo 4 y ejemplos de estas tambin se encuentran en la seccin 4.3 del mismo.
Figura 5.1 Ejemplo de curva caracterstica del tem
CIENCIAS Grado 5
1.0 Probabilidad 0.8 0.6 0.4 0.2 0.0 -2 -1 01 a = 0.77248 b = -0.6236
Grfico ICC Item
-2
q
12
La CCI es la grfica de la funcin del modelo de respuesta al tem empleado, variando valores estimados para el tem.
q y fijando ai y bi en los
62
INFORMES
5.2.2 Condicionamiento
Para cada estudiante se define una funcin de distribucin, como lo indica la ecuacin 5, de acuerdo con las respuestas del estudiante, el bloque de preguntas que le haya correspondido en su prueba y las caractersticas socioeconmicas. A partir de esta distribucin se extraen los valores plausibles. Los puntajes derivados de la metodologa de valores plausibles se obtuvieron empleando el programa DESI (ETS, 2009) y definiendo: Los parmetros de dificultad y discriminacin obtenidos en la calibracin correspondiente al grado y al rea. Produccin de 5 valores plausibles por rea y por cada componente y competencia correspondiente. Condicionamiento por variables socioeconmicas.
Las variables empleadas para el condicionamiento en el modelo descrito fueron: Clasificacin por zona (rural/urbano) y naturaleza (pblico/privado) del establecimiento educativo al que pertenece el evaluado. Clasificacin por sexo del evaluado. ndice socioeconmico calculado a partir de las respuestas del evaluado al cuestionario sociodemogrfico. Puntaje promedio de los alumnos de la sede-jornada en el rea correspondiente proveniente de la estimacin de habilidad producida por el paquete Bilog-MG. En el caso de la clasificacin por zona del establecimiento educativo, cuando un establecimiento administra sedes rurales y urbanas, se emple como zona aquella donde se presentaba la mayor cantidad de estudiantes. El ndice socioeconmico se calcul a partir de las respuestas dadas por los estudiantes a las preguntas del cuestionario socioeconmico y utilizando las ponderaciones que muestra la tabla 5.1, las cuales corresponden a las ponderaciones de estas preguntas en el ndice de calidad de vida (Pieros, L. J., comunicacin personal, Noviembre, 2009). Por su parte, el puntaje promedio a nivel de sede jornada fue incluido entre las variables de condicionamiento de forma que el modelo presentado en esta seccin incorporara informacin de la estructura relacionada con las agrupaciones de las jornadas en sedes y de estas en establecimientos educativos.
63
Tabla 5.1 Ponderaciones para el ndice socioeconmico
Parmetro socioeconmico
Caracterstica Madera pulida, alfombra, tapete, mrmol Baldosa, tableta, ladrillo o vinilo Tabla, tabln o madera burda Cemento o gravilla Tierra o arena Menor o igual que 0,1 Mayor que 0,1 y menor o igual que 0,2 Mayor que 0,2 y menor o igual que 0,3 Mayor que 0,3 y menor o igual que 0,4 Mayor que 0,4 y menor o igual que 0,5 Mayor que 0,5 y menor o igual que 0,6 Mayor que 0,6 y menor o igual que 0,7 Mayor que 0,7 y menor o igual que 0,8 Mayor que 0,8 y menor o igual que 0,9 Mayor que 0,9 y menor o igual que 1 Mayor a 1 y menor o igual que 1,2 Mayor que 1,2 y menor o igual a 1,3 Mayor que 1,3 y menor o igual que 1,4 Mayor que 1,4 y menor o igual que 1,5 Mayor que 1,5 y menor o igual que 1,6 Mayor que 1,6 y menor o igual que 1,7 Mayor que 1,7 y menor o igual que 1,8 Mayor que 1,8 y menor o igual que 1,9 Mayor que 1,9 y menor o igual que 1,9 Mayor que 1,9 y menor o igual que 2 Mayor que 2 No tiene servicio sanitario Letrina Inodoro sin conexin Inodoro conectado a pozo sptico Inodoro conectado a alcantarillado, no exclusivo de la familia Inodoro conectado a alcantarillado, exclusivo de la familia
Peso para el ndice 8,0950 5,6395 4,2528 2,5225 0,0000 0,0000 3,3103 3,5408 3,9957 4,6330 5,2813 5,6022 6,7269 6,7337 6,7337 7,8060 7,8060 7,8060 7,8060 7,8060 7,8457 7,8457 7,8457 7,8457 7,8457 8,0686 0,0000 0,7832 0,8596 2,1803 2,9181 5,8473
Material de los pisos
Dormitorios por persona
Servicio sanitario
(Tabla 5.1, contina en la siguiente pgina).
64
INFORMES
Parmetro socioeconmico Sin educacin Primaria incompleta Primaria completa Educacin del padre Media incompleta Media completa Superior incompleta Superior completa Postgrado Sin educacin Primaria incompleta Primaria completa Educacin de la madre Media incompleta Media completa Superior incompleta Superior completa Postgrado
Caracterstica
Peso para el ndice 0,0000 0,9837 2,0101 2,3299 3,5012 3,7934 4,8725 6,0695 0,0000 1,0122 1,9710 2,7747 4,1592 5,0772 6,0099 6,0099
5.2.3 Trasformacin a la escala de reporte

Como se indic en la seccin 5.2.1, la escala para el reporte fue definida por un promedio de los evaluados en la aplicacin censal igual a 300 con desviacin estndar igual a 80. El clculo de estas estadsticas empleando los valores plausibles y las ponderaciones derivadas de la participacin en la evaluacin de una prueba se describen en las secciones 5.3, 5.4 y 5.5. En la tabla 5.2 se presentan las constantes de las trasformaciones obtenidas para cada grado y rea, donde la trasformacin de cada valor plausible a la escala de reporte est dada por la expresin
(8)
Estas constantes se usarn para el reporte de los resultados en prximas ediciones de las pruebas SABER 5o. y 9o., as como para la realizada en el estudio de equiparacin de resultados histricos.
65
Tabla 5.2 Constantes para la transformacin a la escala de reporte
Grado
Quinto
rea
Ciencias naturales Lenguaje Matemticas Ciencias naturales
M
76,5806195 77,6548247 75,794025 80,1448589 80,8045757 80,6376679
S
288,907443 290,365 281,916493 289,982145 292,848609 288,95652
Noveno
Lenguaje Matemticas
5.3 Componentes y competencias

Para el reporte de resultados por componentes y competencias se calcularon valores de fortalezas y debilidades a nivel de establecimiento educativo por componente y por competencia para cada grado y rea con relacin a establecimientos de resultados promedio similares. A continuacin se describe el procedimiento realizado para la obtencin de las mismas.
Clculo de fortalezas y debilidades relativas

Para el reporte de resultados por componentes y competencias se efectu el siguiente procedimiento que permite representar si los resultados para un establecimiento educativo en un componente o competencia particular son ms altos o ms bajos que los obtenidos en promedio por los establecimientos que tuvieron el mismo resultado en el rea, empleando las habilidades del modelo TRI de dos parmetros a nivel de componente, competencia y rea13,14. 1. Se calcul el promedio de cada componente, competencia y rea para cada establecimiento. 2. Utilizando los promedios del paso anterior, se realiz una regresin de cada uno de los componentes y competencias sobre el puntaje general del rea. 3. Se calcul el residuo estandarizado para cada uno de los establecimientos.
13
Para los clculos de fortalezas y debilidades de componentes y competencias no se emplearon valores plausibles, puesto que el modelo para estimar los parmetros b y s 2 y la matriz de varianzas y covarianzas para el modelo multidimensional de los componentes (y de las competencias) de cada grado y rea no lograron convergencia de las estimaciones. Esto implica que las fortalezas y debilidades se han calculado para cada componente y competencia de forma independiente de las otras componentes o competencias del rea. Para obtener las estimaciones de habilidad mediante el modelo logstico de dos parmetros, se utilizaron los parmetros de los tems calibrados para la prueba completa.
14
66
INFORMES
El valor del residuo estandarizado para considerar que el componente o competencia constituye una fortaleza (un resultado relativamente mayor en la misma respecto a los establecimientos con el mismo resultado en el rea) o una debilidad parti de la distribucin emprica de los residuales de todos los componentes y competencias. La figura 5.2 presenta la distribucin de los residuales a partir de la cual se definieron como puntos de corte los valores 0,1 y 0,8. Adicionalmente, para la presentacin grfica de las fortalezas y debilidades los valores se truncaron en 0,15. De este modo, valores residuales estandarizados en un componente o competencia entre -1,5 y -0,8 indican que en promedio los estudiantes del establecimiento presentan una debilidad en la misma, en comparacin con los estudiantes de establecimientos con resultados similares en el rea.
Figura 5.2 Distribucin y puntos de corte de los residuales estandarizados de componentes y competencias
25.000 20.000 15.000 10.000 5.000 0
Residuales estandarizados
5.4 Determinacin de los puntos de corte y los niveles de desempeo

Los niveles de desempeo establecen una norma de competencia que los estudiantes deben cumplir de acuerdo con el atributo evaluado por la prueba. Esta norma debe representar un dominio de los objetivos de aprendizaje establecidos en la evaluacin, o algn nivel de competencia bsica necesaria para pasar al siguiente nivel, o para funcionar en el mundo real (van der Linden, 1982). De esta manera, para la determinacin de los niveles de desempeo de los estudiantes en SABER 5o. y 9o. 2009 se implement una metodologa Standard Setting. En esta, mediante el juicio de expertos, de manera independiente o grupal, se determinan los puntos de corte adecuados que permitan de manera razonable y adecuada relacionar la capacidad observable del estudiante en la prueba y la prediccin de su desempeo. Eso se realiza en aquellas evaluaciones para las cuales es necesario realizar algn tipo de clasificacin (por ejemplo, pasar o no pasar; categoras de bajo, alto o superior, etc.).
67
En este sentido, para establecer los puntos de corte existen muchos procedimientos (Livingston & Zieky, 1982). En el caso particular de SABER 5o. y 9o. 2009 se utiliz un esquema de clasificacin objetivo basado en el juicio sobre los tems, conocido como el mtodo de Angoff, con la modificacin de Taube, para la determinacin de los puntos de corte. A continuacin, se describe el procedimiento completo llevado a cabo.
5.4.1 Seleccin de los jueces

Dentro del Standard Setting, los jueces son los encargados de determinar los criterios de decisin frente a las caractersticas del desempeo de los estudiantes en cada una de las pruebas y grados evaluados, dados los estndares de la evaluacin. Para la seleccin de los jueces, el ICFES realiz una convocatoria nacional a docentes de las reas evaluadas (lenguaje, matemticas y ciencias naturales) a travs de las diferentes secretaras de educacin. El proceso de seleccin se estableci mediante la revisin de la hoja de vida y experiencia de los docentes y una entrevista realizada por los profesionales del ICFES coordinadores de cada una de las reas evaluadas. Los docentes seleccionados como jueces deban cumplir los siguientes requisitos: Ser docentes de quinto o noveno grado con experiencia en las reas evaluadas y en la poblacin objetivo. Tener conocimientos sobre los Estndares Bsicos de Competencias en el rea de desempeo. Ser dinmicos, participativos, estar dispuestos a la discusin acadmica, con facilidad de expresin y trabajo en equipo, buena actitud de dilogo y que puedan seguir instrucciones. En la tabla 5.3 se presenta el total de docentes que participaron por rea y grado en el Standard Setting para la definicin de los niveles de desempeo y de los respectivos puntos de corte.
Tabla 5.3 Nmero de docentes en cada una de las reas y grados
Grado Barranquilla Bogot Bucaramanga Cali Ibagu Medelln Total
Quinto grado Ciencias naturales Lenguaje Matemticas Ciencias naturales
Noveno grado Lenguaje Matemticas
2 4 2
1 4 1 1 1 5 1
2 4 2
1 4 1 1 1 5 1
2 10
4 12
5 11
2 10
4 11
5 12
68
INFORMES
5.4.2 Discusin
Antes de iniciar los juicios de los expertos sobre los tems, se realizaron sesiones en las que se revisaron los Estndares Bsicos de Competencias del rea y grado correspondiente y los lineamientos generales SABER 2009, con el objetivo de contextualizar sobre el propsito y la naturaleza de la evaluacin. Adicionalmente, los jueces tuvieron una induccin bsica sobre Teora de Respuesta al tem (TRI). Posteriormente, en grupos separados para cada rea y grado, cada uno de los jueces recibi la informacin de las pruebas, la cual incluy los tems evaluados y sus caractersticas, tanto estadsticas como conceptuales (componente, competencia, evidencia, afirmacin y tarea). A partir de esta informacin, los jueces discutieron sobre las tareas que deben saber y saber hacer los estudiantes en el nivel de desempeo mnimo, satisfactorio y avanzado, segn los objetivos de aprendizaje establecidos en la evaluacin, consignados en los Lineamientos de evaluacin de SABER 5o. y 9o. 2009 (Pedraza, Castillo, Ortiz, Toro, Castelblanco & Fernandes, 2009). De esta manera, se establecieron los descriptores de cada uno de los niveles de desempeo, para cada una de las reas y grados de manera independiente (vase anexo 4). En el cuadro 5.1 se presenta la descripcin genrica para cada uno de los niveles establecidos, la cual aplica para todas las reas y grados.
Cuadro 5.1. Descripcin general de los niveles de desempeo
Nivel Avanzado Satisfactorio Mnimo Insuficiente
El estudiante promedio ubicado en este nivel
muestra un desempeo sobresaliente en las competencias esperadas para el rea y grado evaluado. tiene un desempeo adecuado en las competencias exigibles para el rea y grado evaluado. Este es el nivel esperado que todos, o la gran mayora de los estudiantes, deberan alcanzar. muestra un desempeo mnimo en las competencias exigibles para el rea y grado evaluado. no demuestra los desempeos mnimos establecidos.
Una vez definidos los descriptores para cada nivel de desempeo, los cuales corresponden a una descripcin detallada de las exigencias conceptuales y cognitivas requeridas para responder preguntas de distinta complejidad, se llev a cabo la discusin sugerida bajo el mtodo de Angoff. En esta, a cada juez se le asigna la tarea de que para cada uno de los niveles de desempeo definidos piense en las caractersticas, capacidades, logros, etc., de los cuales es capaz un evaluado que se encuentre en el lmite de llegar al nivel de desempeo y no alcanzarlo.
69
Dadas estas caractersticas, para cada uno de los tems que conforman la prueba, el juez debe responder a la pregunta Cul es la cantidad de individuos, entre 100 evaluados en ese grado de habilidad, que podr responder correctamente al tem? Esta cantidad constituye una estimacin del juez de la probabilidad de que un evaluado que se encuentra en el lmite de llegar al nivel de desempeo pueda responder correctamente al tem. Estos juicios de los expertos se recogen en sesiones de discusin en las cuales cada experto realiza un juicio preliminar sobra cada tem, anuncia su seleccin para el tem, se comentan las razones por las cuales el juez eligi tal probabilidad, se da espacio para que cada juez reafirme o modifique su juicio preliminar y se registran los juicios definitivos de cada experto (Livingston & Zieky, 1982). Para cada rea se realizaron dos sesiones de discusin durante una semana. La diferencia entre la primera y la segunda ronda o sesin de discusin fue que en la primera, los jueces asignaron la proporcin de los estudiantes en cada nivel basados solamente en su conocimiento sobre los tems de la prueba, mientras que en la segunda, lo hicieron considerando adems los estadsticos de los tems, especficamente la dificultad de cada uno.
5.4.3 Clculo de los puntos de corte

Despus de completar las discusiones para todos los tems de una prueba y todos los niveles de desempeo, se sigui la propuesta de Taube (1997), en la cual a partir de las estimaciones de la probabilidad de acierto de un alumno mnimamente aceptable se calcula la habilidad correspondiente a esa probabilidad de acierto. Esto se hace despejando el parmetro q de la funcin de respuesta al tem logstico de dos parmetros, descrita en la ecuacin (4). Adicionalmente, para la habilidad estimada se calcularon los errores estndar de los valores transformados a partir de las probabilidades dadas por los diferentes jueces. En la tabla 5.4 se presentan los puntos de corte, en la escala de calificacin de SABER 5o. y 9o. 2009 para cada una de las reas y grados evaluados.
Tabla 5.4 Puntos de corte en la escala de calificacin de SABER 5o. y 9o. 2009
Nivel desempeo Mnimo Satisfactorio Avanzado
Quinto grado Lenguaje Matemticas Ciencias naturales Lenguaje
Noveno grado Matemticas Ciencias naturales
227 316 400
265 331 397
229 335 411
217 312 445
234 346 456
216 327 431
70
INFORMES
Finalmente, es importante mencionar que los niveles de desempeo de SABER 5o. y 9o. 2009 tienen tres caractersticas: son globales, pues se encuentran definidos para la prueba total y no para competencias y componentes especficos; son jerrquicos, porque tienen complejidad creciente; por tanto, el nivel avanzado es ms complejo que el satisfactorio y, a su vez, este ltimo es ms complejo que el mnimo e inclusivos, ya que para ubicarse en un nivel determinado es necesario superar los niveles precedentes.
5.5 Estadsticas calculadas para los reportes

Las estadsticas agregadas sobre los puntajes en las reas que se obtuvieron para las pruebas SABER 5o. y 9o. 2009, corresponden a los promedios, las desviaciones estndar y los porcentajes de estudiantes por nivel de desempeo a diferentes niveles de agregacin de los establecimientos educativos (por ejemplo, municipio) y de los estudiantes (por ejemplo, sexo). Estas estadsticas se calcularon a partir de los valores plausibles y empleando los factores de expansin para los estudiantes de acuerdo con la participacin en la aplicacin censal o controlada (segn el caso), para cada rea y grado. De este modo, el promedio para un valor plausible en un nivel de agregacin se calcul como
(9)
Donde: es el conjunto de estudiantes evaluados en el nivel de agregacin. es el factor de expansin del evaluado . es el valor plausible del evaluado .
La desviacin estndar para un valor plausible en un nivel de agregacin se calcul como
(10)
71
Donde n es el nmero de evaluados en el nivel de agregacin y los dems trminos son iguales a los definidos para el promedio. Finalmente, el porcentaje de estudiantes en el nivel de desempeo P para un valor plausible en un nivel de agregacin se calcul como
(11)
Donde: La funcin IP (xi ) es igual a 1 cuando el puntaje xi del estudiante i se encuentra entre los lmites correspondientes al nivel de desempeo P, y es igual a 0 en otro caso. Teniendo en cuenta que los valores plausibles permiten recuperar apropiadamente estimaciones de estadsticas poblacionales agregadas, y que no son apropiadas para estimaciones individuales (von Davier et al., 2009), a nivel de establecimiento educativo y de sede jornada, donde la interpretacin de los porcentajes por nivel de desempeo tiende a tener una interpretacin individual, se utiliz solamente un valor plausible. En particular, para estos niveles de agregacin se emple el valor plausible correspondiente a la mediana para cada estudiante del establecimiento educativo o de la sede-jornada en los clculos de los conteos de estudiantes por nivel de desempeo; por su parte, para las agregaciones a nivel de municipio, entidad certificada y departamento se emplearon los cinco valores plausibles, como se describi anteriormente. Finalmente, en los reportes a partir de los resultados muestrales, y teniendo en cuenta que la informacin recolectada proviene de una muestra probabilstica, es posible abordar los interrogantes acerca de la precisin y bondad de las estimaciones que se obtienen a partir de los datos de la muestra. El proceso de estimar este error se conoce como estimacin de la varianza del estimador. Para SABER 5o. y 9o. 2009, se emple el mtodo de re-muestreo conocido como Jackknife (Wolter, 2007).
72
INFORMES
Segn este mtodo, cada una de estas re-muestras se conoce como una rplica y para el caso de SABER 5o. y 9o. 2009, las rplicas consideran la exclusin de un establecimiento. Para cada rplica, se recalculan los pesos a fin de ajustar la contribucin de las distintas unidades, se obtienen los resultados y se calcula la varianza de los resultados para las distintas composiciones de la muestra. A manera de ejemplo, en una rplica particular se toma un establecimiento seleccionado en muestra y se excluye su informacin para el clculo de la estimacin; para los dems establecimientos en el mismo estrato muestral, se recalculan los pesos de la primera etapa al considerar que es una nueva muestra de tamao (nh 1). El nmero total de rplicas consideradas para la estimacin de la varianza del estimador es igual al nmero de establecimientos en muestra. Si se denomina qj a cada una de las estimaciones con las rplicas y q a la estimacin con la muestra completa, la estimacin de la varianza del estimador queda expresada como
(12)
Este tipo de estimadores de la varianza dan una gran flexibilidad al momento de emplear diferentes tipos de estimadores (promedios, percentiles, porcentajes), ya que el esquema planteado sirve para cualquier estimador de inters. En el captulo 4 se present cmo esta estimacin de la varianza de las estimaciones se combina con los valores plausibles en los casos en que aplica.
73
Bibliografa
Educational Testing Service (2009). DESI. Direct Estimation Software Interactive. [Manual y software de cmputo]. Princeton, NJ: ETS. Foy, P ., Galia, J. & Li, I. (2008). Scaling the Data from the TIMSS 2007 Mathematics and Science Assessments. En: J. Olson, M. Martin & I. Mullis. Eds. (2008). TIMSS 2007 Technical Report. TIMSS & PIRLS Internacional Study Center, Lynch School of Education, Chestnut Hill, MA: Boston College. Hambleton, R.K., Swaminathan, H. & Rogers, J.H. (1991). Fundamentals of item response theory. Sage: Newbury Park, CA, USA. Livingston, S.A. & Zieky, M.J. (1982). Passing scores: A manual for setting standards of performance on educational and occupational tests. Princeton, NJ: Educational Testing Service. Lord, F. (1950). A theory of test scores. Psychometric Monographs No 7. Lord, F. & Novick, M. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley. Martnez, R. (2005). Psicometra: teora de los tests psicolgicos y educativos. Sntesis: Madrid. Ministerio de Educacin Nacional [MEN] (2006). Documento No. 3. Estndares Bsicos de Competencias en lenguaje, matemticas, ciencias y ciudadanas. Lo que los estudiantes deben saber y saber hacer con lo que aprenden. Bogot. Mislevy, R.J. (1991). Randomization-based inference about latent variables from complex samples. Psychometrika, 56, 177196. Mislevy, R.J., Beaton, A.E., Kaplan, B. & Sheehan, K.M. (1992). Estimating population characteristics from sparse matrix samples of item responses. Journal of Educational Measurement, 20(2), 133-161. Organizacin para la Cooperacin y Desarrollo Econmicos. (2009). PISA 2006. Technical Report. Paris: OECD.
74
INFORMES
Pedraza, F. P ., Castillo, M. J., Ortiz, E. F., Toro, L. J., Castelblanco, Y. B. & Fernandes, M. I. (2009). Lineamientos generales SABER 2009 grados 5o. y 9o. Bogot, Colombia: ICFES. Recuperado de: http://www.icfes.gov.co/saber59/ Rubin, D. B. (1987). Multiple imputation for nonresponse in surveys. New York: Wiley. Stone, C. A. & Zhang, B. (2003). Assessing goodness of fit of Item Response Theory Models: A comparison of traditional and alternative procedures, Journal of Educational Measurement, 40(4)), pp 331-352. Taube, K.T. (1997). The incorporation of empirical item difficulty data in the Angoff standardsetting procedure. Evaluation and the Health Professions, 20, 479-498. van der Linden, W. J. (1982) (Ed.). Aspects of criterion-referenced measurement [Nmero especial]. Evaluation in Education: An International Review Series, 5(2). von Davier, M., Gonzalez, E. & Mislevy, R.J. (2009). What are plausible values and why are they useful?. IERI Monograph series: Issues and methodologies in large-scale assessment, 2, 9-36. Wolter K. (2007). Introduction to variance estimation. New York: Springer. Zimowski, M.F., Muraki, E., Mislevy, R.J. & Bock, R.D. (2003). Bilog-MG 3. [Manual y software de cmputo]. Chicago, IL: Scientific Software Internacional, Inc.
75
Anexos
76
INFORMES
Anexo 1. Diseo de la evaluacin: modelo de evidencias, especificaciones y construccin de preguntas
77
Especificaciones (afirmaciones) para prueba de matemticas, quinto grado

Cuadro A1.1 Competencia: la comunicacin, la representacin y la modelacin
Componente Numricovariacional
Afirmacin: El estudiante...
1. Reconoce significados del nmero en diferentes contextos (medicin, conteo, comparacin, codificacin, localizacin, entre otros). 2. Reconoce diferentes representaciones de un mismo nmero. 3. Describe e interpreta propiedades y relaciones de los nmeros y sus operaciones. 4. Traduce relaciones numricas expresadas grfica y simblicamente. 1. Diferencia atributos mensurables de los objetos y eventos en diferentes situaciones. 2. Selecciona unidades tanto estandarizadas como no convencionales apropiadas para diferentes mediciones. 3. Utiliza sistemas de coordenadas para especificar localizaciones. 1. Clasifica y organiza la presentacin de datos. 2. Interpreta cualitativamente datos relativos a situaciones del entorno escolar. 3. Representa un conjunto de datos e interpreta representaciones grficas de un conjunto de datos. 4. Hace traducciones entre diferentes representaciones. 5. Expresa el grado de probabilidad de un suceso.
Geomtricomtrico
Aleatorio
Cuadro A1.2 Competencia: el razonamiento y la argumentacin
Componente 1. 2. 3. 4. 5.
Numricovariacional
Reconoce patrones numricos. Justifica propiedades y relaciones numricas usando ejemplos y contraejemplos. Reconoce y genera equivalencias entre expresiones numricas. Analiza relaciones de dependencia en diferentes situaciones. Justifica el valor posicional en el sistema de numeracin decimal en relacin con el conteo recurrente de unidades.
Geomtricomtrico
1. Compara y clasifica objetos tridimensionales y figuras bidimensionales de acuerdo con sus componentes. 2. Reconoce nociones de paralelismo y perpendicularidad en distintos contextos. 3. Hace conjeturas y verifica los resultados de aplicar transformaciones a figuras en el plano. 4. Describe y argumenta relaciones entre permetro y rea de diferentes figuras, cuando se fija una de estas medidas. 5. Representa objetos tridimensionales a partir de representaciones bidimensionales. 6. Construye y descompone figuras planas y slidos a partir de condiciones dadas. 7. Identifica y justifica relaciones de semejanza y congruencia entre figuras.
78
INFORMES
Componente Aleatorio
1. Compara datos presentados en diferentes representaciones. 2. Hace arreglos condicionados o no condicionados. 3. Hace conjeturas acerca de la posibilidad de ocurrencia de eventos.
Cuadro A1.3 Competencia: el planteamiento y resolucin de problemas
Componente
Numricovariacional
1. Resuelve y formula problemas aditivos de transformacin, comparacin, combinacin e igualacin. 2. Resuelve y formula problemas multiplicativos: de adicin repetida, factor multiplicante, razn y producto cartesiano. 3. Resuelve y formula problemas de proporcionalidad directa e inversa. 4. Resuelve y formula problemas que requieren el uso de la fraccin como parte de un todo, como cociente y como razn. 1. Utiliza diferentes procedimientos de clculo para hallar la medida de superficies y volmenes. 2. Reconoce el uso de las magnitudes y de las dimensiones de las unidades respectivas en situaciones aditivas y multiplicativas. 3. Utiliza relaciones y propiedades geomtricas para resolver problemas de medicin. 4. Usa y construye modelos geomtricos para solucionar problemas. 1. Resuelve problemas que requieren representar datos relativos al entorno usando una o diferentes representaciones. 2. Resuelve problemas que requieren encontrar y/o dar significado al promedio de un conjunto de datos. 3. Resuelve situaciones que requieren calcular la posibilidad o imposibilidad de ocurrencia de eventos.
Geomtricomtrico
Aleatorio
79
Especificaciones (afirmaciones) para prueba de matemticas, noveno grado

Cuadro A1.4 Competencia: la comunicacin, la representacin y la modelacin
Componente
Numricovariacional
1. Identifica caractersticas de grficas cartesianas en relacin con la situacin que representan. 2. Identifica expresiones numricas y algebraicas equivalentes. 3. Establece relaciones entre propiedades de las grficas y propiedades de las ecuaciones algebraicas. 4. Reconoce el lenguaje algebraico como forma de representar procesos inductivos. 5. Describe y representa situaciones de variacin relacionando diferentes representaciones. 1. Representa y reconoce objetos tridimensionales desde diferentes posiciones y vistas. 2. Identifica caractersticas de localizacin de objetos en sistemas de representacin cartesiana y geogrfica. 3. Reconoce y aplica transformaciones de figuras planas. 4. Identifica relaciones entre distintas unidades utilizadas para medir cantidades de la misma magnitud. 5. Diferencia atributos mensurables de diversos objetos. 1. Interpreta y utiliza conceptos de media, mediana y moda y explicita sus diferencias en distribuciones diferentes. 2. Compara, usa e interpreta datos que provienen de situaciones reales y traduce entre diferentes representaciones de un conjunto de datos. 3. Reconoce la posibilidad o la imposibilidad de ocurrencia de un evento a partir de una informacin dada o de un fenmeno. 4. Reconoce relaciones entre un conjunto de datos y sus representaciones.
Geomtricomtrico
Aleatorio
80
INFORMES
Cuadro A1.5 Competencia: el razonamiento y la argumentacin
Componente 1. 2. 3. 4.
Numricovariacional
Reconoce patrones en secuencias numricas. Interpreta y usa expresiones algebraicas equivalentes. Interpreta tendencias que se presentan en un conjunto de variables relacionadas. Usa representaciones y procedimientos en situaciones de proporcionalidad directa e inversa. 5. Reconoce el uso de propiedades y relaciones de los nmeros reales. 6. Desarrolla procesos inductivos, deductivos desde el lenguaje algebraico para verificar conjeturas acerca de los nmeros reales. 1. Construye argumentaciones formales y no formales sobre propiedades y relaciones de figuras planas. 2. Hace conjeturas y verifica propiedades de congruencias y semejanza entre figuras bidimensionales. 3. Generaliza procedimientos de clculo para encontrar el rea de figuras planas y el volumen de algunos slidos. 4. Utiliza tcnicas y herramientas para la construccin de figuras planas y cuerpos con medidas dadas. 5. Predice y compara los resultados de aplicar transformaciones rgidas (rotacin, traslacin y reflexin) y homotecias (ampliaciones y reducciones) sobre figuras bidimensionales en situaciones matemticas y en el arte. 1. Hace conjeturas acerca de los resultados de un experimento aleatorio usando proporcionalidad. 2. Predice y justifica razonamientos y conclusiones usando informacin estadstica. 3. Calcula la probabilidad de eventos simples usando mtodos diversos. 4. Usa modelos para discutir la posibilidad de ocurrencia de un evento. 5. Fundamenta conclusiones utilizando conceptos de medidas de tendencia central.
Geomtricomtrico
Aleatorio
81
Cuadro A1.6. Competencia: el razonamiento y la argumentacin
Componente Numricovariacional
1. Resuelve problemas en situaciones aditivas y multiplicativas. 2. Resuelve problemas que involucran potenciacin, radicacin y logaritmacin. 3. Resuelve problemas en situaciones de variacin y modela situaciones de variacin con funciones polinmicas y exponenciales en contextos aritmticos y geomtricos. 1. Resuelve problemas de medicin utilizando de manera pertinente instrumentos y unidades de medida. 2. Resuelve y formula problemas usando modelos geomtricos. 3. Establece y utiliza diferentes procedimientos de clculo para hallar medidas de superficies y volmenes. 4. Resuelve y formula problemas que requieran tcnicas de estimacin. 1. Usa e interpreta medidas de tendencia central para analizar el comportamiento de un conjunto de datos. 2. Resuelve y formula problemas a partir de un conjunto de datos presentado en tablas, diagramas de barras y diagrama circular. 3. Hace inferencias a partir de un conjunto de datos. 4. Plantea y resuelve situaciones relativas a otras ciencias utilizando conceptos de probabilidad.
Geomtricomtrico
Aleatorio
Especificaciones (afirmaciones) para prueba de lenguaje, quinto grado15

Cuadro A1.7. Competencia: lectora
Estndar: comprendo diversos tipos de textos, utilizando algunas estrategias de bsqueda, organizacin y almacenamiento de la informacin. Se consideran los siguientes tipos de textos: descriptivos, informativos (noticias, anuncios, propagandas o afiches), narrativos (cuentos, leyendas, mitos y fbulas), historietas, textos explicativos y argumentativos. Componente
Semntico
1. Recupera informacin explcita de partes del contenido del texto (lectura literal). 2. Recupera informacin implcita sobre el contenido del texto (lectura inferencial). 3. Evala informacin explcita o implcita sobre el contenido del texto y moviliza informacin (saber previo o del texto hacia otros textos) para explicitar o ampliar contenidos del texto (lectura crtica).
15
Las siguientes tablas presentan las afirmaciones por competencia por cada uno de los componentes evaluados en lenguaje para los ciclos 1o. a 5o. y 6o. a 9o.
82
INFORMES
Componente
Sintctico
1. Reconoce estrategias explcitas de organizacin, tejido y componentes de los textos (lectura literal). 2. Reconoce informacin implcita sobre la organizacin, tejido y componentes de los textos (lectura inferencial). 3. Evala estrategias explcitas o implcitas de organizacin, tejido y componentes de los textos (lectura crtica). 1. Reconoce informacin explcita sobre la situacin de comunicacin (lectura literal). 2. Reconoce elementos implcitos de la situacin comunicativa (lectura inferencial). 3. Evala elementos explcitos o implcitos de la situacin comunicativa (lectura crtica).
Pragmtico
Cuadro A1.8. Competencia: escritora
Estndar: produzco textos escritos que responden a diversas necesidades comunicativas y que siguen un procedimiento estratgico para su elaboracin. Componente 1. 2. 3. 4. 5. 6.
Semntico
Establece posibles lneas de desarrollo del tema (planeacin). Identifica el tpico sobre el cual debe escribir (planeacin). Identifica el tema sobre el cual debe escribir (planeacin). Selecciona las ideas que permiten el desarrollo de un tpico (textualizacin). Identifica las ideas que no pertenecen al tpico propuesto (textualizacin). Selecciona las ideas que deben continuar un escrito para mantener el tpico (textualizacin). 7. Selecciona el contenido en el que puede estar una idea determinada (textualizacin). 8. Anticipa preguntas que le permiten visualizar el cierre de un texto (textualizacin). 9. Selecciona los mecanismos que aseguran la progresin temtica de un escrito (textualizacin). 10. Utiliza las palabras adecuadas (textualizacin). 11. Evita la repeticin (textualizacin). 12. Adeca el tpico a la situacin de comunicacin (textualizacin). 13. Adeca el lxico a la situacin de comunicacin (textualizacin). 14. Identifica omisiones, repeticiones innecesarias, informacin poco clara o que definitivamente sobra (revisin). 15. Evala qu tan cerca est el escrito del punto focal del tpico planteado en la situacin (revisin). 16. Suprime lo que no es apropiado al contenido (revisin).
83
Componente 1. 2. 3. 4. 5. 6. Sintctico
Identifica el tipo de texto que debe escribir (planeacin). Identifica la estructura que debe tener el texto (planeacin). Identifica la forma que debe tener el texto (planeacin). Identifica la manera como debe organizar la informacin (planeacin). Organiza y distribuye la informacin para dar coherencia al escrito (textualizacin). Identifica los mecanismos de cohesin que permiten ligar proposiciones en un enunciado (textualizacin). 7. Reacomoda la informacin o algunas partes de la misma para que el significado sea ms claro o ms pertinente (revisin). 8. Evala la pertinencia del tipo de texto respecto a la situacin de comunicacin (revisin). 9. Evala y corrige los signos de puntuacin (revisin). 10. Descubre y corrige errores de ortografa (revisin). 1. Identifica el propsito que debe cumplir un texto (planeacin). 2. Identifica el rol de su interlocutor (planeacin). 3. Identifica el rol que debe asumir como enunciador (planeacin). 4. Usa estrategias textuales y discursivas pertinentes (textualizacin). 5. Usa las palabras o actos de habla que son pertinentes al propsito de comunicacin (textualizacin). 6. Utiliza formas de expresin adecuadas a su interlocutor (textualizacin). 7. Adeca la informacin a la situacin de comunicacin o al propsito comunicativo (revisin). 8. Evala la pertinencia de lo dicho segn el contexto (revisin).
Pragmtico
Especificaciones (afirmaciones) para prueba de lenguaje, noveno grado

Cuadro A1.9 Competencia: lectora
Estndar: comprendo e interpreto textos, teniendo en cuenta el funcionamiento de la lengua en situaciones de comunicacin, el uso de estrategias de lectura y el papel del interlocutor y del contexto. Se consideran los siguientes tipos de textos: narrativos, lricos, informativos, explicativos y argumentativos. Los textos sobre o de literatura se ubican en el contexto latinoamericano. nfasis en la tradicin oral latinoamericana.
84
INFORMES
Componente Semntico
1. Da cuenta de informacin explcita en textos narrativos, expositivos y argumentativos (lectura literal). 2. Recupera informacin implcita sobre el contenido textual (lectura inferencial). 3. Valora informacin implcita o explcita de los textos (lectura crtica). 1. Reconoce estrategias explcitas de organizacin, tejido y componentes de los textos (lectura literal). 2. Deduce y da cuenta de estrategias implcitas de organizacin, tejido y componentes de los textos (lectura inferencial). 3. Valora estrategias explcitas o implcitas de organizacin, tejido y componentes de los textos (lectura crtica). 1. Reconoce informacin explcita sobre la situacin de comunicacin (lectura literal). 2. Deduce e infiere informacin sobre la situacin de comunicacin (lectura inferencial). 3. Evala elementos explcitos o implcitos de la situacin comunicativa (lectura crtica).
Sintctico
Pragmtico
Cuadro A1.10 Competencia: escritora
Estndar: produzco textos escritos que evidencian el conocimiento que he alcanzado acerca del funcionamiento de la lengua en situaciones de comunicacin y el uso de las estrategias de produccin textual. Componente
Semntico
1. Busca informacin adecuada al tema propuesto (planeacin). 2. Elige un tema para producir un texto escrito teniendo en cuenta un propsito, las caractersticas del interlocutor y las exigencias del contexto (planeacin). 3. Produce la primera versin de un texto informativo, atendiendo a requerimientos de contenido y tpico (textualizacin). 4. Produce textos descriptivos, atendiendo a requerimientos de contenido y tpico (textualizacin). 5. Revisa, socializa y corrige sus escritos, teniendo en cuenta las propuestas de los compaeros y el profesor, y atendiendo algunos aspectos de orden semntico y de contenido (revisin).
85
Componente 1. 2. 3. 4. 5.
Sintctico
Elige el tipo de texto que requiere su propsito comunicativo (planeacin). Elabora un plan para organizar sus ideas (planeacin). Disea un plan para elaborar un texto informativo (planeacin). Desarrolla un plan textual para la produccin de un texto descriptivo (planeacin). Elabora la primera versin de un texto informativo siguiendo los requisitos formales y conceptuales de la produccin escrita en lengua castellana, con nfasis en algunos aspectos gramaticales (concordancia, tiempos verbales, nombres, pronombres, entre otros) y ortogrficos (textualizacin). 6. Revisa, socializa y corrige sus escritos, teniendo en cuenta las propuestas de los compaeros y el profesor, y atendiendo algunos aspectos gramaticales (concordancia, tiempos verbales, pronombres) y ortogrficos (acentuacin, maysculas, signos de puntuacin) de la lengua castellana (revisin). 1. Determina el posible lector de su texto y el propsito comunicativo que lo lleva a producirlo (planeacin). 2. Identifica las fuentes que debe consultar y el medio para hacerlo (planeacin). 3. Elabora la versin de un texto informativo siguiendo los requisitos formales y conceptuales de la produccin escrita en lengua castellana, con nfasis en los aspectos relacionados con la enunciacin, situacin de comunicacin, propsitos y finalidades (textualizacin). 4. Revisa, socializa y corrige sus escritos, teniendo en cuenta las propuestas de los compaeros y el profesor, y atendiendo algunos aspectos relacionados con la enunciacin, la situacin de comunicacin, propsitos y finalidades (revisin).
Pragmtico
Especificaciones (afirmaciones) para prueba de ciencias naturales, quinto grado

Cuadro A1.11. Competencia: uso comprensivo del conocimiento cientfico
Estndar Identifico estructuras de los seres vivos que les permiten desarrollarse en un entorno y que puedo utilizar como criterios de clasificacin.
Componente
Entorno vivo
1. Analiza algunas diferencias y semejanzas de las caractersticas de los seres vivos. 2. Comprende que los seres vivos atraviesan diferentes etapas durante su ciclo de vida. 3. Comprende que existen relaciones entre los seres vivos y las condiciones y los elementos en un ecosistema.
86
INFORMES
Estndar
Componente
Me ubico en el universo y en la Tierra e identifico caractersticas de la materia, fenmenos fsicos y manifestaciones de la energa en el entorno.
Entorno fsico
1. Comprende que existe una gran diversidad de materiales que se pueden diferenciar a partir de sus propiedades. 2. Comprende que existen diversas fuentes y formas de energa y que sta se transforma continuamente. 3. Comprende la estructura bsica y el funcionamiento de los circuitos elctricos. 4. Reconoce los principales elementos y caractersticas de la Tierra y del espacio. 5. Comprende el funcionamiento de algunas mquinas simples y la relacin fuerza / movimiento. 1. Reconoce diferentes materiales describiendo sus usos y propiedades. 2. Comprende la diferencia entre diversos tipos de aparatos elctricos y mecnicos. 3. Reconoce los efectos de la contaminacin atmosfrica en el clima y los cambios terrestres. 4. Reconoce la utilidad de algunos objetos y tcnicas desarrolladas por el ser humano para mantener la salud, y reconoce que somos agentes de cambio en el entorno y en la sociedad.
Identifico transformaciones en mi entorno a partir de la aplicacin de algunos principios fsicos, qumicos y biolgicos que permiten el desarrollo de tecnologas.
Cuadro A1.12 Competencia: explicacin de fenmenos
Estndar Identifico estructuras de los seres vivos que les permiten desarrollarse en un entorno y que puedo utilizar como criterios de clasificacin.
Componente
Entorno vivo
1. Comprende que los seres vivos dependen del funcionamiento e interaccin de sus partes. 2. Analiza la importancia de cada etapa en el desarrollo del ser vivo. 3. Comprende que los organismos dependen de las relaciones que establecen entre s y con el entorno. 1. Comprende que existe una gran diversidad de materiales que se pueden diferenciar a partir de sus propiedades. 2. Explica la estructura bsica y el funcionamiento de los circuitos elctricos. 3. Comprende que existen diversas fuentes y formas de energa y que esta se transforma continuamente. 4. Comprende y describe la ubicacin de la Tierra y los dems cuerpos celestes en el espacio. 5. Comprende el funcionamiento de algunas mquinas simples y la relacin fuerza/movimiento.
Me ubico en el universo y en la Tierra e identifico caractersticas de la materia, fenmenos fsicos y manifestaciones de la energa en el entorno.
Entorno fsico
87
Estndar
Componente
Identifico transformaciones en mi entorno a partir de la aplicacin de algunos principios fsicos, qumicos y biolgicos que permiten el desarrollo de tecnologas.
1. Comprende que existe una diversidad de materiales que se diferencian por su uso y sus propiedades. 2. Comprende la utilidad y/o necesidad de los aparatos elctricos y mecnicos. 3. Comprende los efectos de la contaminacin atmosfrica en las transformaciones de la Tierra y el desarrollo tecnolgico. 4. Valora y comprende la utilidad de algunos objetos y tcnicas desarrolladas por el ser humano que permiten mantener la salud y reconoce cmo podemos ser agentes de cambio en el entorno y en la sociedad.
Cuadro A1.13 Competencia: indagacin
Estndar
Componente
Entorno vivo Me aproximo al conocimiento como cientfico (a) natural. Entorno fsico
1. Comprende que a partir de la investigacin cientfica se construyen explicaciones sobre el mundo natural. 2. Utiliza algunas habilidades de pensamiento y de procedimiento para evaluar predicciones. 3. Observa y relaciona patrones en los datos para evaluar las predicciones. 4. Elabora y propone explicaciones para algunos fenmenos de la naturaleza basados en conocimientos cientficos y de la evidencia de su propia investigacin y de la de otros.
Especificaciones (afirmaciones) para prueba de ciencias naturales, noveno grado

Cuadro A1.14 Competencia: uso comprensivo del conocimiento cientfico
Estndar Explico la variabilidad en las poblaciones y la diversidad biolgica como consecuencia de estrategias de reproduccin, cambios genticos y seleccin natural.
Componente
Entorno vivo
1. Analiza el funcionamiento de los seres vivos en trminos de sus estructuras y procesos. 2. Comprende la funcin de la reproduccin en la conservacin de las especies y los mecanismos a travs de los cuales se heredan algunas caractersticas y se modifican otras. 3. Comprende que en un ecosistema las poblaciones interactan unas con otras y con el ambiente fsico.
88
INFORMES
Estndar
Componente
Explico condiciones de cambio y conservacin en diversos sistemas, teniendo en cuenta la transferencia y el transporte de energa y su interaccin con la materia.
Entorno fsico
1. Comprende las relaciones que existen entre las caractersticas macroscpicas y microscpicas de la materia y las propiedades fsicas y qumicas de las sustancias que la constituyen. 2. Comprende la naturaleza de los fenmenos relacionados con la luz y el sonido. 3. Comprende la naturaleza de los fenmenos relacionados con la electricidad y el magnetismo. 4. Comprende la naturaleza y las relaciones entre la fuerza y el movimiento. 5. Comprende la dinmica de la corteza terrestre a partir de su estructura en trminos de placas tectnicas. 6. Comprende que existen diversas fuentes y formas de energa y que esta se transforma continuamente. 1. Reconoce los recursos renovables y no renovables del entorno, su importancia, los peligros a los que estn expuestos y sus usos para la obtencin de energa. 2. Reconoce el desarrollo cientfico y tecnolgico como una herramienta til al ser humano. 3. Determina la aplicacin de las propiedades de la materia en procesos y productos industriales. 4. Reconoce la utilidad de algunos objetos y tcnicas desarrollados por el ser humano para mantener la salud y reconocer que somos agentes de cambio en el entorno y en la sociedad.
Identifico aplicaciones comerciales e industriales del transporte de energa y de las interacciones de la materia.
Cuadro A1.15 Competencia: explicacin de fenmenos
Estndar Explico la variabilidad en las poblaciones y la diversidad biolgica como consecuencia de estrategias de reproduccin, cambios genticos y seleccin natural.
Componente
Entorno vivo
1. Comprende que los seres vivos dependen del funcionamiento e interaccin de sus partes. 2. Comprende que existen miles de especies que aunque no se parezcan entre s, tienen una unidad que es evidente a partir del anlisis de estructuras internas, procesos qumicos y evidencia de un ancestro comn. 3. Comprende que cada organismo es nico pero muy similar a otros; ningn organismo puede vivir aislado y ninguna poblacin puede vivir sin la interaccin con su medio.
89
Estndar
Componente
Explico condiciones de cambio y conservacin en diversos sistemas, teniendo en cuenta la transferencia y el transporte de energa y su interaccin con la materia.
Entorno fsico
1. Comprende las relaciones que existen entre las caractersticas macroscpicas y microscpicas de la materia y las propiedades fsicas y qumicas de las sustancias que la constituyen. 2. Comprende la naturaleza de los fenmenos relacionados con la luz y el sonido. 3. Comprende la naturaleza de los fenmenos relacionados con la electricidad y el magnetismo. 4. Comprende la naturaleza y las relaciones entre la fuerza y el movimiento. 5. Comprende la dinmica de la corteza terrestre a partir de su estructura en trminos de placas tectnicas. 6. Comprende que existen diversas fuentes y formas de energa y que esta se transforma continuamente. 1. Reconoce los recursos renovables y no renovables del entorno, su importancia, los peligros a los que estn expuestos y sus usos en la obtencin de energa. 2. Determina la aplicacin de las propiedades de la materia en procesos industriales y productos industriales. 3. Valora y comprende la utilidad de algunos objetos y tcnicas desarrollados por el ser humano que permiten mantener la salud y reconoce cmo podemos ser agentes de cambio en el entorno y en la sociedad.
Identifico aplicaciones comerciales e industriales del transporte de energa y de las interacciones de la materia.
Cuadro A1.16 Competencia: indagacin
Estndar
Componente
Entorno vivo Me aproximo al conocimiento como cientfico (a) natural. Entorno fsico
1. Comprende que a partir de la investigacin cientfica se construyen explicaciones sobre el mundo natural. 2. Utiliza algunas habilidades de pensamiento y de procedimiento para evaluar predicciones. 3. Observa y relaciona patrones en los datos para evaluar las predicciones. 4. Elabora y propone explicaciones para algunos fenmenos de la naturaleza basadas en conocimientos cientficos y de la evidencia de su propia investigacin y de la de otros.
90
INFORMES
Anexo 2. Esquema de aplicacin de formas
91
A continuacin se presenta el esquema de construccin de las formas de prueba empleadas en las aplicaciones para calendario A (octubre) y calendario B (mayo), de acuerdo con un diseo de Bloques Incompletos Balanceados (BIB, segn su sigla en ingls) empleado para SABER 5o. y 9o. 2009. Los cuadros A2.1 a A2.3 presentan el esquema de armada de las formas de prueba, e indican la forma y la posicin dentro de la misma en que aparecen cada uno de los 8 bloques (denotados por las letras de la A a la H). Se puede apreciar que para cada forma se usan solo dos de los ocho bloques y que el total de veces que aparece un bloque en las diferentes formas es similar, aunque no exactamente el mismo, por lo cual los bloques estn parcialmente balanceados en las aplicaciones de 2009. En la aplicacin de calendario B se emplearon las formas 1 a 6 de cada grado y rea; en la aplicacin de calendario A se emplearon las formas 3 a 5 y 7 a 9 de cada grado y rea. Por lo anterior, para cada aplicacin la asignacin de bloques a formas fue balanceada con cada bloque apareciendo una vez en cada posicin en las formas empleadas. Cada estudiante present una forma de dos reas diferentes; estas fueron repartidas de manera aleatoria y balanceada entre todos los estudiantes evaluados.
Cuadro A2.1 Esquema de armada de formas de matemticas para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009 Bloques quinto grado Bloques noveno grado
rea
Formas 1 2 3 4 5
A 1
C 2 1
D 2 1
A 1
B 2 1
G 2
2 1 2 1 2 2 1 2 1 1 2 0 2 0 2 2 2 2 2 2 2 2 0 2 2 2 0 2 2 0 2 0 2 2 2 2 4 2 2 2 2 1 2 1 1 2 1
2 1
2 2 1 1 2 1 2 0 2 2 2 4 2 2 2 4
Matemticas
6 7 8 9 10 Total Calendario B Total Calendario A Total
2 2 2 2 2 2 2 2 4 0 2 2 1
92
INFORMES
Cuadro A2.2 Esquema de armada de formas de lenguaje para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009
rea
Formas 1 2 3 4 5
Bloques quinto grado
Bloques noveno grado
B 1
D 2 1
E 2 1
C 2
D 2 1
E 1
2 2 1 1
1 2 2 2 2 2 1 2 1 2 2 1 2 0 2 2 0 2 2 2 4 2 2 2 2 2 4 1 1 1
2 1
2 1 1 2 1 1 2 2 4 2 0 2 0 2 2 2 2 2 2 4 2 0 2 2
Lenguaje
6 7 8 9 10 Total Calendario B Total Calendario A Total
2 2 2
2 2 2
0 2 2
0 2 2
0 2 2
2 2 2
Cuadro A2.3 Esquema de armada de formas de ciencias naturales para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009
rea
Formas 1 2 3 4
Bloques quinto grado
Bloques noveno grado
D 1
F 2
G 2 1
E 2
F 2 1
G 1
2 1 2 2 2 1 2 1 1 2 2 2 0 2 2 0 2 2 2 0 2 2 2 4 1 1
1 2 1 2 1 2 2 2 2 4 2 0 2 2 2 2 0 2 2
2 1 2 1
1 2 2 2 1 2 2 1 2 0 2 2 0 2 2 2 4 2 2 4 1 1
Ciencias naturales
5 6 7 8 9 10 Total Calendario B Total Calendario A Total
2 2 2
2 2 2
0 2 2
93
Anexo 3. Aspectos logsticos
94
INFORMES
Cuadro A3.1 Cronograma calendario B
Actividad Reunin informativa sobre la aplicacin de las pruebas SABER con secretarios de educacin Reunin de socializacin de la aplicacin convocada por el ICFES para secretarios de Educacin Actualizacin de la base de datos de establecimientos educativos para la aplicacin censal, por parte de las secretaras de educacin Reunin con secretarios de Educacin, en las entidades territoriales, para trabajar los temas que seran objeto de la evaluacin Capacitacin a rectores acerca de los procedimientos para la aplicacin censal Aplicacin controlada Aplicacin censal y estadstica Fechas lmite para la entrega de las hojas de respuestas de la prueba aplicada
Fecha
Febrero 13 Febrero 25 al 27 Marzo 1 al 13 Abril 27 Mayo 4 al 8 Mircoles 20 y jueves 21 de mayo Jueves 21 y viernes 22 de mayo Mayo 22 al 28
Cuadro A3.2 Cronograma calendario A
Actividad Reunin informativa sobre la aplicacin de las pruebas SABER con secretarios de Educacin Publicacin del documento Lineamientos generales SABER 2009 en el sitio web institucional Actualizacin de la base de datos de establecimientos educativos, por parte de las secretaras de educacin, a travs del aplicativo web Actualizacin de la base de datos de establecimientos educativos, estudiante a estudiante, por parte de los rectores a travs del aplicativo web Capacitacin a rectores acerca de los procedimientos para la aplicacin censal Aplicacin controlada Aplicacin censal y estadstica Entrega de hojas de respuestas
Fecha
A partir de julio 7 Julio 7 Julio, agosto y septiembre Julio, agosto y septiembre De septiembre 28 a octubre 2 Mircoles 21 de octubre Jueves 22 de octubre Viernes 23 de octubre
95
Cuadro A3.3 Material de examen para cada tipo de aplicacin
Aplicacin
Calendario B Sesin I El rector o coordinador de sede recogi el material del examen en la unidad de agrupacin. Sesin II Finalizada la sesin, el rector o coordinador de sede conserv los cuadernillos y recogi las hojas de respuestas para hacer la entrega en la unidad de agrupacin. Calendario A Sesin nica El rector o coordinador de sede recogi el material del examen en la unidad de agrupacin. Finalizada la sesin, el rector o coordinador de sede conserv los cuadernillos y recogi las hojas de respuestas para hacer la entrega en la unidad de agrupacin. Calendario B Sesin I La compaa de seguridad entreg el material de examen en cada sede jornada. Finalizada la sesin, se recogi todo el material de examen y se le entreg nuevamente a la compaa de seguridad. Sesin II El delegado del ICFES le entreg al rector los cuadernillos simples con sus hojas de respuestas, una vez terminada la sesin I. Finalizada la aplicacin, el rector conserv los cuadernillos de examen y devolvi las hojas de respuestas en la unidad de agrupacin correspondiente. Calendario A Sesin nica La compaa contratada estuvo a cargo de la entrega y recoleccin del material de examen en cada sede jornada. Calendario B Sesin I El delegado del ICFES recogi el material del examen en la unidad de agrupacin. Finalizada la sesin, el delegado del ICFES recogi las hojas de respuestas y las entreg en la unidad de agrupacin. Los cuadernillos fueron entregados al rector. Sesin II El delegado del ICFES le entreg al rector los cuadernillos simples con sus hojas de respuestas, una vez finalizada la sesin I. Finalizada la aplicacin, el rector conserv los cuadernillos de examen y devolvi el total de las hojas de respuestas (ausentes y presentes) en la unidad de agrupacin que le corresponda. Calendario A Sesin nica Finalizada la aplicacin el rector conserv los cuadernillos y el delegado del ICFES entreg las hojas de respuestas en la unidad de agrupacin respectiva.
Material de examen
Recepcin y entrega
Censal
Calendario B Sesin I - Un (1) cuadernillo doble organizado en cuatro (4) bloques y una (1) hoja de respuestas. Sesin II - Un (1) cuadernillo simple organizado en dos (2) bloques y una (1) hoja de respuestas.
Calendario A Sesin nica - Un (1) cuadernillo doble organizado en cuatro (4) bloques y una (1) hoja de respuestas.
Calendario B Sesin I Dieciocho (18) tipos de cuadernillos dobles organizados en cuatro (4) bloques, seis (6) tipos de hojas de respuestas y hojas de operaciones. Sesin II Tres (3) tipos de cuadernillos simples y Controlada una (1) hoja de respuestas. Calendario A Sesin nica Dieciocho (18) tipos de cuadernillos dobles organizados en cuatro (4) bloques con dos de las tres reas a evaluar, hojas de respuestas y hojas de operaciones.
Calendario B Sesin I Un (1) cuadernillo doble organizado en cuatro (4) bloques y una (1) hoja de respuestas. Sesin II Un (1) cuadernillo simple organizado en dos (2) bloques y una (1) hoja de respuestas. Estadstica Calendario A Sesin nica - Tres (3) tipos de cuadernillos organizados en cuatro (4) bloques con dos de las tres reas a evaluar, una (1) hoja de respuestas y una (1) hoja de operaciones.
96
INFORMES Cuadro A3.4 Formatos de aplicacin correspondientes a calendario y tipo de aplicacin
Calendario Aplicacin
Listado de asistencia Planilla de entrega de Informe del rector y/o y asignacin de material de examen y delegado del ICFES cuadernillos control de tiempos Formato de preguntas dudosas Formato de preguntas dudosas Formato novedades de cuadernillos y/o hojas de respuestas Formato novedades de cuadernillos y/o hojas de respuestas
Anexo 1
Anexo 2
Anexo 3
Anexo 4
Anexo 5
Anexo 6
Anexo 7
Censal
Listado de asistencia Planilla de entrega de Informe del rector y/o y asignacin de material de examen y delegado del ICFES Controlada cuadernillos control de tiempos
Listado de asistencia Planilla de entrega de Informe del rector y/o y asignacin de material de examen y delegado del ICFES Estadstica cuadernillos control de tiempos
Censal
Formato listado de asistencia y asignacin del material de examen pruebas SABER calendario B
Planilla de entrega de material de examen. Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple
Formato control de tiempos. Informe Sesin I del rector -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple. Formato de preguntas dudosas
Formato listado de asistencia y asignacin del Controlada material de examen pruebas SABER calendario B Planilla de entrega de material de examen. Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple
Planilla de entrega de material de examen. Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple
Formato control de tiempos. Informe del delegado Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple. Formato control de tiempos. Informe del delegado Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple.
Formato novedades de cuadernillos y/o hojas de respuestas
Formato listado de asistencia y asignacin del Estadstica material de examen pruebas SABER calendario B
Formato de preguntas dudosas
Formato novedades de cuadernillos y/o hojas de respuestas
97
Cuadro A3.5 Examinadores y procedimientos de aplicacin
Aplicacin Delegado Transmita la informacin suministrada en la capacitacin dada por el ICFES en las unidades de agrupacin. Coordinaba con los aplicadores y el personal de la institucin las actividades para realizar el da de la aplicacin. Elaboraba los listados de asistencia y asignacin de cuadernillos. Coordinador de salones
Quin aplica?
Procedimientos
Delegado: rectores y coordinadores de sede.
Censal
Coordinador de salones: docentes o funcionarios administrativos designados por los rectores o coordinadores de sede, en las instituciones educativas donde hubiese ms de cinco (5) salones para la evaluacin.
Apoyaba las labores de distribucin de cuadernillos y control de procedimientos en los salones. Se encargaba de coordinar con los aplicadores y el personal de la institucin las actividades por realizar el da de la aplicacin. Apoyaba al rector o coordinador de sede en el diligenciamiento del formato de control de tiempo. Recoga el material de las pruebas de todos los salones y lo entregaba al rector o coordinador de sede, organizado segn la nomenclatura de los salones. Aplicador Se encargaba de aplicar, organizar y supervisar las pruebas en el saln asignado, de acuerdo con los procedimientos. Aseguraba que cada estudiante recibiera correctamente los materiales de la prueba. Diligenciaba el listado de asistencia y asignacin de cuadernillos.
(Cuadro A3.5, contina en la siguiente pgina).
Aplicador: personal administrativo o docentes (preferiblemente de grados y reas diferentes a los que sern objeto de la evaluacin) designados por los rectores o coordinadores de sede.
98
INFORMES
Aplicacin Delegado Programaba con el rector o coordinador de sede la realizacin de la reunin previa. Coordinaba con los aplicadores y el personal de la institucin el diligenciamiento de los instrumentos adicionales. Realizaba la asignacin del material para cada saln, segn el nmero de estudiantes reportados y siguiendo el ordenamiento de las hojas de respuestas. Garantizaba el cumplimiento de las reglas de aplicacin de la prueba, en particular las relacionadas con las condiciones de seguridad del material y los tiempos de aplicacin. En el caso que le fuera asignado un sitio en un municipio diferente de la sede de nodo, deba seleccionar y capacitar a los aplicadores. Coordinador de salones Apoyaba al delegado en las labores de distribucin de cuadernillos y control de procedimientos de aplicacin en los salones a su cargo, a fin de garantizar que la aplicacin se realizara de acuerdo con los procedimientos establecidos. Recoga el material de las pruebas de todos los salones y lo entregaba al delegado. Aplicador Se encargaba de organizar y supervisar la realizacin del examen en el saln asignado, de acuerdo con los procedimientos. Aseguraba que cada estudiante recibiera correctamente los materiales de la prueba. Diligenciaba el listado de asistencia y asignacin de cuadernillos.
Quin aplica?
Procedimientos
Delegado: ICFES.
Estadstica
Coordinador de salones: designado por el delegado, en las instituciones educativas donde hubiese tres (3) o ms salones para la evaluacin.
Aplicador: personal administrativo o docentes (preferiblemente de grados y reas diferentes a los que sern objeto de la evaluacin) seleccionado por el rector o coordinador de sede cuando se contaba con dos o ms salones; en los establecimientos con un saln el delegado cumpla las funciones del aplicador.
99
Aplicacin Delegado Programaba con el rector o coordinador de sede la realizacin de la reunin previa. Coordinaba con los aplicadores y el personal de la institucin el diligenciamiento de los instrumentos adicionales. Realizaba la asignacin del material para cada saln, segn el nmero de estudiantes reportados y siguiendo el ordenamiento de las hojas de respuestas. Garantizaba el cumplimiento de las reglas de aplicacin de la prueba, en particular las relacionadas con las condiciones de seguridad del material y los tiempos de aplicacin. En el caso que le fuera asignado un sitio en un municipio diferente de la sede de nodo, deba seleccionar y capacitar a los coordinadores de saln y aplicadores. Coordinador de salones Apoyaba al delegado en las labores de distribucin de cuadernillos y control de procedimientos de aplicacin en los salones a su cargo, a fin de garantizar que la aplicacin se realizara de acuerdo con los procedimientos establecidos. Recoga el material de las pruebas de todos los salones y lo entregaba al delegado. Aplicador Organizaba y supervisaba la realizacin del examen en el saln asignado, de acuerdo con los procedimientos. Aseguraba que cada estudiante recibiera correctamente los materiales de la prueba. Diligenciaba el listado de asistencia y asignacin de cuadernillos.
Quin aplica?
Procedimientos
Delegado: ICFES.
Controlada
Coordinador de salones: designado por el ICFES, en las instituciones educativas donde hubiese cinco (5) o ms salones para la evaluacin.
Aplicador: estudiantes universitarios o profesionales (que no estuviesen vinculados con la institucin educativa participante) seleccionados por el ICFES; en los establecimientos con un saln el delegado cumpla las funciones del aplicador.
* Otros miembros de la comunidad educativa convocados a participar en las aplicaciones: Personero o representante de los estudiantes de la institucin: veedor de la aplicacin. Estaba convocado a la reunin previa; se solicitaba su presencia en el momento de la apertura del material de examen y durante la aplicacin verificaba el cumplimiento de los procedimientos establecidos. Dadas las magnitudes del operativo de 2009, se omiti el manual y el informe del personero. Rector o coordinador de sede y coordinador de disciplina: su participacin era requerida para apoyar y garantizar el buen desarrollo de las aplicaciones estadstica y control.
100
INFORMES
Cuadro A3.6 Esquema de aplicacin
Aplicacin
Caractersticas
Monitoreada desde las unidades de agrupacin, para la entrega, aplicacin y recepcin del material de examen.
Tiempo prescrito Calendario B Sesin I: 4 horas Sesin II: 1 hora y 45 minutos. Calendario A Sesin nica: 4 horas
Acompaamiento En los dos calendarios, el rector o coordinador de sede estaba a cargo de la aplicacin.
Censal
Se realiz a una muestra de instituciones educativas, seleccionada por el ICFES a partir de la base de datos suministrada por el Ministerio de Educacin Nacional, la cual fue verificada y actualizada por la Subdireccin de Logstica del ICFES.
Calendario B Sesin I: 4 horas Sesin II: 1 hora y 45 minutos. Calendario A Sesin nica: 4 horas
Controlada instituciones educativas para comunicarles

los aspectos centrales relacionados con la aplicacin, informacin que igualmente estaba disponible en el sitio web institucional del ICFES.
Se realiz contacto telefnico con las
Calendario B Sesin I: La aplic el ICFES con delegados y aplicadores externos al plantel educativo. La compaa contratada permaneci en el sitio durante el desarrollo de la sesin. Sesin II: La aplic el rector al da siguiente de la sesin I. Calendario A Sesin nica: La realiz el ICFES con delegados y aplicadores externos al plantel educativo. La compaa contratada permaneci en la institucin educativa durante toda la aplicacin.
Todos los procedimientos de aplicacin fueron supervisados por los delegados, coordinadores, aplicadores y observadores externos. Se realiz a una muestra de instituciones educativas, seleccionada por el ICFES a partir de la base de datos suministrada por el Ministerio de Educacin Nacional, la cual fue verificada y actualizada por las secretaras de educacin. Estas se encargaron de informar a los estableEstadstica cimientos elegidos sobre los aspectos relacionados con la aplicacin, informacin que igualmente estaba disponible en el sitio web institucional del ICFES. Todos los procedimientos de aplicacin fueron supervisados por los delegados, coordinadores y observadores externos.
Calendario B Sesin I: 4 horas Sesin II: 1 hora y 45 minutos. Calendario A Sesin nica: 4 horas
Calendario B Sesin I Delegado del ICFES con personal de la institucin. Sesin II El rector realiz la aplicacin al da siguiente de la sesin I. Calendario A Sesin nica La realiz el ICFES con delegados y coordinadores de salones externos, y aplicadores de la institucin educativa.
En las aplicaciones estadstica y control de calendario B se involucraron dos esquemas, el de primera sesin con el delegado y el de segunda sesin con el rector. Esto implic mayores posibilidades de inconsistencias, por tanto, para calendario A se implement una nica sesin.
101
Anexo 4. Descripcin de los niveles de desempeo
102
INFORMES
Cuadro A4.1 Descripcin general de niveles de desempeo en lenguaje, quinto grado
Nivel Descripcin Lectura Escritura-comprensin produccin escrita

En situaciones de comunicacin argumentativas poco cotidianas: Identifica el tipo de texto adecuado y explica la seleccin. Reconoce los argumentos que le permiten sustentar posiciones especficas. Identifica las ideas o argumentos que no aportan a la sustentacin de una posicin argumentativa. Identifica la informacin que le hace falta a un texto para cumplir con el propsito y el tpico propuesto.
Ejemplos de desempeos especficos o rasgos
Adems de lograr lo definido en los dos niveles Sobre textos cortos y sencillos de contenido poco precedentes, el estudiante promedio de este nivel: habitual:
Avanzado
Logra una comprensin amplia de textos Explica el propsito o la intencin del autor cuando usa una determinada palabra o expresin. cortos y sencillos de carcter cotidiano y relaciona su contenido con informacin de Ubica informacin en el texto para explicar ideas o otras fuentes. dar cuenta de argumentos. Hace inferencias de complejidad media sobre Usa informacin del texto y otros conocimientos para una parte o la totalidad del texto; deduce delimitar significados de palabras o expresiones. informacin implcita de partes del contenido; Evala la adecuacin del uso de ciertas palabras, define palabras a partir del contenido; explica expresiones o recursos retricos. las relaciones entre partes, el propsito y la Identifica las funciones que cumplen los prrafos las intencin del texto. secuencias de textos argumentativos. Puede juzgar el contenido, el uso de recursos retricos y la forma de los textos. Ante situaciones Ordena las secuencias argumentativas. de comunicacin argumentativa poco cotidianas, Evala el contenido y la forma. hace uso de estrategias semnticas, sintcticas y pragmticas para pensar o revisar la escritura de un texto buscando unidad y cohesin.
103

En situaciones de comunicacin cotidianas que requieren cierta formalidad y precisin en el mensaje: Identifica enunciados que no se adecuan al cumplimiento de un propsito, una secuencia textual o el uso del lenguaje. Identifica la idea que se repite en un escrito. Identifica la informacin o secuencia de datos que debe contener un texto, atendiendo al propsito de la comunicacin. Identifica cuando debe acudir a la descripcin, la enumeracin, la explicacin o la argumentacin y los conectores que le permiten relacionar una secuencia de ideas. Identifica la funcionalidad de algunos signos de puntuacin en la construccin del sentido del texto. Identifica la fuente de consulta adecuada para investigar sobre un tema poco habitual.
Adems de lograr lo definido en el nivel Sobre textos cotidianos, cortos y sencillos: precedente, el estudiante promedio de este nivel: Ubica informacin relevante en el desarrollo, discriminando entre datos muy similares. Supera la comprensin superficial de los Identifica secuencias enumerativas, descriptivas o textos cortos y sencillos de carcter cotidiano, explicativas sencillas. comprende su contenido global; reconoce Identifica el orden secuencial de los hechos, acciones con precisin el tema; categoriza, deduce o ideas tratados. e infiere informacin; logra identificar funciones y relaciones globales y caracteriza Identifica la funcin que cumple un prrafo dentro del desarrollo del contenido para establecer relaciones los personajes. de contraste, causa, efecto, temporalidad, adicin, comparacin, igualdad, etc., por referencia a conectores Hace uso de un lenguaje no exclusivamente explcitos. familiar. En situaciones de comunicacin cotidiana que requieren cierta formalidad y Diferencia entre ideas principales y secundarias e Satisfactorio identifica el tema o el planteamiento central y la precisin en el mensaje. intencin del autor, aun cuando no aparezca explcita. Es capaz de identificar enunciados que no Reconoce el alcance y profundidad con que se trata se adecan al cumplimiento de un propsito, un tema. las secuencias que deben tener las ideas, Deduce informacin implcita de partes o del texto los recursos retricos o los actos de habla global, relacionando la informacin del mismo con pertinentes y las ideas repetidas en un texto. la que proviene de otras fuentes. Identifica la funcin que cumplen palabras claves en la elaboracin del sentido del texto. Identifica la funcin que cumplen algunos marcadores textuales (signos de admiracin, comillas, parntesis, guiones, etc.) en la estructura informativa del texto. Caracteriza al narrador atendiendo a la distancia que tiene con los hechos narrados. Caracteriza los personajes haciendo uso de informacin proveniente de diferentes partes del mismo. Identifica el medio de publicacin adecuado atendiendo al contenido y a las caractersticas de los posibles lectores.
104
INFORMES
Nivel Descripcin Lectura

Sobre textos cotidianos, cortos y sencillos:
Ejemplos de desempeos especficos o rasgos Escritura-comprensin produccin escrita

En situaciones familiares y cotidianas de comunicacin: Identifica el propsito que debe cumplir un escrito. Identifica el tipo de texto y el enunciado que permiten cumplir con un propsito (como resumir un texto corto). Identifica el orden que deben tener las ideas en un prrafo atendiendo a un proceso o criterio. Identifica, por sinonimia, el tema que debe consultar para escribir sobre un asunto particular. Identifica el destinatario de un escrito, atendiendo al propsito y asunto. Revisa y propone correcciones, en un escrito corto y sencillo, atendiendo a las reglas bsicas de concordancia, al uso bsico de los signos de puntuacin o al sentido de lo que se escribe.
El estudiante promedio de este nivel:
Logra hacer una lectura no fragmentada de Localiza e identifica datos explcitos y puntuales y textos cotidianos y habituales; reconoce su reconstruye la informacin utilizando las mismas estructura superficial. palabras o construyendo parfrasis muy sencillas.
Mnimo
Logra una comprensin especfica de partes Identifica la funcin de un prrafo en el desarrollo del contenido. de los mismos (oraciones, prrafos). Identifica la funcin de temporalidad, orden y adicin En situaciones familiares de comunicacin, que cumplen algunos marcadores en una oracin. prev planes textuales atendiendo a las exigencias de tpico, propsito, intencin y Identifica el tema o la idea central y el propsito por sinonimia con el ttulo o porque su contenido es tipo de texto; identifica el posible interlocutor. muy cercano a sus saberes del mundo.
Revisa y corrige escritos cortos y sencillos, Construye conclusiones y hace inferencias siguiendo reglas bsicas de cohesin sencillas (incluyendo los casos de sinonimia oracional. conceptual) sobre partes del contenido y sobre el posible comportamiento del lector, siempre que el contenido haga alusin a valoraciones usuales y de reflexin cotidiana. Reconoce la estrategia textual que indica que una palabra o expresin tiene un sentido particular en el texto.
Insuficiente El estudiante promedio ubicado en este nivel no demuestra los desempeos mnimos establecidos.
105
Cuadro A4.2 Descripcin general de niveles de desempeo en lenguaje, noveno grado
Nivel Descripcin Lectura
Ejemplos de desempeos especficos o rasgos Escritura-comprensin produccin escrita

En situaciones de comunicacin poco habituales y que requieren de alguna formalidad, para atender al propsito de la comunicacin y al tema dado: Organiza ideas provenientes de diferentes fuentes. Identifica y usa recursos argumentativos pertinentes a la situacin. Identifica el tipo de texto. Identifica la funcin que debe cumplir un texto. Evala formatos y estructuras textuales que requieren un grado alto de precisin en su contenido, para determinar la informacin que le hace falta al texto. Identifica los conectores que permiten establecer relaciones de contraste y oposicin entre las ideas centrales de un texto argumentativo.
Avanzado
Adems de lograr lo definido en los dos niveles Sobre textos narrativos, argumentativos, informativos precedentes, sobre textos narrativos, argumentati- (verbales y no verbales) y lricos, de complejidad media: vos, informativos y lricos de complejidad media el Identifica el propsito y la intencin en textos de estudiante promedio de este nivel: lenguaje figurado, de recursos expresivos y/o estilsticos. Responde a una comprensin ms elaborada Evala la posicin o perspectiva del autor frente al de lo que lee, haciendo uso de conocimiencontenido del texto. tos no habituales y especializados para juzgar, Identifica la intencin y funcionalidad de enunciados valorar y explicar contenidos, funciones y relaclaves dentro del texto, en relacin con el lector. ciones presentes en el texto. Utiliza la informacin para interpretar nuevas situaciones o contenidos. Comprende la estructura cohesiva de los textos, lo que le permite planear, revisar y corregir Evala los matices de estilo, con respecto al efecto que buscan lograr en el lector. escritos, empleando las reglas de la gramtica, usos del lenguaje y pertinencia social de los Identifica y explica el recurso retrico empleado por textos. el autor en el mbito del lenguaje literario. Identifica y caracteriza la estructura informativa del texto. Identifica y explica la relacin que establecen los conectores en el proceso de argumentacin de una idea. Relaciona informacin del texto con informacin sobre tendencias, pocas y escuelas literarias para caracterizar o evaluar el contenido o la forma del texto.
106
INFORMES

Para cumplir un propsito especfico en situaciones de comunicacin poco habituales y que requieren cierta formalidad: Evala la pertinencia de las ideas y enunciados. Identifica la idea que debe desarrollar, el tipo de texto y el tipo de lenguaje. Identifica los recursos textuales para hacer referencia a lo dicho por otro autor o a la inclusin de otras voces dentro del texto. Hace uso de elementos de sintaxis, semntica y pragmtica para corregir la ortografa y la puntuacin de un escrito. Comprende la funcionalidad del ttulo en relacin con el desarrollo del texto.
Adems de lograr lo definido en el nivel Ante textos narrativos, informativos, argumentativos y precedente, ante textos narrativos, informativos, lricos de complejidad media: argumentativos y lricos de complejidad media, Identifica el propsito. el estudiante promedio de este nivel: Identifica los argumentos y contra argumentos Responde a una lectura global amplia de los expuestos. contenidos para inferir, deducir y categorizar Relaciona informacin proveniente de diferentes informacin, tanto local como global. partes del contenido del texto, para identificar las ideas que permiten sustentar una afirmacin. Ante situaciones de comunicacin especficas, poco habituales y que requieren alguna Identifica los recursos utilizados en el texto para formalidad, el estudiante evala la pertisustentar una idea. nencia de escritos, atendiendo al propsito, Reflexiona y hace valoraciones sobre el contenido contenido y contexto. del texto, relacionndolo con conocimientos procedentes de otras fuentes. Comprende y usa los mecanismos y estrategias de argumentacin y explicacin para Determina la pertinencia de informacin para la cumplir propsitos especficos. consecucin de un propsito. Satisfactorio Deduce informacin no explcita. Aplica categoras o conceptos para describir la estructura del texto y caracterizar personajes. Infiere contenidos ideolgicos o culturales en los textos que lee. Identifica contenidos y estilos en un texto y los relaciona con informacin externa especializada, para situar el texto dentro de una tendencia literaria, poca o periodo histrico. Relaciona cdigos no verbales y cdigos verbales para inferir el sentido o propsito no explcito de una expresin. Clasifica informacin, atendiendo a la funcin que cumple en el desarrollo del contenido.
(Cuadro A4.2, contina en la siguiente pgina). Informe tcnico SABER 5o. y 9o. 2009
107

Para cumplir un propsito comunicativo, dentro de una situacin habitual:
Mnimo
El estudiante promedio de este nivel, ante textos Ante textos informativos, explicativos o narrativos cortos: informativos, explicativos o narrativos cortos: Selecciona ideas y datos relevantes. Comprende y explica los elementos de su Identifica el propsito, los temas y el mensaje estructura cohesiva, a nivel de oraciones y principal. entre prrafos, y alcanza una comprensin Relaciona informacin de partes del texto, para hacer global del (o de los) contenido (s). conclusiones o deducir informacin. Ante situaciones de comunicacin habitual, Identifica las causas o consecuencias de un pblica o formal, el estudiante prev la escrifenmeno o situacin problema, usando la informatura de un texto, su forma de organizacin y la cin presentada en el texto. estructuracin de la informacin, conservando Categoriza informacin del texto, atendiendo a un la unidad temtica, atendiendo a la pertinencia saber previo sobre estructuras textuales y formas de con el propsito y a las caractersticas de los organizacin textual. interlocutores. Identifica la voz que habla y la caracteriza de acuerdo con su participacin y distancia con los Aplica las convenciones bsicas de la comunihechos narrados. cacin escrita para corregir los enunciados de Identifica relaciones funcionales de contraste, un texto. comparacin, temporalidad, ejemplificacin o explicacin, entre prrafos. Relaciona cdigos verbales y no verbales, para identificar el sentido de una expresin, palabra o gesto. Ubica el referente de una palabra, pronombre, nombre o sintagma dentro del texto. Identifica el uso de algunos marcadores textuales como: parntesis, guiones, rayas, signos de admiracin o signos de puntuacin en la construccin del sentido de un prrafo o del texto en general. Identifica la funcin de una palabra o expresin dentro del contenido de un prrafo.
Relaciona cdigos verbales y no verbales. Identifica argumentos, ideas, datos o informacin necesaria. Jerarquiza informacin, ordena las ideas y selecciona los conectores que le permiten articularlas. Identifica el tipo de texto, el gnero y el lenguaje requerido. Identifica el contexto sobre el cual debe escribir, para cumplir las exigencias de la audiencia. Identifica el contenido sobre el cual debe consultar, para obtener informacin sobre un tpico particular. Identifica el enunciado que le permite dar continuidad o concluir un texto, atendiendo al tpico y al propsito comunicativo. Revisa y corrige el uso de trminos, en relacin con los conceptos que representan, para determinar su pertinencia en la situacin de comunicacin. Propone correcciones sobre la estructura de textos o enunciados cortos, haciendo uso de convenciones ortogrficas, sintcticas, semnticas y pragmticas.
108
Cuadro A4.3 Descripcin general de niveles de desempeo en matemticas, quinto grado
INFORMES
Ejemplos de desempeos especficos o rasgos Razonamiento y argumentacin

Diferencia las propiedades del nmero en relacin con su contexto de uso. Identifica propiedades no convencionales de las operaciones. Establece relaciones entre diferentes unidades de medida. Compara conjuntos de datos relacionados con nfasis en cmo los datos se distribuyen. Asigna a la posibilidad de ocurrencia de un evento una medida relacionada con la posibilidad de ocurrencia de otro evento.
Nivel En comunicacin, representacin y modelacin
Descripcin
Formulacin y solucin de problemas

Da significado y utiliza la fraccin como operador. Reconoce algunos procedimientos para calcular la medida de atributos de figuras u objetos de acuerdo con las dimensiones iniciales. Enuncia caractersticas de un conjunto de datos a partir de algunas medidas de tendencia central.
Reconoce diferentes maneras de representar una fraccin propia en relaciones parte-todo. Identifica patrones y relaciones numricas. Modela situaciones de dependencia cuando existe relacin de proporcionalidad directa entre dos magnitudes. Diferencia y calcula medidas de distintas magnitudes. Establece relaciones entre distintas formas de representacin de datos.
Adems de lograr lo definido en los dos Establece por qu un ejemplo es pertinente niveles precedentes, el estudiante promedio a una propiedad enunciada. ubicado en este nivel: Describe las caractersticas de una figura plana a partir de su ilustracin. Soluciona problemas correspondientes a Clasifica slidos y figuras planas de acuerdo la estructura multiplicativa de los nmeros con sus propiedades. naturales. Reconoce las propiedades que son dejadas invariantes cuando se aplica una transfor Reconoce e utiliza la fraccin como macin en el plano. operador, compara diferentes atributos Avanzado de figuras y slidos a partir de sus medidas Compara figuras planas a partir de sus caractersticas explcitas y algunas no explcitas. y establece relaciones entre ellos. Genera nueva informacin a partir de Establece conjeturas sobre conjuntos distintas representaciones de un conjunto de datos a partir de las relaciones entre de datos. diferentes formas de representacin, e Reconoce el nmero total de arreglos posibles interpreta el grado de probabilidad de un en problemas sencillos de combinacin. evento aleatorio. Interpreta el grado de probabilidad de un evento aleatorio. Adems de lograr lo definido en el nivel Usa ejemplos y contraejemplos para precedente, el estudiante promedio ubicado determinar la validez de propiedades y en este nivel: relaciones numricas. Identifica y utiliza propiedades de las Establece propiedades no explcitas en algunas figuras planas. operaciones para solucionar problemas, modela situaciones de dependencia lineal. Describe algunas trasformaciones en el plano cartesiano. Diferencia y calcula medidas de longitud y superficie. Compara figuras para intuir relaciones de Satisfactorio Identifica y describe transformaciones semejanza entre ellas. en el plano. Reconoce relaciones de semejanza y congruencia entre figuras. Usa la media aritmtica para solucionar problemas. Establece conjeturas a partir de la lectura directa de informacin estadstica. Estima la probabilidad de eventos simples.
Formula y resuelve situaciones problemas correspondientes a la estructura aditiva y multiplicativa de los nmeros naturales. Resuelve problemas que requieren, para su solucin, relacionar diferentes formas de representacin de datos. Calcula algunas medidas de tendencia central, en conjuntos discretos, para solucionar problemas. Estima la probabilidad de un evento para resolver problemas en contextos de juego o eventos cotidianos. Usa representaciones geomtricas de nmeros figurados.
109

Reconoce el patrn de variacin de una secuencia. Representa algunas relaciones de dependencia a travs de tablas. Establece equivalencias numricas. Asocia desarrollos planos con los respectivos slidos. Reconoce y utiliza el plano cartesiano. Asocia referencias de objetos reales a medidas convencionales. Identifica atributos medibles de figuras u objetos. Organiza y clasifica informacin estadstica. Hace clasificaciones elementales de figuras planas. Descompone en regiones parciales figuras planas y slidos. Reconoce la congruencia, o no, entre dos figuras geomtricas. Expresa simblicamente algunas operaciones a partir de un enunciado grfico o verbal. Establece relaciones de orden e identifica algunas propiedades de los nmeros naturales.
Descripcin

Formula y resuelve problemas que involucran situaciones aditivas de combinacin, comparacin e igualacin. Formula y resuelve problemas que involucran situaciones multiplicativas simples. Hace recubrimientos y descompone una superficie para determinar reas de figuras planas.
El estudiante promedio ubicado en este nivel:
Utiliza operaciones bsicas para solucionar situaciones problema.
Identifica informacin relacionada con la medicin.
Mnimo
Hace recubrimientos y descomposiciones de figuras planas.
Organiza y clasifica informacin estadstica.
110
Cuadro A4.4 Descripcin general de niveles de desempeo en matemticas, noveno grado
INFORMES

Establece relaciones de comparacin entre diferentes grficas. Reconoce y aplica varias transformaciones a figuras planas en el plano cartesiano. Reconoce trminos generales o patrones en sucesiones. Establece relaciones entre las caractersticas de las figuras y sus atributos mensurables. Compara e interpreta datos provenientes de diversas fuentes. Identifica formas de representacin pertinentes a la situacin (histograma, circular, etc.) a partir de un conjunto de datos.
Descripcin

Resuelve problemas que requieran la solucin de sistemas de ecuaciones lineales. Usa diferentes estrategias para determinar medidas de superficies y volmenes. Explica la pertinencia o no de la solucin de un problema de clculo de rea o volumen de acuerdo con las condiciones de la situacin.
Avanzado
Adems de lograr lo definido en los dos Encuentra las relaciones o propiedades niveles precedentes, el estudiante promedio que determinan la formacin de secuende este nivel: cias numricas. Analiza en representaciones grficas car Pasa de la representacin algebraica a tesianas comportamientos de cambio de las propiedades de una funcin o sucesin algunas funciones. y viceversa. Determina y justifica el valor de verdad de Establece equivalencias entre expresiones algunos enunciados en contextos numrialgebraicas y numricas. cos y geomtricos. Enuncia propiedades relativas a deter Usa definiciones o criterios de semejanza minados subconjuntos numricos. para explicar situaciones. Caracteriza una figura en el plano que Utiliza la descomposicin de figuras plaha sido objeto de varias transformaciones. nas o slidos para determinar el rea o el Halla reas y volmenes a travs de volumen de figuras y cuerpos. descomposiciones y recubrimientos. Describe caractersticas de una figura lue Usa criterios de semejanza y congruencia. go de aplicar varios movimientos o trans Evala la correspondencia entre una formaciones. forma de representacin y los datos. Utiliza algunas tcnicas de conteo para Encuentra probabilidades utilizando asignar probabilidad a eventos simples. tcnicas de conteo. Utiliza el lenguaje verbal y la representacin grfica para modelar situaciones problema. Establece relaciones entre expresiones numricas y expresiones algebraicas. Identifica objetos tridimensionales de acuerdo con sus caractersticas. Identifica la posibilidad o imposibilidad de ocurrencia de un evento segn las condiciones del contexto establecido (experimento aleatorio, tablas de frecuencia, grficos, etc.).
Adems de lograr lo definido en el nivel pre- Utiliza ecuaciones para solucionar situaciones problema. cedente, el estudiante promedio de este nivel: Encuentra relaciones o propiedades que Utiliza las propiedades de la potenciacin, determinan la formacin de secuencias radicacin y/o logaritmacin para solunumricas. cionar un problema. Satisfactorio Utiliza expresiones algebraicas y repre- Analiza situaciones modeladas a travs de funciones lineales o cuadrticas. sentaciones grficas para modelar Establece conjeturas sobre propiedades y situaciones sencillas de variacin. relaciones numricas convencionales. Establece relaciones entre los slidos y Justifica conclusiones sobre varias prosus desarrollos planos. piedades de las figuras planas utilizando Reconoce y aplica movimientos rgidos ejemplos. a figuras planas en un sistema de coordenadas.
Utiliza las propiedades de la potenciacin, radicacin y/o logaritmacin para solucionar un problema. Da significado, en un contexto, a la solucin de una ecuacin. Utiliza distintas unidades de medida para resolver problemas de medicin. Usa informaciones presentadas en diagramas circulares para solucionar problemas en contextos cotidianos o de otras reas.
111

Selecciona la informacin relevante a partir de una representacin de un conjunto de datos.
Descripcin

Formula y comprueba conjeturas sobre el comportamiento de fenmenos aleatorios sencillos.
Compara atributos medibles de uno o Reconoce algunos criterios de semejanza y varios objetos o eventos. congruencia. Pasa de una representacin bidimensional Hace conjeturas acerca de fenmenos a una tridimensional y viceversa. aleatorios sencillos. Satisfactorio Establece comparaciones entre diferentes desarrollos planos para hallar medidas. Describe caractersticas de una figura luego de aplicar un movimiento o transformacin. Predice patrones de variacin en situaciones que presentan relaciones de proporcionalidad. Establece conjeturas a partir de representaciones grficas de algunas funciones. Utiliza algunas propiedades de los nmeros racionales. Identifica algunos movimientos rgidos en el plano. Clasifica figuras planas y tridimensionales de acuerdo con sus propiedades. Justifica algunos procedimientos para calcular reas y volmenes. Reconoce regularidades en fenmenos y eventos aleatorios. Reconoce algunas relaciones funcionales representadas grficamente. Construye tablas a partir de expresiones algebraicas sencillas. Usa lenguaje apropiado para describir diferentes transformaciones. Establece relaciones entre distintas magnitudes. Caracteriza figuras planas y algunos slidos a partir de su ubicacin en el plano cartesiano. Establece y explica relaciones entre dimensionalidad y unidades de medida. Traduce entre diferentes formas de representacin de datos. Modela y describe fenmenos de las ciencias sociales o naturales usando grficas estadsticas.
Reconoce distintas maneras de representar una funcin.
Determina si una operacin es pertinente a una situacin problema planteada. Utiliza diferentes estrategias para solucionar un problema aditivo o multiplicativo. Utiliza relaciones y determinadas propiedades geomtricas para resolver problemas de medicin. Estima la medida de un atributo a partir de un patrn de medida. Usa informaciones presentadas en tablas y diagramas de barras para solucionar problemas en contextos cotidianos o de otras reas. Interpreta algunas medidas de tendencia central en situaciones problema sencillas.
Soluciona problemas en contextos aditivos y multiplicativos.
Mnimo
Identifica algunas propiedades de figuras planas y slidos.
Establece relaciones entre dimensionalidad y magnitud.
Identifica algunos movimientos rgidos en el plano.
Utiliza formas de representacin convencionales para describir fenmenos de las ciencias sociales o naturales.
112
Cuadro A4.5. Descripcin general de niveles de desempeo en ciencias naturales, quinto grado
INFORMES
Nivel Uso del conocimiento

Explica las ventajas de algunas adaptaciones de las plantas en los ecosistemas. Explica las funciones que cumplen las partes bsicas de un circuito elctrico.
Descripcin Explicar Indagar
Avanzado
Adems de lograr lo definido en los dos niveles Diferencia materiales naturales de materiales precedentes, el estudiante promedio de este fabricados por el hombre. nivel: Identifica prcticas para el manejo adecuado Reconoce los elementos y caractersticas de basuras y aguas residuales. de la Tierra y el espacio y algunas Reconoce los principales elementos, mquinas simples en contextos cotidianos. caractersticas y dinmica de la Tierra y el Diferencia entre materiales naturales y espacio. materiales fabricados por el hombre. Identifica algunas mquinas simples en Explica las ventajas de adaptaciones de contextos cotidianos. las plantas en los ecosistemas y las funciones de las partes bsicas de un circuito elctrico.
Diferencia variables, hiptesis y conclusiones y propone algunos diseos experimentales sencillos para contestar preguntas.
Diferencia hiptesis, conclusiones y evidencias en experimentos sencillos en ciencias naturales. Determina si los resultados de experimentos sencillos son suficientes para sacar conclusiones. Propone algunos diseos experimentales sencillos para contestar preguntas. Utiliza grficas de barras para mostrar los datos derivados de experimentos sencillos. Reconoce y relaciona las variables presentes en un experimento para resolver preguntas de investigacin en contextos cotidianos. Identifica y compara datos presentados en tablas y diferentes tipos de grficas que involucran ms de dos variables.
Adems de lograr lo definido en el nivel precedente, el estudiante promedio de este nivel: Determina criterios propios de las ciencias naturales para clasificar seres vivos y materiales del entorno. Reconoce la estructura bsica de circuitos elctricos sencillos. Reconoce la funcin de las plantas, animales y otros organismos en una cadena alimentaria. Reconoce que existen diversas formas y fuentes de energa. Reconoce la importancia del ejercicio en la salud. Reconoce algunas formas de contaminacin ambiental.
Relaciona las estructuras con funciones en sistemas vivos y fsicos. Reconocer las diversas formas y fuentes de energa, la dinmica de una cadena alimentaria y la estructura de circuitos Satisfactorio elctricos sencillos. Clasifica seres y materiales usando un lenguaje cientfico; identifica los beneficios del deporte en la salud.
Explica algunos mtodos adecuados para separar mezclas a partir de las caractersticas de sus componentes. Explica el funcionamiento y las interacciones de algunos sistemas en los seres vivos. Explica las interacciones entre algunos materiales y el entorno a partir de algunas propiedades fsicas y qumicas. Explica, a partir de modelos sencillos, algunos fenmenos naturales. Relaciona y explica el uso de objetos y materiales con sus propiedades fsicas. Explica la importancia de cada etapa en el desarrollo de un ser vivo. Predice y da razn del comportamiento de algunas sustancias frente a variaciones de temperatura.
Interpreta y compara datos presentados en tablas y diferentes tipos de grficas que involucran una o dos variables. Usa evidencias para identificar y explicar fenmenos naturales. Presenta de forma apropiada el proceso y los resultados de experimentos sencillos en ciencias naturales. Reconoce qu preguntas pueden ser contestadas a partir de la descripcin de experimentos sencillos o de sus resultados.
113
Nivel Uso del conocimiento Explicar Indagar
Descripcin
Explica algunas interacciones entre materiales y fenmenos naturales a partir de modelos sencillos, algunos mtodos de separacin de mezclas y la importancia de cada etapa en el desarrollo de un ser vivo. Reconoce preguntas que se pueden Satisfactorio contestar a partir de experimentos sencillos, compara, analiza, relaciona.
Elabora predicciones de acuerdo con datos, grficas o informacin para solucionar una situacin problema.
Utiliza evidencias para identificar y explicar fenmenos naturales. Reconoce relaciones entre los elementos biticos y abiticos en un ecosistema. Explica las diferencias entre materiales a partir de algunas propiedades fsicas. Explica las relaciones entre la fuerza y el movimiento en situaciones de su entorno cotidiano. Explica los efectos de la contaminacin en la salud y el ambiente. Explica el funcionamiento e interaccin de algunos rganos en los seres vivos. Elabora conclusiones a partir de informacin derivada de experimentos sencillos. Reconoce el formato adecuado para registrar datos de un experimento sencillo. Elige instrumentos adecuados para reunir datos. Interpreta datos, grficas de barras e informacin que aparece explcita en diversas situaciones.
Mnimo
Reconoce caractersticas de los seres Compara y clasifica seres vivos y materiales vivos y algunas de sus relaciones con el de su entorno cotidiano. ambiente; representa, a travs de modelos sencillos, algunos eventos naturales. Reconoce algunos usos cotidianos de la energa. Identifica usos de la energa y prcticas cotidianas para el cuidado de la salud y Identifica prcticas cotidianas para el cuidado del ambiente. de la salud y del ambiente.
Explica cmo funcionan algunos rganos Reconoce algunas diferencias y semejanzas en plantas y animales y las relaciones de de las caractersticas de los seres vivos. fuerza y movimiento. Relaciona algunos aspectos ambientales Saca conclusiones de informacin derivada con el estilo de vida de diferentes comunidades. de experimentos sencillos. Representa algunos fenmenos naturales a Interpreta datos, grficas de barras e partir de modelos sencillos. informacin que aparece explcita para Identifica el uso de materiales a partir de solucionar una situacin problema. algunas propiedades fsicas.
114
INFORMES
Cuadro A4.6 Descripcin general de niveles de desempeo en ciencias naturales, noveno grado

Propone soluciones a problemas ambientales analizando las caractersticas del ecosistema. Explica cmo se relacionan algunas caractersticas de los organismos con las condiciones del medio que habitan. Explica que las caractersticas de los organismos estn determinadas genticamente pero que se pueden modificar por la influencia del ambiente. Explica mtodos adecuados para separar diversos tipos de mezclas a partir de las caractersticas de sus componentes. Explica el funcionamiento de los seres vivos a partir de las interacciones entre los rganos y sistemas. Explica fenmenos de reflexin, refraccin e interferencia en la luz. Explica las caractersticas del movimiento rectilneo que sigue un cuerpo a partir de las relaciones entre la velocidad, el tiempo y la distancia.

Evala hiptesis a partir de las evidencias derivadas de investigaciones cientficas.
Adems de lograr lo definido en los dos niveles precedentes, el estudiante promedio de este nivel:
Reconoce algunos mecanismos que regulan el tamao de las poblaciones y que las similitudes entre organismos son el resultado de sus adaptaciones al medio.
Avanzado
Relaciona las variables que describen el comportamiento de los gases; representa las fuerzas que actan sobre un cuerpo en movimiento o en reposo.
Explica cmo se relacionan algunas caractersticas de los organismos determinadas genticamente, con las condiciones del medio y el funcionamiento de los seres vivos a partir de las interacciones entre rganos y sistemas.
Determina la funcin de una clula con un determinado rgano y su cantidad. Reconoce el cambio de pH de una solucin cuando se le adiciona otra. Relaciona las variables que describen el comportamiento de los gases. Reconoce que la similitud entre organismos son el resultado de sus adaptaciones al medio. Representa las fuerzas que actan sobre un cuerpo en reposo o en movimiento. Reconoce algunos mecanismos biolgicos para regular el tamao de las poblaciones.
Explica las caractersticas del movimiento rectilneo que sigue un cuerpo, los mtodos adecuados para separar mezclas a partir de las caractersticas de sus componentes y algunos fenmenos de reflexin y refraccin de la luz y evala hiptesis a partir de las evidencias derivadas de investigaciones cientficas.
115

Explica el funcionamiento de un circuito elctrico y la interaccin de sus componentes a partir de modelos. Elabora explicaciones para ciertos fenmenos cotidianos empleando el lenguaje propio de las ciencias. Explica algunas transformaciones de energa que ocurren en diversos procesos.

Elabora conclusiones y predicciones a partir de informacin derivada de investigaciones cientficas. Reconoce patrones y regularidades en los datos derivados de una investigacin cientfica. Representa datos e informacin de diferentes contextos en tablas de datos, grficas o figuras. Interpreta y relaciona informacin presentada en tablas y distintos tipos de grficas con conceptos de las ciencias.
Adems de lograr lo definido en el nivel precedente, el estudiante promedio de este nivel:
Reconoce la estructura y funcin de la clula en plantas y animales, las caractersticas fsicas de los biomas, algunas prcticas para el cuidado de la salud personal y de la comunidad y el comportamiento de los materiales cuando se someten a cambios de temperatura.
Satisfactorio
Identifica cambios fsicos y qumicos, algunos fenmenos relacionados con las ondas y con la dinmica de la corteza terrestre.
Explica el funcionamiento de un circuito elctrico a partir de modelos.
Representa datos e informacin derivada de investigaciones cientficas.
Elabora conclusiones y predicciones.
Interpreta y relaciona informacin presentada en tablas y distintos tipos de grficos.
Identifica el funcionamiento de los seres vivos en trminos de su estructura y procesos. Reconoce prcticas para el cuidado de la salud personal y de la comunidad. Reconoce la estructura y funcin de las clulas en plantas y animales. Reconoce modelos adecuados para representar tomos, elementos, compuestos y mezclas. Establece relaciones entre materiales de diferente densidad, masa y volumen. Reconoce el comportamiento de materiales cuando se someten a cambios de temperatura. Reconoce que las enfermedades pueden ser de origen gentico o infeccioso. Identifica cambios qumicos y fsicos en diferentes procesos cotidianos. Reconoce algunos fenmenos asociados con la dinmica de la corteza terrestre.
Reconoce patrones y regularidades en los datos.

116
INFORMES

Explica las funciones que cumplen las partes bsicas de un circuito elctrico. Elabora explicaciones sencillas de eventos cotidianos utilizando el lenguaje propio de las ciencias. Explica el funcionamiento e interaccin de algunos sistemas en los seres vivos.

Interpreta y compara informacin explcita presentada en tablas y diferentes tipos de grficas que involucran ms de dos variables. Reconoce qu preguntas pueden ser contestadas a partir de los resultados de investigaciones cientficas. Presenta de forma apropiada el proceso y los resultados de investigaciones cientficas. Elige instrumentos adecuados para reunir datos o tomar mediciones. Representa datos e informacin de diversos contextos en tablas de datos, grficas, modelos o figuras.
Reconoce algunas adaptaciones de los organismos al entorno, los efectos de su desaparicin en el ecosistema y el uso de productos con determinado valor de pH en situaciones cotidianas.
Compara propiedades de diversos materiales.
Mnimo
Identifica el estado fsico de las sustancias a partir de la organizacin de sus partculas; el movimiento de un cuerpo de acuerdo con las fuerzas que actan sobre ste.
Explica las funciones que cumplen las partes bsicas de un circuito elctrico.
Interpreta y compara informacin explcita presentada en tablas y diferentes tipos de grficas.
Reconoce algunas adaptaciones de los organismos al entorno. Reconoce el uso de productos con determinado valor de pH en la vida cotidiana. Identifica el estado de las sustancias a partir de la organizacin y movimiento de sus partculas. Identifica qu sustancias pueden ser nocivas para la salud y cules deben ser usadas con precaucin. Reconoce los efectos de la desaparicin de organismos en el ecosistema. Establece comparaciones entre las propiedades fsicas de diversos materiales. Identifica el movimiento de un cuerpo de acuerdo con las fuerzas que actan sobre este.
Selecciona instrumentos adecuados para reunir datos.
Reconoce qu preguntas pueden ser contestadas a partir de investigaciones cientficas.
Presenta de forma apropiada sus resultados y procedimientos.
117
Calle 17 No. 3-40 Telfono:(57-1)338 7338 Fax:(57-1)283 6778 Bogot - Colombia www.icfes.gov.co

Informe Tecnico Saber 5 y 9 2009

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Informe Tecnico Saber 5 y 9 2009

Uploaded by

Copyright:

Available Formats

INFORMES

Informe tcnico SABER 5o. y 9o. 2009

5. Calificacin y definicin de escalas..............................................................................................58

Informe tcnico SABER 5o. y 9o. 2009

Lista de cuadros, tablas y figuras

Informe tcnico SABER 5o. y 9o. 2009

Informe tcnico SABER 5o. y 9o. 2009

1. Marco de referencia SABER 5o. y 9o. 2009

Subdireccin de Diseo de Instrumentos, Direccin de Evaluacin. ycastelblanco@icfes.gov.co

Informe tcnico SABER 5o. y 9o. 2009

Elaboracin: Direccin de Evaluacin, ICFES

1.2 Diseo y desarrollo de los instrumentos de evaluacin

Informe tcnico SABER 5o. y 9o. 2009

II. Diseo y desarrollo de los instrumentos de evaluacin

III. Aplicacin definitiva de las pruebas y cuestionarios

IV. Produccin y divulgacin de resultados

1.2.1 Diseo de la evaluacin SABER 5o. y 9o. 2009

Informe tcnico SABER 5o. y 9o. 2009

1.2.2 Diseo y desarrollo de los instrumentos de evaluacin a. Marcos de referencia

Docentes y expertos en evaluacin

Elaboracin: Direccin de Evaluacin, ICFES

Informe tcnico SABER 5o. y 9o. 2009

El planteamiento y resolucin de problemas

Elaboracin: Direccin de Evaluacin, ICFES

Informe tcnico SABER 5o. y 9o. 2009

Elaboracin: Direccin de Evaluacin, ICFES

Elaboracin: Direccin de Evaluacin, ICFES

Informe tcnico SABER 5o. y 9o. 2009

Elaboracin: Direccin de Evaluacin, ICFES

Prueba de ciencias naturales

Ciencia, tecnologa y sociedad

Elaboracin: Direccin de Evaluacin, ICFES

Uso comprensivo del conocimiento cientfico

Elaboracin: Direccin de Evaluacin, ICFES

Informe tcnico SABER 5o. y 9o. 2009

c. Construccin de instrumentos de evaluacin

d. Estructura de las pruebas

Nmero de preguntas por bloque

Total preguntas por prueba

Nmero de preguntas por bloque

Total preguntas por prueba

Informe tcnico SABER 5o. y 9o. 2009

Competencia Comunicacin Resolucin

Elaboracin: Direccin de Evaluacin, ICFES

Competencia Comunicacin Resolucin

Elaboracin: Direccin de Evaluacin, ICFES

Uso comprensivo del conocimiento cientfico 11% 11% 8% 30%

Explicacin de fenmenos 11% 11% 8% 30%

Indagacin 20% 20% -40%

Uso comprensivo del conocimiento cientfico 11% 11% 9% 31%

Explicacin de fenmenos 11% 11% 9% 31%

Indagacin 19% 19% -38%

1.3 Armada de pruebas

Informe tcnico SABER 5o. y 9o. 2009

Informe tcnico SABER 5o. y 9o. 2009

Elaboracin: Direccin de Evaluacin, ICFES

2.1 Bases de datos

2.2 Consulta, verificacin y captura de informacin

2.3 Unidades de agrupacin

Denominadas de forma particular en algunas regiones, comunas, cadeles, etc.

Informe tcnico SABER 5o. y 9o. 2009

2.4 Vinculacin de examinadores y personal asociado al operativo

2.6 Estructura del proceso logstico de las aplicaciones

Informe tcnico SABER 5o. y 9o. 2009