PROPUESTA METODOLGICA PARA DESARROLLAR UN SISTEMA DE INDICADORES EDUCATIVOS PARA EVALUAR LA CALIDAD DE LA EDUCACIN

Felipe Martnez Rizo

Introduccin
La propuesta, fruto de un proceso comenzado tiempo atrs Se prescinde de revisin histrica y precisiones tericas La tarea del INEE no se reduce a elaborar pruebas; atiende otras dimensiones de la calidad educativa. El Decreto de creacin dice que corresponder al Instituto:

I.Desarrollar y mantener en operacin un sistema de indicadores que permita valorar en forma objetiva la calidad del sistema educativo nacional

La metodologa para disear indicadores no bien sistematizada

Para hacer pruebas hay estndares de calidad de grupos de profesionales del campo: AAHE, AERA, APA, NCME, ETS, IEA; el CENEVAL ha propuesto estndares que tienen en cuenta el contexto nacional y la experiencia internacional No hay textos similares para guiar la construccin de indicadores; hay estndares de calidad de estadsticas, pero no de indicadores: NCES, OECD

La nocin de indicador
El problema clave de un sistema de indicadores sociales es que nunca podemos medir directamente las variables que nos interesan, sino que tenemos que seleccionar substitutos en su lugar. Podemos estar interesados en saber si una persona es o no ambiciosa, pero no podemos observar la ambicin en s misma. Podemos hacer preguntas a la persona, o bien observar qu tan intensamente trabaja a partir de ello podemos inferir si es o no ambiciosa.
Bauer, 1966

La definicin ms aceptada (Wyatt-Oakes):

Un indicador debe ofrecer informacin al menos sobre uno de estos aspectos: Logros educativos, resultados: benchamark, sc. objetivos Caractersticas relacionadas c/resultados: valor predictivo Rasgos centrales del sistema, cmo funciona Problemas o aspectos relevantes para poltica y decisiones

Definicin de trabajo pragmtica (Shavelson et al.):

Un indicador es una estadstica simple o compuesta que se relaciona con un constructo educativo bsico y es til en un marco de polticas pblicas

Tipologa de indicadores Europea, segn 6 aspectos:

de

la

Comisin

Grado de procesamiento: elementales, derivados o compuestos; pueden desagregarse en categoras del mismo tipo o descomponerse en categoras diferentes Comparabilidad de informacin que den: especficos o genricos Alcance de informacin que den: de programa y de contexto Fases del programa: insumos; productos inmediatos; mediatos; y de largo plazo Criterios de evaluacin: relevancia, eficacia, eficiencia o

desempeo

Cercana con procesos a evaluar y uso: monitoreo (uso inmediato); evaluacin (uso al fin)

Indicadores

indicadores

singulares

sistema

de

Sea que se trate de estadsticas simples o compuestas, un indicador singular difcilmente podr proporcionar informacin til sobre fenmenos complejos. Los sistemas de indicadores se disean para generar informacin ms amplia y precisa un sistema de indicadores es ms que una simple coleccin de estadsticas. Idealmente un sistema de indicadores mide diversos componentes del sistema educativo y ofrece tambin informacin sobre cmo interactan los componentes singulares para producir el efecto de conjunto. El conjunto de la informacin que ofrece un sistema de indicadores es ms que la suma de sus partes.
Shavelson et al.

METODOLOGA PARA DISEO DE UN SISTEMA DE INDICADORES

Primera Etapa. indicadores Elaboracin del listado inicial de

Objetos empricos. Ms tangibles: personas, instituciones, equipos, materiales; menos tangibles: currculo, normatividad, tradiciones, etc. Cada objeto emprico no puede aprehenderse en su totalidad; hay que seleccionar aspectos pertinentes, segn el propsito: construir objetos tericos El propsito del sistema de indicadores es evaluar la calidad educativa; es clave precisar la nocin de calidad, para poder pasar del objeto emprico al terico

La calidad incluye al menos las dimensiones de:

Relevancia: relacin de los objetivos con las necesidades de la sociedad Eficacia interna y externa: acceso, permanencia, egreso y logro de aprendizaje Impacto: asimiliacin duradera de aprendizaje para vida adulta Suficiencia de recursos humanos y materiales y eficiencia en su uso Equidad: apoyo mayor a quien lo requiera para que todos alcancen los objetivos

Dimensiones de la calidad y relaciones entre componentes sistmicos

Contexto Necesidades
Relevancia Pertinencia

Equidad

Objetivos
Eficacia interna

Impacto
Eficacia externa

Recursos Insumos

Procesos

Resultados

Suficiencia / Eficiencia

Corolario
Los sistemas de indicadores no deben disearse a partir de la informacin existente, sino del marco de referencia adoptado, aunque no se cuente desde el principio con informacin suficiente, y deba generarse despus la que haga falta

Segunda Etapa. Desarrollo del listado inicial: fichas por indicador

Nombre, breve y claro Definicin, con precisin y rigor conceptual Explicacin, situando el indicador en un marco pertinente Fuentes de obtencin de la informacin Frmula de clculo y criterios para su estimacin. Desagregaciones posibles (gnero, entidad, modalidad) Elementos para la interpretacin de los resultados.

Tercera Etapa. Jueceo inicial de los indicadores desarrollados

Cualidades tcnicas Validez, para medir realmente lo que se pretende Confiabilidad, para tener informacin consistente en sucesivas aplicaciones Comparabilidad, en contextos diferentes para comparacin significativa Estabilidad temporal, para comparaciones en el tiempo Sensibilidad, para detectar diferencias significativas

Cualidades prcticas
Actualidad de la informacin para que sea til Utilidad, atendiendo aspectos en los que las decisiones puedan impactar Importancia, atendiendo elementos del sistema educativo que tengan peso Factibilidad de implementacin, para obtener la informacin a costo razonable Claridad, para facilitar una adecuada interpretacin

Cualidades del conjunto

Cobertura, si atiende todos los aspectos relevantes Balance, si lo hace en forma equilibrada Parsimonia, si tiene un nmero razonable de indicadores, ni excesivo ni escaso

Jueces de 3 tipos para anlisis inicial, a priori

Expertos, especialistas en los temas cubiertos y en las fuentes de informacin Usuarios especializados, autoridades de nivel alto y medio con experiencia Usuarios de base, directores, maestros y padres de familia

Jueceo. Tres vueltas (tipo delphi); en cada una se califica de 1 a 5:

1 Vuelta: opiniones sobre las cualidades (validez, confiabilidad etc.) de cada indicador, a partir de nombre, definicin, explicacin, fuentes, frmula, desagregaciones 2 Vuelta: nueva opinin teniendo informacin sobre opiniones de otros participantes; quienes tengan opiniones discrepantes darn argumentos para defender su posicin. 3 Vuelta: nuevas opiniones dando informacin de los argumentos de los participantes con opiniones extremas o discordantes en la vuelta anterior.

Ms peso a opiniones de unos jueces en relacin con ciertos criterios:

Expertos ms peso para criterios tcnicos Usuarios especializados para factibilidad, importancia y utilidad Usuarios de base para sobre la claridad

Cuarta Etapa: prueba aplicacin del sistema

piloto

primera

Procesos de depuracin y clculo para obtener los primeros valores de cada indicador Nuevo anlisis de la calidad de cada indicador y el sistema a posteriori Valorar si la informacin es interpretada correctamente y utilizada

Otros pasos. Referentes: de la medicin a la evaluacin. Tres tipos:

ptimos: pases avanzados, (benchmarking, mejores prcticas) mejores entidades

Promedio: pases similares, promedios nacionales Mnimos: pases o entidades de menor desarrollo, mnimos normativos

 Cada uno tiene cierto sentido; ninguno es suficiente; conviene usar los tres Otros referentes posibles: contrastar la situacin presente con pasado y futuro (metas) Posiblemente los ms pertinentes: finalmente

Un sistema educativo de calidad es aquel que siempre mejora respecto a s mismo, sin idealizar el pasado y con metas ambiciosas pero realistas para el futuro

Refinamiento de los indicadores y maduracin del sistema

Desarrollar indicadores de buena calidad implica tiempo Adems de seguir la metodologa hay que revisarlos una y otra vez El ritmo anual de la estadstica educativa hace que el refinamiento lleve aos

la creacin de un indicador nuevo toma largo tiempo difcilmente puede abreviarse, dada la naturaleza iterativa de los procesos de formacin de conceptos y de los esfuerzos de medicin[y] el necesario para los ajustes por ensayoerror. Aun si ya existen antecedentes de investigacin y cierto consenso alrededor de un problema, es probable que pasen al menos 10 aos entre el deseo de contar con una medida y la produccin efectiva de esta.
Judith Innes de Neufville, 1975

El control de la calidad de los indicadores

Para tener calidad no basta proponrselo; hay que poner los medios: metodologa consistente + mecanismos de control de calidad. Tres componentes del modelo de calidad del INEE: Criterios de calidad precisos, a cumplir en cada paso Procedimientos claros a seguir para asegurar se cumplan los criterios Instancias internas y externas, con personas calificadas, que supervisen la operacin de procedimientos y el cumplimiento de criterios

Dos instrumentos:
Manuales Tcnicos, que describan procedimientos, y sus controles criterios y

Reportes Tcnicos, sobre el cumplimiento de criteriosprocedimientos, de modo verificable Un modelo basado en las mejores prcticas de un campo especializado (AERA, APA, NCME, ETS, NCES, etc.), es ms apropiado que uno general como el ISO

Estndares de calidad para sistemas de indicadores (1)

ASPECTOS Planeacinconceptualizacin definicin de dimensiones Diseo de indicadores individuales Jueceo inicial de indicadores PRODUCTOS Documento con definicin del sistema Manual Tcnico. Docto. c/indicadores iniciales (fichas tcnicas) Resultado de jueceo Indicadores ajustados (fichas modificadas) CRITERIOS Cobertura, Balance Parsimonia Validez, Confiabilidad Comparabilidad Sensibilidad, Factibilidad Importancia Utilidad PROCEDIMIENTOS Anlisis documental por especialistas

Validacin inicial a priori mediante jueceo con especialistas y usuarios

Estndares de calidad para sistemas de indicadores (2)

ASPECTOS PRODUCTOS CRITERIOS PROCEDIMIENTOS

Prueba piloto de indicadores o aplicacin inicial

Documento con anlisis a posteriori de datos; Indicadores ajustados Manual Tcnico Reporte Tcnico

Los anteriores ms: Actualidad, estabilidad temporal y claridad Calidad instrumentos y procesos; Confiabilidad de resultados Apego a Manual N y tipo errores de bases

posteriori

Validaciones a

Anlisis de series Jueceos peridicos Monitoreo de procesos Anlisis de Reporte T. Estudios ad hoc Monitoreo de procesos Controles ad hoc Anlisis reporte y bases Anlisis documentales

Obtencin, certificacin y generacin de informacin Integracin de informacin, creacin y mantenimiento de bases de datos Construccin de series de datos

Manual Tcnico Bases de datos

Series construidas

Consistencia resultados

Estndares de calidad para sistemas de indicadores (3)

ASPECTOS PRODUCTOS CRITERIOS PROCEDIMIENTOS

Produccin de informe anual

Informes terminados

Cobertura contenido Precisin anlisis Objetividad juicios Claridad de expresin Acceso a informacin: autoridades, maestros y directores, padres de familia, investigadores. Uso de resultados Cobertura, balance y parsimonia del sistema

Anlisis documental

Difusin de informacin

Reportes publicados (en lnea-papel) Materiales de divulgacin para diversas audiencias Documento con definiciones actualizadas

Anlisis documental

Desarrollo, actualizacin y mantenimiento del sistema

Anlisis documental por especialistas

Conclusin
La experiencia internacional en indicadores es amplia y ha existido por largo tiempo. En el origen de los desarrollos encontramos el xito de unos indicadores macroeconmicos importantes: el producto interno bruto, el ndice de precios o la tasa de desempleo. En los aos 70 este xito hizo surgir el desarrollo de indicadores sociales, actividad que implic considerable energa y fue tambin la fuente de un malestar igualmente grande.
Comisin Europea, 1999

Tras experiencias frustrantes, la expectativa sobre lo que aportan indicadores es ms realista No pueden por s mismos fijar objetivos o prioridades, evaluar programas o hacer balances Eso se puede apoyar en un buen sistema de indicadores, pero implica otras acciones Ahora las expectativas en los sistemas educativos con ms experiencia son modestas:

problemas con mayor precisin; para detectarlos ms tempranamente; para tener pistas sobre programas educativos prometedores y cosas similares.
Shavelson et al., 1989

[Los indicadores pueden servir] para describir y plantear

...Las estadsticas de educacin de la mitad de estados miembros de la UNESCO tienen lagunas y debilidades serias las bases de datos sobre el tema carecen de confiabilidad. Aun en los pases industriales avanzados los datos sobre costos y gastos educativos son muy deficientes. En casi todos los pases los datos sobre analfabetismo no son confiables. Los expertos opinan que las estadsticas educativas de 20 30 pases son un verdadero desastre.
Puryear, 1993

...Las estadsticas educativas tienen enfoque estrecho. Dejan fuera medidas de calidad, de procesos y de productos. Los gobiernos han centrado la atencin en los conteos de tipo censo, y en un slo tipo de datos: los relativos a insumos nmero de profesores, alumnos y edificios e importancia del gasto pblico destinado a educacin. Casi no han prestado atencin a documentar cmo funcionan las escuelas o qu aprenden los alumnos... Un buen indicador de la existencia de estadsticas educativas de buena calidad es la capacidad de reportar datos sobre la edad de los alumnos, indispensables para calcular tasas netas de matrcula. Slo unos 60 de los 175 estados miembros de la UNESCO reportan tales datos en forma consistente.
Puryear, 1993

aunque la mayor parte de los 24 pases participantes report que recababa datos para construir algunos indicadores educativos, su tipo y uso variaba mucho y pocos pases estaban en condiciones de ofrecer conjuntos completos. Muchas presentaciones sealaron problemas similares: datos incompletos o faltantes; falta de confiabilidad, debida en parte a tcnicas de muestreo deficientes; insuficiente validez de las variables de contexto; dificultad para decidir qu datos recoger; problemas en cuanto al control de la informacin y el acceso a ella.
CERI-INES, OCDE 1991

Aun los sistemas ms completos de estadsticas nacionales presentan hoyos negros y lagunas de informacin en temas de los que casi no hay datos, como costos unitarios, gasto educativo privado o la contribucin econmica de empresas y familias al gasto educativo. La mayora de los sistemas son notablemente dbiles en cuanto a informacin sobre el conocimiento que tienen los maestros de las materias que deben ensear, el aprendizaje de los alumnos, en especial en niveles cognitivos altos, o los procesos que tienen lugar dentro de la escuela.
CERI-INES, OCDE, 1991

Algunos problemas tcnicos serios de los indicadores actualmente existentes, junto con grandes lagunas en las fuentes de datos disponibles, plantean problemas formidables a la tarea de construir un sistema de indicadores educativos en el nivel nacional. El CCSSO ha analizado las fallas de medidas de resultados educativos comparables hasta 1987 los estados americanos empleaban al menos 10 maneras distintas de contar sus escuelas y 12 mtodos diferentes de reportar matrcula. Los datos sobre desercin son notoriamente poco confiables
Special Study Panel, 1991

No se busca desalentar a quienes emprendan la tarea de desarrollar un sistema de indicadores; se pretende apoyar sus esfuerzos de dos maneras: Ofreciendo una metodologa sencilla y clara Ayudando a que se tome conciencia de la complejidad de la tarea, para que se respeten los plazos necesarios para que se haga bien.

Para alcanzar una meta ambiciosa hay que aceptar las limitaciones del punto de partida y mejorar progresivamente, con mecanismos de correccin permanente

se presta considerable atencin a la imprecisin de muchos datos estadsticos, a las distorsiones a los frecuentes errores de interpretacin y a la posibilidad de manipular los datos Se necesitan mejoras tanto en la cantidad como en la calidad de las estadsticas en vez de no hacer nada, es preferible comenzar con datos malos, advertir a todos sobre sus defectos y limitaciones, y buscar una mejora gradual gracias a su uso.
Gross, 1966

MUCHAS GRACIAS