Carrin, Carmen. Valores y principios para evaluar la educacin. Piados educador, 2001. CAPITULO I.

VALOR, POLTICA Y TICA PARA EVALUAR. Las definiciones ms comunes de evaluacin educativa la han propuesto en el entendido de que los trminos de estos procesos, sus conceptos y sus principios pueden tener un carcter universal y homogneo- como una abstraccin independiente del sujeto de la tecnologa evaluativa y de quien la aplica. Estas definiciones pueden clasificarse as: Las que toman como principio la constatacin del logro de metas. Las que conciben la evaluacin como una forma de proveer informacin para tomar decisiones, o como un examen sistemtico de programas educativos o sociales. Las que toman como principio la naturaleza enjuiciadora de la evaluacin y la definen como la ponderacin del mrito o vala de los programas educativos [vase T. Husen y T. Neville (comps.), The International Encyclopedia of Education, p. 1772.

Michael Scriven ha apuntado que estas definiciones se centran en uno de los innumerables objetos susceptibles de anlisis, los programas educativos, y soslayan lo que en la prctica se realiza en muchas reas de la vida social y material; por esto, difcilmente las definiciones mencionadas pueden ser base del desarrollo de una teora de la evaluacin. Este autor declara que la evaluacin es un proceso mediante el cual se determinan el mrito, la vala y el valor (merit, worth y va1ue) de las cosas; es una transdisciplina (en la que concurren la lgica, la psicologa, la tica y el derecho) que apela a la razn instrumental de las ciencias, como la lgica, el diseo y la estadstica, y aplica un amplio espectro de tareas de investigacin y creacin, mientras mantiene la autonoma de una disciplina de propio derecho. De acuerdo con Scriven, la visin transdisciplinaria intenta ofrecer soluciones a la estigmatizacin de la evaluacin y a la inutilidad de sus resultados. Supone extender los fundamentos de la evaluacin hasta sus lmites racionales para que abarque todas las reas de aplicacin y se incremente la comunicacin entre stas; para que mejoren las tcnicas de evaluacin y los informes de reas tradicionales que no son slo del campo de la evaluacin de programas y de currculo, y para que en un nivel ms general se deseche la idea de una prctica en la que los valores pueden ser puestos entre parntesis [vase Evaluation Thesaurus, pp. 13} La experiencia en estos procesos nos muestra, sin embargo, que al aplicar cualquier procedimiento, e incluso con la sola intencin de evaluar, se desencadenan reacciones o formas de asumir o confrontar estas circunstancias por parte de las comunidades institucionales. Estas reacciones hacen patente que la evaluacin no se hace de una cosa que incluye los trminos de las proposiciones abstractas de la definicin, sino de las formas especficas de relaciones educativas de la comunidad escolar, las cuales determinan el carcter (la calidad, la eficiencia y el mrito) de la institucin respectiva.

La informacin que se obtiene al aplicar un procedimiento es una expresin de esas relaciones educativas; es una de las formas en que se puede objetivar el conjunto de valores implcitos o explcitos que est en el sustrato de tales relaciones y le dan sentido a la institucin. Pero esa objetivacin no significa homogeneidad o universalidad de los valores o de las expectativas respecto de la educacin; indica la necesidad de racionalidad, de mtodo en los procesos de evaluacin. Esto explica, por ejemplo, la razn de que formas elementales de evaluacin, como los inventarios estadsticos, generen juicios o conclusiones con base en estndares o indicadores de calidad, sin que se aclare que stos son en s mismos expresiones de valor; o que un estudiante obtenga diferentes rendimientos en una misma materia si es calificado por profesores diferentes, de acuerdo con lo que uno u otro de ellos crea que es un aprendizaje ms pertinente o valioso. Las diferencias de juicio por s mismas muestran la dinmica de la educacin, completamente irreprochable por la riqueza de posibilidades de relaciones educativas, pero que constituye un trastorno para la asignacin presupuestaria o la promocin de estudiantes a niveles superiores de educacin. De aqu que la tecnologa evaluativa se haya utilizado para homogeneizar el tipo de juicios respecto a la calidad de las instituciones y de los alumnos y profesores, sin percatarse de que la estandarizacin es tambin un criterio y una expresin de valor, y sin considerar que la falta de utilidad de los informes de evaluacin est relacionada con el problema fundamental de estos procesos: la validez de las conclusiones (un problema ms complejo que el logro de la confiabilidad de la informacin y la efectividad tcnica de los procedimientos de anlisis). Este problema se ahonda porque ninguna institucin es igual que otra, aunque compartan estructura, nivel y normatividad. Adems de lo que define a una institucin educativa en trminos formales, su carcter est constituido por las formas especficas de relaciones de la comunidad escolar, que no se pueden reproducir en otras circunstancias. Esto no quiere decir que no se puedan encontrar regularidades (o situaciones generalizables) entre instituciones o procedimientos tecnolgicos. Ms bien se afirma que en principio la evaluacin no puede basarse en modelos generales, sino en la identificacin de los valores que imprimen un sentido a las relaciones educativas y en la verificacin de sus formas de expresin mediante actividades concretas, consecuencia de esos valores. La evaluacin que tiene un sentido de crtica y mejoramiento de esas relaciones nicamente puede plegarse a las circunstancias de cada caso y crear modelos ad hoc. Al circunscribirse a esas formas especficas de relacin educativa estar en posibilidad de validar propsitos, procedimientos, resultados y utilidad congruentes con la institucin. En este proceso se hace educacin y hay construccin de conocimiento sobre la educacin. As, evaluar significa interrogar sobre el sentido de la institucin, su significado y su propsito. La evaluacin verdadera y legtima da ocasin a que se pregunte por el sentido educativo de la institucin, a que los participantes en las relaciones escolares reconozcan su opinin y sus valores en la narracin de los hechos y en las conclusiones.

Para comprender qu se hace cuando se evala, ms all de la correcta aplicacin tecnolgica, consideremos el contenido, el mtodo y las circunstancias que fundamentan que una actividad sea una evaluacin y no otra cosa.

EVALUAR LA EDUCACIN. En los diccionarios lexicolgicos ms actuales de la lengua castellana se encuentra que el verbo evaluar significa sealar el valor de una cosa; estimar, apreciar y calcular el valor de algo. Actualmente tiene una connotacin educativa que no se encontraba en diccionarios de hace veinte aos: Estimar los conocimientos, aptitudes y rendimiento de los alumnos. Esto nos indica que ya es de uso comn, no docto, el trmino evaluar en la lexicologa de comunicacin social [vase Real Academia de la Lengua, Diccionario de la lengua espaola, p. 927]. El trmino especializado, disciplinario, que denota una actividad y procedimientos metodolgicos especficos lo acu Ralph Tyler al referirse a la <<evaluacin educativa>> para denominar el proceso de determinacin del grado de cumplimiento de los objetivos educativos que previamente se especifican y se aplican. Para Tyler la evaluacin es el proceso de medicin del grado de aprendizaje de los estudiantes en relacin con un programa educativo planeado. Lo cual es exactamente igual a la acepcin educativa del significado lexicolgico [vase Basic Principles of Curriculum and Instruction, p. 107]. La definicin de Tyler, propuesta en los aos cuarenta, fue revolucionaria en su momento pues responsabilizaba del xito o fracaso de los estudiantes no a su propia inteligencia (lo cual tena reminiscencias genetistas y raciales), sino al contexto institucional y a la capacidad de los educadores de planificar los contenidos de acuerdo con las necesidades de conocimiento socialmente adecuado y con los niveles de asimilacin de que eran capaces los estudiantes. Recurdese que los primeros procedimientos de ponderacin del aprendizaje se desarrollan durante la primera dcada del siglo xx sobre la base de los mtodos de medicin de la psicologa individual, y se originaron en la idea de que los rendimientos de los estudiantes estn correlacionados con su inteligencia [vase una historia de la medicin psicolgica y educativa en R. L. Thorndike y Elizabeth Hagen, Tests y tcnicas de medicin en psicologa y educacin, pp. 9 27]. De aqu que la tecnologa educativa resultante de la propuesta tyleriana transformara los procesos de evaluacin propiamente educativa y propiciara lo que ms tarde se llam la evaluacin diagnstica, la formativa y la de resultados. En este caso, la evaluacin se ha considerado una fuente de retroalimentacin para calificar la pertinencia y la adecuacin de la planeacin curricular a los niveles de aprendizaje del alumno. Otros autores profundizan en esta primera aproximacin y la extienden al proceso que nos ocupa. Un ejemplo es Benjamin Bloom, que en la segunda mitad de los aos cincuenta propone una complejizacin de la idea de los objetivos educativos con una concepcin ms integral de la psicologa del desarrollo humano, tomando en cuenta el tipo de contenidos que los profesores ensean comnmente. Dividi estos contenidos en tres tipos de objetivos educativos que se corresponden con tres dominios de la

personalidad. El primer dominio es la cognicin o dimensin del conocimiento y cmo se manifiesta ste en la expresin memorstica, la comprensin, la aplicacin, el anlisis, la sntesis y la evaluacin de conocimientos por parte del alumno. El segundo es la dimensin afectiva o cmo logran los estudiantes desarrollar una cosmovisin propia y autnoma. El ltimo es la dimensin psicomotora o desarrollo de habilidades instrumentales. De esta manera, la formulacin del currculo, su aplicacin y la evaluacin de los alumnos deban tener como propsito la verificacin del desarrollo y la aplicacin curricular en toda sus dimensiones [vase Taxonoma de los objetivos de la educacin]. En la dcada de los sesenta se observ una sobreabundancia de propuestas no slo de definiciones sino tambin de modelos de evaluacin, y surgi lo que se ha llamado la investigacin evaluativa. Al respecto, algunos autores son de particular importancia. Robert E. Stake, por ejemplo, propuso en 1967 que la evaluacin se entendiera como un proceso sistemtico de emisin dejuicios basado en una descripcin de las discrepancias entre las ejecuciones de estudiantes y profesores y los estndares del aprendizaje y de la enseanza previamente definidos. Estos estndares se determinaban a partir de los resultados del aprendizaje y de los procedimientos de enseanza que se obtienen con otros currculos similares [vase The Countenance of Educational Evaluation, pp. 523 540. M. Scriven, tambin en 1967, propuso un modelo de evaluacin sin metas cuyo propsito era evaluar los efectos de un programa en relacin con un perfil (demostrado y medido) de necesidades educativas. En su concepcin, la evaluacin deba ser una determinacin sistemtica y objetiva del mrito de un programa educativo respecto de la satisfaccin de esas necesidades. El procedimiento consista en que un evaluador independiente emitiera un juicio, basndose en las evidencias acumuladas de los efectos del programa y en la comparacin de ste con programas similares que potencialmente satisfacan el mismo tipo de necesidades. Se denomin evaluacin sin metas porque sus referencias no eran los objetivos educativos sino otros programas similares [vase The Methodology of Evaluation, y una crtica a su propio planteamiento en Pros and Cons About Goal-free Evaluation, pp. 1 4]. A principios de los aos setenta, Daniel L. Stufflebeam defini la evaluacin educativa, a partir de su relacin con procesos de planificacin, como una actividad que provee informacin para la toma de decisiones. Sostiene que en la planeacin se toman bsicamente cuatro tipos de decisiones: eleccin de metas u objetivos, estructuracin de procesos, ejecucin y reciclaje. Esta argumentacin dio origen a su modelo Contexto, Insumo, Proceso, Producto (cipp). Con base en estos tipos de decisiones se estructuran cuatro formas de evaluacin. De contexto, que mide necesidades de informacin o problemas para dilucidar rutas de accin de quien debe tomar decisiones en la aplicacin de un programa educativo determinado. Evaluacin de insumos, con propsito de establecer los requerimientos estructurales, humanos, de infraestructura, etc., para poner en marcha un programa. Evaluacin de procesos, que define la precisin o correccin de los procedimientos de ejecucin de un programa educativo. Evaluacin de productos, que determina los resultados y la efectividad del programa. El primer tipo de evaluacin debe ser continuo; los otros dependen de los requerimientos de los procesos de decisin. La evaluacin es un proceso para delinear, obtener y aplicar informacin descriptiva y expresar juicios acerca del mrito de un objeto educativo

(programa, proyectos, currculo, etc.) tal como lo prescriben sus metas, estructura, proceso y productos (vase Educational Evalualion and Decision Making). Durante la misma dcada, R. E. Stake cre otro modelo de evaluacin llamado evaluacin receptiva (responsive evaluation). Con este modelo, el autor propuso un cambio, considerado radical en su momento, en la forma de concebir los procesos evaluativos: argument que la insistencia en la precisin de las mediciones no proporciona una base para el mejoramiento de los programas educativos. Consider por tanto que las evaluaciones deban tener como propsito primordial su utilidad en razn de las preocupaciones e intereses de las personas que participan directa o indirectamente en las actividades educativas, tanto de quienes aplican los programas educativos como de quienes se benefician de ellos. El modelo receptivo se diriga al anlisis del contenido y de las actividades de los programas y no a la consecucin de las metas u objetivos; responde a requerimientos de informacin de las personas involucradas en las actividades educativas. El juicio acerca del xito o el fracaso del programa se expresaba con las perspectivas de los diferentes grupos de inters, lo cual supona una interaccin con ellos para que comunicaran sus necesidades, as como un acuerdo previo acerca de la configuracin de los resultados de la evaluacin [vase Program Evaluation, Particularly Responsive Evaluation, pp. 287 309. Elliot Eisner en 1976 propone un procedimiento de evaluacin por expertos, basado en la crtica o el juicio de un individuo profesional, con experiencia y conocedor del objeto que se evala. Para este autor la crtica tiene tres niveles: el descriptivo, el interpretativo y el evaluativo propiamente. La validez de la crtica se basa en dos procesos que debe tener el juicio. El primer proceso consiste en la corroboracin estructural, la cual se dirige a demostrar que la conclusin se fundamenta en la existencia de un conjunto de caractersticas y condiciones que conforman el objeto de evaluacin. El segundo es la adecuacin referencial que constituye la prueba emprica de la existencia de esas caractersticas y condiciones descritas, interpretadas y evaluadas [vase Educational Connoisseurship and Criticism: Their Form and Functions in Educational Evaluation, pp. 135-150]. Algunas otras definiciones propuestas en pases iberoamericanos tienen una marcada influencia de los planteamientos estadounidenses en esta materia. Por ejemplo, dos de las definiciones de la evaluacin que se han hecho en Mxico indican que la evaluacin en la educacin superior es un proceso continuo, integral y participativo que permite identificar una problemtica, analizarla y explicarla mediante informacin relevante, y que como resultado proporciona juicios de valor que sustentan la consecuente toma de decisiones [Asociacin Nacional de Universidades e Instituciones de Educacin Superior, La evaluacin de la educacin superior en Mxico, pp. 22-23. Otra definicin posterior en este mismo pas elimina la mencin a factores de participacin de las comunidades escolares, de manera que se entiende la evaluacin como un proceso permanente que permite mejorar de manera gradual la calidad acadmica. En consecuencia, debe incorporar un anlisis a lo largo del tiempo de los avances y logros, identificar obstculos y promover acciones de mejoramiento acadmico [vase Secretara de Educacin Pblica, Evaluacin de la educacin superior, pp. 41 42]. La bibliografa no muestra mayor anlisis de la definicin del tema. La importancia que empez a tener la evaluacin a partir de 1970 se puede medir por el hecho de que en las

enciclopedias de principios de esa dcada y en anteriores no apareca el trmino [vase por ejemplo L. C. Deighton, The Encyc1opedia of Education], y ya para los aos ochenta apareca en todos los diccionarios y enciclopedias de uso de los educadores, psiclogos, pedagogos y profesionales de las ciencias sociales y otras disciplinas, como las biomdicas y las ingenieras. Una de las definiciones ms recientes dice que la evaluacin viene hoy referida sobre todo como control de la calidad, tanto en lo que se refiere a las tareas de aprendizaje como a los resultados ms generales de las instituciones e incluso del sistema educativo [vase J. L. Garca Garrido, Diccionario europeo de la educacin, p. 256]. Las definiciones descritas tienen elementos caractersticos de los procesos evaluativos, de los que se pueden hacer algunas reflexiones. a) Todas las definiciones se refieren a uno solo de los objetos de la evaluacin, los programas, y omiten mencionar la evaluacin de los estudiantes, del personal docente y administrativo, del currculo, de los materiales de instruccin (aunque a veces stos se tomen como sinnimo de programa, para mayor confusin) y de las organizaciones e instituciones educativas. Se aplican trminos y principios como los de diagnstico formativo y sumativo a todos los objetos por imitacin extralgica, sin considerar sus propias determinaciones y la situacin concreta de la evaluacin, por ejemplo, es absurdo pensar en una evaluacin formativa al personal docente si no es en el contexto del anlisis de un programa de innovacin administrativa en marcha. b) Las definiciones y los modelos se pueden diferenciar entre los que subrayan como base de juicio los estndares y las comparaciones con programas o situaciones educativas ajenas al proceso mismo que se evala, y aquellos que se basan en los propios objetivos del programa o necesidades de las personas que participan en las situaciones educativas objeto de anlisis. En trminos de la disciplina, es la diferencia entre la evaluacin con base en normas y la evaluacin con base en criterios; la norma o el criterio se consideran expresin de calidad y, en ltima instancia, de valor Pero an cuando son su expresin, no son el valor en s y con toda legitimidad se puede preguntar sobre la validez del estndar o del criterio respecto de los valores que se desean expresar. Slo cuando se responde a la pregunta directa de: Qu valor tiene la educacin y cmo se manifiesta este valor? se empieza a dilucidar el sentido de la institucin respectiva; slo cuando se pregunta: Qu valor tiene la educacin para ti?, es el mismo valor para todos, o cuando menos para los de la comunidad escolar en la que participas? y, una vez reconocido esto y acordados los valores comunes entre los participantes de las relaciones escolares, se puede pasar a la pregunta metodolgica de: Cul es la expresin vlida para nosotros del valor que le damos a la educacin?; con sta finalmente se puede iniciar un anlisis de utilidad para el mejoramiento de las relaciones educativas, de enseanza y aprendizaje. c) A pesar de que algunos modelos reconocen la importancia de la participacin, todas las definiciones corresponden a una sola idea paradigmtica de la evaluacin, esto es: el juicio crtico es vlido en tanto que lo emiten individuos profesionales y expertos. Scriven afirma que la evaluacin slo puede ser considerada una disciplina cientfica cuando el evaluador no eluda asumir la responsabilidad de emitir juicios no slo con base en los valores expresados por otros, sino sobre la idea de verificar si esos valores son correctos y verdaderos [vase Evaluation Thesaurus, pp. 29 32); y en el mismo

tenor se encuentran todos los evaluadores profesionales de tradicin estadounidense [vase L. J. Cronbach, Course Improvement Through Evaluation, pp. 101-115. Esto nos lleva a un problema tico y a otro tcnico respecto de la pretensin transdisciplinaria de la evaluacin. Por un lado, la pregunta sobre el principio tico se refiere a la autoridad moral del evaluador y el derecho y la legalidad de erigirse en juez de la verdad de los valores de una actividad social como lo es la educacin. Scriven ilustra con una analoga la necesidad de salvar el obstculo: no basta que un qumico nos diga que un medicamento est compuesto de los elementos qumicos adecuados y que estn balanceados de manera correcta, sino que es necesario que nos diga si de verdad cura la enfermedad para la cual se prescribe. La otra pregunta es sobre la capacidad disciplinaria de un evaluador, si puede aplicarse lo mismo a diferentes campos de la actividad humana sin conocer a profundidad tal o cual campo. La experiencia nos lleva a una respuesta negativa: un ingeniero, un matemtico o un economista juzgarn la educacin imponiendo sus principios por una necesidad de lgica y vocacin profesional, y hasta el momento no se conoce la forma de hacer anlogos esos principios ni experiencias con las que se hubieran complementado. No hay por el momento una formacin de evaluador transdisciplinario como tal. Podemos intuir la existencia de un razonamiento complementario a la responsabilidad profesional del evaluador. Si se atiende al sujeto que expresa los juicios y se aplican los procedimientos, existe cuando menos otro paradigma de evaluacin constituido por el conjunto de juicios autocrticos que las comunidades escolares, sujetos de la educacin, hacen respecto de las instituciones, sistemas y procedimientos escolares propios; as el evaluador no se exime de participar en la expresin de juicios, pero no impone su idea, sino que en un proceso de comunicacin convence y se deja convencer de la verdad y primaca de ciertos valores. Es evidente que se podra construir un paradigma integrador de los dos extremos; de hecho, los procedimientos de certificacin de la calidad de instituciones en Estados Unidos, Francia e Inglaterra utilizan el autoestudio, cuyos resultados son verificados por grupos de expertos externos a las instituciones. Un procedimiento similar se utiliza en Mxico durante la evaluacin de programas acadmicos realizada por el Comit Interinstitucional de Evaluacin de la Educacin Superior (CIEES). d) Todas las definiciones descritas proponen que el fundamento de la evaluacin sea un referente emprico: los objetivos, el modelo o programa tal como ha sido concebido, un estndar, etc. En ninguna definicin se incluye la especificacin de valores absolutos, ms bien el juicio se refiere a cualidades relativas o instrumentales del objeto, como su mrito, su eficiencia, su eficacia y su pertinencia, de forma que se emite un juicio que implica como valor la utilidad del objeto para propsitos previamente definidos. Se asume con esto que tales referentes son correctos o adecuados en s mismos, que tienen un valor instrumental porque son base de juicio para determinar el estado en el que se encuentran los procesos educativos. La insistencia en factores empricos manifiesta una preocupacin por los prejuicios o las arbitrariedades de corte subjetivo en los que pudieran basarse juicios negativos. Sin embargo, por su naturaleza, todos los criterios de evaluacin son subjetivos y, por lo tanto, ningn juicio evaluativo es completamente objetivo. Inclusive cuando el evaluador no haya participado en la definicin de las referencias ni en la compilacin de informacin, est condenado a hacer elecciones entre diferentes estndares o criterios de

juicio, y la justificacin de sus elecciones son sus preferencias, lo que considera mejor desde cualquier punto de vista: experiencia, teora educativa, informes de investigacin, etc. En cuanto a las preferencias de valor individuales o de grupo dentro de una comunidad escolar, las referencias empricas no eliminan la subjetividad del juicio y esto lo sabe cualquier evaluador con experiencia. Lo que puede eliminar el prejuicio y la percepcin de arbitrariedad es acordar lo que es arbitrario (que depende del arbitrio, del juicio). El acuerdo es importante aqu pues no hay valores que se puedan expresar por s mismos, sino que se manifiestan por la facultad de los individuos y de las comunidades escolares de adoptar una resolucin con preferencia respecto a otra. Para algunos autores los valores se generan por voluntad, y esta generacin impulsa los deseos y las acciones hacia las metas que la valoracin establece como idneas. El valor es lo que para determinado sujeto vale desde el punto de vista moral (la accin con principios), poltico y esttico; el valor es algo que ocupa el primer lugar entre las preferencias de la gente, pues le da sentido a su existencia. De aqu que el acuerdo previo a la evaluacin debe ser el de la definicin de lo que se consideraran las expresiones positivas de valor y sus contradicciones, porque la vala no es del objeto mismo, sino de quienes han acordado percibirlo valioso cuando se manifiesta de cierta manera o con ciertas caractersticas y en situaciones especficas. e) En algunas definiciones, el contexto de la evaluacin y del objeto evaluado es slo una referencia ms, y en otras es determinante. Esto significa que algunos modelos de evaluacin definen el valor de un programa en relacin con la posibilidad de generalizar su aplicacin, en tanto que el contexto de lo valorado sea similar al de la aplicacin generalizada del programa; mientras que otros consideran asuntos como la dinmica de las circunstancias de una situacin educativa que, en consecuencia, tiende a modificar la efectividad de los procesos escolares. El deseo de generalizacin se fundamenta en una concepcin cientfica de la evaluacin y en el paradigma metodolgico de la investigacin evaluativa. La consideracin de las circunstancias (Scriven las llama las necesidades) fue un intento de trascender las investigaciones evaluativas que frecuentemente arrojaban resultados no concluyentes respecto de la efectividad de un programa frente a otro, o frente a la educacin tradicional. Esta consideracin es una ruta incipiente a lo que ms adelante consideraremos una concepcin heurstica y situacional de la evaluacin, en la medida en que los procedimientos empleados se dirigen a establecer las condiciones para que se efecte una evaluacin, segn la dinmica de las relaciones educativas que se presentan en la institucin especfica. f) Todas las definiciones y sus modelos evaluativos correspondientes consideran que la evaluacin es una tarea de excepcin en relacin con las actividades cotidianas de la institucin escolar.

Esto es as porque los autores mencionados han sido investigadores en su mayora y han aplicado sus procedimientos para demostrar la efectividad de programas educativos innovadores, generalmente alternativos a los procesos educativos tradicionales. La evaluacin como una actividad de excepcin se aplica igualmente a la evaluacin de instituciones o a la curricular. De aqu que las comunidades escolares la perciban como

una actividad adicional a las cargas de trabajo regular y como una imposicin sobre su propia idea de lo que debera constituir un proceso de revisin. Considero que, as como sucede en otras disciplinas y actividades, el proceso de anlisis constante de la efectividad y de la calidad de los procesos de enseanza tendra que formar parte de las actividades regulares de una institucin y una de las tareas de un evaluador debera ser mostrar cmo se logra esta regularidad. g) Algunos de los modelos en los que las conclusiones valorativas se sustentan en un estndar o ejemplo externo a la institucin suponen que el propsito de la evaluacin es definir la efectividad del programa tal como se planific, de manera que la realidad no se considera como una contingencia a la cual debe ajustarse el programa sino al contrario: se presupone que las circunstancias reales pueden ser modificadas o controladas mediante la programacin educativa. Todo educador sabe que esto no es as. Cualquier planificacin se modifica por fuerza de variables y condiciones de todo tipo: econmicas, normativas o legales, de dinmica de relaciones escolares, de poltica educativa, de tradicin y creencia, etc., de modo que cualquier proceso de evaluacin debe estar planificado igualmente, pero los procedimientos y las expectativas de informacin y de resultados deben modificarse de acuerdo con la situacin especfica de cada institucin. h) Todas las definiciones establecen con claridad la relacin entre la evaluacin y la planificacin, de manera que la primera tiene como funcin retroalimentar los procesos de planificacin; esto es lo que se considera racionalmente lgico. De hecho ambos procesos tienden a imbricar sus funciones con propsitos muy precisos, sobre todo en lo que se refiere a planificacin y evaluacin institucional y curricular, como en el caso de la especificacin de la viabilidad de un programa o proyecto, el control de la ejecucin del proceso planificado y el registro de los resultados. Sin embargo, todos los modelos mencionados obvian la pregunta acerca del sentido de la educacin y acerca de sus instituciones, que es una pregunta de planificacin anterior a las concreciones instrumentales de los programas de innovacin. OTRA DEFINICIN? Los puntos anteriores incluyen algunos de los mltiples aspectos que las definiciones propuestas por los evaluadores de tradicin estadounidense y europea no abarcan, pues estos ltimos toman de aqullos las configuraciones tericas y conceptuales. El dilema de proponer o no una definicin ms del tema tiene puntos negativos pero tambin positivos para la elaboracin metodolgica e instrumental de estos procesos. La crtica a las definiciones aclara la restriccin conceptual de la disciplina y la necesidad de encontrar una de carcter universal o que est en camino de aplicacin general con una perspectiva transdisciplinaria, mediante respuestas a preguntas como: qu tienen en comn una evaluacin econmica y una educativa? Sabemos que la evaluacin es la expresin de un juicio con fundamento en un valor; pero entre la observacin y el juicio sucede todo tipo de cosas que, cuando menos en este libro, slo nos puede conducir a una respuesta en una de las aplicaciones de la evaluacin: el mbito de la educacin. Sabemos, por otro lado, que una definicin ms, a partir de una de sus aplicaciones, favorece la confusin sobre la universalidad terica de la evaluacin y alienta el debate sobre lo que no es la disciplina, en vez de ubicar la bsqueda de sus trminos

universales. Sin embargo, algunas de las caractersticas de las aplicaciones de la evaluacin pueden apuntar hacia la universalidad de los trminos de la disciplina, entre ellos, la expresin de un juicio con fundamento en valores; la ubicuidad de la evaluacin; el razonamiento metodolgico, como la comparacin de hechos con valores; y la aplicacin de procedimientos transdisciplinarios, como la lgica, la estadstica, la psicologa, el derecho, la sociologa, la antropologa, la etnologa y, de manera fundamental, la tica y la poltica. Evaluar la educacin significa determinar la presencia de atributos en sus elementos constituyentes que de antemano se han apreciado como valiosos. Pero no basta la sola presencia de esos atributos, la evaluacin est relacionada tambin con una forma prototpica de cumplimiento de la misin educativa. La tarea esencial de la evaluacin es esta doble verificacin: la presencia de atributos y el cumplimiento de la misin. Atributos y misin son configuraciones creadas o seleccionadas de un conjunto de configuraciones posibles que el acervo cultural de una sociedad proporciona y considera valiosas en s mismas o en razn de determinaciones histricas y circunstanciales. Sin embargo, la pregunta sobre quin crea o selecciona ese conjunto de valores y configuraciones nos lleva a reconocer la necesidad de ubicar la participacin de los individuos y los grupos de una institucin y la del evaluador, cuyos instrumentos se emplean para dilucidar procesos y resultados de una manera veraz y confiable. La veracidad de los resultados permite a los interesados expresar juicios con fundamento en informacin rigurosamente analizada y reconoce la historia y la dinmica mutable de las instituciones escolares. Este tipo de evaluacin procede, en primera instancia, a definir el mtodo y las circunstancias polticas y ticas de quienes desarrollan el proceso de anlisis. Una definicin de la evaluacin de las actividades educativas debe dar respuesta a las determinaciones siguientes: - La verdad de los valores tiene un sentido social y no slo personal. - En consecuencia, es necesario validar los valores en los que se apoyan los juicios. - La evaluacin se desarrolla en un espacio institucional que forma parte de un sistema mayor legalmente constituido, y las alteraciones en ste tienen consecuencias para el funcionamiento de la institucin individualmente considerada. - Todos los objetos susceptibles de evaluacin constituyen elementos de un sistema mayor, como una institucin, y su alteracin tiene consecuencias para todo el sistema. - La responsabilidad de las comunidades escolares en las actividades evaluativas. - La eficiencia tcnica, la confiabilidad de los resultados y la validez de las conclusiones y juicios. - La utilidad de la evaluacin para mejorar las actividades educativas. Llamaremos convencionalmente evaluacin al proceso de comunicacin de una comunidad escolar cuyo objeto es la identificacin de los atributos del sistema de

educacin institucional, que constituyen la esencia, la naturaleza y la estructura de la institucin respectiva, para calificarlos y determinar sus virtudes y defectos; su fin ltimo es el mejoramiento de la formacin de los individuos. MTODO Y VALOR PARA EVALUAR LA EDUCACIN. El mtodo para la evaluacin de la educacin sigue el curso de razonamiento equivalente a cuando se enuncia un juicio acerca de las virtudes o defectos de un acontecimiento, en cualquiera de los rdenes de la vida social o privada. Si se dice esta escuela es buena, la persona que expresa esta idea se basa en un concepto de bueno, que puede definirse por medio de la pregunta: Qu es para ti una buena escuela?, y en la observacin de ciertas caractersticas de la cosa referida, que se manifiestan en la pregunta: Por qu dices que es buena? La diferencia entre este tipo de afirmaciones y las evaluaciones metodolgicamente correctas es que en estas ltimas los juicios se sustentan en la conciencia de lo que ha de considerarse bueno y en la comprobacin de la presencia de los atributos de una buena escuela. Es decir, la verificacin de las virtudes o defectos de una escuela, de un programa o de un profesor se basan: 1) en la definicin de lo que es bueno o malo, correcto o incorrecto, virtuoso o defectuoso, etc., y 2) en la informacin confiable acerca de las caractersticas que realmente tiene el objeto que se somete a evaluacin. Para explicar qu hacemos cuando evaluamos tenemos que recurrir a la nocin de mtodo, y ms precisamente a la de mtodo de evaluacin. El significado de mtodo denota una forma de razonar, una forma de proceder, una regla de procedimiento; indica orden, secuencia y disciplina en la aplicacin de procedimientos. En las ciencias, el mtodo es todo procedimiento disciplinario que se aplica para encontrar la verdad. La evaluacin forma parte de las ciencias sociales y como tal est obligada a encontrar la verdad de las cosas; la singularidad de este proceso es que existe un problema con la verdad. Para decirlo con mayor precisin, la verdad es doble: la de los valores (porque no hay valores falsos; puede haber antivalores, pero esto es otra discusin) que se personifican, es decir, la veracidad es para alguien en tanto que se basa en una preferencia valoral, y la verdad de hecho, que surge de las actividades educativas tal como se llevan a cabo. Como forma de razonar, la evaluacin se compone de dos premisas o trminos y una conclusin basada en esas dos verdades, que son las que definen un mtodo de tipo evaluativo, diferencindolo del de otras disciplinas o formas de proceder. La primera premisa expresa los valores que, de acuerdo con la ideologa colectiva e individual, deben dirigir la educacin de los individuos, las instituciones educativas, los programas de docencia y, en general, el proceso de enseanza y el de aprendizaje. Denominaremos marco de referencia a la primera premisa del razonamiento valorativo. Los marcos de referencia son criterios, parmetros, patrones de funcionamiento, normas mnimas o estndares organizados para conformar un modelo de buen funcionamiento o un prototipo de calidad de los programas, instituciones, profesores, etc. Su funcin es constituirse en parmetro para la comparacin de los resultados y procesos educativos, guiar la recopilacin de informacin y darle un significado a esta informacin. En tanto que estas definiciones se alimentan no slo de teoras educativas sino de idearios y expectativas sociales acerca de las funciones que debe cumplir la educacin, su constitucin es nicamente producto de una actividad poltica, es decir, de la

determinacin del mejor estado educativo respecto a determinadas circunstancias histricas, sociales, econmicas y culturales. La segunda premisa describe los hechos y actividades de una institucin escolar, tal cual se realizan en la realidad. El procedimiento es emprico, de comunicacin, compilacin y tratamiento de datos; de observaciones y testimonios. Se compone de toda la informacin til relacionada con los resultados y los procesos educativos. La informacin puede ser cualquiera que sirva a los fines de la evaluacin, como la que se obtiene por medio de la medicin de indicadores simples o de desempeo; del anlisis de procesos administrativos o acadmicos; de los anlisis de expertos; de la verificacin de tareas o actividades de los participantes en los procesos de enseanza administrativos o de gobierno; as como de la opinin de los beneficiados de las actividades escolares por medio de encuestas, entre otros. Es decir, mediante cualquiera de los procedimientos y tcnicas afines al carcter de ciencia social de la educacin. Las dos premisas se comparan entre s y se obtienen enunciados que describen las semejanzas y diferencias entre el marco de referencia y la informacin obtenida. A su vez, estos resultados fundamentan las conclusiones y los juicios sobre la educacin, sus programas, sus instituciones, los administradores, los profesores y los alumnos; tales juicios se expresan con trminos como eficiente, vigente, pertinente, congruente, aprobado, actualizado. Valores para la educacin. (caracterizacin de los valores). Todo juicio, toda opinin y toda predisposicin respecto de las tareas educativas y las instituciones que las efectan tienen como premisa un corpus axiolgico, el cual se relaciona con las ideas fundamentales que caracterizan el pensamiento de una persona y colectividad en una poca determinada (cultural, religiosa o polticamente), y con las expectativas acerca de lo que puede ofrecer una escuela (4). De esta manera, la primera tarea de un proceso de evaluacin es la que trata de definir o explicar estos valores. La evaluacin se hace dentro de los marcos culturales y patrones educativos para los que comnmente se argumenta como innecesario especificar el fundamento valoral; esto se debe a una disposicin colectiva para entender la educacin de una forma ms o menos homognea. Sin embargo, por evidentes que sean los valores, esta primera definicin resulta fundamental puesto que los valores tienen historia, es decir, son dinmicos y mutables; lo que es correcto en un tiempo puede no serlo en momentos ulteriores o lo que est bien en una situacin puede no estarlo en otra. De aqu la complejidad de la definicin de los valores. En algunos pases con tradicin liberal arraigada, por ejemplo, las caractersticas de la educacin pblica, gratuita y laica se convirtieron en valores constitutivos de la educacin nacional impartida por el Estado; sin embargo dichos atributos parecen disonantes con los movimientos econmicos en boga, que promueven el individualismo radical, contradictorio con el espritu de igualdad de oportunidades implcito en los valores sealados. La actividad determinante de la valoracin es una apreciacin individual que debe ser compartida con otros; no tiene ninguna utilidad una evaluacin unipersonal para el conjunto de la comunidad escolar. Sin embargo, debe tomarse en cuenta que las

instituciones educativas tienen como misin social construir las condiciones para una formacin prefigurada de los individuos, y esta construccin slo puede ser definida, seleccionada o asumida por los mismos individuos establecidos en sociedad sobre la base de la comprensin de su propia realidad. Estimar, querer, proporcionar bienestar y ser til son las premisas en las que se basa un juicio para determinar si la educacin es valiosa. La definicin de los valores educativos constituye lo que se considera que debe ser la misin formativa de los individuos, as como la forma especfica de la relacin de las personas en un contexto educativo (profesores y alumnos, polticos y administradores) constituye la condicin de las actividades evaluativas. Con lo anterior se entiende que en principio existe una correlacin intrnseca entre los valores que un individuo atribuye a la educacin y aquellos que ha elegido la sociedad para la fundacin de las instituciones. Se entiende tambin que por su carcter ambiguo e histrico y por su tendencia a la universalidad, puede haber conflicto en cuanto a la preeminencia de los valores entre el individuo, su grupo social y otros sujetos, como los representantes del Estado educador: los administradores pblicos y los polticos del servicio educativo. Los valores ganan y pierden jerarqua por factores de dinmica social y circunstancias econmicas, polticas y cientficas que de suyo son mutables, as como por la ubicacin de los individuos en el espectro social que compone el sistema educativo de cada pas. De manera que puede haber contradiccin o diferencia entre los valores de los individuos, de los grupos establecidos de una institucin y de los grupos externos. Como consecuencia de esta situacin, la primera tarea de un evaluador debe ser identificar y consensuar dichos valores entre los grupos de referencia. En este proceso el evaluador debe eliminar, hasta donde es posible, los rasgos de ambigedad de los valores, aclararlos, definir sus trminos y traducirlos a elementos empricos. En otras palabras, debe caracterizarlos. Para el evaluador es fundamental comprender el carcter de los valores atribuidos a la educacin, pues su definicin determina la consecucin de una evaluacin. Sin esta definicin no es posible evaluar ya que se desconoce el atributo que debe ser identificado y calificado en el proceso de evaluacin. Para este propsito se parte del anlisis de situaciones educativas concretas, que remiten a preguntas como: Qu funciones debe cumplir la educacin? Cmo deben ser las instituciones? Qu tipo de formacin debe dar? Qu es una enseanza de buena calidad? Cul es la apreciacin social respecto de una institucin? Las respuestas a estas cuestiones se construyen de acuerdo con nociones acerca de lo que es la cultura, lo que debe ser la civilizacin y las cualidades que debe tener el hombre educado, es decir, con fundamento en los valores que tienen primaca en lugares y pocas histricas determinadas. Al mismo tiempo, las respuestas se relacionan con las necesidades y expectativas que el conjunto social tiene respecto de la educacin. De esta forma, la caracterizacin de los valores es una descripcin de las cualidades que debe tener la buena educacin. Esta caracterizacin sintetiza el espritu de los tiempos a la vez que necesariamente implica una toma de postura frente a los debates acerca de la educacin como institucin social; en consecuencia, tiene un componente poltico. Este componente se manifiesta en acuerdos sociales para la primaca de ciertos valores y debe dar como resultado la especificacin de derechos y obligaciones de las administraciones gubernamentales, de los individuos y de la sociedad civil respecto a

las instituciones educativas. La accin poltica se concreta en las instituciones (con la libertad pertinente), en los idearios y modelos educativos y, en un grado de instrumentacin de las actividades escolares, en los proyectos de mejoramiento y de innovacin tecnolgica, as como en las directrices que cada centro escolar establece para el cumplimiento de sus fines. Estas formas de concrecin de los valores educativos tienen diferentes grados de abstraccin y su definicin nicamente puede ser resultado de un acuerdo entre quienes administran el Estado con responsabilidades educativas en beneficio de los habitantes de un pas, los creadores de las instituciones escolares y quienes realizan las tareas de formacin de individuos. Para evaluar con los instrumentos que en la actualidad forman parte de los procedimientos tcnicos del evaluador, el acuerdo de principio en cuanto a los valores debe traducirse a elementos aprehensibles empricamente, que se manifiesten de alguna forma significativa como referencia a dichos valores. Una de las soluciones al problema de la caracterizacin de los valores educativos ha sido la construccin de algunos conceptos que concretan y describen atributos de la educacin, en los que subyacen las cualidades de la misma. En el lxico tcnico de la evaluacin, a estos conceptos se los denomina objetivos, metas, criterios, parmetros, normas de referencia, patrones, estndares de calidad, normas mnimas de funcionamiento , etc. Su definicin conformara el marco de referencia para la expresin de juicios acerca de las virtudes de un programa de estudios, de un proyecto de innovacin educativa, de una institucin escolar, etctera. Una dificultad respecto de la traduccin de los valores a elementos empricamente aprehensibles tiene un componente tcnico, pues no hay acuerdo universal sobre los trminos de cada uno de los conceptos sealados, por lo que debe seleccionarse la definicin ms adecuada al caso concreto. Tambin tiene un componente poltico que se manifiesta en la necesidad de una seleccin pblica de un compromiso manifiesto que debe ser compartido e incita a convencer a otros de la alta jerarqua de esos valores y sus traducciones empricas y a dejarse convencer por la jerarquizacin de otros. En otras palabras, la caracterizacin de los valores necesita un ejercicio de democracia, de argumentacin y racionalidad de las comunidades educativas. Informacin para evaluar. La segunda premisa de los anlisis evaluativos se compone de la informacin compilada y analizada. Como su significado lo indica, la informacin consiste en dar noticia de algo, dar forma sustancial a una cosa. Este algo o cosa es el objeto materia de evaluacin. Con mayor precisin, informacin significa averiguar la realidad de las cosas educativas, de las actividades escolares que en conjunto tienen como propsito la formacin de los individuos. La informacin para realizar una evaluacin nos remite a las preguntas de sobre qu se necesita informacin y cul es el carcter de la informacin relevante. Para esto debemos conocer la constitucin del objeto: la naturaleza, las caractersticas y los elementos de la educacin, para saber qu informacin se puede obtener. La respuesta a estas cuestiones condiciona el razonamiento instrumental, la tecnologa y los procedimientos de evaluacin que se emplean para conocer los atributos de la enseanza

y de los establecimientos escolares. Por ejemplo, si concebimos la educacin como sustancialmente constituida por comunicaciones relevantes para el desarrollo intelectual y moral de los individuos, la evaluacin sera una; si preferimos definirla como un medio de aprendizaje y formacin instrumental de los individuos, la evaluacin sera otra y, por lo tanto, el tipo de informacin relevante sera distinto en cada caso. No argumentar en favor de alguna definicin, pues no es el propsito de este libro. Slo dir que el tipo de evaluacin aplicada desenmascara la concepcin educativa subyacente, y que las circunstancias polticas de las instituciones establecen la posibilidad de las evaluaciones y a esto debe atenerse el evaluador profesional. Para identificar el objeto de evaluacin podemos centrarnos en las posibles configuraciones de las instituciones educativas como organizaciones de individuos cuyos propsitos son comunes, si no es que afines, que se manifiestan en el contexto de las relaciones que ellos mismos establecen para el funcionamiento de la institucin especfica. Estas relaciones son fundamentalmente de enseanza y aprendizaje, pero tambin administrativas, laborales, gremiales, de planificacin y de evaluacin. De esta manera nos centramos en las manifestaciones de la concepcin educativa subyacente, no en la concepcin misma, siempre ms compleja y controversial. Las manifestaciones educativas (producto de las relaciones en una comunidad escolar) son la forma sustancial de la institucin respectiva, lo que constituira la informacin. El sentido de los objetos educativos que tradicionalmente son materia de evaluacin (programas, currculo, materiales de enseanza, personal docente y administrativo, aprendizaje de los alumnos e institucin) se reubican como parte de un sentido ms general y comprensivo: el de la educacin impartida en una institucin creada ad hoc. De manera que estamos en un terreno mucho ms amplio que el sealado en la bibliografa de evaluacin educativa. Una forma de caracterizar las manifestaciones educativas por medio de la informacin es aquella con la que se pueda: Describir las relaciones constituyentes de una realidad educativa. Describir los elementos estructurales y normativos de la institucin y las formas especficas de realizacin de stos. Explicar la forma de organizacin de las relaciones de la comunidad escolar en el contexto de lugares, tiempos, resultados, etctera. Identificar las singularidades y los conflictos de los elementos de la organizacin y de las relaciones de los elementos. Configurar los modelos de funcionamiento reales y los ejemplares. Predecir, con un grado aceptable de certeza, el comportamiento futuro de la organizacin mediante la prospeccin de los datos o de esos modelos. Comparar una actividad similar en otras organizaciones afines. La informacin puede ser cualquier dato que d noticia del estado en el que se encuentra la institucin y las relaciones educativas, administrativas y de direccin, que pueda

conducir por las configuraciones sealadas. Puede ser cualquier dato estadstico que se encuentre en los sistemas informticos de la institucin; los testimonios de los participantes en las relaciones educativas; la expresin, por cualquier medio, del grado de satisfaccin de los beneficiarios con el servicio educativo; los registros de observaciones; la consulta a expertos, y los registros documentales de la institucin, entre otros. Las preguntas metodolgicas son: Qu informacin se necesita? Cmo reconocer qu se informa? Quin proporciona la informacin? Para contestar la primera pregunta es necesario considerar qu la informacin que se compila no es indiscriminada sino que el procedimiento de bsqueda de datos est dirigido por los propsitos de la evaluacin, y que la informacin se selecciona y en algunos casos, como el de la opinin de los beneficiarios o de la consulta a expertos, se crea. Por ejemplo, si la evaluacin tiene por objetivo la negociacin de presupuestos y subvenciones slo es necesario medir los indicadores correspondientes a la eficiencia institucional, como generalmente se han establecido en las administraciones pblicas gubernamentales o en las agencias de financiamiento (porcentaje de graduados, promedios de aprovechamiento, etc.. Pero si se quiere conocer la satisfaccin de los profesores con su situacin laboral, habra que elaborar una encuesta de opinin, realizar entrevistas testimoniales, configurar modelos o tipologas de contratacin y promocin laboral, y revisar polticas y reglamentos, entre otras acciones. Para las dos preguntas siguientes proponemos considerar una nocin de objetos de evaluacin con base en el concepto de sistema [vase L. Von Bertalanffy, Teora general de sistemas]. Los objetos de la evaluacin educativa se definen a partir de cualquier entidad formada por una estructura con funciones relacionadas entre s, identificables de una manera relativamente inequvoca, que complementa o se sobrepone y en ocasiones sustituye a la estructura reglamentaria de la institucin educativa de que se trate. Esto no significa que la estructura formal no sea objeto de anlisis; todo lo contrario: partiendo de ella se identifican las estructuras de funcionamiento, que se observan como un mismo proceso, ya sea que formen parte de una sola o de ms instancias funcionales. Por ejemplo, de manera anloga a la percepcin de la enseanza como un proceso asociado con el aprendizaje, independientemente de que participen sujetos diferentes, el caso de la administracin de una institucin educativa slo puede tenerse en cuenta por medio de sus relaciones de apoyo con los diferentes procesos educativos. El esfuerzo por definir estos objetos tiene relacin con la necesidad de volver asequible la complejidad educativa y reconocer la dinmica real de las entidades institucionales mediante la identificacin de lo que subyace a la clasificacin usual del sistema educativo en su conjunto. Al respecto, el anlisis del objeto de evaluacin comprende varias referencias sistmicas. La primera se relaciona con la divisin entre modalidades: formal (escolarizada y abierta) y no formal. Una segunda referencia incluye la divisin de la educacin en niveles: preescolar, primaria, secundaria, superior media y superior. La tercera puede implicar el espacio formal que provee las condiciones infraestructurales para las oportunidades educativas: aula, institucin, nivel, modalidad, subsistema, etc. La siguiente referencia abarca todos los instrumentos en los que se apoya la actividad escolar: currculos, programas, proyectos, bibliotecas, laboratorios y espacios de recreacin, entre otros. Podemos definir tambin, por ejemplo, dentro de la caracterizacin de una institucin, su sistema de gobierno, el sistema reglamentario, el

sistema para los procesos de aprobacin de reformas, los procesos de contratacin, los exmenes de oposicin y el ascenso de profesores. Todas las posibilidades de concepcin de sistemas y de sistemas dentro de sistemas constituyen los objetos posibles de evaluacin educativa. Josu Landa propone el concepto de microsistema operativo para profundizar en el anlisis de los complejos de relaciones que subyacen a las clasificaciones sistmicas usuales y para definir a algunos de los objetos de la evaluacin. El trmino designa todo espacio de la estructura de cada institucin educativa que puede ser diferenciado porque desempea una funcin concreta y limitada, en virtud de que alienta procesos especficos con base en determinados insumos. Para este autor, el microsistema operativo es la unidad estructural bsica de los sistemas institucionales, sus lmites dependen de los procesos concretos que regularmente ejecuta, de los resultados inmediatos y de los elementos que transforma. Estos factores sirven para que dichos microsistemas contribuyan al funcionamiento global del sistema institucional. Las caractersticas de los microsistemas operativos son [vase Qu evaluar en el sistema de educacin superior?, pp. 147-158]: Cumplimiento de una o varias funciones diferenciadas. Regularidad de sus procesos. Articulacin de relaciones sociales directas y estables, en virtud de los procesos y resultados del microsistema operativo. Constituirse en el mbito directo, aunque no nico, de pertenencia de determinadas personas interrelacionadas. Tener delimitada su funcin y responder especficamente a la fiis~, toria del sistema institucional; en tal sentido, ser una ventana,~a la presencia de la historia social en el seno de dicho sistema. No es intencin de este apartado hacer la definicin de cada uno de los objetos educativos susceptibles de evaluarse. Lo importante es sealar que para la aplicacin adecuada de cualquier procedimiento, el proceso de evaluacin tiene que hacer referencia necesariamente a la definicin del objeto, la descripcin de sus partes constitutivas, la base terica de la definicin, la forma como se interrelaciona con otros objetos educativos, etc. El anlisis del objeto es necesario porque condiciona la pertinencia de los protocolos de evaluacin. Por ejemplo, no se evala de la misma forma un currculo definido como una organizacin de objetivos educativos linealmente programados, que un currculo definido como una interpretacin educativa del estado del conocimiento cientfico. Asimismo, la concepcin sistmica tiene consecuencias en la forma de entender a los sujetos de la evaluacin: es usual que los individuos funcionen como meros informantes de acuerdo con las directrices de los evaluadores. Pero si se entiende el objeto de evaluacin como un sistema, subsistema o microsistema operativo, el papel de los individuos como sujetos de evaluacin cambia radicalmente. No son ya slo informantes de los acontecimientos de su institucin sino que se convierten en analistas, revisores y crticos de la actividad que ejecutan junto con los otros individuos que

forman parte del sistema de que se trate; saben cules son los insumos que necesitan para su actividad y cmo la falta o la presencia de ellos la afecta; conocen cules son los procesos que deben realizarse y las consecuencias de que no se efecten y estn al tanto de los resultados de estas operaciones. Se convierten en sujetos para la evaluacin. Carcter de las conclusiones. La conclusin es un enunciado constituido por los trminos de la expresin de los valores atribuidos a la educacin y por los datos obtenidos a partir de la aplicacin de los procedimientos de evaluacin. La conclusin evaluativa es la manifestacin del juicio acerca de la presencia o ausencia de los atributos esperados y por tanto la determinacin de las virtudes y defectos del objeto evaluado. Las conclusiones siguen el patrn de los procedimientos empleados en el proceso de aplicacin de la evaluacin. Si se midieron indicadores, los datos obtenidos se contrastan con el estndar esperado y se concluye la buena o mala eficiencia de la institucin; por ejemplo, si se considera que una media nacional de eficiencia terminal revela un buen funcionamiento institucional, se determina si el ndice de eficiencia de la institucin respectiva es igual, superior o inferior a la tasa nacional. Si se ha analizado la eficiencia terminal a partir de los complejos de relaciones institucionales, las conclusiones son argumentativas respecto de lo que se hace y se opina para lograr una eficiencia adecuada. El primer tipo de conclusiones se refiere a la evaluacin de resultados caractersticos de las relaciones funcionales entre las instituciones y las administraciones pblicas de la educacin o las agencias de financiamiento; el segundo tipo se refiere a la evaluacin de procesos y constituye un camino para comprender las causas y condiciones de los resultados. El captulo 5 est dedicado a describir este ltimo tipo de conclusiones y a la redaccin de un informe de evaluacin. Un problema por resolver en la secuencia de realizacin de una evaluacin es determinar quin enjuicia y quin elabora el informe de conclusiones. Hay dos opciones evidentes: o alguien ajeno a la institucin o miembros de sta. En el primer caso se pretende imparcialidad y mayor objetividad y en el segundo, un mayor conocimiento del complejo institucional. Los procedimientos aplicados en Estados Unidos, Francia y Canad para acreditar la calidad de las instituciones complementan ambos procedimientos mediante la elaboracin de un autoestudio y la revisin que comisiones externas hagan de los resultados de ste. El informe final lo elaboran tales comisiones. La experiencia muestra que la presencia de un participante externo atempera las diferencias de opinin en el seno de las comunidades educativas y puede favorecer un mejor entendimiento del proceso, sobre todo si se trata de un evaluador profesional, experto en la concepcin y la aplicacin de procedimientos. En cualquier caso, el mejor juicio slo puede ser calificado dependiendo de lo que se pretenda con la evaluacin. Si se trata de comprobar los efectos de la educacin en el bienestar y la calidad de vida de grupos sociales, el juicio depende de sus niveles de satisfaccin con el servicio educativo; si se trata de establecer la imagen pblica de calidad educativa, depender del parecer de un grupo socialmente reconocido como digno de credibilidad moral e intelectual. El mtodo de razonamiento, la aplicacin de procedimientos y la concepcin de los objetos de evaluacin (los cuales se generan a partir de complejos de relaciones

sistmicas entre individuos con funciones dentro de una institucin educativa) remiten a consideraciones acerca de la naturaleza poltica de la evaluacin y acerca de los principios ticos que deben guiar estos procesos. Tales principios ticos nos revelan el papel y la responsabilidad de cada individuo en la expresin de sus valores, los cuales se reflejan en los anlisis y en los juicios. Para los evaluadores clsicos esto no constituye un problema: los evaluadores son los que tienen la responsabilidad de enjuiciar, evaluar y concluir; acaso su nico problema es la validez de las conclusiones. Los individuos restantes constituyen donadores de informacin y objetos de observacin. POLTICA Y TICA DE LA EVALUACIN (0 LA LIDIA DE LOS SUJETOS PARA LA EVALUACIN) Cuando afirmo que no existe como tal un modelo universal, establezco que el evaluador debe definir la viabilidad de una evaluacin; es decir, la evaluacin no es una ciencia infalible, es una forma de proceder en un mundo social determinado: la institucin educativa, con el propsito de calificarla en su conjunto o en alguna de sus partes constitutivas. Es una disciplina social que tiene formas de proceder especficas y comunes. La institucin educativa, cualquiera que sea su estructura formal (pblica o privada, elemental, media o superior, rural o urbana), es una entidad social y cultural donde surgen relaciones entre individuos que son propias de dicha institucin, como las de profesores y alumnos, pero tambin reproduce otras relaciones afines que reflejan el mundo social, poltico y econmico que la ha creado. Estas relaciones estn formalizadas en leyes y reglamentos o en la constitucin de gremios y sindicatos o bien se llevan a cabo, por la dinmica misma de la institucin, como es el caso de las organizaciones estudiantiles o los colegios agrupados por algn inters de tipo acadmico. As mismo tiene relaciones con el mundo exterior porque provee el servicio social de la educacin: en primera instancia, con administracin gubernamental y con grupos de la comunidad social de manera explcita o indirecta. El problema de validez de la evaluacin es que cada persona y cada grupo establecen relaciones con el medio educativo de acuerdo con sus propios valores e intereses. Es ms, un individuo puede modificar su parecer de acuerdo con las determinaciones de los diferentes grupos a los que pertenece o segn las diferentes circunstancias personales o de la institucin. Esta situacin determina que la imposicin de un proceso evaluativo o de la jerarqua de ciertos valores para la calificacin de la entidad educativa o para la seleccin de procedimientos o enfoques de anlisis de la informacin, y la orientacin de las conclusiones, constituye en todo momento una actitud hegemnica y homologadora. Esta resulta contraria al espritu de determinacin social de la verdad de los valores y de las circunstancias que vive una institucin educativa. La consecuencia de tal actitud es la desconfianza en el medio institucional, y en repetidas ocasiones se favorecen las comunicaciones perturbadas que se reflejan en la calidad de la informacin proporcionada por los sujetos del proceso. El punto extremo de rechazo a la pretendida hegemona y homologacin es la de descalificacin colectiva de los juicios y conclusiones que se hacen acerca de la comunidad escolar de referencia. Es comn que con estas condiciones las comunidades experimenten un extraamiento o una

enajenacin respecto de los procesos evaluativos. No por otra cosa se ha creado la duda acerca de la utilidad de los informes de la evaluacin, tan generalizada en el medio educativo. Una actitud contraria a la imposicin de marcos valorales es el reconocimiento de carcter poltico de la evaluacin, y consecuentemente la consideracin de que estos procesos, con otros, se inscriben en el conjunto de las dinmicas institucionales del medio educativo. De manera inequvoca podemos decir que no hay evaluacin valedera para el mejoramiento del medio de educacin si no se inserta en la dinmica de esas relaciones sociales, para analizarlas y calificarlas. Si los participantes en esas relaciones hacen a un lado el anlisis y la calificacin, es imposible la evaluacin, cuando menos en el sentido mencionado anteriormente: el de la construccin de la verdad socialmente valiosa. Todos los participantes deben tener conciencia de que sin poder poltico la evaluacin es un ejercicio especulativo y que los evaluadores aplican sus procedimientos en un conjunto de situaciones contextuales superpuestas: la de la organizacin institucional, la tica y la poltica; adems, las administraciones gubernamentales aplican polticas nacionales de evaluacin con fundamento en criterios de aplicacin generalizada. De esta manera se hace evidente que el evaluador no acta solamente con sus propias determinaciones procedimentales y valorales sino que promueve valores e intereses de unos grupos frente a otros, y la manifestacin explcita y pblica de esto confiere a su actividad profesional un sentido tico. Pero cmo lidiar con el conjunto de relaciones sociales y polticas que determinan la orientacin del proceso evaluativo?. En primer lugar, asegurando que el proceso est apoyado por quien ejerce una autoridad y tiene el poder y liderazgo suficientes para alentar la aceptacin de la evaluacin y la participacin de las personas. Segundo, mediante la identificacin de los sujetos de las situaciones educativas, individuos o grupos. Tercero, mediante la elucidacin de la forma como actan y se relacionan estos sujetos en el marco institucional y con su entorno social. Por ltimo, organizando los grupos de una forma especial y con propsitos especficos, fundamentalmente para homologar lo que puede ser comn a otras instituciones y reivindicar lo que es diferente. De esta manera se puede identificar los sujetos para la evaluacin: los individuos o colectivos relacionados con la aplicacin de procedimientos de valoracin a una entidad educativa son aquellos relacionados con la expresin de opiniones, juicios o informacin especfica acerca del objeto analizado que reflejen una situacin objetiva, as como con la manifestacin de algn grado de satisfaccin con la educacin y sus instituciones. Tambin se identifican como sujetos para la evaluacin los individuos o las entidades sociales que promueven el anlisis o la valoracin de la educacin y los que definen la orientacin del objeto evaluado. De manera que se pueden identificar al menos cuatro grupos de sujetos para la evaluacin: los polticos o los promotores del proceso que generalmente tienen algn tipo de autoridad; los que trabajan y estudian en una institucin educativa; los grupos sociales externos a la institucin que dan una orientacin definida a los diferentes aspectos de la educacin a partir de sus propias necesidades, y, finalmente, los especialistas o profesionales de la evaluacin. Desde nuestro punto de vista todos son evaluadores (no slo estos ltimos), porque todos participan en el proceso de una manera u otra, para validarlo o quitarle legitimidad, para

proporcionar informacin, para analizar su mbito de responsabilidad o para calificar sus relaciones institucionales, sus actividades y las de otros. Sin embargo, debe considerarse que las tareas evaluativas formales usualmente son actividades extraordinarias en relacin con la vida cotidiana de las instituciones, y los profesores y administradores estn poco dispuestos a incrementar sus cargas de trabajo, sobre todo si desconocen la utilidad de una evaluacin. En esta circunstancia es necesario que el evaluador cree las condiciones para la participacin de las comunidades institucionales, y una de las formas es organizando a la comunidad en grupos especficos. La clasificacin de los sujetos se ver con amplitud en el captulo 4. Cada uno de estos grupos puede actuar como sujeto individual o colectivo. En el primer caso la fuerza de su valoracin se da en tanto que los organizadores de la evaluacin consideren significativa su opinin; en el segundo caso, depende del consenso logrado en el interior del grupo. Adems, cada uno tiene sus intereses y necesidades educativos que desean satisfacer por medio de los servicios que presta una institucin. En este sentido se pueden observar cambios en el valor de referencia de los juicios acerca del objeto de evaluacin. Es posible, en efecto, que la bsqueda y transmisin de la verdad o la formacin de estudiantes con criterios ticos y estticos se manifieste como una prioridad, pero esto puede ceder paso la preferencia por la utilidad que se espera de la educacin en relacin con el mercado de trabajo, segn las necesidades o expectativas personales o de grupo. Idealmente, la emisin de juicios acerca del objeto educativo est basada en el dilogo y la concertacin de intereses entre los diferentes grupos de sujetos partcipes del objeto de evaluacin. Sin embargo, generalmente la cooperacin de los individuos est en relacin directa con las ganancias que aspiran a obtener y, por supuesto, con la inafectabilidad de sus intereses. El problema de la evaluacin es precisamente que ni ganancias ni intereses estn completamente a salvo cuando se emiten juicios de valor acerca de una actividad educativa. El anlisis de cada grupo puede dar cuenta de este conflicto. El evaluador profesional es el encargado de transformar la idea original en mecanismos tecnolgicos adecuados para emitir juicios de valor confiables y tomar decisiones acerca de las correcciones al funcionamiento del objeto de evaluacin. Su papel no se limita a una aplicacin mecnica de conocimientos, implica el anlisis estratgico y presupuestario necesario para evaluar. Algunas de sus tareas son: crear condiciones de posibilidad tcnica para realizar la evaluacin; identificar los procedimientos viables en relacin con las condiciones polticas, e idear o elegir las tcnicas adecuadas. Acerca del evaluador existen dos posturas que pueden considerarse extremas. Lee J. Cronbach propone que el evaluador debe ser el facilitador o el educador respecto de una situacin objeto de anlisis. En su opinin el evaluador es llamado por una institucin para iluminar el problema educativo correspondiente en un periodo corto. Para hacer esto debe reconocer los temas relevantes del caso; a su vez, la seleccin de temas est guiada por consideraciones prcticas, polticas e histricamente sustantivas. El evaluador no debe establecer el valor del objeto ni tomar decisiones por otros, pero debe sentirse libre para expresar posturas y emitir opiniones que considere importantes sin omitir las evidencias inconsistentes con su opinin.

Cronbach aade que la funcin propia de la evaluacin es acelerar el proceso de aprendizaje por medio de la comunicacin de aquello que, de otra manera, podra ser soslayado o percibido errneamente [vase Designing Evaluation of Educational and Social Programs]. Jaap Scheerens, por su parte, propone adoptar una actitud poltica con el fin de conseguir la viabilidad y aceptacin de la evaluacin dentro de una institucin. Esto significa que el evaluador delinea cuidadosamente el contexto en el que la evaluacin se va a realizar, y explora medios factibles de provisin de insumos para potenciar la investigacin valorativa y los medios para incrementar las condiciones favorables para la evaluacin. Finalmente debe decidir los cursos de accin de los siguientes factores: los insumos para la creacin y la ejecucin de la evaluacin; la transformacin de los resultados de la evaluacin en procesos de decisin y la transformacin de las estructuras organizativas para la ejecucin de las decisiones [vase Contextual Influences on Evaluation: the Case of Innovative Programs in Dutch Education>>, pp. 309-317. En otras palabras, el papel es el de un tcnico pero tambin el de un poltico que crea las condiciones propicias para ejecutar un proceso de evaluacin. A diferencia de la opinin de Cronbach, esta actitud poltica tiene mayores visos de realizacin cuando el tcnico est involucrado con el objeto que se evaluar o pertenece a la institucin que conforma el contexto inmediato de la evaluacin. La decisin de tomar una u otra postura depende de la relacin que el evaluador tenga con la institucin donde se evala algn proceso. Si es un evaluador externo tiene mayor libertad para permitirse educar sobre procesos de emisin de juicios. Si forma parte del personal de la institucin, el problema en este caso es cmo conformar un grupo superpuesto a las estructuras tradicionales de la institucin que se cohesione alrededor de intereses comunes con otros grupos que participan en la evaluacin. La tarea primordial del evaluador es hacer vlida la evaluacin, dar certeza a las conclusiones. La integracin de la evaluacin en la cotidianidad institucional es un propsito de segunda instancia; en cualquier caso, no intuimos otra forma de validacin de las conclusiones, excepto la de integrar al proceso el enjuiciamiento crtico de los mismos sujetos acerca de sus propias actividades educativas. Esto no quiere decir que lo ms viable polticamente sea una evaluacin autogestiva que se realice en el tiempo, lugar y circunstancia que ms convenga a los grupos institucionales. Si la imposicin del proceso nos lleva a realizar informes sin utilidad alguna, la evaluacin autogestiva nos llevara a diversas formas de complacencia. La evaluacin en el interior debe ser complementada y contrastada con las referencias sociales y la evaluacin externa. La tarea del evaluador es desplegar todas sus destrezas tcnicas para evidenciar las virtudes y deficiencias de los procesos de las instituciones educativas; es crear las condiciones para que la comunidad escolar haga conscientes estas evidencias surgidas de sus propios anlisis y de los externos. Lo conducente desde el punto de vista profesional es, en primersima instancia, asegurar la interlocucin con quien solicita una evaluacin y definir con esta persona o grupo el propsito de evaluacin. ste es el punto de inicio de todas las dems decisiones polticas y tcnicas para realizarla, del sentido del informe y de las relacin que debe asumir el evaluador con los dems participantes del proceso. Considero, como Cronbach, que el evaluador no debe imponer sus valores pero s emitir su opinin como experto; creo adems que si forma parte de las instituciones, como lo propone

Scheerens, no puede guardar distancia de sus propios intereses. La pureza y la neutralidad en las interpretaciones y los juicios es inexistente, pero s puede existir buena fe y profesionalidad y es ms fcilmente si el evaluador es ajeno a la dinmica institucional. Adems de la validez de las conclusiones, las preguntas que interesan sobre la tica de los procesos de evaluacin son: qu papel tendr el evaluador en el conjunto de relaciones polticas y sociales que se presentan en la institucin?, cmo se relacionar con sus interlocutores?, a quin definir como su interlocutor?. Tambin resulta fundamental la voluntad de participacin de los individuos de la comunidad institucional; la voluntad de responsabilizarse de sus valores y de expresarlos aunque no sean polticamente correctos en tiempo y circunstancia, y tolerar los valores de otros y sus formas de expresin; estar dispuestos a llegar a puntos de encuentro respecto de las funciones educativas que todos desempean; la voluntad de veracidad de la informacin que proporcionan y de asumir su responsabilidad frente a la satisfaccin social y los beneficios que espera la sociedad de la actividad educativa. El resguardo poltico de la evaluacin no debe dar por solucionado otro problema tico ms fundamental que la validez de las conclusiones, el cual se refiere a la correccin de los valores expresados. La responsabilidad del evaluador no se restringe a evaluar las cosas de acuerdo con los valores de una comunidad escolar, sino que debe tomar postura frente a la correccin o verdad de esos valores. La paradoja est en relativizar esa validez a una situacin, un tiempo y un grupo humano determinados o basar la evaluacin en lo que de hecho es un verdadero valor; es decir, concluir sobre la eficiencia y la eficacia de una situacin educativa o sobre el valor de la formacin humana producto de esa situacin educativa. Un punto de encuentro para deshacer la paradoja es poner la evaluacin en la ruta del mejoramiento de la educacin y de las situaciones educativas concretas para el bien comn (paideia), sin obviar la eficiencia y la eficacia de las acciones dirigidas a esa ruta. Esto nos lleva a considerar tambin que una evaluacin termina cuando el evaluador suscribe las recomendaciones del caso, por lo que no puede sino ser un experto y tener una cultura probada acerca del tema de evaluacin. En este sentido la dimensin tica de la evaluacin de las instituciones lleva a considerar que la construccin de las referencias valorales de la propia comunidad escolar debe incluir referencias de satisfaccin social. Lo cierto es que el evaluador siempre tiene un juicio acerca de la mejor opcin educativa, basado en su experiencia y en sus principios tericos, polticos y psicolgicos. La disyuntiva es ponerlos en juego en el proceso de anlisis o dejarlos entre parntesis; creo que lo primero es inevitable y lo segundo imposible. El evaluador debe trabajar como un experto (y serlo realmente) tanto en educacin como en evaluacin, pero tambin debe funcionar con principios y valores personales y fundamentales para cualquier sociedad civilizada, y debe saber qu responsabilidades exigir a una comunidad escolar sometida a un anlisis. Debe saber tambin cundo retirarse de una evaluacin que sustenta valores contrarios a esos principios, y la base para una decisin de este tipo slo puede ser un juicio personal. Una de las bases de actuacin del evaluador la proporcion un comit estadounidense en 1980, mediante un documento titulado Estndares para la evaluacin de programas,

proyectos y materiales de educacin, que entre otras cosas es un cdigo profesional para el rendimiento de cuentas de los evaluadores y para desarrollar la credibilidad pblica de la evaluacin. Estos estndares se emitieron divididos en cuatro grupos: La utilidad de los estndares para asegurar que una evaluacin sirva a las necesidades de informacin prctica de una audiencia determinada. La factibilidad de los estndares dirigidos a asegurar que sean realistas, prudentes, diplomticos y equilibrados. La correccin de las normas, para asegurar que la evaluacin se conduce con legalidad y tica, y asumiendo la responsabilidad del bienestar de los involucrados y los afectados por sus resultados. La precisin de los estndares para asegurar que la evaluacin revele y transmita informacin tcnicamente adecuada acerca de las caractersticas del objeto de estudio que determina su valor mrito [vase D. L. Stuff lebeam y G. Madaus, The Standards for Evaluation of Educational Programas, Projects and Materials: a Description and Summary, pp. 395-404.