LA EVALUACIÓN DE DISPOSITIVOS EDUCATIVOS*

Azucena Rodríguez Ousset

Abstract

En el marco de las políticas de descentralización educativa de corte neoliberal la

evaluación educativa ha adquirido, cada vez con mayor fuerza nuevas funciones. Estas
funciones se refieren a la evaluación de macroestructuras (el sistema educativo en su
conjunto o por niveles) y de mesoestructuras (los currícula, proyectos educativos,
programas, procesos de formación de docentes, etc.) Tales estructuras pueden ser el
resultado de elaboraciones específicas e incluso tener carácter efímero y constituyen el
producto de las demandas de políticas educativas que priorizan las leyes del mercado y la
“particularidad” de cada proyecto. En este sentido se habla aquí de dispositivos
educativos.

A partir de diferenciar dos funciones críticas de la evaluación educativa. El control y la

evaluación educativa en sentido estricto (Ardoino y G.Berger, 1989;Ardoino 1993a y
1993b), se abordan dos cuestiones centrales y básicas en la metodología propuesta por
Figari(1993; 1994): ¿Qué se evalúa? o la problemática del objeto de la evaluación y ¿a
partir de qué se evalúa?, o sea la cuestión del “referente” (Figari,1993 y 1994;
Barbier1993 y 1999). Estos dos interrogantes constituyen la preocupación central del
trabajo, el cual sustenta la tesis que se trata de no sólo temáticas de orden epistemológico
y metodológico (lo cual de por sí ya es importante) sino también que alrededor de estas
cuestiones, en especial la de referente, se pone de manifiesto el poder en los procesos de
evaluación de dispositivos educativos.

La puesta en práctica de esta metodología requiere elaboraciones específicas que

atiendan a las particularidades de cada dispositivo educativo y a las diversas
interrelaciones entre los actores de los procesos educativos. El trabajo concluye
exponiendo algunas de estas temáticas y también ciertas consideraciones derivadas del
trabajo con esta metodología.

*
Artículo publicado en Revista Pedagógica Universitaria. Nº 32-33, Julio 1999-junio 2000. Instituto de
Investigaciones en Educación de la Universidad Veracruzana. Pp. 135-152.
Introducción

La problemática de la evaluación, durante mucho tiempo restringida al ámbito del aula, ha

tenido en los últimos años una expansión considerable, su aplicación se ha hecho cada
vez más compleja y en particular extensiva a diferentes objetos: la institución educativa,
los docentes, el curriculum, etc. Tal expansión no surgió de necesidades intrínsecas a la
situación escolar sino de presiones externas ligadas en general a las crisis económicas y
a los procesos de globalización económica y cultural inherentes a las políticas
neoliberales.

En el marco de estos procesos es necesario hacer particular mención, como elemento

que ha apuntalado las prácticas de evaluación educativa, las políticas de reforma
educativa de corte descentralizador.

En el ámbito nivel universitario las instituciones educativas han sido exigidas a

“autoevaluarse”, tal es el caso de los procesos generados en las Instituciones de
Educación Superior Públicas del país, como requisito indispensable para el otorgamiento
de recursos extraordinarios ante el estrechamiento presupuestal. Aunque planteadas
como auto evaluaciones, están orientadas a rendir cuentas y forman parte de los
mecanismos de control del Estado hacia las instituciones educativas.

Múltiples son las formas como se expresa la evaluación (o quizás sería mejor hablar ya de
control, pero con posterioridad diferenciaré estos conceptos y prácticas), si bien tienen en
común la búsqueda de controles centrales ante el avance de las políticas de
descentralización educativa. Ejemplo de ello, en lo referente a los estudiantes, pero que
se hace extensivo a las instituciones educativas, son las llamadas pruebas nacionales de
aprovechamiento escolar, que con diferentes denominaciones y con algunas variantes se
aplican en México y en otros países de América Latina. Al respecto es bueno recordar que
el paradigma de estas políticas educativas ha sido el proceso británico, iniciado en la
década del setenta y aún antes del inicio de la administración de Margaret Thatcher.
Básicamente se implementó a través de un Curriculum Nacional que especifica metas de
logro y que sirve de base para la evaluación mediante pruebas nacionales de corte
standardizado ( McCormick y James, 1996;Terigi,1997; Rodríguez Ousset,1997). No es
mi intención extenderme aquí en las múltiples problemáticas derivadas de la aplicación de
las llamadas pruebas nacionales o de los también denominados operativos nacionales de
evaluación., si quiero señalar que tal práctica está sujeta a serios cuestionamientos en lo
referente a dos temas centrales de la evaluación educativa: ¿cuál es el objeto de la
evaluación? o sea: ¿qué se evalúa?, ¿qué es lo referido? y en segundo término, pero
con igual rango de importancia: ¿en función de qué se evalúa?, ¿cuál o cuáles son los
referentes?. El trabajo sobre estos interrogantes constituye el propósito central de este
artículo, en su desarrollo espero poder retomar el caso de las llamadas pruebas
nacionales para señalar los problemas epistemológicos y metodológicos en juego.1

1
A nivel social cabe señalar que las pruebas nacionales han permitido la clasificación de las escuelas según
los llamados “rangos de excelencia” (Periódico Reforma, 23 de noviembre de 1998; Periódico La Jornada, 5
de enero de 2000 ). La ubicación de las escuelas un “ranking” deriva en efectos de prestigio-desprestigio de
las instituciones. Puede uno preguntarse: ¿es válido juzgar la calidad de cada escuela por el sólo hecho de
evaluar a los estudiantes en ciertas asignaturas? Como veremos más adelante se trata de un típico caso de
deslizamiento del objeto de la evaluación, además: ¿redunda esto en beneficio de la mejora de las escuelas
operando como retroalimentación?, esto resulta difícil ya que no permite explicar y comprender las
problemáticas específicas de cada escuela y región.
Reconocer el peso de ambos interrogantes constituye el primer paso para el análisis de la
metodología para la evaluación de dispositivos educativos que, siguiendo el pensamiento
de Figari(1993 y 1994) y mi propia práctica, expongo en estas líneas. Me permito utilizar
para mostrar su uso, partes de trabajos elaborados por mis alumnos de Maestría. A ellos
mi agradecimiento no solo por este aporte, sino porque pensar juntos ha constituido para
mi una experiencia intelectual y política muy valiosa.

Sin embargo, antes de tales temas, deseo referirme al concepto de dispositivo educativo
expresado en el título de este artículo. Su clarificación permitirá comprender porqué todo
proceso de evaluación de programas y de proyectos educativos requiere una construcción
“ad hoc”, realizada por todos los implicados en la situación educativa . Solo con tales
recaudos metodológicos es posible visualizar a la evaluación como elemento para la
mejora profesional de los docentes y de las condiciones de aprendizaje de los
estudiantes. Aunado a estas cuestiones será necesario, siguiendo a Ardoino ( 1980;1989;
1993a y 1993b) que distingamos dos funciones críticas: el control y la evaluación.

Los dispositivos educativos: objetos de nuestro tiempo.

En el contexto de este trabajo la noción de “dispositivo educativo” sigue los aportes de

Gerard Figari (1993 y 1994) quién reconoce los antecedentes mecánicos que tal término
evoca y se refiere a la manera como se disponen los diversos elementos de un aparato y
también a su funcionamiento. Vale decir un dispositivo está conformado por diferentes
partes, partes que no operan en forma aislada sino en forma interrelacionada. Explicar,
comprender, evaluar un dispositivo requiere reconocer cada parte, su particularidad, pero,
sobretodo poder comprender y valorar cómo funciona2.

¿Por qué constituye un objeto hasta cierto punto novedoso y particular de esta época?,
¿qué diferencia este concepto de las ideas de programas, currícula o proyectos como
elementos instituidos y de relativa permanencia?, precisamente el carácter de
construcción realizada ex profeso y su posible carácter transitorio (lo cual no niega su
posible institucionalización futura) de las estructuras de mediación (mesoestructuras)
que sirven de puente entre el Sistema Educativo en su nivel macro y sus grandes
finalidades y el hacer concreto de maestros y alumnos en cada salón de clases. Tales
dispositivos educativos no son otro que los currícula, los programas, los proyectos
educativos. Pero no se trata de designar lo viejo con nuevos nombres o de agregar otro
término al lenguaje pedagógico. Se trata de ver cuál es el nuevo sentido que programas,
proyectos, currícula adquieren en el marco de las actuales políticas de descentralización
educativa de corte neoliberal.

La descentralización educativa ha significado, entre otras cuestiones, la exigencia a cada

institución educativa de elaboraciones pedagógicas específicas que respondan a sus
particularidades. Bajo tal rubro involucro los proyectos educativos, los proyectos
innovadores, los proyectos curriculares de cada escuela.

En la lógica mercantilista de estas reformas educativas la intención es ofrecer distintas

opciones educativas a través del posicionamiento de cada escuela en el juego de la

2
Resulta importante señalar que es posible conceptualizar al dispositivo desde diferentes ópticas. Para un
análisis de la noción de dispositivo pedagógico en las perspectivas del psicoanálisis, de M. Foucault y la
didáctica sugiero la lectura de Souto, Marta. et.al. (1998). Grupos y dispositivos de formación..
oferta y la demanda3. Ofertas diferenciadas…para los diferentes gustos del consumidor.
Como si la variedad asegurase la excelencia, como si todos los ciudadanos (en esta
lógica debería hablar de consumidores, pero me resisto al término por sus connotaciones
ideológicas y economicistas) tuviesen posibilidades de elegir en igualdad de condiciones
y con la misma información acerca de la validez de cada opción.

Sin embargo, estamos ante elaboraciones que pueden ser efímeras, que muestran la
pérdida de un referente único: el modelo nacional propio de los sistemas educativos
altamente centralizados y la necesaria búsqueda de referentes específicos inherentes a
cada situación educativa. Esto plantea problemas muy interesantes a la evaluación
institucional. De su resolución dependerá la legitimidad de la evaluación y su capacidad
para comprender cada situación específica, sin operar como mero control.

Dos funciones críticas: el control y la evaluación.

En el ámbito de la evaluación educativa, sea ella referida al rendimiento de los alumnos,

al análisis global del proceso educativo. al sistema educativo en su conjunto o en sus
distintos niveles, así como a la evaluación de programas, proyectos, currícula, etc. se
confunde, a menudo, el control y la evaluación en su sentido amplio. Incluso se habla en
general de evaluación, encubriendo la función de control. Sin duda el término evaluación
tiene un carácter “light”, mucho más aceptable que el de control que no puede desligarse
de sus connotaciones represoras.

El control, en la visión de Ardoino(1993a ) se adscribe al paradigma de la ex–plicación4.

Busca la simplicidad y transparencia de los objetos expuestos al control. Para ello se
conforma como un conjunto de procedimientos tendientes a establecer la medida de la
distancia entre el objeto o fenómeno y la norma o modelo. En este sentido el control es
monorreferencial, ya que en su búsqueda de la transparencia necesita establecer las
relaciones con una norma o modelo exterior y anterior al objeto sujeto de la evaluación.

La intencionalidad del control es de tipo praxeológica, optimización de las acciones y

servir de ayuda para la toma de decisiones. El control busca verificar, revelar, establecer,
constatar. Vale decir informa acerca del “estado” de algo, sin preocuparse de los “por
qué”.

Los controles son inherentes e imprescindibles en diversos órdenes de nuestra vida: el

control médico, el control de los vuelos en un aeropuerto, el control fiscal, los controles
policiales, etc.,

Del mismo modo una institución educativa necesita mecanismos de control: ¿cuántos
alumnos tiene?, ¿cómo se comporta la matrícula?, ¿cuáles son sus índices de deserción
y de egreso?. Pero así como en el ámbito médico el solo control, por ejemplo de la
presión arterial no es suficiente, porque hace falta la interpretación de este dato por parte

3
Este planteo se sitúa en contraposición con las conquistas de la Ilustración moderna, las cuales han
significado la intervención y responsabilidad del Estado para la distribución de la educación como un servicio
público y con efectos niveladores (Bolívar, Antonio; 1996).
4
(Ardoino, J.(1993a) considera que en las ciencias del hombre y de la sociedad es posible distinguir dos
paradigmas: el de la ex - plicación y el de la im-plicación. Cada uno de estos paradigmas supone diferentes
maneras de concebir el objeto de conocimiento y la finalidad de la investigación científica..
del profesional, también en el ámbito escolar la sola presencia de datos arrojados a través
de mediciones estadísticas solo permite ubicar a la institución con respecto a parámetros
generales, por ejemplo la media nacional de aprovechamiento o de deserción, pero no
posibilita comprender qué elementos en juego, propios de esa situación específica,
constituyeron las causas de tales resultados, cuáles son los principales problemas y/o las
acciones favorecedoras de logros. En el ámbito las actividades de enseñanza y de
aprendizaje la sola calificación de un alumno en una prueba, ya sea a través de números
o conceptos, sólo arroja la ubicación de su resultado con respecto a una escala, que
puede ser de 1 a 10; de NA a MB, pero no aporta elementos acerca de las múltiples
causas de tal resultado, no permite comprender a los estudiantes cuáles son los procesos
que deben modificar, reforzar, etc.

La evaluación, por el contrario, inscripta en el paradigma de la im-plicación (Ardoino,

1993a) asume la complejidad y opacidad de las prácticas sociales. Desde tal perspectiva
se busca producir conocimiento acerca del objeto sujeto de la evaluación. Se trata de
captar el sentido particular de cada situación, de reconocer sus particularidades y no de la
búsqueda de la conformidad o no con modelos preestablecidos. Constituye una
interrogación acerca del sentido, el significado de tal o cual acción ¿por qué estos
resultados del aprendizaje?, ¿ a qué finalidades responde el proceso educativo?

Se trata de un proceso hermenéutico en el cual tienen importancia no solo los datos

explícitos, sino particularmente lo “no-dicho”, los elementos que surgen en forma
imprevista.

En el ámbito del control existe parámetros o modelos exteriores y permanentes, aquí

resulta necesario elaborar, construir sistemas de referencia inherentes a cada
situación específica. No es posible la existencia de un único referente, modelo o patrón
sino que exige la construcción de una red de relaciones entre órdenes heterogéneos. Así
la evaluación de una institución educativa requiere indagar sobre distintas dimensiones:
ubicación social y económica; condiciones de infraestructura física y humana; proyecto
educativo; etc. Este proceso comprende, en consecuencia, la selección y/o el diseño de
diferentes instrumentos de análisis (entrevistas, cuestionarios, observaciones, etc.) y, en
especial, la búsqueda y selección de referentes teóricos adecuados así como la
elaboración específica de criterios que sirvan de base para la emisión de juicios de valor.
Volveré sobre este último punto, de suma importancia, al analizar la problemática del
referente en la evaluación de dispositivos educativos.

Desde este enfoque la evaluación, como proceso complejo, consiste en aplicar a objetos
definidos (comportamientos, instituciones, sujetos, currícula, planes y programas,
proyectos individuales o colectivos, etc.) un instrumento crítico, elaborado, racional que
permita el análisis sistemático tendiente a la interpretación del fenómeno en cuestión y la
construcción de un juicio de valor acerca de ellos (Ardoino,1989; Barbier,1999).

Deseo destacar en esta concepción acerca de la evaluación su indisoluble vínculo con la

emisión de juicios de valor. Tales valoraciones tienen repercusiones importantes tanto en
los individuos como en las instituciones. De ahí la importancia de su legitimidad tanto en
términos de ¿quién evalúa? o ¿en nombre de quién lo realiza? (lo que nos remite a la
cuestión del poder en este proceso, poder que se expresa no tanto en quién evalúa sino,
en particular, quién determina los parámetros (referentes) que sirven como parámetros de
lo deseable .de ese proceso) como de su rigor epistemológico y metodológico en las
diferentes fases del proceso.
Este cuidado metodológico, no como mero ejercicio académico, sino como
reconocimiento de la relevancia social del campo de la evaluación, no remite a dos
cuestiones centrales de la evaluación educativa: el objeto de la evaluación y la norma o
referente.

¿Qué evaluamos?

La pregunta parece de una resolución fácil, incluso en el curso de este trabajo he hablado
de evaluar acciones, programas, sujetos, instituciones, etc. Sin embargo resulta común
confundir aquello sobre lo que se expresa un juicio de valor (un estudiante, un programa,
un curriculum) y los datos, las informaciones, los rasgos, los indicadores “a partir de los
cuales” se realiza tal juicio. En el caso de la evaluación de un dispositivo educativo
determinado: un curriculum en su doble acepción de curriculum formal y curriculum real o
vivido, los diferentes corpus de datos acerca de sus distintas dimensiones de análisis: el
curriculum formal (proceso de elaboración , estructura, componentes, etc.); la práctica
educativa (actividades de programación individual y conjunta, metodologías
implementadas, procesos de comunicación y de toma de decisiones, formas de
evaluación, etc.), constituyen los datos que dan paso en forma progresiva al juicio de
valor acerca del curriculum en su conjunto. De igual manera una prueba, un examen
arroja determinados resultados que derivan en una evaluación del estudiante, no de la
prueba en sí. A través del análisis del examen, de su corrección y calificación el maestro
produce juicios de valor acerca del alumno y su aprendizaje. En ambos casos, trátese de
un dispositivo educativo o de un estudiante, hay una selección acerca de qué rasgos se
considera importante incluir, así en el caso del examen habrá maestros que le darán
relevancia a la exactitud de la información, o a la capacidad crítica, o a la ortografía….;
para evaluar el curriculum podremos considerar o no la infraestructura física; las
relaciones de la institución con su entorno social, etc. En consecuencia el objeto de la
evaluación es un objeto construido.

Con base en Barbier(1993) podemos reconocer en el proceso de la evaluación un punto

de partida constituido por el objeto real a evaluar5 ( lo factual, el hecho). Sin embargo no
evaluamos el objeto real, sino una representación del mismo. Dicha representación es el
resultado del conjunto de indicadores o bien de interrogantes6 (Figari,1994) elaborados
para delimitar sus diferentes dimensiones de análisis. Los interrogantes, así planteados,
constituyen hipótesis sobre el objeto-sujeto de la evaluación y permiten orientar
actividades de búsqueda de datos significativos que constituyen el material de la
evaluación (documentos, registro de observaciones, discurso de los actores, etc.).

En síntesis el objeto de la evaluación, conformado por la delimitación de dimensiones

de análisis y por los datos e informaciones obtenidos a través de diferentes técnicas
(entrevistas, observaciones, cuestionarios, análisis documental, etc.) constituye lo
referido (Figari,1993;1994).

5
Conviene señalar que el “encuentro” con el objeto real, por ej. un establecimiento escolar, es precedido,
necesariamente, por ciertos preconceptos que se tienen acerca del mismo.
6
Diferencio el trabajo de evaluación realizado mediante indicadores de la elaboración de interrogantes
complejos acerca del objeto de la evaluación. En el primer caso tiene prioridad una visión “objetiva” del objeto
de la evaluación, haciendo hincapié en lo observable. En el segundo caso se antepone una visión del objeto
de la evaluación como sujeto de la misma, atendiendo no solo a lo observable sino a las relaciones entre los
diferentes elementos y a las intencionalidades y representaciones de los actores involucrados en el proceso.
El rigor epistemológico y metodológico con relación al objeto de la evaluación nos alerta
sobre el problema del posible deslizamiento de este objeto, es decir el pasaje no
identificado y a menudo inconsciente, de un objeto de la evaluación a otro (Auziol,1989).
Se trata de los casos de generalización de juicios realizados con base a la evaluación o el
control de un objeto particular. Por ejemplo: si con base en los resultados de los
estudiantes en pruebas de rendimiento en determinadas áreas del conocimiento (por
ejemplo español y matemáticas), mediante las cuales se puede constatar qué grupos de
alumnos en las diferentes escuelas tienen un rendimiento mayor en estas áreas se realiza
la inferencia de un juicio global sobre las escuelas, como podría ser una posible escala
acerca de la diferente calidad de las escuelas, un orden de jerarquías respecto a ellas. Tal
inferencia carece de sustento en el proceso mismo de la evaluación, puesto que se realiza
con base únicamente en el rendimiento de los alumnos y no se ha realizado la evaluación
de la escuela atendiendo a sus diferentes dimensiones.

¿En relación con qué evaluamos?

La respuesta a este interrogante constituye, desde mi perspectiva de análisis, uno de los

aspectos cruciales de la evaluación educativa: la problemática del referente. El referente
permite comprender con relación a qué un juicio de valor es emitido (Figari,1993).

A menudo, en las prácticas en el campo de la evaluación, el referente o los referentes

son implícitos, puede tratarse, en algunos casos, de la imagen ideal de institución
educativa que comparten los directivos de la institución, la cual opera como parámetro
para evaluar la pertinencia, la significación de las diferentes prácticas educativas y de la
institución en su conjunto. Su carácter implícito y su pertenencia al orden de lo
preexistente (tema que abordaré posteriormente) no posibilitan comprender y evaluar la
especificidad de la situación educativa concreta, ni aporta legitimidad y validez al proceso
y a los resultados de la evaluación.

El referente o los referentes permiten “situar” al objeto evaluado y puede tratarse de

normas, de objetivos transformados en criterios en el momento de la evaluación (Barbier,
1999), de modelos, de teorías científicas seleccionadas ex profeso y que permiten la
lectura y comprensión del fenómeno sujeto a análisis y de criterios elaborados en función
de la situación específica.

Para comprender cabalmente esta idea de referente es necesario remitirnos a la función

referencial en el ámbito de la lingüística 7(Figari,1994). Me permitiré, en consecuencia,
una breve incursión en este campo siguiendo a este autor, para luego poder retomar y
explicar con mayor claridad la problemática del referente en la evaluación educativa.

En el dominio de la lingüística el sentido indica qué dice una expresión, la referencia

permite comprender al sujeto qué se ha dicho. La función referencial pone de relieve los
referentes del signo, devuelve a o remite a la existencia objetiva de una cosa definida: el
signo árbol remite a los árboles existentes o al árbol en el marco de la experiencia de un
sujeto en particular.

7
Figari (1994) también alude al uso de la noción de referencial cartesiano en el dominio de las matemáticas,
como el sistema que permite situar un punto en el espacio con relación a dos o “n” dimensiones. Lo cual
permite identificar la posición de un objeto con relación a un conjunto de otros objetos que juegan el rol de
“sistema de referencia”.
En consecuencia el referencial puede darse con relación a dos sistemas de coordenadas
diferentes:
♦ Del orden del paradigma8 y
♦ del orden del sintagma.

En el primero de los casos un signo es remitido al sistema general de los signos. En el

segundo el signo en cuestión es referido no a un sistema general, sino a la experiencia
del sujeto con relación a la realidad que tal signo designa.

Llevados estos conceptos al terreno que nos ocupa, cuando en el curso de una
evaluación apelamos al orden del paradigma, tomamos en consideración la existencia de
un modelo general preexistente (diferentes formas que puede revestir un curriculum,
una institución educativa…), el cual sirve de parámetro o patrón para juzgar el dispositivo
evaluado. Aquí en referente es anterior y exterior al objeto-sujeto de la evaluación.
Permite, sin duda comparar diferentes dispositivos en contraste con un modelo general,
pero no capta la singularidad de cada uno de ellos.

En el orden del sintagma, a diferencia del paradigmático, la evaluación va a requerir la

construcción de un sistema de referencias en función de la experiencia. Resulta
necesario elaborar criterios con relación a la situación específica. Tales criterios derivan
de la combinación particular de una serie de factores (contexto socio-económico y
cultural; concepciones pedagógicas; formación de la planta docente, etc.).

Cuando se apela al paradigma hablamos de la existencia de referentes fijos, en el

segundo de los casos, en el orden del sintagma, nos encontramos ante la necesidad de
elaborar referentes. En el curso de los procesos de evaluación de dispositivos educativos
he denominado a estos dos tipos de referentes: criterios fijos y criterios elaborados o
generados9. En ambos casos estamos ante un proceso de búsqueda de los referentes
pertinentes (es decir los de carácter universal y los particulares) que permitan explicar y
justificar la evaluación de un dispositivo educativo.

La referencialización: un planteo metodológico

Las nociones anteriormente analizadas adquieren sentido y operatividad consideradas

como parte de una metodología para la evaluación de dispositivos educativos. Una
metodología no con el sentido rígido de pasos predeterminados que suponen la falsa
idea que su “correcta aplicación” asegura una evaluación legítima y de calidad, sino que
hablar de la “referencialización” (Figari,1994) como una metodología requiere subrayar la

8
Paradigma: conjunto de formas que puede tener un morfema (elemento de la palabra que permite reconocer
su categoría gramatical) según la función que desempeña en el sintagma, vale decir en la combinación que la
incluye (Figari, 1994).
9
R.Barbier(1993; 71) considera que el referente, en su status, aparece relacionado con el nivel de los
objetivos. Sin embargo también aclara que es necesario, en el curso de una evaluación, realizar un proceso
de especificación de normas o de criterios a partir de los objetivos. Expresa: “No basta con disponer de
objetivos “en función” desde los cuales evaluar, sino que es necesario además que de una forma u otra los
objetivos puedan dar lugar a una comparación con los elementos factuales recogidos. Dicho de otra manera,
el referente ha de tener una forma tal que se le pueda relacionar con los datos de referencia”. Por mi parte
estimo que el manejo de los objetivos como base para la elaboración de criterios debe hacerse con sumo
cuidado y, en todo caso, constituir algunos de los referentes, pero no su totalidad, ya que se correría el riesgo
de no evaluar a los objetivos así como aspectos o resultados no previstos con anterioridad.
importancia de la especificidad de cada situación y de la participación democrática y bien
fundamentada de todos los actores institucionales.

Este último punto no solo lo planteo desde una visión democrática de la evaluación
educativa, lo que en si ya es importante, sino también desde la perspectiva del paradigma
de la im-plicación a que hice referencia ya en este trabajo. Hablar de im-plicación en su
doble perspectiva de im-plicación de tipo libidinal e institucional10 requiere considerar al
dispositivo a evaluar como sujeto de su propia evaluación y no en mera calidad de objeto.

A las preguntas acerca de: ¿quién evalúa?, ¿quién o quiénes tienen derecho a evaluar?,
la respuesta correcta es todos, todos los sujetos implicados en la situación, si bien como
manifestara con anterioridad en términos de poder no solo importa quién evalúa sino en
nombre de quien lo hace y sobre todo quién o quiénes determinan los referentes de tal
evaluación.

Con relación a la problemática de la participación de los actores institucionales las

experiencias muestran el papel relevante que tienen las formas de organización pensadas
desde las bases y no respecto a las estructuras jerárquicas o reproductoras de instancias
ya consolidadas de seudo participación de los docentes. También resulta crucial el
funcionamiento de canales de comunicación que operen en forma horizontal
(McCormick,R y M.James,1996; Ibarrola,1992).

Lo anterior no excluye la presencia del consultor en este proceso, por el contrario la

incluye como importante. La tarea del consultor deberá ser, en primer lugar, de
“escucha” de los actores institucionales, de búsqueda de lo no dicho, de lo imprevisto, de
indagación acerca de los procesos subjetivos e ínter subjetivos. Además desempeña un
importante rol en la orientación de las diferentes cuestiones metodológicas inherentes al
proceso: diseño de dimensiones de análisis, de interrogantes y de instrumentos para la
recolección de datos, su aplicación y los pasos posteriores de análisis, interpretación del
material recolectado y producción de informes.

La referencialización se concibe como una metodología de estudio de casos, condición

indispensable para poder captar la significación y particularidad de cada dispositivo
educativo. De ahí la preeminencia, como ya lo señalara, de los referentes pertenecientes
al orden del sintagma, es decir criterios elaborados expresamente para cada situación y,
por ende, no transferibles para la evaluación de otros dispositivos educativos. No estamos
ante la presencia de un “modelo” que pueda aplicarse en forma mecánica.

La referencialización se expresa, en su aspecto fenoménico, a través de la construcción

de un cuadro o sistema de referencias, entendido como un sistema de coordenadas
con relación a las cuales el valor de los objetos susceptibles de evaluación va a ser
descrito y juzgado.

10
La im-plicación tiene su anclaje en lo imaginario, de ahí su carácter opaco y ambiguo, puede incluso ser
totalmente inconsciente y requerir un trabajo de elucidación. No debe confundirse con el compromiso que es
voluntario (Ardoino, 1998).
Con base en Loureau, Ardoino(1980) se refiere a la im-plicación institucional atribuyéndole un sentido
material, lógico e incluso físico. Como el conjunto de determinaciones de un objeto, su posición en un sistema.
Este mismo autor, siguiendo a Lapassade interpreta a la im-plicación libidinal como el resultado del juego de
la afectividad profunda. Aunque la im-plicación insitucional tiene libidinalidad y la im-plicación libidinal tiene
siempre carácter político.
El cuadro de doble entrada que muestra el diagrama (cuadro 1), podrá ser tan amplio
como las dimensiones que, a juicio de los evaluadores, sean pertinentes para delimitar el
objeto de la evaluación. En algunos casos, la complejidad del mismo objeto lleva a
elaborar sub-dimensiones de análisis en el seno de cada dimensión.

Cuadro 1

Dimensiones Interrogantes Direcciones Corpus Criterios fijos y

de análisis del elaborados
estudio y
técnicas

Fígari(1994) distingue tres dimensiones en los dispositivos educativos, mismas que

pueden servir para expresar las dimensiones de análisis del referido en la evaluación
educativa.
♦ Lo inducido;
♦ lo construido y
♦ lo producido.
La dimensión de lo inducido se refiere a las condiciones existentes, de diferente orden:
políticas, materiales, humanas, económicas que operan como determinantes o bien
permiten justificar la puesta en acción de un dispositivo educativo.

La dimensión de lo construido está orientada a examinar los diferentes procesos

(representaciones, comportamientos, trayectorias, evoluciones, estrategias de poder,
procesos de toma de decisiones) que definen la acción educativa propiamente dicha.

La dimensión de lo producido evalúa los resultados, vale decir los productos alcanzados,
pero sin limitarse a una visión binaria de logro o no sino con la intencionalidad de
analizarlos con relación a sus valores pedagógico, social, individual, económico, etc.

A propósito de la evaluación de un proyecto educativo, en su status de dispositivo

educativo Figari (1993) propone otras dimensiones de análisis: las finalidades; los
elementos productores de objetivos; las iniciativas y las estrategias. Las finalidades
engloban los valores explícitos e implícitos a niveles de la filosofía y política educativas.

Elementos productores de objetivos designan todos los fenómenos que constituyen

dificultades a resolver, los interrogantes planteados y las demandas que dieron lugar al
proyecto.

Las dinámicas existentes en la institución, las acciones individuales o colectivas

tendientes a resolver determinados problemas u obstáculos constituyen la dimensión:
iniciativas.

Por último las estrategias permiten la formulación de interrogantes acerca del abordaje
pedagógico, la formación del personal docente, la comunicación entre los diferentes
actores y, como una cuarta categoría de análisis, las formas de toma de decisiones.

En mi práctica docente con esta metodología los alumnos de maestría han mostrado gran
creatividad en el diseño de sub-dimensiones o categorías de análisis acordes la
singularidad de cada dispositivo educativo a evaluar. Así el trabajo de un grupo11 de la
Maestría en Didáctica de la Universidad Nacional de San Luis(Argentina)a propósito de la
evaluación del: “Proyecto curricular de formación del Departamento de educación y
formación docente” desglosa la dimensión relativa a “Elementos productores de objetivos”
en las siguientes categorías de análisis:
• Docentes.
Preparación de los docentes
Condiciones institucionales del trabajo docente
• Alumnos
• Recursos Materiales
Planta física y equipamiento
Sistema de información y biblioteca.

Sí deseo subrayar que no se trata de concebir estas elaboraciones como “modelos” o

sugerencias a seguir, insisto en la singularidad de cada proceso de aplicación de esta
metodología.

11
El excelente trabajo elaborado por las licenciadas Carmen Barale, Saada Ventolita, Ana María Cometta y
María Luisa Granata. Facultad de Ciencias Humanas de la Universidad Nacional de San Luis, julio de 1997.
El planteamiento de los interrogantes de la evaluación constituye un proceso complejo.
Existe, en general, la tendencia a formular interrogantes de tipo descriptivo que solo
señalan la presencia o ausencia de un determinado rasgo o proceso. Este tipo de
interrogantes, incorrectos, corre el riesgo de confundir este componente del proceso de
referencialización con la redacción de indicadores propuesta en algunos modelos de
evaluación institucional. En este último caso la evaluación se reduce a constatar la
presencia o ausencia de determinados rasgos y su comparación, a efectos del control
más que de la evaluación, con normas prefijadas12. Además las preguntas que llevan a
un sí o un no, no permiten recoger datos significativos respecto a la dimensión estudiada.

En mi práctica, en consecuencia, he insistido en la necesidad de concebir a los

interrogantes, siguiendo a Figari(1994) como hipótesis en curso de verificación o rechazo.
De esta manera se elaboran interrogantes complejos, que buscan relaciones entre los
diferentes elementos inherentes a la situación educativa, que expresan conjeturas acerca
de posibles obstáculos, dificultades o logros, etc.

Para tales interrogantes resulta imprescindible que los participantes en la evaluación (que
a la vez son los actores institucionales) pongan en juego sus vivencias, experiencias y
conjeturas sobre la situación - objeto de la evaluación.

La recolección de datos siguiendo las preguntas formuladas implica el uso de diferentes

técnicas: análisis documental, cuestionarios, entrevistas, observaciones, etc. Estas
técnicas inherentes a la investigación en Ciencias Sociales serán empleadas con los
debidos recaudos metodológicos. Junto a las técnicas, este componente del referencial,
según nuestra práctica en este campo, va unido a las direcciones del estudio, mismas que
nos sirven para señalar la o las cuestiones principales que se buscan en cada caso. Por
ejemplo en una entrevista percibir las expectativas de los actores.

Los corpus o corpus de información constituyen el conjunto de datos, en el sentido más

amplio del término, con los que se cuenta para realizar el análisis: documentos (textos
oficiales o no), expresiones de los actores, discurso de los actores, registro de
observaciones, etc.

La determinación de los criterios para la evaluación, tema al que ya me he referido,

permite la vinculación entre los diferentes componentes del referencial y la producción
de juicios de valor, vale decir, el acto de la evaluación.

Este último componente “corona” el proceso de elaboración del referencial, el cual sin
duda siempre es provisorio y podrá ampliarse, modificarse, enriquecerse sobre la marcha.

La complejidad de los dispositivos educativos sujetos de la evaluación y el enfoque aquí

adoptado, demanda la selección de criterios pertenecientes al orden del paradigma, que
atienden a las formas generales del objeto y la generación de criterios del orden del
sintagma. En este último caso estamos ante la necesidad de construir una combinatoria
de elementos específicos de la situación. Las diferentes teorías explicativas de los
fenómenos educativos juegan un rol relevante en tal proceso, ya que permiten “miradas”
desde la perspectiva de la multirreferencialidad13, las cuales no evaden sino que asumen
12
De este tipo es la propuesta de un modelo de evaluación realizada por De Miguel, Mario et.al Evaluación
para la calidad de los institutos de educación secundaria. Madrid, Editorial Escuela Española, 283 p.
13
“El análisis multirreferencial de las situaciones, de las prácticas, de los fenómenos y de los hechos
educativos se propone explícitamente una lectura global de tales objetos, bajo diferentes ángulos y en función
en toda su importancia, la complejidad de los dispositivos educativos sujetos de la
evaluación.

Expresa Figari(1993; 15)”:Se trata de constituir un corpus de información y de analizarlo,

ya sea en función de conceptos tomados de un campo científico preciso, ya sea en
función de conceptos especialmente construidos para la operación”.

Conviene recordar, siguiendo una vez más a Ardoino(1980;157) que:” La toma en

consideración de la multidimensionalidad de una situación pedagógica, situada en función
de su entorno, conduce a un enunciado mucho más amplio de la evaluación”. A efectos
de permitir una mejor comprensión de este aspecto de la metodología me permito mostrar
una forma de realizar este aspecto a través una parte del referencial de evaluación
elaborado por un grupo de alumnas de la Maestría en Didáctica14 (cuadros 2,3, 4 y 5). De
este trabajo expondré solo una parte por razones de espacio.

El objeto de la evaluación es: La intervención pedagógica del Departamento de

Evaluación y Tutorías en los procesos de incorporación de tecnología en el Programa de
Educación a Distancia UBA XXl.

de sistemas de referencias distintos, los cuales no pueden reducirse unos a otros. Mucho más que una
posición metodológica, se trata de una decisión epistemológica. La educación, definida como una función
social global que atraviesa el conjunto de los campos de las ciencias del hombre y de la sociedad, interesa
tanto al psicólogo como al psicólogo social, al economista, al sociólogo, al filósofo o al historiador, etc. Etc., y
es aprehendida en su complejidad”(Ardoino,1993b;31).
Cuadro 2

Dimensiones y
categorías
de análisis
A. Fundamentos

• Valores de referencia y representaciones

de los actores (miembros del equipo
pedagógico y profesores del Programa), en
relación con la intervención pedagógica, la
concepción de enseñanza, la concepción de
educación a distancia, las nuevas
tecnologías, la educación superior, la
formación docente.
• Repercusión de los valores de referencia y
las representaciones en las prácticas de
intervención pedagógica del Departamento
de Evaluación y Tutorías en relación con los
profesores.
• Política educativa institucional: demanda
social, demanda tecnológica, condiciones
institucionales en relación con la gestión,
con lo pedagógico, con lo político, con lo
cultural, con lo histórico.

14
El también excelente trabajo de las licenciadas Alejandra Amantea, Constanza Necuzzi, María Verónica
Perosi, Liliana Pinto y Leonora Zamudio Silva de la Maestría en Didáctica de la Universidad de Buenos Aires,
Facultad de Filosofía y Letras. Agosto de 1999.
Cuadro 3

DIMENSIONES Y
CATEGORÍAS DE
ANÁLISIS
A. FUNDAMENTOS INTERROGANTES

A.1. Finalidades

*¿De qué maneras se relacionan las orientaciones acerca de

• Valores de la tecnología que sostienen los miembros del equipo
referencia y pedagógico con las sustentadas por los profesores?
*¿Cómo son las relaciones entre la orientación de la
representaciones de enseñanza sustentada por los profesores y su interacción con
los actores... el equipo pedagógico?

• Repercusión de *¿Qué incidencia tienen las orientaciones de educación a

Los valores de distancia sustentadas por los profesores de la institución en
la manera como aceptan y otorgan significado a la
referencia y las intervención del equipo pedagógico?
representaciones... *¿Cómo incide en el Programa de educación universitaria la
orientación referente a la educación a distancia que
sostienen los profesores en su tarea docente?
* ¿Cuál es la incidencia de la intervención pedagógica en los
procesos de formación y perfeccionamiento de los docentes?
*¿Cuáles son las respuestas de la institución respecto a las
demandas de la incorporación de tecnología con relación a
• Política educativa la concepción de educación a distancia?
Institucional:... *¿Cuál es la respuesta de la institución a las demandas
sociales?
*¿Cómo surge históricamente el programa UBA XXl y cuál
es su relación con la política universitaria?
*¿Qué valores culturales comprende la política educativa de
la institución en relación con las demandas sociales?
*¿Cómo se ubica históricamente la gestión pedagógica de la
institución y cuáles han sido sus transformaciones?
* ¿Cuál es la orientación pedagógica predominante en la
institución y cuál la de los profesores?
Cuadro 4

DIRECCIONES DE CORPUS
DIMENSIONES Y ESTUDIO
CATEGORÍAS DE MÉTODOS Y
ANÁLISIS TÉCNICAS

A.FUNDAMENTOS

A1. Finalidades

• Valores de
referencia y *Expresiones de los
*Búsqueda de valores, ideas, actores: información
representaciones de enfoques respecto a la y respuestas de los
los actores... educación y a los procesos de cuestionarios;
intervención pedagógica que registro de
poseen los profesores de la entrevistas,
institución. documentos,
Entrevistas en materiales y
profundidad, encuestas y proyectos.
análisis de documentos.
*Búsqueda de las repercusiones
de las representaciones de los * Documentos,
actores en relación con la materiales, proyecto,
concepción de enseñanza. expresiones de los
actores.
Entrevistas en
profundidad.
*Análisis de las orientaciones y *Documentos,
concepciones con relación a la materiales, proyectos
tecnología que asume el equipo
pedagógico.
Entrevistas y análisis de
documentos.
*Búsqueda de orientaciones
compartidas con relación a la *Documentos,
tecnología por parte del equipo materiales, proyectos,
pedagógico y por los expresiones de los
profesores. actores.
Entrevistas
Cuadro 5

DIMENSIONES Y
CATEGORÍAS
DE ANÁLISIS CRITERIOS GENERADOS

A.FUNDAMENTOS
A.1 Finalidades
• Valores de *Presencia y vigencia de una concepción compartida acerca
referencia y de la tecnología y su inserción en la modalidad a distancia.
* Reconocimiento de las posibilidades de enriquecimiento
representacion
de la práctica educativa de los docentes a través de la
es de los intervención pedagógica.
actores...

Por razones también de espacio me resulta imposible la presentación del referencial en

una forma apaisada que posibilite la lectura de las relaciones horizontales y verticales
entre todos los elementos que lo componen, lo cual es necesario para atender a la
correspondencia entre qué se indaga, cómo y a partir de qué se juzga.

El referencial constituye siempre una construcción específica para la evaluación de un

dispositivo educativo. Su carácter es, por tanto, circunstancial y no puede nunca
convertirse en un modelo para su aplicación mecánica.

Cada dispositivo a evaluar requiere de un proceso de elaboración intrínseco, con

participación democrática de todos los actores implicados y con rigor metodológico en sus
diferentes pasos. Se trata, en suma, de concebir a la evaluación como un elemento para
la mejora de los procesos educativos y para la profesionalización de la enseñanza y no
como un medio para el control.
Bibliografía.
ARDOINO, Jacques (1977) Perspectiva política de la educación, Madrid, Narcea, S.A. de
Ediciones, 1980.
ARDOINO, Jacques y Guy Berger (1989) D´une évaluation en miettes à une evaluation
en actes. Le cas des universités, París, ANDSHA-Matrice, Boudet, L´AIGLE. “Introducción
general” de Jacques Ardoino. Traducción de Virginia E. Pérez y Azucena Rodríguez,1996.
________________ (1990) “Las posturas (o imposturas) respectivas del investigador, del
experto y del consultor”. En: Ducoing, Patricia y Monique Landesmann (comp.). Las
nuevas formas de investigación en educación, México, Ambassade de France au
Mexique - Universidad Autónoma de Hidalgo, 1993a.
________________ (1993b) “Fragmentos de textos, nociones y definiciones (J.Ardoino)
grupos, organizaciones e instituciones, Dictionnaire critique de la comunication, París,
L.Sfez, P.U.F.
AUZIOL, Eric(1989) “Deux taches principales pour le consulter: expliciter le refent et
preciser les choix d´objet d´évaluation”. En: Colomb, J. Y J.Marsenach (comp.) .
L´évaluater en revolution. París, Instituto National de recherche pedagogique.
BARBIER, Jean Marie(1985) La evaluación en los procesos de formación, Barcelona,
Ediciones Paidós – Ministerio de Educación y Ciencia, 1993
BARBIER, Jean Marie(1999) Prácticas de formación, evaluación y análisis, Buenos Aires,
Ediciones Novedades Educativas-Facultad de Filosofía y Letras-UBA.
BOLÍVAR,Antonio(1996) “El lugar del centro escolar en la política actual. Más allá de
reestructuración y de la descentralización”. En Pereyra Miguel A. et.al.
(coord.),Globalización y descentralización de los sistemas educativos. Barcelona,
Ediciones Pomares – Corredor, Pp.237-266.
DE IBARROLA, María (1992) “Cinco principios para la revisión curricular del CCH”. En:
Primera aproximación a la revisión del plan de estudios del bachillerato del CCH.
Cuadernillo Nº 6, Documentos de trabajo para la semana académica, UNAM, Colegio de
Ciencias y Humanidades, pp. 2-8.
FIGARI,, Gerard (1993) “¿Cuál sistema de referencias para evaluar una mesoestructura
educativa?”. En: Massé, Denis (comp.) (1993). L´evaluation institutionnelle en milleu
scolaire. Logiques, enjeux, rôles et responsabilités des différents acteurs. Québec,
Éditions du CRP – Faculté d´éducation – Université de Sherbroke, 169 p. Traducción de
Virginia E. Pérez. Revisión de Azucena Rodríguez, 1996.
_________________ (1994) Evaluar: cuál referencial? Con un prefacio de Jacques
Ardoino. Bruselas, DeBoeck Université, 191 p. Traducción de Virginia E. Pérez y Azucena
Rodríguez, 1998.
TERIGI, Flavia (1997) “Currículo Nacional, recentralización y reforma educativa: lo que
enseña el modelo británico”. En: Revista Novedades Educativas, Nº 79, pp.14-15.
Mc CORMICK, R. y M. James (1983. La evaluación del curriculum en los centros
escolares, Madrid, Morata, 1996.
PEREYRA, Miguel A. et.al. (coord.)(1996) Globalización y descentralización de los
sistemas educativos, Barcelona, Ediciones Pomares – Corredor.
RODRÍGUEZ, Azucena (1997 “¿Evaluación o control?”. Entrevista en: Revista: La
educación en nuestras manos. Buenos Aires, Suteba – Cetera – CTA, año 6, Nº 47, pp. 8-
10.