SOBRE INDICADORES: SU CONSTRUCCIÓN

(Fragmentos de un libro) por Mario Robirosa

10.5. Identificación, observación y medición de resultados:

dimensiones, variables e indicadores observables

El propósito de un proyecto social es lograr un cambio en aspectos

sociales cualitativos, pero para ello, por lo general, interviene
produciendo algunos cambios en aspectos - variables -
directamente observables, registrables y operables en términos
cuantitativos. Es el caso de los productos que ha generado el
proyecto: por ejemplo, unidades de vivienda entregadas en un
proyecto de mejora habitacional de una comunidad, alimentos
distribuidos en un proyecto de desarrollo infantil, sesiones de aula
brindadas a x alumnos en un proyecto educativo, productos
comunicacionales difundidos en un proyecto cultural, etc.. En la
medida que estas variables se constituyan como productos-
resultados del proyecto, ellas por supuesto admiten un tratamiento
cuantitativo directo: el número o el porcentaje de familias alojadas
en aquellas unidades de vivienda, el cambio en la relación peso-
talla de los niños alimentados, los alumnos asistentes a las
sesiones educativas, la audiencia obtenida en el proyecto
comunicacional. Pero otros resultados perseguidos por el proyecto,
generalmente los cambios sociales que en sus objetivos generales
se propuso lograr, son cualitativos, intangibles, no directamente
observables, sino que sólo pueden inferirse a partir de ciertas
manifestaciones observables: por ejemplo, la mejora en condiciones
de vida de las familias alojadas, la salud de los niños alimentados,
los aprendizajes internalizados por los que atendieron las sesiones
educativas, el cambio cultural producido en la audiencia de aquellos
medios.

Como se estableció con anterioridad, todo proyecto social se

identifica y define por el o los resultados sociales que se propone
lograr (o contribuir a lograr) y no por los productos que el proyecto
operó con el propósito de lograr aquellos resultados. Por ello, los
resultados a evaluar en la evaluación ex post son siempre
resultados sociales. Estos pueden darse a diversos niveles: de las
personas, familias, grupos, comunidades, actores sociales,
organizaciones o instituciones de todo tipo, clases o estratos
sociales, cultura y sociedad globales. El resultado social en el
proyecto de vivienda no es la cantidad de viviendas construidas y
adjudicadas (el producto del proyecto), sino, por ejemplo, el grado
de carencia de las familias adjudicatarias, la mejora en las
condiciones de habitabilidad de las familias carenciadas que las
ocupan, los cambios en las relaciones familiares o vecinales, etc.
Los resultados perseguidos por un proyecto social son de alguna
manera siempre cualitativos e inferenciales, es decir no
directamente observables y que, por lo tanto, requieren ser
conceptualmente definidos: ¿qué consideramos 'carencia', qué
llamamos 'condiciones de habitabilidad', a qué 'relaciones familiares
y vecinales' nos referimos?

Para poder evaluar y medir dichos resultados, debemos explicitar el

significado que les estamos dando a los términos con que aludimos
a ellos: ¿qué entendemos por esos términos, en general ambiguos,
abstractos o complejos? Debemos ponernos de acuerdo acerca de
los contenidos que les estamos asignando a esos aspectos
cualitativos, inferenciales, que llamaremos dimensiones, variables
complejas; tenemos que explicitar y acordar conceptualizaciones y
definiciones en términos de variables de menor complejidad, para
por último poderlas definir en indicadores observables. En este
proceso 'operacionalizamos', hacemos operables los conceptos
cualitativos, inicialmente abstractos, complejos o intangibles.

En este proceso de operacionalización se van haciendo definiciones

sucesivas de lo que entendemos por cada término: qué significa el
término para nosotros, cuáles consideramos que son sus
componentes o aspectos identificatorios y, finalmente cómo se
manifiesta cada variable bajo alguna forma observable. Nuestros
razonamientos para realizar estas derivaciones implican ir
desarrollando y aplicando teoría . 1

1
Un excelente tratamiento de esta tarea en: NIRENBERG, O., BRAWERMAN,J., y RUIZ, V., Evaluar
para la transformación. Innovaciones en la evaluación de programas y provectos sociales. Buenos Aires,
Paidós (Col. Tramas Sociales), 2000, Capítulo 5, pags. 133-168.
Este proceso de operacionalización debe pues involucrar de alguna
forma o efectivamente a los actores usuarios ya que son ellos
quienes consensuarán o no, aceptarán o no las formas de
'medición' desarrolladas. Sin ello, al no corresponderse con su
teoría al respecto, se arriesga a que dichos actores sociales no
acepten ni utilicen la evaluación.

Los campos de evaluación inferenciales pueden dar lugar a

mediciones y elaboraciones complejas de datos de tipo cuantitativo
o a evaluaciones construidas en forma intersubjetiva y controlada,
en respuesta a las preguntas concretas definidas en aquella
conceptualización. Para ello es necesario 'traducir' gradualmente
esas variables en términos de complejos de indicadores
observables.

Los indicadores observables guían el diseño de los instrumentos y

técnicas de relevamiento de la información requerida. Estos
instrumentos y las fuentes de información pueden ser muy variadas:
observación directa, documentación, entrevistas a informantes,
encuestas por muestreo, grupos focales, etc.. No entraremos aquí
en detalles acerca del diseño de estos instrumentos y técnicas de
relevamiento, por ser obtenibles en múltiples otras fuentes.

El análisis de la información relevada - los datos 'crudos' - inicia otro

camino en la elaboración de la evaluación. Esta vez el esfuerzo se
vuelca en operaciones con aquellos datos (Figura 10.3). En algunos
casos, según la naturaleza de la información buscada, se analizarán
esos datos en forma directa, aplicando operaciones elementales y
tabulaciones simples o cruzadas de los datos: por ejemplo, la suma
de metros construidos, su distribución por número de personas en
cada hogar. En otros casos, para recomponer los datos y
analizarlos según la definición de las 'variables', será necesario
combinar y/o sintetizar ciertos datos obtenidos construyendo índices
que varíen en forma más o menos análoga a como tienden a variar
las 'variables' correspondientes (supuestos de variación similar).
Por ejemplo, si se quiere 'medir' la calidad de las viviendas, definida
teóricamente como la suma de calidad de determinados
componentes, habrá que definir escalas pertinentes de medición
para cada uno de estos componentes y efectuar las operaciones de
suma correspondientes, para de ese modo medir las variaciones de
calidad de las viviendas. Con frecuencia habrá que elaborar índices
complejos, de diferentes grados de complejidad, que manifiesten las
variaciones de la 'dimensión' o 'variable compleja' que se desea
analizar, para luego efectuar las correspondientes operaciones con
los datos pertinentes. Por ejemplo, siguiendo el caso anterior, es
probable que se quiera establecer los niveles de 'habitabilidad' que
han logrado las familias destinatarias con las viviendas producidas
por el proyecto. En este caso se combinarán diversos índices y
datos que conjuntamente den cuenta de los grados de esa
'habitabilidad' definida en el proceso teórico como variable compleja
o dimensión.

Detrás de todas estas operaciones subyacen hipótesis que

establecen que la variación de los índices construidos es similar a la
variación de sus variables correspondientes. En síntesis, el proceso
de medición de los resultados de un proyecto atraviesa por los
pasos indicados en la Figura 10.3. Dicho esto, no cualquier
evaluación de resultados se presta a la operacionalización
cuantitativa señalada a la derecha. Para validar esta construcción
de índices crecientemente complejos, debe haber acuerdo
suficiente entre el evaluador y el usuario respecto de aquellas
hipótesis de correspondencias entre las variables y los índices que
se supone las miden, sin lo cual dichas operaciones y el trabajo
realizado no serían de utilidad para aquel usuario u otros
cualesquiera que no hubiesen sido consultados en su confección.

Por un lado, con lo dicho queda despejado el dilema cuanti-

cualitativo. Creemos haber clarificado que las variables analizadas
pueden ser de carácter cuantitativo o cualitativo, según la
naturaleza de la variable; pero ambos casos pueden dar lugar a un
tratamiento formal cuantitativo, tan riguroso en uno como en otro
caso. El dilema acerca de si una evaluación debe ser cuantitativa o
cualitativa pierde significado.

Lo que no queda saldado es la diferencia entre una evaluación

rigurosa y una que no lo es. A pesar del esfuerzo de teorización que
exige una evaluación rigurosa, su utilidad y ajuste a la realidad
serán siempre proporcionales a ese esfuerzo hecho. No nos servirá
una evaluación que 'mide' resultados vagamente definidos, 'por.
aproximación' o 'dados por sentados' y no verificables, ya que sólo
nos proveerá de información de dudosa confiabilidad. Sin embargo,
nada de lo dicho permite descartar como 'débil' una evaluación
realizada en forma participativa, si la conceptualización y el
instrumento de evaluación diseñado y utilizado son, como
corresponde, rigurosos.

Por lo general, en un proyecto bien formulado estos resultados

estarán expresados o serán expresables en términos de indicadores
observables y relevables. Sin ello, los resultados del proyecto no
podrán ser estrictamente evaluados en términos válidos para
cualquier actor interesado. Por supuesto que yo puedo tener mi
interpretación de lo que significa o significan esos términos con que
hemos aludido a los resultados, pero esa interpretación es subjetiva
y no necesariamente coincidirá con la interpretación de otros. Si
esta definición no es explicitada, permanecerá ambiguo o no bien
definido lo que le asigno a ese 'resultado', no sólo queda indefinido
lo que tengo que observar -lo cual deja todo el espacio abierto a la
arbitrariedad- sino que será escasamente claro y aceptable para
otros que pudieren tener otra interpretación.

Lo dicho es particularmente serio cuando la evaluación va a ser

dirigida a actores que sólo formalmente están asociados a la
gestión del proyecto, por ejemplo una agencia financiadora, los
directivos o responsables de un programa del que el proyecto forma
parte o una institución que hubiera auspiciado de alguna manera la
implementación del proyecto. En el caso de evaluaciones cuyos
resultados deben ser aceptados por diversos actores involucrados
en el proyecto es indispensable que haya acuerdo entre ellos
acerca de estas definiciones del o de los 'resultados' que se
propuso lograr el proyecto. Y eso debiera haberse acordado
preferentemente en ocasión de la formulación ex ante del
documento de proyecto.
La operacionalización de los indicadores implica por lo general
operaciones sobre agregados de datos de diversa naturaleza. A
veces se tratará de mediciones o cuantificaciones de objetos
directamente observables, clasificados o no en categorías. Otras
veces pueden implicar respuestas pre- o post-codificadas a
preguntas de un cuestionario sometido a informantes. Y las
operaciones a que estos datos son sometidos pueden implicar
sumas u otras operaciones matemáticas o simples comparaciones u
opciones del tipo "esto sí, si (tal condición), y no, si no se da (dicha
condición)". Todas estas decisiones de operacionalización deben
igualmente ser acordadas entre el evaluador y los usuarios de dicha
evaluación, para que los resultados evaluativos alcanzados sean
aceptados como válidos por el usuario . 2

Una situación bastante diferente es la que enfrentan los actores

íntimamente ligados con la gestión y operación del proyecto, que
quieren evaluar su desempeño a través del logro de los resultados
esperados. En este caso la interpretación y definición de los
resultados perseguidos por el proyecto pueden dirimirse en forma
participativa, en una suerte de taller que los reúna para tal fin. La
tarea en este caso es la de clarificar entre todos y consensuar qué
contenidos se les asigna a los términos utilizados para expresar los
resultados esperados, haciendo el proceso conceptual, de
desarrollo teórico, reflejado en las Figuras 10.2 y 10.3. Una
elaboración de esta naturaleza entre los usuarios de la evaluación
permite, sumado a la información pertinente, proceder a una
evaluación participativa y finalmente válida para todos los actores
participantes.

Esta técnica de evaluación es asimilable a la 'evaluación por

jurados', donde un heterogéneo grupo de personas, elegidas por
sus diversos roles y posiciones respecto de la gestión del proyecto
(e idealmente diversos sesgos especializados e intereses), y con
información pertinente suficiente, dirimen participativamente los
contenidos asignados a cada 'resultado esperado' y evalúan el
desempeño del proyecto según esas definiciones consensuadas por
el grupo.
2
Ejemplos de matriz de dimensiones, variables e indicadores y su operacionalización se hallan en:
NIRENBERG, O., BRAWERMAN, J. y RUIZ, V., 2000. Anexos, pags. 191-216.
CUENYAQ, B. y NATALICCHIO, m., (eds.), 1994. Evaluación de provectos. Habitat popular v
desarrollo social. Buenos Aires, CEUR-GADIS, Centro Editor de América Latina.
ALDERETE, A.M.,RODRÍGUEZ, E.M., TABORDA, A., 1995. Procesos de organizaciones de base.
Diagnóstico. Evaluación. Técnicas e instrumentos.. Córdoba, SERVIPROH.
La evaluación de resultados es asimilable al diagnóstico, ya que de
hecho es un diagnóstico de la situación hallada al finalizar el
proceso o alguna etapa significativa, buscando comprender lo
sucedido y su incidencia sobre los resultados obtenidos. Es
conveniente pues que una evaluación participativa de este tipo se
combine con una evaluación del proceso (ver 10.10), de modo de
ver qué factores de contexto o coyunturales afectaron al proyecto,
cómo los confrontó su gestión y qué impacto tuvieron sobre el
proceso y sobre el logro de los resultados. De este modo la
evaluación resulta efectivamente en el aprendizaje que
postulábamos en 10.1, que finalmente se manifestará en el
refinamiento de las capacidades futuras de gestión de proyectos y
un mejor desempeño.

Evaluaciones participativas de este tipo resultarán por supuesto

válidas para los actores participantes, pero no necesariamente lo
serán para otros actores observadores o involucrados con el
proyecto, aunque no en forma diredcta con su gestión: por ejemplo
la agencia financiadora, investigadores académicos u otros grupos
sociales interesados.

10.8. Acerca de la identificación y construcción de indicadores

Las dimensiones y variables que se postulan como resultados

esperados y a lograr del proyecto pueden, por naturaleza, ser
directamente observables, 'tangibles', o intangibles. También
pueden ser planteados a distintos niveles, por lo menos tres, no
necesariamente excluyentes: 1) a nivel de las personas, las
familias, 2) a nivel de las organizaciones, comunidades, barrios, 3) a
nivel de las sociedad más global. La InterAmerican Foundation (IAF)
elaboró en los años '80 un esquema de apoyo para evaluar los
resultados de proyectos sociales3, que da cuenta de distintos tipos
de objetivos, dimensiones y variables que se suelen plantear
(Gráfico 13). Un proyecto social puede estar planteado
primordialmente para lograr determinados resultados en uno de
esos niveles, pero para ello es muy probable que se persigan otros
resultados convergentes y necesarios, en el mismo u otros niveles,
que potencian o refuerzan el valor del impacto social perseguido.

3
Ver InterAmerican Foundation (IAF), Marco del Desarrollo de Base, en
http://www.iaf.gov/grants/grassroots_dev_frameworktext_sp.asp?grass=2
http://www.iaf.gov/grants/grassroots devframework text sp.asp?grass=3
Por ejemplo, un proyecto planteado para fortalecer la identidad de
los jóvenes en sus vínculos familiares (nivel 1) puede requerir, por
ejemplo, que se logren redireccionar las actitudes y acciones de las
bandas de jóvenes en la escuela y el barrio y ciertas pautas
comunitarias de tratamiento de los jóvenes por los adultos (nivel 2)
y, con ello plantearse la posibilidad de que la estrategia del proyecto
sea asumida institucionalmente por la Secretaría de la Juventud en
sus formas de actuación (nivel 3). Un proyecto escolar de atención
de la nutrición infantil de sus niños (nivel 1) seguramente habrá de
plantear su sustentabilidad en el tiempo en la organización de
apoyos solidarios de los habitantes del barrio (nivel 2) y en la
resolución oficial que mantenga el sistema de becas alimentarias en
dicha escuela por los x años próximos (nivel 3). Un proyecto de
fortalecimiento de una organización de base (nivel 2) para poder
negociar exitosamente con el estado la localización de algún
equipamiento social barrial (nivel 3) requiere de la ampliación y
legitimación social de su base de referencia y para ello, por ejemplo,
de un estilo democrático de conducción. Como éstos, casi siempre
los proyectos sociales se plantean objetivos específicos (y por lo
tanto resultados esperados) en más de un nivel.

Para poder identificar indicadores de cada 'resultado' posible,

tangible o no tangible, en cualquiera de los niveles, será necesario
en primer lugar precisar el significado del término utilizado, es decir,
definir lo que se quiere decir con ese término. Por lo general las
primeras formulaciones de una dimensión compleja o de una
variable cualquiera son ambiguas, abstractas, abarcativas y, sobre
todo muy imprecisas.

Para tomar un ejemplo que pareciera muy simple por su aparente

materialidad, ¿qué quiero decir con 'mejora habitacional'? En un
diseño de instrumento para la evaluación de proyectos
habitacionales, el CEUR4 propone que el 'nivel de habitabilidad '
está compuesto por la 'calidad de la vivienda', el 'control sobre
dicha vivienda' que ejercen sus ocupantes y el 'lugar relativo' en
que está emplazado. Cada una de estas variables, todavía
ambiguas, debe ser definida en términos de indicadores más
precisos. Por ejemplo, en 'calidad de la vivienda' se deben incluir
los materiales y terminaciones con que están construidos sus
componentes y, por otro lado, su 'estado de conservación' y las
'instalaciones y servicios que tiene dentro la vivienda'. Aunque así
aquella dimensión inicial se va definiendo en algunas de sus
4
CUENYA, B. y NATALICCHIO, M. (coord..), 1994. op.cit.. páginas 27 a 29..
nociones componentes, subsiste todavía la necesidad de llegar a
observables que permitan proceder a su observación (la medición).
Sin embargo no todas las variables complejas identificadas
contribuyen con el mismo peso en la definición de la dimensión
inicial, como tampoco los indicadores lo hacen en la definición de
las variables más simples. Al irse definiendo los términos, pues,
también debe definirse su importancia -su contribución- relativa en
la definición del término. Así, definidos y ponderados todas las
variables complejas intermedias y las variables simples y los
indicadores, se podrán registrar en el universo concreto del
proyecto las observaciones que se hagan de cada item y, con estos
datos, recomponer como operación los resultados obtenidos en las
variables y dimensiones planteadas inicialmente. En este proceso
hemos recorrido los pasos esquematizados arriba en la Figura 10.3,
desarrollando teoría al definir los términos y efectuando operaciones
con la información recogida en la observación de los casos.

Si esto que parecía sencillo requiere tanta elaboración, se pueden

entender las dificultades y más complejas elaboraciones requeridas
para definir indicadores de dimensiones y variables complejas,
'cualitativas', inferenciales o abstractas, por lo general intangibles5.

Establecidos los indicadores observables, resta elaborar los

respectivos instrumentos de observación. Estos indicadores, si
remiten a algo material, podrán relevarse en forma directa. Si se
prestaran a interpretaciones subjetivas, deberán ser pautadas con
suficiente detalle para restarles ambigüedad. Si son indicadores aún
inferenciales o intangibles, los que habitualmente son identificados
como 'cualitativos', ya no se prestan a observación directa, pero
pueden relevarse a través de instrumentos y técnicas diversas.
Éstas van desde la lectura de registros, la entrevista de informantes,
la observación participante, la encuesta por muestreo, el grupo
evaluador o "focus group" hasta la evaluación grupal o colectiva en
talleres. Con estas técnicas la precisión puede variar desde la
cuantificación de opiniones individuales o de conductas observadas
hasta consensos grupales elaborados. Pueden a veces,
dependiendo de la naturaleza del indicador y del acceso a las
fuentes, combinarse éstos datos con otros tomados de registros
existentes.

5
Ejemplos de ello se encuentran, por ejemplo en:
CUENYA. B y NATALICCHIO, M., 1994. op. cit.. págs. 24 a 26
ALDERETE, A., RODRÍGUEZ, E. M. y TABORDA, A., 1995. op. cit.. págs. 51 a 69.
A veces los cuestionarios planteados a informantes pueden consistir
en alternativas de respuesta que, según la teoría aplicada, son
aptas para medir evaluativamente el indicador. Como ejemplo
tomemos una de las variables intangibles referidas a organizaciones
de base que aparecen en el Gráfico 13, el 'estilo democrático' en la
cultura organizacional. Por un lado, puede observarse la voluntad
de los directivos de la organización de compartir información y
decisiones pertinentes hacia el interior de la organización y hacia
sus interlocutores externos; por el otro lado se debe observar la
respuesta participativa de los asociados o vecinos. Entre los
muchos indicadores identificados en la elaboración teórica de
aquella variable de "estilo democrático" tomemos sólo el indicador
"Existencia y periodicidad de espacios de información programática
y consulta al interior de la organización". Esta información puede
recogerse a través de informantes clave o en grupos de referencia
constituidos por miembros que desempeñan distintos roles
organizacionales o, si existiera dicha información, en registros o
actas de la organización. Las alternativas de respuesta a esta
indagación pueden ser las siguientes:
1. No se ha convocado a los miembros de la organización para
discutir programas o proyectos en el último año.
2. Se hace convocatoria formal restringida una vez por año o más.
3. Se hace convocatoria formal abierta a todos sólo una vez al año.
4. Se hace convocatoria una vez al año, con el atractivo de
actividades sociales adicionales.
5. Se hace convocatoria abierta a todos y/o con el atractivo de
actividades sociales adicionales cada vez que fuera necesarioó.
Detrás de esta escala de creciente "estilo democrático" en la
conducción de la organización (éste es sólo uno de los indicadores
componentes de esta variable) está clara la teoría desarrollada al
respecto. No sólo la frecuencia de las convocatorias está en juego,
sino también el alcance de las convocatorias, agregándose las
'actividades sociales' que el convocante promueve para lograr la
mayor participación posible del personal en tratar los programas y
proyectos de la organización. Con esto último está demostrando
decididamente su voluntad democrática de que todos participen en
las discusiones?.

6
Este ejemplo es una elaboración de un item de un cuestionario de evaluación producido en un pequeño
equipo de monitores de proyectos convocado por la IAF en 1995, en que participó el autor.
Para las mediciones en estos indicadores puede recurrirse a
escalas nominales, ordinales o cardinales dependiendo de la
naturaleza del indicador y de su instrumento de relevamiento (ver
10.4). En el caso expuesto la escala es ordinal, con 5 categorías
crecientes que miden el "estilo democrático" y permiten la
comparación entre los casos investigados o con algún estándar.

La variable analizada -"estilo democrático"- requiere por supuesto otros campos de información, otros
indicadores. Al sólo efecto de ilustrar lo elaborado, en el mismo trabajo se identificaron los siguientes
indicadores componentes:
a) información y/o disponibilidad y/o conocimiento sobre estados financieros contables;
b) existencia y/o periodicidad de espacios y consultas intra-programas o intra-proyectos;
c) información sobre políticas de recursos humanos de la institución;
d) conocimiento de los convenios por parte de los destinatarios;
e) existencia y periodicidad de espacios de información programática y consulta al interior de
la organización;
f) cuando se debe decidir sobre
i) aspectos económico-financieros,
ii) aspectos programáticos,
¿se consulta a los miembros de la organización?
g) ¿qué proporción del personal total de la organización es convocada a plenario para decidir
sobre alguna cuestión significativa de la organización?