1

PROMOCION DE LA SEGURIDAD CIUDADANA A TRAVES DE

PROGRAMAS DE ATENCIN A JVENES EN EL DISTRITO
FEDERAL


MANUAL DE EVALUACION DE PROYECTOS SOCIALES








Manuel Canto Chac
Emilienne De Len Aulina












2

MANUAL DE EVALUACION DE PROYECTOS SOCIALES


0.- Introduccin

De un tiempo a la fecha se habla bastante, hasta tal vez caer en la moda, de la
evaluacin. Ante cualquier iniciativa de proyecto social, de programa o de poltica
de inmediato se habla de la evaluacin. En los ltimos aos se insiste mucho en la
participacin de la ciudadana en la evaluacin de las acciones gubernamentales,
volvindose usual el trmino de Contralora Social.

Todo lo anterior, siendo altamente positivo, tiene un riesgo: la banalizacin del
trmino al grado de que llegue a no significar nada. Pongamos un ejemplo: cuando
se habla de contralora social se est haciendo referencia a que los ciudadanos
participen en la evaluacin pero, qu pasa si los ciudadanos al evaluar no tienen
una base objetiva y se dejan llevar por sus prejuicios o simpatas?. Los que
simpaticen con los funcionarios en turno tendern a sealar que todo est muy
bien, por lo contrario sus adversarios dirn que todo est muy mal, unos dirn que
les late que van bien las acciones de gobierno, otros dirn que les late que van
mal, cmo tener entonces la posibilidad de un juicio relativamente
objetivo que, ms all de prejuicios o simpatas, permita que nos
pongamos de acuerdo sobre los resultados y desempeo de las acciones
pblicas? Para ello entonces es necesario hacer una revisin de los aspectos
bsicos de toda evaluacin .

Este manual pretende ser un apoyo para que aquellos que realizan trabajo de
promocin social cuenten con elementos para el diseo de sus evaluaciones. En el
primer apartado nos referimos a los aspectos generales de una evaluacin, en el
segundo nos referimos a los distintos tipos de evaluacin existentes y a la utilidad
de cada uno de ellos; en el tercero nos metemos al asunto de los indicadores, qu
son y cmo se construyen y en el cuarto y ltimo aportamos un ejemplo concreto
3
a fin de que se pueda integrar todo lo visto en un aspecto concreto del Proyecto:
Promocin de la Seguridad Ciudadana a travs de Programas de Atencin a
Jvenes en el Distrito Federal.


1.- Qu es la evaluacin

La evaluacin, en el sentido ms tradicional de su uso responde a una pregunta
bsica: dado un objetivo propuesto cul es el resultado obtenido?, lo logr o,
qu tanto lo he logrado?, o si me propuse una meta, la alcanc o, qu tanto la he
alcanzado?

Grficamente lo podemos representar as:


LO ESPERADO LO OBTENIDO

Objetivo Deseado
i.e. (aumentar el nivel de escolaridad en
jvenes de entre 18 y 21 aos) alcanc el objetivo, qu
resultado obtuve?

Meta propuesta
i.e.(cobertura de 80% en la preparatoria
para jvenes de entre 18 y 21 aos) en cunto se alcanz la meta?



Sera conveniente considerar algunas definiciones de evaluacin:
Una evaluacin es un juicio hecho sobre un dato con referencia a un
valor.
1


Evaluar es fijar el valor de una cosa; para hacerlo se requiere de un
procedimiento mediante el cual se compara aquello a evaluar respecto

1
Meny, Ives y Jean-Claude Thoening. Las Polticas Pblicas. Ariel, Barcelona, 1992.
4
de un criterio o patrn determinado
2
En ambos casos tenemos entonces que evaluacin es:


VALOR PATRON JUICIO COMPARACIN DATO-LO EVALUABLE


2.- Los tipos de Evaluacin



Las evaluaciones pueden ser hechas en diversos momentos del programa o
proyecto
3

, por ejemplo: puede servir para conocer los resultados que alcanc al
final, pero tambin puedo hacer la evaluacin antes que termine para saber
qu tan bien voy y qu es lo que necesito corregir, o tambin puedo evaluar antes
de iniciar para saber que tan realista sera plantearse alcanzar los objetivos que
me propongo, tenemos entonces el siguiente cuadro:







2
Cohen, Ernesto y Rolando Franco. Evaluacin de Proyectos Sociales. S.XXI, Mxico, 1992
3
Antes de seguir adelante conviene ponernos de acuerdo sobre lo que se entender por proyecto, programa y
plan:
Proyecto: de acuerdo a la ONU, un proyecto es: una empresa planificada que consiste en un
conjunto de actividades interrelacionadas y coordinadas para alcanzar objetivos especficos dentro de los
lmites de un presupuesto y un perodo dados
Programa: ...es un conjunto de proyectos que persiguen los mismos objetivos. Establece las
prioridades de la intervencin, identifica y ordena los proyectos, define el marco institucional y asigna los
recursos a utilizar.
Plan: es la suma de programas que buscan objetivos comunes, ordena los objetivos generales y los
desagrega en objetivos especficos que van a constituir a su vez los objetivos generales de los programas.
(ONU y Franco y Cohen: 86)
5
Cuadro 1
Tipos de Evaluacin del acuerdo al momento del proyecto

Tipo de
Evaluacin
Caractersticas Utilidad
Ex ante
Antes de iniciar la ejecucin del
proyecto. Se pregunta por la
viabilidad de los objetivos o metas
propuestos.
Ponderar la factibilidad del
proyecto y en su caso modificar
su diseo.
Concomitante
Se realiza durante la ejecucin del
proyecto. Se pregunta por la
adecuacin entre lo previsto y lo
que se est realizando.
Establecer la distancia entre lo
que se planific y lo que est
resultando a fin de establecer
las correcciones necesarias en la
ejecucin.
Ex Post
Una vez terminada la ejecucin del
proyecto. Se pregunta por la
relacin entre lo esperado y lo
alcanzado.
Calificar el logro obtenido,
conocer los factores que lo
dificultaron o favorecieron.
Saber que es lo que habra que
modificar para la continuacin
del objetivo en un nuevo
proyecto.


Pero adems de diferentes momentos nos encontramos con diferentes niveles
en la evaluacin, esto es: podemos profundizar de manera distinta, dependiendo
tambin del sentido que se le haya asignado a la evaluacin, estos niveles generan
evaluaciones de tipo:

I) Descriptiva: cules fueron los resultados del proyecto obtenidos:
escolaric a 100 personas, obtuve una disminucin de las enfermedades
gastrointestinales en 10%, se impartieron tal cantidad de
talleres...Seal o y cuanti fi co l os resul tados.

II) Diagnstica: explico tambin las causas de los resultados obtenidos:
no se logr la meta del 20% en enfermedades porque se hizo la
campaa en poca de lluvias, si hubiera sido en secas el resultado
hubiera mejorado; los talleres no fueron de buena calidad porque no
6
estaban claros los objetivos. Seal o y expl i co el por qu l os
resul tados.

III) Normativa: cules debieron de haber sido los objetivos dados los
resultados que se queran obtener. Si queremos disminuir el delito se
debi de haber actuado sobre la vigilancia a los cuerpos de polica antes
que sobre los ciudadanos. Seal o, expl i co l os resul tados y juzgo l os
objeti vos.

IV) Experimental: a partir de la evaluacin de varios casos similares se
llega a conclusiones o al menos a hiptesis de carcter ms general
sobre el tema de los casos estudiados. Por ejemplo, podramos analizar
diversos programas de combate al delito para establecer aquellos
aspectos que resultan ms eficaces. Descri bo, expl i co, juzgo,
comparo.

De acuerdo a los fines que se pretenden de la evaluacin tambin podemos hacer
distinciones, la primera es la llamada evaluacin de impacto:

a) Evaluacin de Impacto. La pregunta bsica que estara
respondiendo es en qu medida ha producido el programa o
proyecto los resultados esperados?

Objetivos Acciones Efectos

Esto es: dados unos objetivos realizo unas acciones, trato de ubicar
la relacin causa (acciones) efecto (resultados). Otros dirn que el
impacto es el efecto neto de una accin, esto es: de los cambios
observados, establezco cules se debieron exclusivamente a la accin
realizada. Este enfoque es muy til cuando trato de percibir
7
relaciones simples (por ejemplo si aplico un tratamiento en este
grupo para disminuir la incidencia de caries qu efecto se produce,
en cunto disminuye su incidencia?). Habitualmente procede con
criterio estadstico (i.e. muestreo a la poblacin bajo tratamiento y la
comparo con otra que no lo llev, es decir con un grupo testigo o
de control). Tiene limitaciones dependiendo del problema que
analice, cuando se trata de proyectos sociales no siempre es la ms
til, no toma en cuenta algunas cosas (p.ej. el cambio que se da con
el paso del tiempo en los hbitos sociales, pensemos en un caso: las
pensiones para adultos mayores mejoran el aprecio que se tiene por
los ancianos en el ncleo familiar, toda vez que incrementan el
ingreso qu es lo que pasar cuando la poblacin se habite a que
los ancianos entregan su pensin?, se mantendr el aprecio en el
ncleo familiar o todo volver a la normalidad?). Este tipo de
evaluacin es muy til cuando el objetivo y el efecto esperado estn
claramente establecidos, pero no siempre es as, veamos por qu en
las siguientes modalidades.

b) Evaluacin operativa. En ocasiones se requiere no slo
preguntarse por los efectos esperados, sino tambin por la
idoneidad de los medios utilizados, la pregunta que estara a la
base de este tipo de evaluacin es: fueron empleados los medios
de acuerdo a los objetivos iniciales?. Esta evaluacin es
importante cuando para llevar adelante el programa o proyecto
intervienen organizaciones complejas, en particular en proyectos
sociales y ms an en proyectos pblicos, para realizarlos
intervienen varios actores, cada uno con sus propias visiones del
tema en cuestin y con sus propios intereses, lo que hace que
incluso se modifiquen los objetivos. Por ejemplo: si estamos
frente a un programa de capacitacin, una ser la visin de los
8
que disean el programa, pero otra podr ser la visin de los
capacitadores y si estos ltimos son de varias instituciones
tendrn a la vez distintas visiones y distintos intereses, cada uno
de los cuales tratar de reinterpretar los objetivos hasta el grado
de hacerlos bastante distintos a los planteados por los
diseadores. Se puede representar en el siguiente esquema:

Objetivos Medios Utilizados Efectos


c) Evaluacin de Procesos (sistmica). Un elemento de
complejidad adicional lo tenemos cuando consideramos, adems
de las interacciones entre los distintos actores, la interaccin entre
el programa y su entorno (contexto), el programa y la
organizacin que lo ejecuta se conciben como entidades
dinmicas que cambian a medida que se adaptan al contexto. Por
ejemplo, si pensamos de nuevo en el programa de capacitacin,
los capacitadores tendrn respuestas que tratarn de adaptarse a
la reaccin de los destinatarios, a su vez los diseadores del
programa, si hacen evaluaciones de proceso se encontrarn con
que los resultados que estn apareciendo no son los que
esperaban y por tanto pondrn correctivos para que el proceso se
conduzca de acuerdo a los que ellos esperaban, lo que producir
reacciones tanto de los usuarios como de los capacitadores.
Adicionalmente, si hay un hecho no previsto que impacte el
programa, como podra ser que se de a conocer un dato sobre la
situacin de los usuarios, todos los actores tendern a modificar
sus comportamientos (vamos a suponer que es un programa de
capacitacin para la prevencin del delito y aparece una noticia
que los jvenes estn en mayor situacin de riesgo de cometer
9
delitos). La pregunta que gua una evaluacin sistmica podra
ser: cules son los procesos que nos explican los fenmenos
observados?.

Obj.s y medios previstos Obj.s y medios ejecutados Resultados

Oportunidades y restricciones Reacciones del Entorno
del contexto

Los anteriores planteamientos nos permiten clasificar las evaluaciones y con ello
tener en cuenta la distinta complejidad que pueden revestir cada una de ellas.
Estar conciente de la dificultad que implica la eleccin que se haga sobre el
carcter de la evaluacin es imprescindible para medir las fuerzas que requerimos
para terminarla exitosamente.

Un asunto antes de seguir adelante. Es necesario tener en cuenta que muchas de
las dificultades con las que suele encontrarse una evaluacin derivan no de la
misma evaluacin sino del diseo del proyecto, plan o programa a evaluar, entre
las dificultades ms comunes se encuentran:

- Los objetivos no siempre son claros y evidentes
En ocasiones es difcil ubicar los objetivos en su concretizacin toda
vez que estn enunciados de una manera tan general que resulta
difcil percibir cmo operan en la prctica, realmente lo que ocurre en
estos casos es que los objetivos reales se encuentran implcitos en la
presentacin de algunas de las actividades.

- Las metas pueden ser difusas
10
Lo que se dice de los objetivos tambin vale para las metas, cuando
estas no estn suficientemente definidas se vuelve prcticamente
imposible su contraste con los logros realmente obtenidos.

- Los medios pueden ser cambiantes
Asimismo los medios planteados en el diseo pueden no estar
suficientemente especificados, pero an ms, en la interpretacin del
diseo que hayan hecho sus ejecutores seguramente que habrn
tenido que establecer los medios a utilizar. Resulta entonces que una
de las primeras dificultades al realizar una evaluacin es responder a
la interrogante:

- cmo hago para saber qu es lo que tengo que averiguar?
Responderla requiere de un proceso de reconstruccin de la lgica
seguida por los diseadores a fin de encontrar la congruencia entre
las distintas partes del proyecto, as como para tener claro cules son
los objetivos y metas realmente deseados. Y de aqu se sigue otra
pregunta:

- qu informacin necesito?
Esta es una pregunta fundamental, suele ocurrir que muchas veces
nos conformamos con conocer el enunciado del objetivo y de
inmediato pretendemos recabar toda la informacin posible, pero lo
que requiere una buena evaluacin no es mucha informacin, sino
slo la necesaria. Debo establecer con precisin cul es el dato que
me sirve para comparar el comportamiento de la realidad con el
patrn frente al cual la voy a juzgar; es decir: necesito definir
cules son mis indicadores, antes de empezar a recabar la
informacin.

11

3.- LOS INDICADORES

Ahora bien, el objetivo propuesto es el de disear un mecanismo para la
elaboracin de indicadores. Antes de continuar tenemos que definir lo que es un
indicador. Ya se haba dicho al recordar las definiciones que hay tres componentes
en una evaluacin: i) el juicio que emitimos como resultado, ii) un valor o un
Patrn con respecto a los cuales se compara o se contrasta y, iii) el dato, que nos
dice cmo se comport en la realidad lo que estamos evaluando: la escolaridad, la
incidencia de una determinada enfermedad, el delito, etc.

El problema central de los indicadores se puede plantear entonces con la pregunta
cul es el dato que necesito conocer para poder formular un juicio sobre
el objeto evaluable? Construir esos indicadores nos da la posibilidad de obtener
los datos; los nmeros, las cifras, por s solos no nos dicen nada, antes de tener
los nmero, para que nos sean tiles, debemos de haber definido los indicadores,
vayamos a eso.

Podemos definir como indicador a la unidad de observacin que nos permite medir
o calificar, junto con otras, empricamente una relacin tericamente construida.
Por ejemplo el concepto de educacin en una relacin terica, como tal no puede
ser en s mismo un indicador, lo tenemos que descomponer en los elementos que
lo integran para poder observar y medir (i.e. escolaridad y hbitos de lectura son
indicadores).
4
Una evaluacin es antes que nada un proceso de investigacin, de conocimiento
de una realidad o mejor, de un aspecto de una realidad. Todo conocimiento



4
Otra definicin de indicador es la siguiente: indicador es la unidad que permite medir el alcance de un
objetivo especfico. Cohen y Franco, op. Cit. p. 155
12
cientfico
5
Cuando evaluamos habitualmente nos estamos refiriendo a problemas sociales que
enunciamos con una categora o un conjunto de categoras. Por ejemplo: si
decimos que vamos a disear un programa para combatir el problema de la
drogadiccin , estamos diciendo varias cosas a la vez, estamos usando diversas
categoras, podramos empezar por drogadiccin, qu quiere decir?, por qu es un
problema?, para algunos la respuesta ser que es un problema porque genera
diversas actividades delictivas vinculadas a su comercializacin: organizacin
criminal, cadenas productivas clandestinas, trfico, combate a la autoridad, etc,
etc. Cada uno de estos aspectos que se supone integran el problema ser una
variable a analizar. Para otros la drogadiccin ser un problema ms que nada por
los efectos que genera en los consumidores: prdida de salud, disminucin de
estima propia, prdida de nivel socioeconmico, etc, cada una de las cuales ser
una variable a considerar. Finalmente para otros podr ms bien ser un problema
por sus repercusiones sociales: desintegracin familiar, aislamiento del ncleo
social, deterioro de los espacios de convivencia social, etc. Desde luego que no
faltarn quienes digan que todo lo anterior junto, lo que interesa destacar con
estos ejemplos es que hay mltiples manera de definir un mismo problema
procede a travs de categoras, por medio de un conjunto de
elaboraciones tericas a travs de las cuales le damos un orden a la realidad, lo
que nos permite abordarla y procesarla. Por ejemplo, cuando decimos relaciones
sociales no nos estamos refiriendo a ningn hecho concreto, inmediatamente
aprehensible por el intelecto, nos estamos refiriendo a una categora terica que
da cuenta de diversos hechos de comunicacin, poder, dinero, entre las personas
que conforman un grupo social. En consecuencia tenemos que las categoras
tienen que ser definidas, decir qu es lo que entendemos por ellas, al definirlas
tenemos un conjunto de elementos que conforman esa definicin, de notas
constitutivas podramos decir, cada una de las cuales la podemos llamar variable.


5
Conste que estamos hablando de conocimiento cientfico que no es todo el conocimiento, sino una forma de
l, hay conocimientos que no son cientficos en cuanto su apego a un mtodo- y no por ello despreciables.
13
(remarcamos que estos son ejemplos hipotticos, sin que tomemos partido por
ninguna de las posiciones), cada una de las maneras de definirlo da lugar a
distintas variables, veamos el siguiente cuadro con lo hasta ahora dicho.

Cuadro 2
Diversas Maneras de Definir
Problema de la drogadiccin

Enfoque Predominante Variables Consideradas Indicadores
Delictivo en funcin del
comercio
Organizacin criminal;
Cadenas clandestinas;
Enfrentamiento con fuerza
pblica;
???
Efectos en el consumidor Deterioro en la salud;
Disminucin autoestima;
Prdida nivel sociecon.

Efectos Sociales Desintegracin Familiar;
Aislamiento social;
Deterioro espacios sociales


Una vez establecidas estas variables ficticias, slo por va de ejemplo- que surgen
de la definicin del problema o de la categora que da cuenta de l, habr
entonces que preguntarse por el dato que nos permita hacernos un juicio,
equivaldra a preguntarse, en el caso del primer enfoque, est aumentando la
organizacin criminal?, por supuesto que no podemos responder que nos parece
que s o que nos parece que no, tendramos que dar un dato preciso, cul es el
dato que nos podra decir si aumenta o disminuye la organizacin criminal en
relacin al comercio de drogas?, este es el reto de la construccin de
indicadores. Podramos tal vez decir que un indicador podra ser el de nmero de
delitos cometidos, otro el de ajusticiamientos inexplicables, ambos seran
discutibles, lo que aqu queremos ejemplificar es la dificultad que reviste construir
indicadores dependiendo de la complejidad del fenmeno; por lo contrario en el
segundo enfoque podramos decir que el deterioro de la salud entre adictos se
puede medir a travs de la disminucin de peso, recurrencia de ciertas
enfermedades y as sucesivamente con las dems variables.
14

En sntesis: el indicador es el que nos permite establecer el tipo de dato
que necesitamos en funcin del juicio que queremos emitir, (teniendo en
cuenta nuestro patrn de valores que nos sirve como elemento de
contraste).

Ahora bien, no toda informacin se puede obtener con la misma facilidad, as, ser
ms fcil que un adicto nos diga las enfermedades que padece a que un
narcotraficante nos diga la organizacin a la que pertenece, la seleccin de
indicadores tambin tiene que seguir un criterio prctico de posibilidad de acceso a
la informacin sobre los datos que requerimos. Pero tambin hay que tener en
cuenta que hay informacin que siendo difcil de obtener es crucial para la
evaluacin, por lo que siempre tendremos que ubicar el punto de equilibrio entre la
importancia del dato y la facilidad de acceso a la informacin, vemoslo a travs
del siguiente cuadro:

Cuadro 3
Criterios de Seleccin de Indicadores
Importancia/dificultad

Fcil Difcil Muy difcil
Muy importante X (1) X (2) X (3)
Relevante X (4) X (5) (6)
Poco importante X (7) (8) (9)

Los indicadores se ubicaran preferentemente en los cruces 1, 2, 4 y 5, desde
luego que si un dato resulta muy importante habra que intentar conseguirlo
aunque fuera muy difcil su acceso (3). La opcin de poco importante y muy fcil
(7) es posible utilizarla cuidando de no llenarnos con mucha informacin que sea
escasamente importante. Las opciones 6 y 8 resultan una inversin de tiempo poco
racional en una evaluacin y la opcin 9 es mejor dejarla de lado. Recordemos
que todo depende del tipo de evaluacin que estamos realizando.

15
3.1.- La definicin de indicadores
Si seguimos con el ejemplo de las adicciones y tomamos uno de los enfoques,
como ejemplo el del problema en el individuo consumidor, habamos dicho que las
variables son: i) deterioro en la salud; ii) prdida de autoestima; iii) disminucin de
nivel socieconmico, tendramos que describir cada una de estas variables,
teniendo en perspectiva hechos observables y verificables; equivaldra a
preguntarse: cundo podemos decir que hay deterioro de la salud?, en qu
consiste la prdida de la autoestima?, cundo hay disminucin del nivel
socieconmico?

Cuadro 4
Definicin de Indicadores
Variables Indicadores
Deterioro de la Salud - Presencia de enfermedades de origen infeccioso
- Prdida de apetito
- Disminucin de situacin nutricional
Prdida de Autoestima - Desconfianza ante el logro de metas personales
- Ruptura de relaciones de pareja
- Insatisfaccin ante situacin personal
Disminucin Nivel Sociecon. - Prdida de trabajo
- Insuficiencia de recursos para necesidades bsicas
- Abandono de estudios

Cabe sealar que la definicin de los indicadores requiere de un conocimiento
experto, es decir que un especialista tendra que ayudarnos a definirlos, por
ejemplo, un mdico tendra que decirnos que se entiende por prdida de la salud
como consecuencia de las adicciones, y un psiclogo debiera ayudarnos a decir
qu se entiende por prdida de autoestima, insistimos en que todos los ejemplos
que se ponen son hipotticos.

Hay que tener en cuenta que un diseo adecuado de un proyecto debe establecer
los indicadores desde el momento mismo del diseo y no esperarse a la evaluacin
para definirlos, de otra manera: una adecuada evaluacin se ver altamente
16
favorecida si desde el diseo se contemplan los indicadores para la
medicin de los resultados.

Si el proyecto se hubiera puesto como objetivo (tambin en sentido hipottico)
Combatir las adicciones por medio de la aplicacin de tratamientos para disminuir
sus consecuencias sobre el consumidor. Entonces habra que evaluar si los
tratamientos disminuyen estas consecuencias, tal y como se les ha definido y si
ello lleva al abandono de la adiccin. Entonces de manera sinttica podemos
representar el ejemplo de la siguiente manera:

Cuadro 5
Relacin Objetivos Variables - Indicadores
Objetivo Variables Indicadores
Combatir las
adicciones con la
aplicacin de
tratamientos para
disminuir sus
consecuencias en el
consumidor
Deterioro de la salud

Disminucin de enfermedades
contagiosas
Recuperacin en niveles
nutricionales
Recuperacin apetito
Prdida de Autoestima

Recuperacin en confianza de
alcanzar metas
Estabilidad en la relacin de
pareja
Satisfaccin personal
Disminucin nivel
socieconmico
Empleo estable
Suficiencia para cubrir
necesidades bsicas
Estabilidad en estudios


3.2.- Los instrumentos
Al establecer los indicadores habr que disear los instrumentos por medio de los
cuales accederemos a la informacin. En las ciencias sociales el instrumento ms
utilizado es la encuesta, por medio de cuestionario que se aplica a una muestra de
los individuos que constituyen la poblacin sobre la cual se pretende actuar,
aunque no siempre es el ms eficaz; la eficacia de un instrumento est en funcin
del tipo de conocimiento que queremos obtener, si queremos una evaluacin slo
descri pti va, que se pregunte por individuos en tratamiento bastar con revisar
los registros y obtener la cifra, estaramos en el caso de un instrumento
17
documental; si adems queremos describir los resultados obtenidos con los
tratamientos entonces tal vez una encuesta a una muestra nos sea suficiente, si
queremos profundizar sobre los mismos, en una evaluacin di agnsti ca,
respondiendo por ejemplo a la pregunta bajo qu condiciones funcionan mejor
los tratamientos?, entonces adems de la encuesta requeriramos de estudios de
caso, es decir de tomarnos a algunos pocos individuos y profundizar la
informacin por medio de entrevistas sucesivas en la que nos informemos de la
trayectoria de su vida, e incluso interrogando tambin a su ncleo familiar, en este
caso ganamos en profundidad, aunque perdemos en extensin (dado que llevara
mucho tiempo aplicar este instrumento a muchos individuos). Si queremos una
evaluacin normati va, entonces tendramos que consultar a expertos, a travs de
entrevistas abiertas, preguntndoles sobre los tratamientos ms idneos, las
variables sobre las que se debe de actuar y los indicadores para medir sus
resultados. Si queremos una experimental, entonces tal vez tendramos que acudir
de nuevo a documentos, que en este caso seran los reportes de otras
evaluaciones similares.

Reiteramos que estamos poniendo casos hipotticos, se pueden derivar algunas
observaciones generales de carcter preventivo:
a) ningn instrumento es, por s mismo mejor que otro, su idoneidad depende
de: i) el tipo de evaluacin que queremos realizar, ii) el objetivo mismo del
proyecto, iii) el problema sobre el que acta y, iv) la dificultad para obtener
la informacin requerida.
b) Ningn tipo de evaluacin tiene un instrumento necesario.
c) Las evaluaciones suelen obtener mejores resultados cuanto se combina el
uso de un mayor nmero de instrumentos, aunque esto a su vez depende
de los recursos y tiempo con el que contemos para hacer la evaluacin.

Como sntesis de este apartado referiremos algunos de los diversos instrumentos
que estn disponibles, sealando algunas de sus ventajas y de sus limitaciones:
18

Cuadro 6
Algunos Instrumentos en Ciencias Sociales
Instrumento Ventajas Limitaciones
Encuesta
Permite conocer informacin
extensa sobre un nmero
amplio de individuos
Expresa la informacin de
manera estadstica
Permite la precisin del dato.
No profundiza sobre las
causas de las situaciones
detectadas.
No permite obtener
informacin sobre
aspectos delicados
Puede establecer
relaciones ficticias entre
fenmenos
Estudio de Caso
Permite profundizar en la
informacin
Contribuye a que el individuo
proporcione informacin
delicada
Facilita manejar mltiples
variables a la vez
No permite sacar
conclusiones con validez
estadstica
Requiere de ms tiempo
para su realizacin en cada
caso
Aplicable a un nmero
reducido

Entrevista
abierta
Permite profundizar sobre el
tema
Facilita recoger informacin no
prevista
Permite observar reacciones del
entrevistado
Dificulta la comparacin
sistemtica de la
informacin
Tiene el riesgo de la
reinterpretacin de la
informacin por el
entrevistador
Observacin
Permite ver a los
individuos en accin
Los individuos pueden
no sentirse intimidados
por el observador
Permite percibir
interacciones
No proporciona elementos
verificables
Limita la informacin a lo
que se manifiesta en el
momento
No permite resultados
conclusivos


4.- UN SISTEMA DE INDICADORES

A partir de los sealamientos anteriores, que nos orientarn a lo largo de la
exposicin, pasemos ahora a considerar un sistema de generacin de indicadores
para el programa de Prevencin Ciudadana del Delito a Travs de Programas de
Atencin a Jvenes en el Distrito Federal
19

Lo primero que tenemos que preguntarnos es para qu se quiere la evaluacin?,
esto con el objetivo de saber cul es el tipo de evaluacin de la que habra que
echar mano. Si ya termin el Programa y lo que se quiere entonces es un balance
general de los logros obtenidos estaremos hablando entonces de una evaluacin
ex post, por lo contrario, si el Programa est an en marcha y lo que se quiere
saber es su desempeo para aplicar los correctivos pertinentes, estaremos
hablando entonces de una evaluacin concomitante. Supongamos que lo que se
nos pide en el tercer caso (la final habitualmente se solicita a una instancia externa
y la ex ante suelen realizarla los propios elaboradores del proyecto), a los
ejecutores habitualmente se les solicita la evaluacin de medio camino,
recordemos cul es el objetivo de este tipo de evaluacin: Establecer la distancia
entre lo que se planific y lo que se est resultando a fin de establecer las
correcciones necesarias sea en la ejecucin o en el diseo.

Si este fuera el caso entonces tendramos que definir el nivel de evaluacin que se
requiere para tal fin, desde luego que la descriptiva sera til, pero tal vez no la
ms adecuada puesto que nos dira el nmero y tipo de acciones que se estn
desarrollando, pero seguramente que eso no bastara, sera necesario que digamos
porqu no se estn obteniendo los resultados que se tenan previsto, en ese
sentido sera ms til una investigacin diagnstica, como recordaremos, en ella:
Sealo y explico el por qu los resultados.

Por supuesto que tambin sera til una evaluacin normativa, sin embargo sera
poco probable que se le encomendara a los ejecutores el rediseo del Programa,
en su caso esto sera realizado por los propios planificadores. Con el fin de seguir
avanzando en el ejemplo quedemos entonces que se trata de una evaluacin
concomitante y diagnstica, entonces la siguiente pregunta sera: cul es la
finalidad de esta evaluacin?, establecer el impacto que el Programa est
teniendo?. Seguramente que esa sera una de las pretensiones, sin embargo
20
seguramente que adems se querra que se dijera por qu s o por qu no se est
teniendo el impacto esperado, lo que tambin conducira a una evaluacin
operativa.

Como siguiente paso habra que reproducir la lgica seguida en la planeacin del
proyecto, partiendo de su objetivo nos encontraramos con que el objetivo general
del Programa fue:

Este Programa tena tres componentes
El Programa de Prevencin de la Violencia y las Adicciones, tiene como
objetivo capacitar a jvenes de 14 a 29 aos para reducir el uso, abuso y
repercusiones de sustancias adictivas en la Ciudad de Mxico. A partir de
privilegiar acciones preventivas y deteccin de riesgos de las adicciones con
participacin individual, social, sectorial e institucional.

El Programa Jvenes Organizados contra la Violencia Familiar, pretende
conformar una red de participacin social dedicada a generar un proceso de
prevencin de la violencia familiar dentro de la comunidad, a travs de
estrategias de difusin, promocin y capacitacin entre integrantes de las
Comisiones y Comits Vecinales de las unidades territoriales del D.F. y
jvenes de las Unidades Territoriales.

El programa Jvenes por la Ciudad, tiene como propsito apoyar a jvenes
de 14 a 29 aos, prioritariamente, en unidades territoriales de alta
vulnerabilidad de la Ciudad de Mxico, para generar un proceso de
intervencin comunitaria, orientada a la reconstruccin del tejido social y de
la seguridad ciudadana, como una medida de prevencin del delito.

Puestos de manera sinttica los tres componentes son:
Capacitacin
21
Conformacin de una red
Intervencin comunitaria

Lo anterior no debe de hacernos perder de vista que estos componentes se
pueden dar en cada uno de los subprogramas, para simplificar ubiquemos estos
tres componentes prescindiendo de los subprogramas, tendramos que
preguntarnos cul es la definicin que se utiliza y por tanto cul es el enfoque
(marco de referencia, patrn de valores) que se le da a cada uno de los
componentes, para de ah derivar las variables y los indicadores:

Componente Capacitacin
Enfoque (posibles) Variables (que se relacionaran
con cada uno de los enfoques)
Indicadores(que se
obtendran de las
variables)
acumulacin de
Conocimientos
- cules son los aspectos sobre
los que debieran de tener
conocimiento los promotores?
(p.ej sobre: sustancias
adictivas, grupos de riesgo, etc)
enfermedades que suelen
asociarse...
- cules son las destrezas que
deben de tener los promotores
para poder intervenir? (p. ej.
Deteccin de adictos,
tratamiento inicial...)
a partir de qu datos
podemos decir que los
adquiri? (p. Ej
conocimiento de grupos
de sustancias).



qu dato nos permite
decir que las desarroll?
Proceso autnomo
de aprendizaje
- procesos de reflexin grupal
- consensos elaborados por el
grupo
- sobre qu temas?
- qu contenidos?
Interaccin entre
mediador y
capacitando
- procesos de reflexin grupal a
partir de propuestas del
capacitador
- generacin de consensos
informados
- apropiacin de contenidos y
vinculacin a la prctica
cotidiana
- qu propuestas?
- a partir de qu
informacin?
- de qu manera se
vinculan aprendizajes y
prcticas?

22
La respuesta a las interrogantes nos conducira justamente a establecer los
indicadores, las preguntas que ponemos en el cuadro no son los
indicadores ni las variables, sino las respuestas que alcancemos a construir
seran tales. Es necesario tener en cuenta que el cuadro representa diversos
enfoques, por lo general en un proyecto debe de haber un solo enfoque, ya que
habitualmente estos son excluyentes.

Es necesario tener en cuenta que nos estamos refiriendo a enfoques de manera
hipottica, establecerlos con ms precisin implica revisar los documentos y
materiales utilizados en el proceso de capacitacin.

En el caso del primer enfoque lo que se supone es que la persona a capacitar lo
que tiene que hacer es acumular una serie de conocimientos y destrezas que le
proporciona el capacitador. El segundo sera el contrapuesto, es aquel que
presupone que el aprendizaje proviene del mismo que aprende a travs de sus
procesos sociales de reflexin, el tercero es el intermedio que supone que todo
aprendizaje requiere de un agente externo pero tambin de la participacin activa
y reflexiva de quien aprende, entonces resulta que las intencionalidades implcitas
en cada enfoque son excluyentes.

Demos un siguiente paso con el segundo componente: conformacin de una red
de participacin social. Pasemos entonces del ejemplo hipottico al anlisis de
posibilidades. El objetivo a analizar es: conformar una red de participacin social
dedicada a generar un proceso de prevencin de la violencia familiar dentro de la
comunidad, a travs de estrategias de difusin, promocin y capacitacin entre
integrantes de las Comisiones y Comits Vecinales de las unidades territoriales del
D.F. y jvenes de las Unidades Territoriales.

Antes de cualquier otra cosa pasemos a analizar este objetivo:

23
Qu: conformar una red de participacin social,
Cmo: a travs de estrategias de difusin, promocin y capacitacin
Con quines: Integrantes de las comisiones y comits vecinales y jvenes de las
U. Territoriales.
Es decir, en el enunciado estn presentes el objetivo propiamente, la estrategia y
los destinatarios, mismos que en una evaluacin hay que abordar, pero
concentrmonos ahora en el objetivo:

Objetivo Variables Indicadores
conformar una red
de participacin
social dedicada a
generar un proceso
de prevencin de la
violencia familiar
dentro de la
comunidad,
Qu es una red?
Qu es
participacin
social?
Qu es
prevencin de la
violencia familiar?


Qu es una red?. Intentemos definirla: conjunto de personas y/o organizaciones
que tienen un objetivo comn, pero no una estructura ni jerarqua, actan en
comn a partir de un consenso bsico y su identidad y permanencia est en
funcin del alcance del objetivo.

Qu es participacin social?. Intervencin de personas y organizaciones en la vida
pblica a travs de la informacin, anlisis de posibilidades, decisiones, ejecucin y
evaluacin de acciones pblicas.

Qu es violencia intrafamiliar? Conjunto de distintos tipos de agresin entre los
miembros de una familia, implican una violacin a los derechos de los miembros
agredidos, justificada por la manipulacin psicoafectiva de la persona agresora;
suele derivarse de fenmenos tales como hacinamiento, frustracin, distribucin
inequitativa de tareas y recursos en el ncleo familiar y presencia de adicciones de
alguno o varios integrantes de la familia.
24

Estas tres son definiciones que presentamos a manera de ejemplo, puede haber
varios procesos para elaborar una definicin; en el caso de red podemos consultar
un texto sobre organizaciones; lo mismo que en el de participacin social, est por
ejemplo el Manual de la Participacin, del Banco Interamericano de Desarrollo; en
el caso de la violencia intrafamiliar podramos acudir a la definicin que da la ley
correspondiente o podramos tambin pedir a especialistas que nos den su punto
de vista, pero lo ms importante cuando estamos haciendo una evaluacin:
tendramos que ver qu es lo que quienes disearon el proyecto
entendan por esas categoras.

Una vez que se pretendi definir cada una de las variables, pasemos a integrar
todo esto en un esquema:


Cuadro 7
Objetivos Variables Indicadores
Del Componente Integracin Red
Objetivo Variables Indicadores
conformar una red de
participacin social
dedicada a generar un
proceso de prevencin
de la violencia familiar
dentro de la
comunidad,
Integracin Reticular
Participantes (cuntos, de
qu tipo?)
Consenso bsico (en qu
consiste?)
Formas de Actuacin (qu
hacen los participantes en la
red?
Participacin social
Disposicin a intervenir en
la vida pblica (la tienen?)
Niveles de Intervencin (de
acuerdo a los sealados en la
definicin)
Prevencin Violencia
Intrafamiliar
Informacin sobre derechos
(folletos, talleres, campaas)
Espacios de denuncia (local,
personas encargadas,
capacitadas)
Deteccin de casos de
violencia (actual y potencial,
medios, canalizacin casos)

25
Una vez establecidos estos indicadores (estn con negritas y entre parntesis
aquellos aspectos que los hacen an ms especficos) habr que disear los
instrumentos para recabar la informacin, para lo que habra que tomar en cuenta
lo sealado en el apartado correspondiente.

Recordemos que se trataba de tres componentes, ejemplificamos con uno:
integracin de la red, habra que darle el mismo tratamiento a los otros dos:
capacitacin e intervencin comunitaria, pero esperamos que ya est claro cmo
se podran trabajar, as es que les proponemos que hagan su cuadro para cada
objetivo, que discutan y lean, as como tambin que tengan mucho entusiasmo
para establecer indicadores de la efectividad del trabajo que estn realizando,
dado que ello lo har ms benfico para todos aquellos a los que se dirige.