Evaluar para La Transformacion Nirenberg, Brawerman y Ruiz PDF

EVALUAR
PARA LA
,
TRANSFORMACION
Innovaciones en la evaluacin
de programas y proyectos sociales
Oiga Nirenberg
Josette Brawerman
Violeta Ruiz
EVALUAR PARA LA TRANSFORMACiN
TRAMAS SOCIALES
Directora de coleccin:
Lic. Irene Gofman
20.
S. Checa (comp.)
Gnero, sexualidad y derecbos reproductivos en la
adole.\'cencia
21. T. Puig
La cormmiwcirn 'l1lUnicipal crmplice con los ciud{ulanos
22. M. Caracciolo Basco y M. Laxalde
Economa .mlid{lria y capital.mcial
23. M. Montero
IntT'oduccirn a la psicologa C017lU7taria
24. H. Lejarraga (comp.)
De,wrrollo del nifio en contexto
25.
G. Kessler
Delito, exclusirn y juventud
EVALUAR PARA
LA TRANSFORMACiN
Innovaciones en la
evaluacin de programas
y proyectos sociales
OLGA NIRENBERG
JOSETTE BRAWERMAN
VIOLETA RUIZ
26. V. Ruiz
La.\' orgrmizacione.\' c07mmitaria.\' y gestirn asociada
27. M. Mucci
P~;icoprojilaxis
qltirrp;iw
28. T Puig
Se awbr la diversirn
29. F. Elas
La adopcirn de niiios como cuestin social
~I"~
PAIDS
BuenoS Aires
Barcelona
Mxico
Si desea recibir informacin mensual de nuestras novedades/publicaciones,

a nuestra lista de correo electrnico, por favor envenos
los siguientes datos a difusin@editorialpaidos.com.ar
Nombre y apellido, profesin y direccin de e-mai!.
y ser incorporado
I
I
- ---------
Cubierta de Gustavo Macri

Motivo de cubierta: Fragmento
Nirenberg,
Evaluar
evaluacin
Nirenberg,
2" reimp,224 p.
302.3
NIR
de Paisaje
.. ----- ...
-------.
de Cret (1913) de ,Juan Gris
LAS AUTORAS
Oiga
para la transformacin:
innovaciones en la
de programas Y progmmas sociales / Oiga
Josette Brawerman y Violeta Ruiz.- 1" ed_
Buenos Aires' Paids, 2005.
; 21x13 cm.- (Tramas sociales)
ISBN 950-12-450S-X
1. Brawerman, Josette 11. Ruiz, Violeta 111. Ttulo 1. Interaccn Social Intergrupal
1" edicin, 2000

1" reimpresin, 200:!
2(1 reilnpresin, 2005
Quedan
rigurosmnente
bajo
sanciones
las
cualquier
distribucin
medio
prohihidas,
establecidas
o procedimient.o,
(h~ ejemplares
2000 do todas
Editorial
de (~lla
In auLori~acin
cOlnprcndidos
mediante
laH "dicionos
(~scrita
la reproduccin
la reprografa
a!qui]cr
o prst.amo
de los titulares
total
pblicos.
en castellano
Aires
literaria(g.editorialpaidoH.com.ar
www.paidosargentina.col11.al.
Quoda hecho el dopHito 'llW provi01'" la Ley 11.72:3

ImpreHo "n la Argentina
o parcial
y el tralnn1i(:nLo
Paid<is SAICF
DeJ(,nsa 599, Buenos

e-mail:
sin
en 1<1s h~yn.s,
del
de esta
copyright,
o.bra por
inform{;co,
y la
OIga Nirenberg
Es sociloga (Universidad Naciona] de Buenos Aires
-UBA-), con pos grados en Planificacin Social y en Salud Pb]icl. Es directora ejecutiva del Centro de Apoyo a] Desarrollo Loca] (CEAD EL) y coordinadora
de]
~lrea de eV;l]uacin de] Programa de Atencin a Nii10s y
Adolescentes en Riesgo (ProAme, Secretara de Desarrollo Social/BID). Trabaja como consultora en evaluacin para otros programas nacionales de ]a Secretara
de Desarrollo Socia] y en el Programa Materno Infanti] y Nutricin
(PROMIN, del Ministerio
de Sa]ud/BIRF), y para programas internacionales,
en especial e] Programa Regional de Salud Integra] del Adolescente de la OPS-Washington
DC y e] Programa UNI de
]a Fundacin W. K. Kellogg.
- 1'ril1t"d in Argontina
J osette
Impreso
en Grfica
Santiago
del I,stero
Tirada:
MPS,
:3:38, Lans, "n fobrero de 2005
1000 ejemplaros
ISBN 950-12-4508-X
BrawemUll
Es sociloga (UBA), con estudios de posgrado en P]anificacin Social. 1 la sido consultora del Centro Interamericano de Des:lrrollo Socia] de la OI'~A y de UNICEF
7
Oiga Nirenbax,
]o.\'ette BTtlwC'rman, Violeta Ruiz

,
Argentina. En la actualidad es miembro del equipo tcnico de CEADEL y consultora del rea de evaluacin del
Programa Materno Infantil y Nutricin (PROMIN, Ministerio de Salud/BJRF) y del Programa de Atencin a Nifos y Adolescentes en Riesgo (ProAme, Secretara de Desarrollo Social/BID).
INDICE
Violeta A. Ruiz
Es sociloga (UBA), con estudios en Programacin
Social. En 1997 recibi el Premio Adeba por el trabajo
presentado sobre la evaluacin del Programa Materno
Infantil del Ministerio de Salud. Se desempeil como
consultora en programas sociales dependientes de distintas reas de gobierno y Organizaciones de la Sociedad
Civil (OSe:). Ha coordinado y colaborado en evaluaciones de programas para la Direccin Nacional de Gasto
Pblico Social del Ministerio de Economa, CEADEL,
UNICEF Argentina y programas dependientes de la Secretara de DesarroUo Social de la Nacin.
Prlogo, Leopoldo f1{tlpern

Introduccin
13
21
Captulo 1: Para qu la evaluacin?

lntroducindonos
en tema
La eva uacin como momento
o funcin de la gerencia
Intentando um definicin
Evaluacin e investigacin: bastantes similitudes
y algunas diferencias
Cambios en los estilos de evaluacin
La evaluacin para ]a transfrmacin
Aprendiendo con la evaluacin y de eJLl
E] proceso de la evaluacin
Captulo 2: Los tipos de evaluacin

Antes, durante o despus: siempre hay que evaluar
Conjugando el verbo evaluar: nos evaluamos o nos
eva],ln?
Los mltip]es propsitos de la evaluacin
8
27
27
29
31
36
38
42
46
48
5]
53
58
62
Evaluar pan la transfot7lUlrin
OIga Nirenberg, ]osette Brawerrnan, Violeta Ruiz

tnfasis segn temas: qu evaluamos?
Los distintos objetos posibles de evalmcin:
tipos o niveles de anlisis?
Para evaluar las evaJuaciones
La 11lultidimensionalidad de la evaluacin
65
Captulo 3: Los abordajes metodolgicos

Evalu~lcin cuantitativ~l y cualitativ~l.
Un debate histt)rico
p:valuacin cuanti;ativa o cualitativa?
Es,] no es la cuestl0n
Una cuestin central: el rigor metodol(o)gieo
Actores y audiencias
79
72
75
77
80
85
91
96
Captulo 4: Las tcnicas de evaluacin

Acercndonos a las tcnicas
Los diferentes tipos de tcnicas
Cmo decidir qu tcnicas utilizar?
Y sobre los instrumentos)
105
105
107
129
130
Captulo 5: El diseo de un modelo evaluativo

Por qu un modelo?
Los atributos dese~]hles de un modelo evaluativo
Las partes que integnl11 un modelo evaluativo
Parte por parte
Las dimensiones del modelo evalu,]tivo
Abriendo el ab,lllico de las dimensiones
Seleccionando y definiendo indicadores
Las tcnicas y las fuentes
Las pregunt,ls orientado1"<ls
La matriz sntesis del modclo evaluativo
El instrumento valorativo:
un modo de cll<llltitlear 10 cuaJitativo
1B
133
135
138
138
144
148
154
161
162
164
lO
Captulo 6: La aplicacin del modelo evaluativo

y la diseminacin de los resultados
"lbnsferencia del modeJo evaluativo y ajustes
Los nElsis o focos en los distintos momentos.
Inclusin de ajustes
La participacin de los actores
La fornndacin de juicios valorativos
fundamentados y de recomendaciones
La devolucin de los hallazgos evaluativos
El informe de evalmcin
'Ellleres para cl acuerdo con los actores
El resumen ejccutivo
La difusin de los hallazgos
169
169
170
173
177
181
183
188
189
190
Anexos
Matriz sntesis de un modelo evaluativo
Instrumento de valoracin
191
1<)2
205
Bibliografa
217
165
11
PRLOGO
I
\
El ttulo del libro Evaltun par-a la transformacin adelant;] 1;]intencin de l;]s ;]utoras, fruto de su aquilatada
experiencia en ]a formulacin y evaluacin de programas
sociales. Y esta intencin se resume, a nuestro juicio, en
la propuesta de una reflexin profunda del significado de
la evaluacin como elemento clave en la programacin
de l;]s poltic;]s sociales.
Es frecuente, en los anlisis de esta problemtica,
confundir 1;]actividad de evaluacin ~con los supuestos
de racionalidad implcitos en ella- con la de programacin. Atribuir a la programacin -entendida como la
asign;]cin de recursos eJ;'ante- un carcter racional en
todos los casos induce a error. Ll programacin, como
metodologa de asignacin de cualquier tipo de recurso
en la sociedad, puede ser racional o irracional tanto en
objetivos como en mtodos, y es de suma importancia tener en claro este punto al abordar este tema, especialmente en la evaluacin de programas_
En este trabajo, Nirenberg, Brawerman y Ruiz hacen
un minucioso anlisis del significado de la evaluacin en
r
13
OIga Nirenlmg, ]o.,ette Brawernum, Violeta Ruiz
Pnilogo
la programacin, particndo del entcndimiento

claro y
simple (pero pocas veces incorporado en los textos) dc
que la evaluacin no es una parte inicial o final del proceso de creacin u opcracin de un proyecto o programa
social, sino que se trata de un elemento constitutivo e inseparable del mismo. Es el ncleo motor de la racionalidad de la que debiera estar dotado todo proyecto destinado a modificar una realidad social, desdc el comien/',o
hasta m~ls all dc su finalizacin, desde las ideas inicia!es
que guan al programador cn su disco hasta el momcnto en quc, cumplidos los objetivos, cs ncccsario rct1exionar tanto sobrc los efectos dc lo propuesto y actuado como sobre las consccuencias -deseadas y no dcseadas- de
los proccsos que se han pucsto cn marcha.
En este sentido, en todo el texto hay un explcito rechazo a pensar la evaluacin como un momento aislado, parcial
y confInado en el tiempo, reafirmando el papel del "aprendizaje" que sta brinda como punto de partida y de llegada,
de prueba abierta y permanente basc de nuevas propuestas
y gestiones super~](loras en la poltica y en la gesti{m social.
Un '11l.ilisisapresur:Hlo podra llevar a confundir esta
concepcin de la evaluacin con la racionalidad que Weber' define como propia de la modernidad y del Glpitalismo, racionalidad instrumental u operativa en la que fInes, medios y condiciones son analizados por el actor y
esto le permitc elegir las conductas que lo lIevar:n, con
los medios disponibles, a alcan/',ar los fines "racionalmente seleccionados". A su vez, Mayntz/ profundizando
esta caracterizaclOn, en su an.ilisis del sistema (modelo)

poltico-administrativo
moderno, re define el problcma
de la racionalidad instrumental en la gestin del subsistema administrativo, mostrando las variaciones quc registra sta de acuerdo con la ampliacin y evolucin de
sus funciones. En la etapa constitutiva del Estado moderno, tanto en el absolutismo fundante como en el perodo
del Estado gendarme del liberalismo, el predominio de
funciones como las de recaudacin, orden cxterno c intcrno hacen que dominc una racionalidad burocrtica,
cuyo criterio de xito se basa en el apego a la norma, independientemcnte
de los efectos que ella tenga.
La propia evolucin del Estado, en el posterior perodo democdtico de participacin, se acompafa dc nuevas
funciones (obras pblicas, desarrollo econmico, polticas de biencstar social) y se corresponde con un nuevo
modelo de gestin, el dc la planificacin, cuyos criterios
de xito (y racionalidad) se basan en el cumplimiento dc
"metas" quc sustituyen la racionalid:Hl burocdtica.
Dc
este modo, para las autoras, coexisten en el seno del Estado dos tipos de racionalidad instrumcntal, con distintos argumentos.
Pese a esta distincin que surge de los paradigmas
normas-metas, la base dc r:lcionalidad sigue teniendo caractersticas parciales, de tipo instrumental. As concebida, la racionalidad del planificador, aunque distinta de la
del burcrata, se detiene en el momento en que alcanz
el objetivo propuesto en el plan o proyccto. La exigencia
-como atlrmamos- es llegar a la meta, cumplir acabadamente c01110s fines del plan. En ambos casos, la racionalidad aparece como un elemento fragmentado, dada su
definicin instrumcntal, es decir, parciaL
1. Weber,
M.:
eCOnO'lIIII}
slIciedilll,
Mxico,
Fondo
de Cultura
l':con,',-
miea, 19(,4.
2. Mayntz,
1994.
R.:
Sociologll
de Illlld'llliniSl'mcirn
14
/>bliur,
iVbdrid, Ali:1Ilz.:l,
lS
__
-IIIIIIII,". ---II1IIII1IIl1li111,
--------------
Oiga Nirenberg, Josette Brawermfm,
Violeta Ruiz
Esta concepcin limitada se contrapone con la racionalidad asociada a la evaluacin, que constituye el modelo de la propuesta contenida en este libro y que R. Gmez3 (utilizando los criterios epistemolgicos de K. O.
Apel) caracteriza como comprehensiva, en tanto discute o
elucida la propia racionalidad (y justeza) de los fines que
se persIguen.
La mera racionalidad instrumental, restringida y fragmentaria, est irremediablemente ligada a una concepcin de la sociedad y su organizacin, y elimina la reflexin sobre las consecuencias de la accin, con un notorio
empobrecimiento y limitacin en el anlisis, tanto a nivel epistemolgico como de la propia concepcin de la
sociedad, de su organizacin, de los "modos aceptados
como racionales y para la accin social misma".
La propuesta evaluativa que se aborda en este texto
-en tanto elaborada COl110 proceso que abarca y contiene
todo el desarrollo del plan o proyecto, sometiendo a crtica sistemtica no slo los fines seleccionados y el ajuste
de la operacin a stos sino adems, y fundamentalmente, los efectos deseados y no deseados de la implementacin, y aun el propio ejercicio de la evaluacin misma,
mediante la "metaevaluacin"-, supera los lmites de la
razn instrumental y de la crtica expuesta.
Un elemento destacable de esta propuesta es el de la
profuwb asociacin que se establece en el texto entre evaluacin y mtodo cientfico, relacin estrechamente ligada
a la concepcin de racionalidad anteriormente expuesta.
Sin embargo, esta asociacin est lejos de identificar ambas actividades, e ignora sus diferencias. Recuperando la
3. Cmez, R.: Ncoli/Jcralis71Ioy sClIdocicIlcill, Buenos Aires, Lugar, 1995.
16
fJrlogo
distincin que Bung hace entre ciencia y tecnologa, la

programacin-evaluacin aparece firmemente encuadrada
en los cnones del mtodo cientfico, respondiendo a sus
exigencias de prueba y verificacin, pero con identidad
propia, en tanto accin prctica dirigida a la transformacin, a la operacin sobre la realidad social.
Un aspecto sobresaliente del trabajo reside en el esfuerzo didctico con que se ha asumido la tarea a lo largo de los seis captulos que componen el libro.
Desde el anlisis minucioso de la propia definicin de
evaluacin y sus implicancias, sus vinculaciones con el
mtodo cientfico, los criterios de validacin y operacionalizacin, el anlisis de las tcnicas hasta la matriz de
evaluacin, la metodologa expositiva elegida privilegia
en todos los temas tanto la desmitificacin de cuestiones
aparentemente irreductibles (como es, por ejemplo, la
aparente antinomia entre lo cuantitativo V.I'. lo cualitativo en investigacin social), como las definiciones sencillas y accesibles, tanto para quien se asoma por primera
vez a estas cuestiones como para los especialistas interesados en otras perspectivas analticas.
El tratamiento de estos problemas resulta relevante en
nuestro pas, particularmente en el ,1mbito de las polticas
sociales, dado que stas muestran -con escasas excepciones- una generalizada orf:mdad tanto en la evaluacin como en la formulacin y gestin de programas y proyectos.
Resulta doblemente paradjico que esto ocurra en la
Argentina, a la luz de su temprana vocacin en la formulacin de programas sociales y de salud a partir de la dcada del cuarenta, ya que al mismo tiempo, y en sentido
4. Bunge, M.: Qu es la ciencia?, Buenos Aires, Siglo XXI, 1960.
17
0Zf!;aNirenbelX, ]osette Bra7vernum, Violeta Ruiz
Prlogo
contrario, aun con distintas definiciones, en el resto de

Amrica Latina, pases como Chile, Venezuela y Cuba,
entre otros, han recurrido al modelo de la planificacin
como mtodo de enfocar su problemtica social.
Seguramente son mltiples los bctores que explican
]a renuencia del sector pblico a incorporar la programacin (y la evaluacin) con estos criterios de racionalidad
en la gestin de los programas sociales. Entre eI]os, constituye un elemento de peso la prevalencia en el su bsistema administrativo del Estado argentino de una "cu]tur~l
excesivamente burocrtica", que se ha convertido en la
orientacin cuasi universal de toda gestin de Estado,
trascendiendo
los peridicos cambios de gobierno e,
incluso, la alternancia entre modalidades democr:1ticas y
autoritarias que se sucedieron en los ltimos cuarenta
aos.
De este modo, en la formulacin y ejecucin de la poltica soeial, aunque las acciones y los propsitos se etiqueten con frecuencia con el nombre de "programas" y
recurran en no pocos casos a la liturgia formal de la propia programacin, sus criterios de ejecucin, racionalidad y xito se atienen a los c:1nones estrictos del procedimiento contable, siendo el principal, ya veces el nico
criterio de ejecucin, su apego a] reglamcnto ya las norm:1Sde contabilidad pblica.
Esta caractersticl neg:ltiva "administrativista" que tife la poltica social argentina no puede desvincularse del
propio accionar del subsistema poltico en el marco del
Estado. Esto se debe, a nuestro juicio, en parte, a una fa]encia generalizada de dicho subsistema (e] poltico), el
cual, adems de carecer de informacin y condiciones
tcnicas que le permitan limitar y controlar eficazmente
el poder real del subsistema administrativo, se ha volca-
do crecientemente a utilizar las polticas sociales con un

sentido fuertemente clientelstico, y para cuyo ejercicio
la programacin
y la evaluacin resultan superfluas.
Igual consideracin merece, a nuestro juicio, la gestin
en las polticas sociales de un nmero importante de
ONG, que han pasado a formar parte subsidiaria de la
cadena mencionada de acciones clientelares.
El conjunto de estas consideraciones nos permite afirmar que sin eluda la lectura de Evaluar para la tran.~fr'ltaci()n es ineludible, sobre todo para quienes asuman la tarea de la planificacin social, para todos los que desean
resolver las cuestiones que preocupan a Alicia (y no slo
a ella) acerca de dnde est~1 parada y cmo llegar a] fin
del camino.
/8
Lv( HJ( )L[)()
HALPVRN
agosto de 1999
J.~
i'_
I
.
19
INTRODUCCIN
La imagen que nosotros construimos de la sociedad, la

c011strlli'lJlospara los ingenieros bidniulicos, para losjardilUTOS ... y paj'{/ los TCvolucionarios. Todos ellos son invitados
a JljU'stro tcatro y les pedimos que no oluidcn su into-fs en
la TClresentacirJncllando estn con IUJ.,otros,porqne querc1110Svolcar el 'lJIundo sobre sus cere/n'osy sus coraz.(mes, !lira que puedan annbiar!o de {{cuerdo con sus deseos.
BFRTO;' BRF.CIIT1
En este libro nos dirigimos fundamentalmente

a
aquellos que desarroJlan acciones sociales, ya sea que formulen o que ejecuten programas o proyectos, tanto desde organizaciones de la sociedad civil como desde distintas reas de los diferentes niveles gubernamentales.
Son
eJlos o ellas quienes se habrn visto ms de Uil<lvez en la
urgente necesidad de evaluar sus acciones y las de otros,
pero desprovistos de las concepciones y herramientas
,Hlecuadas para tal responsabilidad. Creemos que tambin podr ser de utilidad para agencias de cooperacin
o flantrpicas que apoyan proyectos y programas brindando financiamiento,
asesoramiento y/o capacitacin
para temas de desarroJlo social.
Uno de nuestros propsitos principales es el de despegar el sentido de la evaluacin del puro control que
ejercen unos actores sobre otros, par,l situarlo en el pla-
1. Brccht, B.: Klcines Olganon jtir das TbeatC1; ,';cbri/ten Z.lI'lJITbeater,

Francfort, Suhrkamp, 1964, pg. 20.
21
Oiga Nirenbezg, ]osettc Brawcmzan, Violeta Ruiz.
Introduccin
no del aprendizaje compartido entre quienes participan

de las gestiones de los programas o proyectos, de modo
que sean capaces de provocar las transformaciones necesarias en las situaciones insatisfactorias y en los modos de
actuar para su resolucin.
Cuando decimos que nos importa la evaluacin para
la transformacin,
hacemos referencia a] menos a dos
niveles en los que las transformaciones
deberan producirse. Uno es e] de contribuir a modificar las situaciones de adversidad, vu]nerabilidad o inequidad en que se
encuentran ciertos grupos pob]aciona]es; como aclararemos posteriormente,
todo proyecto o programa social se formula para cambiar situaciones de ese tipo, y la
evaluacin debe mostrar en qu medida se produjo el
cambio deseable y debido a qu factores. Otro es mostrar de qu manera las acciones desplegadas para producir esas transformaciones resultan o no las adecuadas,
y qu cambios se aconsejan introducir en la forma de
hacer las cosas. De modo que principalmente
estamos
hablando de evaluacin para la accin transformadora.
Compartimos el pensar de Krishnamurti (199H) acerca de que no podr<1 existir una tnl1lsfonnaein de] "orden" internacional -del mundo- si no hay transformaciones en el ser humano, en su propio mundo interior, en
sus concepciones, en sus formas de mirar lo que lo rodea
y, sobre todo, en las formas de vincularse con los dem<1s
humanos y con el ambiente. En tal sentido, puede hablarse tambin de la existencia de un pensamiento transfonnador.
Si bien a lo largo del texto reiteramos que la eva]uacin, considerada como una tecnologa social, consiste
b<1sicamente en transformar informacin en nuevo cono-
cimiento, entendemos ese mecanismo como instrumental para la accin orientada a transformar las situaciones
de grupos humanos en condiciones desventajosas. Es por
eso que, pese a las silni]itudes, la evaluacin se distingue
de la investigacin social.
No intentaremos aqu discutir otros enfoques ni criticar otras formas de evaluar; m<1Sbien tomamos los
aportes que cada una de esas modalidades puede brindar, incluyndo]as en un esquema abarcativo. S intentaremos aclarar algunas confusiones provenientes tanto de
distintos usos IingListicos para nombrar las mismas cosas como de iguales trminos para nombrar cosas distintas, como puede verse sobre todo en los captulos 2 y 3,
donde discutimos los diferentes tipos y abordajes de
evaluacin y desmitificamos algunas de las distinciones
tradicionales.
La mirada eva]uativa que aqu proponemos es integradora, comprehensiva, con momentos de detalle y momentos de sntesis gest<1]tica.
Este libro no sirve como manual o receta para evalmlr
de form~l universal todo tipo de proyecto o programa; en
tal sentido no desarrolla instrumentos sino que procura
transmitir la concepcin de cU<1]esson los procesos requeridos y las orientaciones acerca de las formas de encarados, para disear evaluaciones distintas para los diferentes proyectos o programas donde los profesionales
del campo socia] solemos hacer cada vez una nueva expenenCla.
Para cumplir con nuestro propsito dividimos el texto en seis captulos y dos anexos.
El primer captulo pretende dejar aclarada nuestra
concepcin general acerca de la evaluacin y su utilidad
Introduccin
OIga Nirenberg, ]osette Brawerman, Violeta Ruiz
como funcin de la gerencia, es decir, incluida en la gestin social. El segundo captulo hace una recorrida por las
tipologas usuales de la evaluacin en la literatura consultada y, como ya advertimos, se abordan algunas discusiones aclaratorias a] respecto. En el tercer captulo hablamos de los abordajes, de los falsos dilemas entre las cifras
y las palabras -lo "cuanti" y lo "cuali"- que envolvieron
durante aos la cuestin de la evaluacin y que ahora parecieran ir superndose, aunque no del todo, concluyendo que es el rigor metodo]gico lo que importa en las
evaluaciones y que es slo mediante la subjetividad de
muchos diferentes que se puede resolver la subjetividad
individua], aislada e idntica a s misma. El cuarto captulo presenta una resea de las tcnicas a las cuales puede
recurrir ]a evaluacin para generar o recopilar y analizar
informacin, sin pretender con eso tratar ]a cuestin de
forma exhaustiva, pues es tal e] caudal de tcnicas existentes que se requerira un libro slo para ese desarrollo; sin
embargo, hemos incluido algunas que nos parecieron novedosas y tambin discutimos algunas otras que ltimamente se levantaron a] nivel de "mtodos", pero que continan siendo herramientas simples y tiles a disposicin
de los eva]uadores (como las relacionadas con "evaluaciones rpidas" o de rtlpid m:\'c.\TtJ1CJZt).
Finalmente, los captulos quinto y sexto forman un
solo bloque pero los hemos dividido para dar un respiro
a los eventuales lectores. En el quinto se describen las caractersticas y los pasos del proceso de diseo de un modelo evaluativo, y en el sexto recorremos las fases de su
aplicacin y de la diseminacin de los hallazgos, las conclusiones y las recomendaciones producto de la evaluacin, cuyo meollo es el informe evaluativo. En los anexos
24
se incluyen ejemplos que ilustran los pasos descritos en

e] captulo quinto.
Las autoras tuvimos la fortuna de trabajar en diferentes escenarios de las polticas sociales durante nuestra vida profesional, que ya lleva muchos aos, ms de los que
nos gustara numerar. Dedicamos a la evaluacin gran
parte de los ltimos diez o quince aos. Por un lado, trabajamos en el marco de programas dependientes del Estado nacional, pero con ejecucin en ]os niveles locales,
en algunos casos con financiamiento bilateral o bien del
presupuesto nacional exclusivamente; tambin como
miembros de una organizacin no gubernamental para el
desarrollo social; asimismo, como consultoras en el marco de fundaciones o agencias de cooperacin internacional para el desarrollo. De modo que estamos muy agradecidas <1 ]a gente de las instituciones con las que tuvimos
]a oportunidad de tan vastos y diferentes aprendizajes.2
Fue en el marco de esas instituciones que pudimos relacionarnos con innumerables funcionarios, profesionales,
tcnicos, miembros de organizaciones locales y vecinos y
vecinas, quienes nos abrieron y mostraron generosamen2. Algunas
de esas institueiones
son: el Centro
de Apoyo
al Desarro-
llo Local -CFADl'],-,

del cual LIs tres autoras somos miembros
desde
1<))7; el lnternational
] kvelopment
Research Center -IDRC-, de OttaW:1.Cana(L; el Programa UNl de la FlInd:lcin \Y. K. Kcllogg; el Programa RegIOnal dc Adolescencia,
de la Oficina Panamericana
dc la Salud
-OPS- dc \V:lshington
DC; UNlClY Argentina; el Ccntro Intcramericano dc Dcsarrollo
Social-ClDI:S/OFi\-;
clPrograma
dc Atcncin a Ni10s
y Adolesccntcs
en RicsgoProAmede la Secretara de Desarrollo
Social
y el Banco Interamericano
de Desarrollo;
elProgr:1ma
Alimentario
y Nutnclonallnrantil
-PRi\Nl- de la SecrctarL1 de Desarrollo
Social; la Direccin Nacional de Gasto Pblico Social, del Ministerio
de Economa;
el
Programa Materno Infantil y de Nulricin -PR( )vllN- del Ministerio
de
Salud.
25
Oiga Nirenberg, }osette Brawe17nrm, Violeta Ruiz;
te sus mbitos de trabajo, para que juntos pudiramos

aprender a partir de ]a prctica. Es a esos amigos yamigas, compatriotas o de otros pases del continente, a
quienes va nuestro especia] reconocimiento
y nuestro
deseo de que este libro les resulte til en ]a hermosa pero sacrificada tarea que eotidianamente llevan a cabo.
Queremos tambin expresar nuestro agradecimiento,
por su colaboracin crtica e inteligente, a dos respetados
amigos, que hicieron e] esfuerzo de leer nuestros borradores; ellos escribieron con Lpiz, de form~l sinttica y en
los mrgenes, sus observaciones, las que] uego debimos
redactar, tipear y colocar en el centro de] texto, por su
relevancia. N ucstro reconocimiento
entonces a Nstor
Perrone ya Pablo Vinocur, por sus acertadas e importantes contribuciones. Ojal hayamos podido interpretar sus
comentarios y expresarlos adecuadamente; pero es nuestra absoluta responsabilidad si, aun a pesar de ellos, subsisten los errores u omisiones.
Ahora lleg e] momento en que la crtica debe ser
puesta en las mentes y las voces de nuestros lectores; desearamos que con ellos se constituya un nuevo dilogo,
que permita hacer continuo el flujo de innovaciones en
los modos de reali',ar y evaluar ]a accin social.
CAPITULO 1
Para qu la evaluacin?
NIe podrlls indicar hacia dnde tengo que il" de.,-deIlqU?,

pregunt
Alicia.
Em depellde de ({dllde quier'as Ilegal", contest

/1 m
110
el Cato.
mc impol"t({ demasiado adnde ... , empez ,) de-
eir Alicia.
[1,11 ese CIlW)
dll igual adndc vay"s, interrumpi
... siempl"e que llegue a "Z~'1I77apllrte, termin
modo
el Gato .
Alicia, a
de explicacin.
i0fl, sicl!lpn llegllnil'IlIlIglll1l1/JlI1te, dijo el Cato, si

millil.\' lo bastllute.
LEWIS
({-
Ci\RROLL 1
Introducindonos en tema
E] bmoso dilogo entre la ingenua Alicia y el Gato
sagaz resulta til para abordar la cuestin de la evaluacin en los programas y proyectos sociales.
Alicia nos habla de la direccimzalid/ld cuando pregunta
hacia dnde tiene que ir; esa pregunta, tan frecuente en
la accin social, adopta diferentes formas: cmll es la direccionalidad deseable para nuestro proyecto?, nos estamos dirigiendo hacia donde nos proponamos?,
en
qu medida estamos transitando procesos que nos llevan
1. Carroll, Lewis: /Ilicill el! ell'llil- de 111.1'

Nlmm'illlls, Madrid, Akmza,
I <JK(,. La excelente traduccin fue hecha por Jlimc de Ojeda, quien al respecto de
cia, sobre
contraste
quc tiene
26
ese di:logo aclara que "es uno de los pas'ljes m,is citados de Alitodo en libros cientficos, en los que ha servido para ilustrar el
entre la realilbd informe de la materi'l y el Glr<cter intencional
toda ordcnaein lgica".
27
Oiga Nirenberg, ]osette Brawerman, Violeta Ruiz
a obtener los resultados que nos propusimos? Y como

suele suceder con ]a mayora de las preguntas, stas parecen tener ms de un sentido, y por ende ms de una
respuesta.
Cuando uno se pregunta por la direccin correcta o
deseable -que desde ya son dos cosas diferentes- se planta frente a varias alternativas, frente a caminos que se bifurcan; el grado de conocimiento o de incertidumbre que
tengamos acerca de las dificultades o ventajas que cada
camino presenta, tendr que ver con ]a decisin acerca
de cul tomar; no es slo la distancia ]0 que nos inclinar hacia una u otra de las elecciones.
Adem~ls, A]icia no plantea su pregunta en abstracto
.. que e\.Ice " e\1ese e aqm,,, , o sea "d ese\ e este punto (1C)l1S1110
de ahora estoy"; eso permite inferir que de algn modo
ella lleg a ese punto donde en ese momento est parada, hablando con e] Cato. Fue errnea o correct~1 su
manera de llegar hasta ah? Pareciera que est~l perdida,
temerosa, y que muchos acontecimientos extrafos, que
no puede explicar bien, le estn pasando mientras no sabe exactamente dnde est~1. Un signo de la ingenuidad
de A]icia es que ella no se cuestiona acerca de cmo lleg a donde est, sino que quiere saber cmo tiene que
seguir desde all. No se ha percatado de que, para seguir,
debera analizar mejor cmo fue que lleg a donde lleg, para entonces preguntarse acerC1 de cules caminos
alternativos existen y cmo son.
Una relevante afirmacin, sugerida entonces por e]
texto de Alicia, vinculada a la cuestin de la evaluacin
en los programas sociales es que para hacer algo, para introducir cambios en una situacin no deseable o que no
nos conforma -para ir a alguna parte- hay que tener ob28
Para qu la evaluac5n?
jetivos claros y explcitos y hay que saber de qu manera

10grarIos, por cul camino ir, es decir, hay que saber la dil'eccionalidad deseable. Incluso eso es as para quedarse
donde uno est, para decidir no hacer cambios.
Para que eso est claro, previamente debimos planificar, programar nuestras acciones en pro de objetivos
expresos, es decir, debimos formular un plan de trabajo.
'lambin necesitamos saber desde dnde partimos, dnde estamos parados; en otras palabras: debimos realizar
un diagnristico de la situacin problemtica que intentamos
resolver mediante nuestra intervencin. Si no, de qu
forma sabremos luego si cumplimos con ]0 que nos propusimos, si no podemos comparar confiablemente el estado posterior con el anterior? Obviamente, podemos
llegar a cua]q uicr parte, slo se trata de caminar lo bast~ll1te, dira el Gato.
La evaluacin como momento o funcin de

la gerencia
De lo que se trata es de identificar, corregir, poner
"bajo contro]", la mxima cl11tidad de eventos que puedan oponerse a nuestra accin o dificu]tarIa, de modo de
obtener los Gunbios deseados en la situacin que encontramos inicialmente como destlVorable. No cabe duda
de que para eso debemos cumplir con procesos meticulosos de reconocimiento
de la realidad y de programacin de acciones en plazos definidos de tiempo, contando con recursos accesibles.
La planifictlcin o prognltlUlC5n podra sintetizarse como
la "rcf1exin que precede y preside la accin" (Mathus,
29
"'''''''''''''''----w
~-~----Oiga Nirenberp;, ]oJette Brawermrln, Violeta Ruiz
II!~ I
I! I
11:
1987). En verdad, puede decirse que esa reflexin continua, a medida que la accin se desarrolla, es propiamente
la evaluacin, la que alimenta con sus hallazgos la planificacin y gestin de los proyectos.
Visto as, se trata de un proceso que slo conceptualmente es separable, pues en ]a prctica el proceso
de planificacin/ejecucin/evaluacin
es una integridad indivisible, conformada por momentos -funciones- en continua retroalimentacin.
Los tericos de las
ciencias de la administracin
engloban ese proceso en
el concepto de "gerencia", y tambin se usa el trmino
"gesti n".
Queriendo transmitir metafricamente
esa cualidad
integral de la gerencia y dentro de la gerencia la funcin
o momento de la eV~11uacjn, en una de sus brillantes exposiciones Paulo Mona" ]a compar con el caso de un
mnibus repleto de pasajeros, donde e] conductor debe
arreglar defectos del motor sin detener el coche y con todos los pasajeros dentro.
Pero aun sabiendo que resulta complicado, si no reflexionamos sobre la accin que desarrollamos mientras
los programas o proyectos se realizan, si no cuestionamos o mirarnos crticamente cmo llegamos a donde
llegamos, difcilmente podamos responder a la pregunta de Alicia: cmo seguir desde aqu?, y a 1<1otra, pre-
via, que aqu agregamos: cmo fue quc ]legamos hasta

aqu?
Una misin relevante de la evaluacin en el proceso
de gestin es justamente sa: permitir a los conductores de programas o proyectos, y a los otros actores estratgicos,
tomar decisiones acertadas, confiables y
fundamentadas
acerca de cmo seguir, de cmo dar a
sus acciones la direccionalidad deseable, basados en las
apreciaciones valorativas sobre lo que se vino haciendo
y logrando. No en vano se llama "conductores"
a los
que dirigen proyectos: porque orientan el camino, imprimen ]a direccin.
En e] sentido apuntado tambin se dice que el proceso de la evaluacin viene a ser como la inagen en un
espejo del proceso de la planificacin: mientras la planificacin mira hacia adelante, plantea previsiones de la
accin en los escenarios posibles y deseables, la evaluacin enfatiza la mirada hacia atrs -ms lejos o ms cerca, pero siempre hacia atrs-, buscando aprender de lo
hecho, de los errores y los ,]Ciertos, valorando ]0 positivo y lo negativo, para poder recomendar giros o refuerzos en ]a accin futura. Hay un momento en el cual la
planificacin y la evaluacin tienen su interseccin: es
justamente en el punto de las recomendaciones
evaluati vas para ]a accin futura, las que debern retomarse en
el momento de la reprogramacin.
2. P,ndo Motu es profesor de b I'~scuela Brasileja dc \dministracin

Pblica WB\P), de Ie Fundaci{m (:etulio Varg's, y se desemp6ia
adem,s
como consultor internacion,l
en diversas agencias, I':sa mct,for, fue uti-
Intentando una definicin
lizada durante un seminario

organiz,ado por CI':;\Di:L, en Buenos \ires,
en marzo de 1<)<)2, financi'H!o por la Fumbcin
\\1. K, Kellogg, para los
becarios del I'rograma
Internaconal
de Liderazgo,
Llegados a este punto, es posible adelantar la definicin de ]0 que consideraremos

evaluacin y que nos
31
II1
1 11
OIga Nirenberg, Josette Brawerman, Violeta Ruiz
permitir destacar algunos de sus elementos esenciales,

independientemente
de la diversidad de propsitos, tipos y abordajes que se puedan encontrar:
Rejlex5n .\'Obre la accin: ya se dijo que la evaluacin

consiste en "detenerse" -no en el sentido absolutamente literal sino en el de distanciarse- para analizar
qu es ]0 que se est haciendo (o se hizo), de qu
modo, si ello se orienta segn la direccionalidad deseab]e, cules escollos y qu oportunidades
se presentan, y cules logros se han obtenido.
Entendemos
por evaluacin de programas o
proyectos sociales una actividad programada de
rejlex5n sobre la accin, basada en procedimientos
sistemtiticos de recoleccin, anlisis e interpretacin de informacin, con ]a finalidad de emitir
juicios valorativo,\' fundamentados y cormmicable.\' sobre las actividades, resultados e impactos de esos
proyectos o programas, y formular recomendaciones para tomar decisiones que permitan ajustar la
accin presente y mejorar la accin futura,
Actividad progrtmzada: quiere decir que la evaluacin

-con todas las tareas que ella implica- debe ser prevista tal como las otras acciones del proyecto o programa, puesto que es una actividad ms. De ah que
en muchas guas de formulacin de proyectos, en los
ltimos tiempos, se ha incluido como tem a formular
el de la evaluacin. Decir que la evaluacin es progrtlmable, significa, entre otras cuestiones, que deben
atriburse]e recursos especficos (personas idneas,
momentos y lugares especficos, equipos adecuados,
insumos, dinero).
:
,
Basada en pnJcedimientos sistC7ntiticos: supone una metodologa y tcnicas para la recoleccin y el an,)lisis de
la informacin relevante que alimentar ]a reflexin y
fundamentar ]os juicios valorativos que se emitan
acerca de las actividades, los resultados y los impactos
de los cursos de accin implementados.
Desbrocemos brevemente los pasos relevantes de esa

definicin preliminar, aunque en los restantes captulos
volveremos sobre ellos.
Emitir" juicios valomtivos ..

fil17dlrmentados y corml17imbles:
es el ncleo de toda evaluacin, e implica atribuir un
valor, medir o apreciar si se ejecutan las actividades de
acuerdo con lo programado, si los resultados obtenidos corresponden a los objetivos y las metas propuestos, as como en qu medida ha mejorado la situacin
de los destinatarios de las ,lCciones como producto de
nuestra intervencin. De lo dicho se desprende que
para evaluar siempre es necesario hacer comparaciones
sobre la base de las cuales se emitirn los juicios; cualquiera que sea el objeto de nuestra evaluacin se lo
contrasta!";) con un par<1metro que constituye lo deseado, lo previsto, 10 correcto, en suma, la direccionalidad o las metas que habremos definido previamente.
I;~sas son comparaciones contra esdndares, sea como
se,l que se los haya definido; pero tambin hay una
comparacin contra s mismo en el tiempo, que es ]a
"
))
'1
Para qu la evalzulcillI ('
Olp,ll Nirell/!crg, ]osettc BraWeJ711[{11,Violeta Rui-::.
que se reaLiza cuando se comp;lran situaciones o estados actuales de grupos poblacionales, contra sus situaciones o estados pasados, para saber qu cambi y poder emitir un juicio acerca de si la situacin esU mejor, peor o igual. Esa comparacin contra s mismo en
el tiempo es a veces -sobre todo en los primeros tramos de la ejecucin de un programa o proyecto- ms
relevante que la otra, contra esdndares, pues aunque
se concluya que se est lejos an de lo desea ble -el estndar-, la situacin puede haber mejorado mucho
debido a la gnlVedad de la situacin inici;ll o punto de
partida -"lnea de base"-, y eso es en s alt;lInente valorable y muy estimulante para los que ejecut;lI1 las acciones, ya que la evaluacin les demuestra los logros
obtenidos y les permite programar sobre mejores bases. La fundamentacin de nuestros juicios valorativos
depended de la consistencia y confiabilidad de la informacin -cu;ll1titativa y cualitativ;l- que recojamos,
al estilo de las "evidencias" que corroboran los testimonios en un juicio frente a un tribunal. I,os juicios
valorativos deben poder comunicarse a las audiencias
identificadas, lo que significa que se deben redact;lr
informes comprensibles y programar devoluciones de
los h;lllazgos en modalidades adecuadas para la mejor
comprensin por parte de los actores involucrados.
F07711'lllm"recO'lilelUlacilJlles pam towm" decisiones I/ue pl'/"rnitan (~j'llstm""y 'lllljol"al" la,l' acciones: la evaluacin tiene
mltiples aplicaciones y puede perseguir diferentes
propsitos, pero de modo general intereS;l destacar
que se trata de pensar sobre el hacer, para identificar
errores y problemas que dificultan la acci(m, para per-
feccionar la gestin de un proyecto o programa, para

aprender de lo hecho -haya sido acertado o errneo-,
para introducir correcciones, e incluso para comprobar que nuestro proyecto produce efectos no previstos, algunos de ellos no deseados; y finalmente, por
qu no?, para el reconocimiento
social del esfuerzo
reali7.ado y de los actores participantes que lo llevaron
a cabo. Sistematizar las lecciones aprendidas y brindar, a
partir de ellas, las recomendaciones pertinentes constituye uno de los meollos de la evaluacin, segn
nuestra perspectiva. Mediante los procedimientos de
la evaluacin reconocemos los logros y las fortalezas
de la accin desarrollada, as como los obstculos y las
debilidades; !as recomendaciones
en general deben
sugerir apoyamos en las fortalezas, a modo de palanca, para superar o saltar las dificultades. Y deben servir a todos aquellos que toman decisiones en los diferentes niveles, no slo a los "gerentes" o directores de
los programas o proyectos, sino tambin a aquellos
que en la tarea cotidiana, en el e,I'ccnm"io donde se baccn
las COSa,I",
deben tomar decisione's operativas. Ya se dijo: el momento de las recomendaciones es la interseccin entre la evaluacin y la reprogramacin; de la
profundlLHI y pertinencia de las recomendaciones
que se formulen depended la utili(bd de la evaluacin y, por ende, b viabiLidad de su aplicacin posterior en la toma de decisiones y en b accin.'
3, ":n el clptulo 3 se ver,j que J: vi'lhili,J:d de I<,plieaci,'JIl posterior

de los h,IJ:!.~os ev,luativos tamhin depende del involucramiento
de los
actores dura;lle el proceso miSlllO de b evalu,ci{n, as COlllO de la COll1pieL y oportuna
la responsahilidad
devoluci(JIl de los resultados

de evalu'lr.
35
por p,rte de los que tienen
Olp,a Nirelllierx, .loscttc Bnzwc1711all, Violeta Rui::.
Evaluacin e investigacin:
bastantes similitudes y algunas diferencias
Una evaluacin no es equivalente a una investigacin, aun cuando comparte muchos de sus procedimientos. La investigacin busca fundamentalmente
incrementar el cuerpo de conocimiento,
estableciendo
relaciones entre hechos, fenmenos, situaciones, etc.,
mientras que la evaluacin se preocupa ante todo por el
perfeccionamiento
de la accin y compromete
esencialmente un juicio de valor. En suma, "b evaluacin
debe ocuparse fundament~llmente
de los posibles Clmbios en un programa existente" (llamilton
Smith,
1981). La investigacin termina con conclusiones acerca de cmo oculTen los hechos, alimenta la teora y el
cuerpo de conocimiento sobre cierto segmento del saber, mientras que una evaluacin debe terminar con recomendaciones que l1even a modificar lo que se vena
haciendo, o bien a agregar nuevas acciones (lo cual, sin
duda, se funda en un "saber" acerca de cmo oCUlTen
L1Scosas y en ciertas hiptesis acerca de c(mlO debieran
ocurrir).
'Emto lo expuesto en el acpite anterior como lo recin expresado permiten concluir que son las 'I'CO'lI1I''l1(!ffI)J7I'.\' para la toma de decisiones
las que distinguen la
evalu~lcin de b investigacin; no pareciera lgico pensar en una evaluacin por el solo hecho de describir y
emitir un juicio sobre cmo se hacen bs cosas, si no se le
agregan las recomendaciones
emergentes para decidir
sobre los cursos de accin y cambiar lo que se detecte como mejorable.
,{
Para qu la evaluacilll;--
El proceso de explicacin o fundamentacin

de los
juicios evaluativos es similar al de la ciencia; el rigor en
las formas de llegar a emitir aseveraciones certeras es
compartido. No se trata slo de criticar o de elogiar, hay
que fundamentar las aseveraciones -para distinguidas de
las creencias, las opiniones o los juicios emocionales-,
para luego, a partir de esas explicaciones o fundamentaciones, poder emitir las recomendaciones que permitan
superar deficiencias o profundizar las ventajas y~l obtenidas con la ~lCcin desplegada.
Por lo tanto, no hay lmites demasiado precisos entre
la evaluacin y la investigacin; cuando se pone a prueba una modalidad de intervencin considerada innovadora, la evaluaci(JIl, en tanto incluye un proceso riguroso y sistem~tico de recoleccin de inf~)fInacin
para
emitir juicios y recomendaciones,
sirve adems para
probar la eficacia de la intervencin innovadora, comp~lrndola con otras formas tradicionales de intervenir en
el mismo problema. Pong~lmos como ejemplo los proyectos que desarrolLlIl modalidades de comp]emenLlcin escolar con un abordaje ldico e integral, inclusivo
del seguimiento del rendimiento del nilo en la escuela,
en articulacin con maestros o maestras, en lugar del
~lIlterior modo de apoyo escobr con clases enfocadas exclusivamente a "ayudar a hacer los deberes". La evaluacin de proyectos con los dos abordajes y la comparaci(m entre ~lmbos pueden permitir detectar que la nueva
mo(blidad es m~s I'f/Ul2., mostrando evidencias de que
los nifos cubiertos bajo eS;l nueva forma de intervencin
tienen m,lyor rendimiento en la escuela y menor ndice
de desercin o repitencia que aquellos que se cubren
con el mtodo tradicional, y porque adem~s b primera
37
OIga Nirenberg, ]osette Brawer71ulfl, Violeta Ruiz
Para qu la evaluacilJl(
es sinrgica, e, ya que se logran otros resultados no especficos o buscados primariamente, como puede ser la incorporacin de hbitos positivos de autocuidado, de higiene,
de relaciones con los pares y en la t~llnilia, entre otros.
El ejemplo previo es un caso en el que la evaluacin
puede ser vista tambin como investigacin, ya que posibilita el avance del conocimiento a partir de la sistematizacin de la prctica. TUllbin permite recomendar mejoras
para la accin (aun dentro de la misma modalidad innov,~dora), pues se puede descubrir algn caso entre los analIzados donde, adems de las actividades Idicas y de articulacin con las maestras de las escuelas, se agrega la interaccin peridica con los padres, para concientizarlos acerca
de las ventajas de los nuevos modos de llevar a cabo la
complementacin escolar, lo que redunda en mejores resultados. Ese hallazgo implicar recomendar tambin actividades concretas dirigidas a los bmiliares de los nifos,
promoviendo as enfoques ms integrales. Resumiendo: es
muy sutil la distincin entre evaluacin e investigacin.
radigmas de la ciencia, particularmente durante la segunda mitad de este siglo. El paso de las formas mecanicistas, neopositivistas, racionalistas, objetivistas a las concepciones fenomenolgicas, ms relativistas e inclusivas
de factores con textuales y que incorporan metodologas
intersubjetivas, al incidir en los modos de conocer y
abordar la realidad, influyeron tambin en las modalidades de planificacin, gestin y evaluacin de los proyectos y programas sociales.
llace unas dcadas, la evaluacin se planteaba como la
ltima etapa de un proceso lineal de fonuulacinlimplementacin de proyectos y programas, por la cual se trataba de mir,lr hacia atrs y establecer -siguiendo mtodos y herramientas especializ'ldos provenientes de la investigacin en ciencias sociales y cientficamente vlidos
segn el p'lradigma dominante- si las acciones ejecutadas
haban producido los efectos deseados o buscados.
Esto llev a la elaboracin de disefos de evaluacin
bastante sofisticados con el fin de reproducir condiciones
"experimentales" o "cuasi experimentales" que pennitieran determinar si se proclujeron cambios en 1<1 situacin
problemtica inicial que motiv la intervencin (proyecto o programa social) y si esos cambios se debieron a las
acciones desplegadas. No desconocemos la necesidad de
contar con elementos de juicio acerca de los impactos de
estrategias o cursos de accin de uso difundido, pero lo
cierto es que estos disel0s requieren personal tcnicamente capacitado p,lra llevados a cabo, por lo que suelen
convertirse en evaluaciones externas, con escasa o nula
intervencin de los integrantes de los programas o proyectos; por otra parte, producen informacin que puede
ser til en ciertos niveles decisorios (por ejemplo, para
Cambios en los estilos de evaluacin

Las concepciones y los modos de evaluar fueron cambiando en paralelo con los cambios ocurridos en los pa-
4. Max-NeeF
(1 <J\( consider:1 sinrgic1s
las :Jeciol1es que, aden"s
de
orientarse:
la resoluci,')\l de un prohlema puntual, contri huyen a la vez a
la resoluci()\l o prevel1ciI1 de otros prohlemas.
Un ejemplo muy utili,.ado es el de la laCr,1I1Ci:1materna, que:1 L1ve/'. que contrihuye
a la huena nutricin del heh, lo preserva inmunolgicnnente,
y e0l1solid:1 un Ia,.o
:lkctivo
entre la madre
s:lrro\lo
posterior.
y el heh que P()(Jj contrihuir
a su :lpropiado
de-
)Y
___
.-----~-~-_._.-----
Oiga Nin:71/Jc1X, ]osctte BraLVe1771a77,Violeta Ruiz.
Pam qu la evaluacin?
tonco con la fsica o la biologa, sino que coexisten diversas corrientes, en algunos casos contradictorias entre
s -paradigmas rivales (Khun, 1970)~, en otros con diferentes enfoques o nLlsis (caso de las teoras del aprendizaje y las metodologas para la lectoescritura en psicopedagoga, o las diferentes corrientes en metodologas
para la planificacin participativa, las diferentes escuelas
de la psicologa social y la influencia de ellas en la determinacin de las tcnicas ms eficaces para las dinmicas
grupales). Por ende, no existen certezas acerca de cules
son los requerimientos mnimos para la correcta aplicacin de las diferentes corrientes tericls.
La evaluacin puede verse entonces como una respuesta a la necesidad de reducir esa incertidumbre en cada uno de los momentos de la accin, para reconocer si
los esfuert,os esdn "correctamente" encaminados. Es decir que se requiere una retroalimentacin
continua en la
implementacin para ir corrigiendo sobre la marcha los
cursos de accin teniendo en cuenta las cuestiones que
preocupan a los involucrados en la ejecucin (tanto los
ejecutores como los destinatarios).
Ij~s en el sentido recin apuntado que la evaluacin social se distingue de otro tipo de evaluaciones, por ejemplo, de aquellas que se aplican a proyectos de construccin o de infraestructura; hay modelos de evaluacin que
han sido traslad~ldos directamente de los proyectos de ingeniera o de obras ,1 los proyectos o programas sociales,
lo cual gener muchas dificultades y resistencias por parte de quienes los ejecutan, puesto que esos modelos, a veces impuestos por algunas agencias de financia miento,
son poco adaptables a los escenarios comunitarios donde
los proyectos sociales tienen lugar.
decidir la continuidad o no de determinadas lneas de

proyectos), pero tal vez menos para quienes estn directamente involucrados en la gestin.
Otro camino difundido, dentro de ese modelo de planificacin vertical o "de lnea recta", consista en comparar, tambin en la ltima etapa de ejecucin o incluso ~l
posteriori, las metas previamente establecidas con las que
se haban efectivamente alcanzado, complementando esta
comparacin con una explicacin (o justificacin ex post)
de las discrepancias encontradas. Este camino supona que
lo "planificado" deba traducirse casi mecnicamente en
acciones sin tener en cuenta el contexto organizacional y
las racion~llidades de los diversos actores en su ejecucin.
En la actualidad, con el amplio desarrollo de las metodologas de planificacin estratgica y/o pan-icipativa
(que fueron desplazando lentamente, an no del todo, a
los modelos verticales), se reconoce que el proceso de
planifi.cacin/program~lcin
no responde a una racionalidad lineal, que los actores involucrados en la gestin y
ejecucin reinterpretan perm~ll1entemente
los objetivos
buscados a travs de su ,lccionar, en sntesis, que todo el
proceso de la gestin social est signado por grandes dosis de incertidumbre, en gran parte COIllOproducto de la
n~lturaleza del contexto en que se desarrolla.
Esa incertidumbre es t~l111bin producto de la propia
naturaJe"l del desarrollo terico y de las tecnologas utilizadas en las disciplinas sociales y en el campo de la accin social, en comparacin con las ciencias ex,lct~lS o naturales y sus campos de aplicacin, como la ingeniera o
la electrnica. Vale decir: en las cienci,ls sociales no hay
una {nicl escuela o un paradigma dominante de forma
excluyente, como ocurre en Ull determinado perodo his-111
L-
-~.-~,___
,,.,.,
I
I
I
41
1,1
...--------------------~--------()~g-a
Nirenberg, ]osette Bmwerman,
Violeta Ruiz.
La evaluacin para la transformacin

Si bien es cierto que cada vez ms frecuentemente
se
habla de evalmr los resultados de un proyecto o programa, e] funcionamiento
de sus actividades -los procesos- y hasta el uso de sus recursos, tambin lo es que
sigue siendo una actividad poco frecuente y en gener<l]
bastante resistida. Aun m<1s,cU<l11dofinalmente se decide evaluar un program<l, luego muy raramente se utilizan sus resultados y recomendaciones
para producir
cambios.
Creemos que ]a resistencia a ]a eva]u<lCin, as como
las dificultades para incorporar bs recomendaciones
evalllativas en la gestin, son cuestiones que tienen que
ver con el fenmeno ms general de ]a resistencia <11
cambio; pues al fin y al cabo, ]a eva] uacin implica cambio, tal como la planificacin y, en general, tal como b
accin social: se formula e implementa un proyecto o
programa para transformar una situacin que resulta insatisfactoria y se evalan la gestin y los resultados porque interesa, por un lado, <lpreciar si se carnbi lo que se
deseaba cambiar, es decir, para saber en qu medida mejor la situacin que se consider insatisf~lctoria al inicio
de L1Sacciones; y, por otro lado, para detectar qu fue lo
que cooper a ese logro y qu lo dificult, es decir, qu
se hil',o bien, qu se podra hacer mejor y qu se hizo
mal. '(do eso para poder aconsej:lr qu cambios introducir o no en la accin posterior.
Existe una tensin entre la propensin al cambio y los
impulsos a mantener la estabilidad de las cosas que nos
rodean y la manera en que ellas funcion<m; lo primero
brinda satisfaccin a L1Snecesidades humanas de creativi-
dad y de enfrentar desafos probando las propias fuerzas,

mientras que lo segundo permite la idea de pertenencia,
de seguridad y de continuiclad. Esa tensin sucede tanto
en el plano individual o f~l1niliar como en lo microsocial
y lo macrosocial (Sztompka, 1993). Como seres humanos, como sociedad, siempre han existido fuerzas o impulsos tendientes a cambiar ]os modos de re]acionarnos,
de mejorar nuestras instituciones, nuestras formas organizativas, nuestras formas de expresin.
Claro est, como se dijo, que esas intencionalidades
no necesariamente son dominantes, y suelen operar en
contra o a pesar de otros que tienen posturas opuestas o
diferentes, y que prefieren mantener e] statu quo, pues
ello ]es brinda seguridades de alguna ndole (afectivas,
de prestigio, de inHuencia, econmicas, etc.). En e] campo m~1S especfico de L1Spolticas sociales, esta lucha
permanente del hombre por operar cambios en las relaciones sociales se manifiest<l a travs de actividades tendientes a mejorar la situacin de grupos desprotegidos,
con mayores desventajas o que han sufrido algn tipo de
cat<strofe.
Una forma -no la nica- en que pueden operarse
cambios sociales de manera no cruenta es a travs del
diseo de programas y proyectos que partan de realizar
un recorte y describir una realidad -diagnstico-, para
luego identificar las disconformidades -problerl1as-, y de
all inferir qu queremos modificar -objetivo.r-, lo cual es
lo mismo quc pensar en las transformacioncs
que esperamos obtener -reslllt{ulos-, para lo que se requicre el discfo de una estrategia para operar el cambio, que se traduce en un plan dc trabajo -actividadcs- ubicado en el
tiempo -cnmogra'lllfl- y asociado a los insumos -lccur.ms
l
'1
ill
111
43
I
Illi
()~!!,/
Nirmbeg,
Para qu la evaluacirn?
]osette BrtnVer71U!l7, Violeta l?uiz,
17!I'f}{anos,materiales y financieros- requeridos para llevar

a cabo las acciones,
L1 idea de cambio est implcita desde el inicio de]
proyecto o programa que luego ser evaluado. El simple
hecho de pensar en un proyecto especfico est,1 poniendo de manifiesto una necesidad de que algo cambie. Este proceso de transformacin est asociado a la creativi(hui, ya que ,1dems de querer modificar una realidad social, institueional, personal, a partir de la generacin de
un programa, estamos buscando creativamente la alternativa de accin m,s efectiva para transformar esta realidad: es decir, nos interesa el cambio y cmo se opera
ese cambio; ambas cuestiones estn relacionadas con eJ
proceso creatlvo.
En tal sentido, un programa o proyecto social puede ser
visto como b puesta ,1prueba de estT:1tegias o metodologas innovadoras de intervencin para la tr:msformacin,
las que si luego de evaluadas demuestran ser efic1ces, podrn ser replicad:1s en otros contextos, en cireunstanci,ls o
condiciones similares, o bien con las adaptaciones que
convengan. Adems, en el mejor de Jos casos, la modalidad
de intervencin podr, ser adoptad:1 como estrategia de las
polticas pbJic!s, en el nivel local o nacional, para el campo soci:1lespecfico. Eso scr:1un ejemplo de cambio social
relevante y es uno de los impactos m,1S!mscH!os por los
que conducen proyectos sociales, pero difcilmente a1c:m',ado; podemos ,11Tiesgarque par:! intluir de ese modo en
las polticas p(lblieas no slo deben evaluarse las acciones,
sino adems deben difundirse los resultados evalu:1tivos, en
una estrategia de ac!voclhY o lwr/,cting social ms global. I,:s
all donde se cruzan las acciones eV:1luativascon las de conceptualizacin, sistemati',acin y diseminacin.
El propio proceso evaluativo implica transformacin.

Cuando se comienza a pensar en evaluar un programa en
funcionamiento, o incluso en evaluar la factibilidad de
realizacin de otro, en realidad estamos pensando que algo cambie en la forma como se vienen haciendo las cosas. De alguna manera esperamos que los resultados de b
evaluacin nos brinden elementos para operar ciertas
modificaciones en la estrateg-ia o metodolog'a de intervencin implementada.
Pero en este punto se produce el otro fenmeno: la
posibilidad de cambiar la forma en que se vena trabajando produce resistencias. Frecuentemente,
el propsito
mismo de la evaluacin, "ev:1luamos para cambiar", genera oposicin o al menos renuencia y entonces, siempre
que se puede, se apla',a para otro momento la actividad
evaluativa.
La posibilidad de cambio evoca con frecuencia el
proceso m:s alto en cuanto a transformacin se refiere,
que es la revolucin, proceso en que difcilmente algo
quede en pie; el impulso hacia adelante que se genera es
tan arrollador que los viejos cimientos parecen caer debido al impacto. Qui', sea esto lo que genere tanta resistencia, sin tener en cuenta que hay muchas posibilidades de operar tr:l11sformaciones antes de llegar a una
ruptura tot'll. De hecho, la historia nos brinda ejemplos
de esto constantemente;
hay infinidad de cambios adaptativos, parciales, que van transformando lentamente la
sociedad, mientras que, por otra parte, las grandes
transformaciones
son momentos muy especiales en el
devenir histrico.
Si esto sucede en el abarcativo plano de la historia poltico-soci:11, no debe extraarnos que una evaluacin
L
45
________________
----'-L
O~i!
Nirenbcrx, }oj'ctte Brawernum,
-que bien puede terminar en recomendaciones de cortar

el desarrollo de un programa o un proyecto, o de introducir ajustes que no convengan o sean traumticos para a]gunos individuos o grupos involucrados en l- produzca
a] menos resistencias y que sus resultados sean escasamente utilizados (muchas veces porque no son "polticamente
viables", aunque estn tcnicamente fundamentados).
Aprendiendo con la evaluacin y de ella

E] impacto que produce el hacerse cargo de las cuestiones que deben ser transformadas suele interpretarse como
"errores cometidos" y esto lJeva casi de inmediato a sentir
que n,Hb de ]0 construido sirve y que es necesario empeZ,lr
de nuevo. Sin emb,lrgo, la idea que hay por detLls de 1.1
evaluacin, en el sentido que le estamos imprimiendo, es
integrar dentro de un nuevo esquema ]0 mejor de las estructuras, las actividades y los recursos existentes en cl programa, modificando aquello que ya no resulta til, correcto o eficaz y :lprendiendo de 1.1 experiencia realiz,Hh
La afinnacin anterior nos lleva a 1.1 cuestin del
aprcndi:r,aje, que tambin tiene relacin con 1.1 resistencia
a la evaluacin. No toda frma de aprendizaje -modalidad
pedaggica- result,l "acept,lble", y por ende eficlz, para
los que intervienen en cl proceso de enseanza-aprendizaje. Cll:llquiera sabe que muchas de nuestras resistencias
ante ciertas disciplinas tienen m<sque ver con la forma en
que los profesores la transmitan en Ja escuela que con caractersticlS intrnsecas de la disciplina misma. El evaluadar, t:l] como lo estamos esbozando aqu, est,l muy lejos de
representar Ja fIgura del maestro tradicional, el que viene
4(,
Pan! qu la evaluacin?
Violeta Ruiz
a "ensefiar", a transferir su saber a los otros, a los que estn haciendo las cosas en terreno, planteando con ellos
una reJacjn de tipo asimtrica y "vertica]". Lejos de esa
figura se est,l pensando en c1 rol del eva]uador como facilitador, con un papel importante en cuanto acompaa los
procesos, entrando y saliendo de ellos, conservando la posibilidad de una mirada con suficiente distancia aunque
involuerada, dcsencHlcnando procesos de reflexin, brindando una perspectiva "preguntona" y crtica, invo]ucrando a todos los actores posibles en esp,lcjos de reHexin
conjunta y de debate a partir de preguntas, muchas veces
ingenuas, otras veces rspidas.' No debe o]vj(Jarse que ese
ev,l]uador tambin est aprendiendo, tambin tiene su
mente abierta a nuevas formas de actuar. No se tr,lta de un
juez; se tr,lta de alguien a Ja par, con el rasgo distintivo del
"preguntn", del cuestionador, que juega de ve:r,en cuando de ol!t.\ider, que se pone c1 gorro dc1 abogado del diablo, para provoclr y estimuJar la reflexin, a Ja vez que
aprende junto con los dems. No ensCl'a: provoca y estimub el aprl~ndi:r,aje conjunto.
Es relevante la contribucin de la evaluacin a los
procesos de aprendizaje institucion,l], puesto que resulta
prioritario comprometer a quienes tLlbajan en 10s proyectos o programas en un "proceso educativo programado que produ:r,cl clInbios" (Organizacin Panamericana
de 1.1 Salud y FU1HJacinW. K. KeIJog, ]99H).
5. S,')er'ltes,
en el di;logo
lo a travs de pregunt;ls
con Fedro,
es posible
su alumno,
apn;nder.
le explie;J);l que s(-
As, la evalu;lCin puede
ser
vista como un proceso de 'lprendiz'lje

de estilo "soer,tieo",
pues se centra
en formubr
preguntas
eV;lluativas y responderLls
funda1l1entadamente
(C:f. I'bt(m, redro).
47
Olga Nirenberx, ]osette BraWer71Utrl,Violeta Rui'::.
PaTa qu la evaluacin?
Es posible plantear algunos requisitos para que una

evaluaein aporte elementos en el citado sentido de
aprendizaje institucional:
clasificacin de las dirnensiones de anlisis,

definicin de las variables,
seleccin de los indicadores,
determinacin de las tcnicas e instrumentos para la recoleccin de informacin,
determinacin de la secuencia de actividades,
identificacin de re.'jJonsables y actores participantes,
establecimiento de la dumcirn, frecuencia y piTiodicidad,
estimacin de los rccm:\'Os necesarios (humanos y materiale.\),
presupuestacirn.
debe ser til a las personas comprometidas en el proceso;

debe ser viable, es decir, realizable en un tiempo al alcance de ellas;
debe re,'jJettlT-Ios vrdon:s de las jJet:l'rma,\'involucradas;
debe estar bien hecha, con procedimientos
adecuados, de modo de proveer informacin cm~flable.
La evaluacin es capacitador~l
e iluminadora pues
busca en la teora, la experiencia y el conocimiento, las
argumentaciones
que mejor expliquen los resultados y
facilita el crecimiento, el desarrollo y el perfeccionamiento de los que intervienen en un proyecto.
FjecllcJ-nde la evaluacirn
nlevrl'miento de infin77lftcn medi~l11te e! desarrollo de

las actividades y la aplicacitm de las tcnicas e instrunlentos,
sistc171fttizacirn, proce.l'flmiento y arulisis de la infin771fICn,
elabomcirn de infin711es (incluyendo amclusme,l' y ncom erulacione,\),
devolucirn a los a{fon's y dixeminacirn de conclusiones.
El proceso de la evaluacin
Reiteradas veces se dijo que entendemos la evaluacitm
como un proceso, como una funcin de LJ gerencia o un
conjunto de actividades, siendo, por ende, programable.
Es lo mismo que afirmar que requiere para Sll desarrollo
un proceso o secuencia que le es propio, el cual se esquematiza a continuacin.
EvalUfrcirn de la evalUfrcirn (metaevalrurcirn)
anlisis de la utilidad de los halla7.gos,
apreciacin sobre la virtlJilidad del proceso eval uativo

y de! uso de sus resultados,
juicio acerca de la pertinencia metodolgicJ y tica,

an tisis de la conflabilidad de los procesos y hallazgos.
ProgrtlTl1acirn de la evaluacirn:
definicin del sujeto-ol:jeto de evaluacin,
establecimiento de la finalidad,
identificacin de las {l/uliencias,
determinacin de! nivel de tlTulixis,
Si bien e! proceso evaluativo se ha presentado esquemticamente de forma aislada y lineal, debe interpretarse
que forma parte de un proceso mayor que es e! proceso
administrativo de la gerencia y que como tal retroalimen49
4S
''
d,
'"
OIga Nin:nbeig,
]u.I'ette BnnVer'l11ffn, Violeta Rlli::,
ta b toma de decisiones o se integra como componente

eva]uativo del diagnstico. La secuencia presentada slo
procura mostrar b lgica del circuito evaluativo, pero
esos pasos no son secuenciales en los escenarios concretos sino que se producirn superposiciones y retrocesos
en medio de los avances.
Nuestra concepcin es que la evaluacin debera ser
un jJ1"OCCSOcontinllo
que se involucre en la gestin desde su
inicio, en el pbnte,l1niento del problema a resolver o et,lpa diagnstica, durante los procesos de ]a accin y ,1]finalizar perodos determinados, donde e] nfasis estar
puesto en los resultados o efectos.
Si bien consideramos continua b ev,lluacin, de hecho
suele requerir algunos cortes especficos P,lL1determinados aspectos, como e] estudio de cambios en conductas o
actitudes, o situaciones pobbciona1cs (de nutricin, de
empleo, de salud, de alL1betizacin, etc.) que debern
medirse o apreciarse de forma peridic1, mediante encuestas, censos o estudios cuasi experimenta1cs, segn
sean ]os C1SOS.
Asimismo, como acJaL1remos luego, a menudo oculTe
que ]os evaluadores somos convoclllos p,lra IT,lli/,ar
nuestra t,lrea slo en la etapa fina], o despus que finaliz el perodo de ejecucin de los program,ls o proyectos.
En esos C1SOS,]ejos de recha/,ar esas deman(hs, debemos
ofrecer nuestras habilidades a los decisores para que en
el futuro puedan aprovechar mejor sus propi,ls experiencias, planteando bs evaluaciones tempranamente,
de
modo que les sea posib1c consideLlr hs ,lltern,ltivas disponib]es para tomar decisiones futuras.
CAPTULO 2
Los tipos de evaluacin
/,as ciellcias, despl":" de todo, son nuestra pnipitl crCllcilJn,

illcluidos todos los sn',TOS estndares que !)({reccll i'lll}ioIlcrllOS, l'~" buello r('(ordar constantemente estc bcc!;o /. ../.
;()m: Illeilil'/'ecorda/orio bay que e/ darsc (l/mta de qlle /a
;'/('((JII'e/l/Tc tcoras I/ue son suficiente'lllmte generales
pan! proporlillar 111/11 concepcJn dellll/l/l{!o clilllPrcbmsh'll y ell/re las quc 110bay ClmexirJ/Ie'lllpirim, puedc llegar ;1scr llllil cuestilJIl dc gusto?
I'WI.
FFYFR;\BI:";I)
(1 iJH4)
Existen muchas formas de evaluar y esto ha dado lugar a una profusa y posiblemente confusa terminologa,
'lcuada en la literatura sobre el tema, que remite a distinciones (a veces a oposiciones) entre modos, tipos, enFoques o perspectivas de evaluacin. En su mayora,
surgen de la introduccin en la prctica de lluevos focos
de inters y de los diferentes nfasis que los mismos
evaluadores fueron dando al uso de la evaluacin. Muchas aparecen incJuso para superar restricciones o limitaciones con que se enfrent;ron en el desarrollo de las
modali(bdes ms tradicionales. Sin embargo, como se
ver,), responden a diferentes necesidades y no son excJuyentes.
Como producto de los intentos de sistematizar la experiencia en propuestas conceptuales y metodo]gicas,
se pueden encontrar innumerables cJasificaciones. Algunas han tenido mucha difusin en ]a Iiteratun1 sobre evaluacin y merecen una breve descripcin pues alertan
SI
K,
()~f!;a NirclIbC/;f!;, ]oscttc 8rmvcJ7I!1!1l, Violeta Rllie:..
Los tipos de evaluacilSn
acerca de la mu]tipliciebd de facetas que pueden y deben

considerarse a la hora de concebir y disear un proceso
de evaluacin. En este sentido, adquieren un valor prc..
nco pues SIrven para pensar, presentar y provocar nuevas
ide,ls y tcnicas y para disponer de listados de cuestiones
a considerar y recordar.
Los tipos ms difundidos suden diferenciarse de
acuerdo con los siguientes criterios:
Antes, durante o despus: siempre hay que evaluar
segn el momento en que se re,lliza la evaluacin;

segn quines realizan, son responsables o intervienen en la ev,lluacin;
segn ]os propsitos y la ndole de las decisiones que
se espera tomar en el futuro en funcin de los resultados de ]a evaluacin;
segn ]os aspectos a evaluar de] programa o proyecto.
Algunos autores distinguen adem,s entre eVaht,lCin

"informal" y "formal". La primera se refiere a nuestL1s
conductas cotidianas que nos llevan ,1 emitir juicios sobre utilidad, convenienci,l, eficacia, compatibilidad de
otras person,lS, recursos, procesos o productos sobre la
b,lse de supuestos subjetivos e individuales, juicios que
nos sirven para elegir diferentes cursos de accin. Se b
contrapone a la evaluacin "fonn,ll" o "en sentido estricto", en 1<mto s1<les pblica y las elecciones se basan
en esfuer'.os siste'llltticos de definir criterios e):.jJIcito,,"y
obtener informacin pn'.\"(f acerca de las 'llternativas.
Nuestro concepto de evaluacin se refiere fundamentalmente ,1este (r!timo tipo.
Una distincin clsica proveniente de la tradicin econmica y trasladada a las ciencias sociales es la que suele
efectuarse entre evaluacin cx antc y evaluacin ex post.
Como su nombre lo indica, la cvaluacin cx ante (a veces denomin,lda tambin "de predecisin", "de factibilidad" o "de pertinencia") se emprende antes de iniciar un
programa o proyecto para tomar una decisin relativa a
si debe implementarse
o no. En trminos generales
apunta a "comparar la eficacia o la rentabilidad econmica de las diferentes acciones para alcanzar ]os objetivos
deseados" (Pineault y Daveluy, 1987, C1p. 6).
Desde el punto de vista del proceso de intervencin
socia] se tLlta, en b fase de formulacin y diseDo del
proyecto, de esta blecer, adems de su 'l'clltabilid;ul CC01US'lIIiC/l, su pcrtincnci/f -es decir, la adecuacin de las soluciones que propone a la realidad que se pretende modificar-, su coherencia inter'lla en trminos de adecuacin
de recursos a objetivos y de stos a metas y actividades,
V su filCtibilid/fd, o sea, ]a disponibiliebd
de ]os recursos
;'equ'eridos y la existencia de condiciones paL1 desarrollar las ,1cciones esperadas.
Es el tipo de evaluacin que suelen realizar os organismos financiadores a la hora de decidir aprobar un proyecto. Puede servir para mejorar su formulacin y tambin para seleccion,lr proyectos, por ejemplo, cu,mdo se
trata de un concurso.
1, '!:mbin
principal
ycctos.
')2
tcnica
se (!cnomin;ha
"eosto-bendio",
de ;1I1;lisis econmico
identificndo!a
para la evalll'lCi(m ex
{117ft
con la
de pro-
()Z~'(l
Nirer!IJel~,
]o,I'ette Bmwermar!,
Violeta Ruiz
La evaluacin ex post es la que se realiza una vez concluieLJla ejecucin del proyecto. Aqu tambin se utilizan
varios trminos -aunque no con un significado unvocopara h~lcer referencia a diferentes momentos en los que
se reahza, sea apenas concluida la bse de ejecucin (de
fin de proyecto, a posteriori, terminal), sea varios aos
despus que el proyecto o programa ha tenninado.2 De
todos modos, en general se concentra en los resultados
obtenidos para evaluar en qu medida se alcanzaron los
objetivos previstos (situacin objetivo), eules han sido
los efectos, buscados y no buscados, atribuiblcs al proyecto, sobre la situacin inicial que se pretenda modificar; tambin procura identificar los f~lctores que contribuyeron a producir estos resultados. Merece destac1rse
que un aspecto importante -a menudo descuidado- de
~sas evaluaciones es contar con una "lnea de base", o informacin diagnstica de la situacin inicial, p;lra poder
contrastarla con ]a situacin final. Aunque acorde con las
metodologas circulantes de planificacin/programacin
~1 formu]acin de un proyecto o programa del~e acompa~
]:arse de un chagn{)stico, no cs frecuente que ste se reaIIcc COI: .~a. mirada puesta en el proceso eva lua tivo, y por
ende chhcllmente incorpora la inf~mnacin pertinente
par:~ p(~der. apreciar los cunbios producidos despus de
su fm;llIzaCl{m. Lo dicho mucstra que, pese al camino ya
2. I-:n ,:l,lgunos CISOS, L1evalu:lCi")}l re:1Iiz:HI:1 :llgunos :lfios despus de

la conclus!on dc un Jrovec!o
se denomin') 'L,'
",1" 1'!1111'IC'('(
"( vease,
,
'
, )'
por ejemplo, Banco Inte,ramenc:lIlo
de Desarrollo,
sil). Sin ell1b:lrgo, cntendemos
que la eV:1Iuac!on de Impacto puede realizarse tambin en momentos
intermedIOs SI eXIsten hip/'tesis :leeIT:l de la ocurrencia
:l mediano ]lla"o de
los dectos esperados en la poblaci")}l.
Los tipO,I'de evaluacin
recorrido, todava resulta difcil encontrar traducida en

hechos la estrecha rehlcin que se requerira entre la
programacin y la evaluacin.
En las evaluaciones ex post, el foco est colocado en la
eficacia, la efectividad y la eficiencia de un proyecto o
programa, conceptos que retomaremos y explicaremos
en otro punto de este captulo (vanse las pgs. 69 a 71).
Pero es necesario destacar que apuntan fundamenta]mente a obtener elementos tiles para decidir si conviene seguir implement;l1ldo esta lnea de proyectos y, en
caso afirmativo, qu ;lspectos pueden mejorarse en futuras formulaciones.
A partir del nE1sis en la evaluacin como instrumento de gestin estrechamente ligado a las distintas fases
de la planificacin, se introdujo una nueva diferenciacin relativa a] tipo de evalllacin que se realiza durante
la ejecuci{m del proyecto, denominada de muy diversas
maneras: de progre.m o jWOCCSO,
de gestin, COnCll'lTente, conc0771itrmte, intermedia, de opemci()n, etc. Su objetivo b;1sico
es evaluar en qu medida se va cumpliendo el proyecto
o programa de acuerdo con la propuest;l inicial, es decir,
si se orienta segn la direccionalidad descable. Genera
informacin sobre 10s procesos, las actividades y los
productos, y los compara con las met;ls formuladas y las
que se V;l1lreformuLl1ldo a lo largo de] proceso de implementacin. Se rClliza dc forma peridica de modo de
detectar oportun;lmente las debilidades y los obst;culos
as como las fortalezas y las oportunidades. De este modo proporciona elemcntos para la toma de decisiones
que permiten reforzar o reorientar ;lcciones y corregir
aspectos de la gestin, aumentando as las posibilidades
de l1eg;lr a resultados favorables.
55
()Z~ll Nirellbe'lJ!;, ]oJette Brawerma71,
Violeta Rui:::.
Aunque se lo distingue, tambin el seguimiento o 'f'IlOnitO'l'eo' se refiere a la evaluacin que se realiza durante la
ejecucin de un proyecto. Tia sido definido como
[ .. 1 el examen continuo
o pcri(dico que efecta la administraci(n,
en todos sus niveles jer[rquicos, de la manera en que se est[ ejecutando una actividad. Con ello se busea asegurar que la entrega de
insumos, los calendarios de trahajo, los productos esperados se
conl'()J']]]en a metas estahlecidas y que otras ~1Cciones quc son necesarias progresen de acuerdo con el plan tr'lZ'ldo (ONU, 19H4).
Es parte de la funcin gerencial y responsabilidad del

personal a cargo de la ejecucin, y en este sentido constituye una tpica actividad de evaluacin interna dentro
dclmarco de un programa o proyecto. En general, las
actividades de monitoreo que hemos conocido se centran en la implementacin de un sistema de informacin
para verificar el logro de las metas e identificar desvos.
Este nE1sis en la recoleccin sistemtica de infonnaciones tiles para el funcionamiento de programas ha llevado errneamente a diferenciar el monitoreo de la evalu;lcin propiamente dicha. En efecto, la existencia de un
sistema de informacin no implica necesari;lmente que
exista evaluacin y, viceversa, puede hacerse una evalu;lcin sin la existencia previa de dicho sistema ya que puede recogerse informacin en el momento del corte evaluativo. Pero de qu sirve un sistema de informacin si
no se lo utili',a para juzgar la adecuacin de los procesos
de ejecucin y proveer elementos de juicio para 1:1intTodnccin de ajustes y correcciones oportunas? 'ElInbin
3. Los dos trminos son C'luiv'llentcs, pucs "monitorco"

ducido literalmcntc del ingls ///OItOlillg.
')6
ha sido tra-
[,0.1'
tipOJ de evaluacin
hemos ledo o escuchado decir que el punto donde radi.'

" es que
ca I a (]"lferenCla. entre "1"evauaClOn " y " m011ltoreo
este ltimo provee informacin para la gerencia ... yacaso la eva1uacin no Jo hace? Quiere darse a entender que
elmonitoreo
prende luces de advertencia y/o riesgo en
el gerel1ciamiento social del da tras da, para generar acciones correctivas inmediatas, del mismo modo que los
monitores con el paciente internado en las terapias intensivas e intermedias; pero es necesario advertir que, en
los proyectos socia1es, la metfora del paciente monitorizado no es del todo afortunada, ya que es imposible la
recoleccin de informacin de forma continua o ininterrumpida que permita prender luces de emergencia; slo es posible recoger alguna infonn,lcin de modo discontinuo, con cierta periodicidad (a lo sumo mensual,
por lo general trimestral). Esa informacin recogida con
periodicidad frecuente suele ser del tipo cuantitativo (de
ejecucin presupuestaria, de cobertura, de cantidad de
prestaciones o servicios brindados), pero raramente incluye aspectos de calidad o procedimentales, ya que stos requieren periodicidades mayores.
Se dice tambin que el monitoreo adecuadamente
conceptual izado y puesto en pnctic1 es un
1 ... 1 procedimiento
empleado p'lra comprobar la efectividad yeficienci, del proceso de eiecuci(n de un proyecto, mediante 1.1
identificaci(n de los aspectos lill1iL1I1tes y/o ventajosos que nJmina recomendando
medid:ls correctiv'ls para optimi'.~lr los result'l<los deseados (Ibnco Inter~mcriclllO
de Dcsarrollo, sil).
11:
Se puede apreciar, segn esta definicin, la ausencia

de diferencias entre el concepto de monitoreo y el de
enl nacin.
11
')7
1:
l!
()~f!,{!
Nirenberx, ]osette Brawel'lnan, Violeta Ruiz
Conjugando el verbo evaluar:

nos evaluamos o nos evalan?
En funcin de quin realiza la evaluacin, se han diferenciado dos grandes categoras, la evaluacin externa
y la evaluacin interna, aunque actualmente t<lmbin se
ha roto esta dicotoma para incluir la evaluacin mixta, la
autoevaluacin y la evaluacin participativa.
Se llama evalurrci()n externa a la que realizan evaluadores que no pertenecen a la organizacin ejecutora del
programa o proyecto que se evala, recurrindose genera]mente a investigadores o consultores independientes, departamentos
universitarios y, a veces, incluso a
expertos internacionales.
Es posible que la evaluacin
externa se realice por decisin del propio equipo responsable del proyecto, progr~lma u organi/.acin, pero
::unbin ocurre que se reali/.a por decisin de la agencia
bnanCladora o del organismo del cual depende jen1rquicamente e! ejecutor; lo cierto es que esas variantes tenddn inlluencias en las modalidades V orientaciones evaluativas ..
La ('7i({lurrcin irrtcnllf es b que llevan a clbo personas
o grupos pertenecientes ~l la institucin gestora del proyecto, no involucr,Hlos direct~lmente en su ejecucin; en
cambio, Ll autocvfrlurrcin ser<l aquella reali/.ada por los
prop~os actores a cargo de la ejecucin del proyecto. Esta diterenciacin en realidad adquiere sentido en e!m,lrco de organizaciones de cierto tamao, reLnivamente
compl:jas, en las que puede existir una persona/equipo/umdad especfica de evaluacin, cuasi externa, es decir, por fuera del ~lrea de ejecucin del proyecto. En organizaciones m~s pequeas, con estructuras indiferen-
ciadas, una evaluacin interna sera equivalente a una

autoevaluacin.
La evaluacin ptll~ticipativa
aparece como una categora
sumamente difusa, pues no es claro a la participacin de
quines se refiere, pero apuntara -y en este sentido aparece como modelo ideal- a designar aquella evaluacin
que involucra a los destinatarios y/u otros actores de los
proyectos en los distintos momentos del proceso evaluativo (es decir, no slo como fuente de informacin sino
adems con protagonismo en su diseo, en la ejecucin,
en el anlisis de los resultados y en la formulacin de
conclusiones y recomendaciones).
En la mayora de los libros sobre evaluacin que hemos consultado hay discusiones acerca de las ventajas y
desventajas de cada modalidad: "la organizacin ideal
sera aquella que se eval,l a s misma" (Wildavsky,
1(72), y nadie mejor que su personal para conocer y
comprender los objetivos, la metodologa, los destinatarios y la dinmica cotidiana de las actividades, en suma
para captar la racionalidad interna del proyecto. El hecho de que los propios actores realicen la evalu,lcin hace m,ls vi,lble la posterior utilizacin de los h,lllazgos
evaluativos y la adopcin de medidas correctivas recomendadas. Pero su principal obstculo deriva de una baja garant<l de objetividad al ser juez y parte del proceso
evaluativo: sus valores, intereses y compromisos personales atentaran contra un~l apreciacin imparcial e independiente de! program~l o proyecto.
Por el contrario, se supone que e! eva]uador externo
no tiene intereses creados -supuesto que casi nunca es
del todo correcto-, suele traer experiencia en el tema,
puede volclr recursos y conocimientos inexistentes en la
.1
59
1,
OIga Nire7l/!erg, ]o,\'ette BmwerrlUm,
Violetl! Rui::.
organizacin y es mayor garanta de objetividad. Sin embargo, sus debilidades estaran en las tensiones entre
evaluador y evaluado, que pueden incluso generar dificultades en el acceso a la informacin, en las restricciones p,lra G1ptar los factores en juego y la racionalidad interna del proyecto y en las probables resistencias de su
person,ll a aceptar resultados que podran cuestionar sus
objetivos, metas y lneas de accin.
Por otra parte, en nuestra concepcin, el evaluador o
equipo de evaluadores externos contratados traen, adems
de sus propias orientaciones y preferencias ideolgicas y
teriC1s, compromisos con quienes los contratan y ello
puede incidir sobre 1<1
supuesta "objetividad" de su labor.+
La solucin salomnica propuesta en alg'unos casos
es la eVftlllacirfn mixta, conformando un "equipo" constituido por evaluadores externos e internos con momentos de trabjo conjunto y momentos de trabajo independiente.
OtTa forma de preguntar acerca del tema de quin
evala, sobre todo en el caso de org,mizaciones o progl'<lmas de ciert,l complejidad (con diversos depart,1111entos o
subsedes o localizaciones) es en qu nivel evaluamos?
En t,ll sentido, si la evaluaci(m es a nivel centT,ll suele hablarse de control de p;e.l'tirf,,; en los niveles intermedios se
hace nE1sis en la ,wjJervisirf y si se realiza en el nivel
operativo, donde se hacen concret,ls las ,1cciones (prestacin de bienes o scrvicios) en relacin con la gente (los
beneficiarios o usuarios o elientes), sc h,lbla de eva/l/flci!)"
4, Para un mayor
sente libro,
desarrollo
de este tem;l.. vase el Clptulo
3 del pre-
1,0.1'
tipo,\, de evaluacin
muy ligada al propio trabajo de los equipos tcnicos actuantes (por ejemplo, los grupos operativos de
mejoramiento de calidad o de auditora mdica que llevan a cabo los grupos profesionales en los estab]ecimien-
ojJemtivfl,
tos de salud).
La cuestin de quin evala en realidad Ueva implcito el problema de la resistencia a la propia pdctica de la
evaluacin y a las dificultades para utilizar sus resultados.
No es inusual que se lleven ,1 cabo evaluaciones rigurosas -sean internas o externas, de procesos o terminales,
en uno o en otro nivel de 1:1organizacin, programa o
proyecto- cuya implementacin
y desarrollo han sido
aceptados por la org,l11i7,acin pero cuyas recomendaciones son eSC1samente tenidas en cuenta luego por los propios responsables y ejecutores de proyectos. Su compromiso personal y emocional con las metas, la poblacin
destinataria y otros aspectos especficos de la organiz,lcin se puede erigir en una b,11Terapara la aceptacin de
cambios en la orientacin de su accionar. En sntesis, como ya se vio en el primer captulo, existen contr,H!icciones entre los propsitos de la evaluacin y la lgica de
funcionamiento de las organizaciones. Este tema, recurrente en la revisin de las experiencias, nos recuerda
que la programacin de una evaluacin debe incorporar
,1cllerdos y negoci'lciones entre todos los involucrados en
el proceso, sobre todo en torno a sus propsitos y a su disefo. 'E1mbin es necesario contempL1r la introduccin
de mecanismos que permiLln compartir sus diferentes
c(,l]1<lS,incluyendo el anlisis y la interpretacin de la informacin y la formulacin de las recomendaciones. Slo as se podd h,lblar genuinamente de evaluacin partiClpatlva.
{,()
{'1
Olga Nin:71belY" ]o.\'ette Brawerl1um,
Violeta R'lliz.
Lo," tipos de evaluaciriJl
Los mltiples propsitos de la evaluacin
na intervencin o accin humana (proyecto, programa,

poltica, servicio), Debe producir informacin acerca de
su efectividad V de las condiciones en las que puede ser
eficaz en otras' situaciones, momentos o lugares. Se emplea frecuentemente
para decidir qu programas,~)
acciones merecen un,l nueva inversin o la obtenclOn de
fondos adicionales. Lleva por lo tanto a decisiones re]ativas a ]a continuacin,
finalizacin, expansin de los
programas o proyectos y responde princip,~]men:e
a l:s
necesidades de quienes los formulan o los f1l1anClan. lo,n
particular, contribuye a suministrar e~emen:os de jui.c!o
sobre la rep]icabilidad de una detenn1l1ada 1l1tervenClOn
en diferentes contextos, ampliando de este modo el abanico de sus potenciales usuarios. En el G1SOpresentado
anteriormente aCerGl de la aplicacin del currculo elaborado y mejorado, se emprendera una ev,~luaci(~n '>Ie
resumen" con el propsito de determinar SI es efectIvo
para mejorar las capacidades de los alumnos o ~)ar,a il:troducir cambios en sus actitudes hacia el aprendIzaJe. I,J
juicio evaluativo en este caso sirve para decidir la cO~ltinuacin del programa y la generalizacin de su 'lphcacin a otros establecimientos cscolares.
Sin embargo, si se tiene en cuenta la ntima relaein
entre los proLcesos de gestin y el impacto obtenido,
puede decirsc quc muchas evaluaciones si~~en. a aml:os
propsitos. I'~n nuestro ejemplo, la e~,~luacJon
tonnatlva
del currculo llevad de hecho a deCIsIones acerca de su
aplicabilidad, mientras que la de resumen puede contr~bu ir a nuevas revisiones y ajustes para aumentar su eflClCJa,
Si bien en la pdctica suelen usar distintos tipos de informacin y criterios de evaluacin, en nuestra opinin,
Una distincin ya cLlsica y muy difundida es ]a que

suele hacerse entre evalllacin formativa
y eValllaci(in Sll't71tltiV{{' o de resmmn. La primera se refiere al tipo de evaluacin que se emprende con el propsito de mejorar
una intervencin en un momento determinado y para un
grupo especfico de personas, particularmente
aquellas
invo]ucradas en su ejecucin. Busca proporcionar informacin til para ayudar a] program,1 a mejorar su gestin
y contribuye a la toma de decisiones acerCl de su desarrollo e implementacin (modificacin, revisin, ajustes,
etc.). Brinda inf~>nnacin a medb que avanza el progra1na o el proyecto, y se refiere al cumplimiento de metas
intermedi,ls y a los problemas de imp1cmentacin. Sirve
fundamentalmente
a] personal del programa.
Un ejemplo de evaluacin form,ltiva es la ev,lluacin
curricular en el rea educativa, de donde proviene por
otra parte esta nocin (Scriven, 1967). Utilizando tcnicas tales como seguimiento de su aplicacin mediante
pruebas de aprendizaje y juicio de expertos, se obtiene
informacin que permite evaluar b adecuacin de los
contenidos curriculares ,1 bs condiciones de enseianzaaprendiz,aje y as poder realizar ]os ajustes necesarios.
La evaluacin "de resumen" se emprende con el propsito de obtener un juicio global sobre el valor de algu-
S, ESlalraducci,'1Il lilcral ha sido acufada dcl ingls SiI//llllflti'l'

y nos 1"1rccc poco '11(,rtunada, pucs cn castellano inyolucr'l la connotacitlll dc suma
o aCUIIIULlCi('JI1.Parccc lIIejor la ITaduccitlll quc LNICI'J' hace dcl trmino
como una cy,1Iuacitlll "dc rcsulllcn", pucs cn rcalid'ld, y t,1I C01l!O la ust, Serivcn en su origcn, connot'l UI1,1recapitulacit'l1 dc los cfcct"os dc un cOl1junto
de accioncs (progr,ull:l, proyccto) sobrc sus dcstil1a!;lrios (U:\I(:I',F, ] ()()O).
62
63
J....
()~'fl Nirefl{}("lg,]osette Brawerman, Violeta Rui::..
el valor de esta distincin reside en un lJamado de atencin a la necesidad de realizar evaluaciones durante todo e] ciclo vital de un proyecto. En realidad, como se ha
afin1l<ldo en el primer captulo, e] propsito de ]a evaluacin es contribuir a un aprendizaje que impulse e]
cambio o ]a aplicacin de medidas correctivas. Desde esta perspectiva, toda evaluacin cumple una funcin formatlva.
Otra distincin tambin tradicional en ]a literatura
sobre e] tema es ]a que se establece entre ('7)ftluaciln descriptiva y expliwtiva (Suchman, 19(7), La primera se refiere a los estudios que tienen por objetivo pronunciarse
respecto de] xito o fr,lC1SOde un programa a partir de la
descripcin cuantitativa o cualitativa de sus actividades,
sus procesos o sus resultados y de su comparacin con a]gn objetivo, meta o est,lndar preestablecido.
La segunda se propone identificar los factores que exp]ican situaciones de xito o fracaso de los objetivos de
un programa. Construye esquemas interpretativos de la
multiplicidad de causas e interdependencia
de efectos a
partir de marcos conceptuales y tericos preexistentes o
bien de la formulacin de hiptesis a verificar.
Entendemos que se trata de una distincin artificial.
T(da evaluacin debe de,\'cribil' (y ello posiblemente constituya su primera etapa metodolgica), pero su discfo
debe considerar tambin la identificacin de los bctores
que intervienen para e,1jJliwr los logros y los fracasos. Por
otra parte, como y,l dijimos, toda intervencin socia] es
llna estrategia destinada ,1 producir cambios en un contexto determinado, Implic1 una serie de hiptesis acerca
de los resultados esperados que se traducen cn la fonnu!acin de objetivos; por cjemplo, si el objetivo de un pro-
yecto es producir una mejora en las condiciones de vida

de un grupo o una comunidad mediante la puesta en
marcha de un microemprendimiento,
existe una hiptesis subyacente de que esta accin ser efectiva para producir cambios en la situacin de empleo y en el nivel de
ingresos de] grupo destinatario. La evaluacin, en ltima
instancia, busca verificar o descchar tal hiptesis a travs
de la descripcin de los resultados alcanzados y explicar
las condiciones en las que se verifica, o en caso contrario
identificar los flctores -tanto de] contexto o mundo exterior significativo como de Sll gestin- que dificultan u
obstaculizan los logros previstos.
nfasis segn temas: qu evaluamos?

Una distincin relevante se basa en los aspectos o facetas de un programa o proyecto que se quiere estudiar
y juzgar. Desde esta perspectiva, existen innumerables tipo]ogas pero, en general, responden a tres grandes criterios clasificatorios.
El primer criterio se basa en las etapas del ciclo de un
programa o proyecto: en este caso se diferencian los aspectos vinculados a su diseo y conceptualizacin (evaluacin de necesidades, evaluacin de contexto, evaluacin
del diseo y programacin), aquellos vinculados a su desarrollo o implol1Cfltaciln (estructura, organizacin, recursos humanos, materiales y econmicos, procedimientos,
actividades, etc.) y aquelJos vinculados a sus re,\'u!tados
(efectos, impactos, rendimiento, etc.).Esta clasificacin
prcticamente coincide con la que distingue los momentos de ]a evaluacin. Slo difiere en que pone el acento
6')
Oiga Nirenberg, ]o.\'ette Brawermcm,
Los tipos de cvaluacin
Violeta Ruiz
dole de los proyectos sociales. La nocin de estructura

alude aqu a la combinacin de los recursos y a su organizacin para la prestacin y el desarrollo de determinados
servicios y actividades (procesos) con el objeto de alcanzar ciertos resultados. Por otra parte, esta clasificacin
vincula la evaluacin a la planificacin/programacin.
En
la metodologa moderna de planificacin se plantean objetivos en trminos de resultados, procesos y estructuras,
en el entendimiento de que los resultados se obtienen si
se desarrollan los procesos programados, los que a su vez
se podrn realizar en la medida en que se disponga de las
estructuras necesarias. La evaluacin retoma esos componentes y se eV<llanestructuras, procesos y resultados, en
una secuencia inversa a la de la planificacin.
La clasificacin relativa a evaluacin de proceso.I'y cvaluacin de impactos es muy utilizada en el campo de los proyectos sociales. En este marco terminolgico, la primera
apunta a determinar el valor del desempeo actual del
proyecto, es decir, el grado en que va cumpliendo con las
actividades previstas, alcanzando los resultados esperados
dentro de los plazos y con los recursos programados, y
procura identificar las causas de los problemas que van
surgiendo de modo de corregir y revisar oportunamente la
marcha del proyecto. La evaluaci6n de impactos pone nhsis en los resultados logrados en los destinatarios, los
compara con los esperados y procura encontrar las causas
de las diferencias. Muchas veces esas causas se encontrarn con claridad a partir de la evaluacin de los procesos
realizados; otras veces tendrn m<1Sque ver con flctores
con textuales que con los proyectos mismos.
La multiplicidad de denominaciones
para componentes similares de los proyectos merece aqu un prra-
en el qu -los contenidos- y no en el cundo -los momentos- se evala,

El segundo criterio alude ms bien a los componentes
relevantes de los programas. En este eje las clasificaciones lm15difundidas son: evaluaciones de insumos, procesos y productos; de estructura, procesos y resultados o
efectos; de procesos y de impactos.
La cvaluacin dc itl.\71'f110.1
tiene por objeto describir y
analizar los recursos humanos, materiales y financieros
con que cuenta un programa; la forma en que dichos recursos son procesados de acuerdo con criterios de relevancia, factibilidad y economa en su uso y las estrategias
de obtencin de insumos destinados a implcmentar dichas estrategias. La cvaluacin dc proccsos estudia los medios procesales (actividades, procedimientos, prestaciones) que se utilizan para llevar a cabo un programa, tanto
en su diseo como en el modo como ste se implcmenta.
Se trata de emitir un juicio acerca de la capacidad y las estrategias de procesamiento de insumos que tiene el sistema. Sirve para elegir cursos altern<ltivos de accin para la
operacionalizacin, ejecucin y el control del proyecto.
La cvaluacin de productos estudia el logro de metas propuestas que se expresan en trminos de productos esperados. Emite un juicio sobre los resultados obtenidos en
trminos de productividad, concepto que vincula los productos alcanzados a los insumos utilizados para el desarrollo de las actividades. Esta clasificacin proviene del
campo de la economa, de las evaluaciones de emprendimientos productivos y de obras fsicas.
La clasifIcacin en estructums, proccsos y rc.wtltados (o
efecto)) proviene del campo de la salud (Donabedian,
1990) e incorpora una terminologa ms adecuada a la n-
67
__
~ ..
1'1
I
Oiga Nircnberg, ]osette Brawernum, Violeta Ruiz
fo aparte, en particular las que se refieren a sus resultados. "Productos",

"efectos", "impactos" son trminos
quc pueden englobarse dentro del concepto ms general
de resultados aunque no son utilizados siempre de forma
equivalcnte ni unvoca. Los matices que suelen encontrarse remiten en ltima instancia a distintos tipos de resultados o distintos momentos del ciclo de un proyecto
en que stos pueden verificarse, as como a sus diferentes mbitos o espacios de repercusin. Los objetivos del
programa o proyecto constituyen la contra cara de los resultados y se los suele denominar tambin con distintos
grados de generalidad (finalidad, propsito u objetivo
general, objetivos especficos, objetivos intermedios,
etc.). Poden10s ilustrar estos matices mediante un ejemplo sencillo. Tmemos un proyecto de capacitacin tcnica de jvenes no escolarizados de bajos recursos implementado con el objetivo de que obtengan una rpida
salida laboral para contribuir a mejorar las condiciones
de vida de sus familias. Se suele denominar "productos"
a los resultados concretos de las actividades, en este caso, los cursos realizados y los jvcnes capacitados. Los
efectos (buscados o programados) se vinculan a los objetivos del proyecto, en este caso: la insercin ocupacional
de los jvenes capacitados. 'Hllnbin pueden referirse a
otros resultados, previstos o no, como el aumento de la
autoestima de los jvenes capacit,Hlos, la mayor integracin familiar en sus hogares, etc. El impacto se vincula a
los objetivos m,1Sgenerales del proyecto y se refiere a los
cambios que se persiguen (a veces no formulados explcitamente) y que poddn verificarse en las condiciones
de vida de la poblacin; en el ejemplo podran ser impactos el mejoramiento del ingreso familiar, la reduccin de
la delincuencia juvenil, entre otros. Es necesario sealar

que la evaluacin de ilnpacto busca identificar aquellos
cambios atribuibles a la accin del proyecto, despejando
otros t~lCtores que podran haber intervenido.6
Finalmente, el tercer criterio de clasificacin pone el
acento en ciertos atributos de los programas o de sus
componentes: la pertinencia, la idoneidad o suficiencia,
la eficacia, la efectividad, el rendimiento , la rentabilidad ,
la productividad, la eficiencia, etc.,! conceptos que no
siempre son unvocos pero que cuentan con algn consenso, al menos en cuanto a su significado general.
La pel"tinencia se refiere a la adecuacin de un programa o proyecto (o de alguno de sus componentes) para satisbcer necesidades y demandas o para resolver la situacin -problema que le dio origen-o En otros trminos, se
refiere a la adecuacin de la formulacin al "estado del
arte" en la respectiva rama del saber.
La idoneidad o sldiciencia se refiere a la capacidad de un
programa o proyecto (o, ms espedficamente,
de sus
componentes) para contribuir a los objetivos y metas programados. As, suele hablarse de idoneidad de las actividades, suficiencia de los recursos, etc.
La eficacia y la 4ectividlld se refieren a la capacidad de un
programa o proyecto para alcanzar los objetivos programados que, como se ha mencionado, no son sino la expresin de los resultados buscados. Si bien los dos trminos
suelen usarse como sinnimos, es muy til establecer una
..
6. Se volver, sobre
la cuestin
el captulo 5 de este libro.

7. Se pueden agregar otros
de los distintos
atributos
0
8
a est<1 list,], como
en
accesibilidad,
equidad, sustem'lbilillad.
Nos detendremos
nuevamente
en estos conceptos al abordar nuestra propuesta
de "modelo evaluativo".
69
________
tipos de resultados
Oiga Nirenberg, ]osette Brawernzan,
Violeta Ruiz
distincin entre ambos (Pineault y Daveluy, 1987). La eficacia se refiere a la capacidad de un proyecto o de alguno
de sus componentes para alcanzar sus objetivos en condicioncs ideales, es decir, si se dan las condiciones prefijadas
y aplicando las normas tal como se han formulado para ]a
aplicacin de las tcnicas cspecficas, mientras que la efectividad se refIere a la comparacin de los resultados obtenidos respecto de los esperados, teniendo en cuenta las
condiciones concretas de ejecucin, en las circunstancias
reales del contexto de] proyecto o programa y con aplicaciones distantes en mayor o menor medida de las normas
fonl1uladas. Los autores citados hablan por un lado de eficacia potencial y por otro de efIcacia real (o efectividad) y
sus explicaciones se refIeren a programas de atencin de
salud, los cuales suelen estar ms nonnatizados quc la mayora de los progr,lmas y proyectos del campo social.
Como puede lograrse una multiplicidad de resultados
(expresados en objetivos de distinto nivel de especificidad),
la evaluacin de la efIcacia o la efectividad de los proyectos
sociales suele enEltizar sus fines ltimos en trminos de las
soluciones a los problemas sociales o del mejoramiento de
la situacin del grupo humano al que van dirigidos. Un
proyecto pucde no ser eficaz, aunque alcance sus metas en
trminos de los servicios o actividades a realizar, aunque
haga un uso adecuado de los recursos, aunque tenga una
estructura que ElVorezca la realizacin de las tareas progr:1madas, si no logra producir los cambios dese,ldos en las
condiciones de vida de la pob]acin a la que se dirige.
En este punto es necesario reiterar la importancia que
tiene contar con buenos diagnsticos acerca de las caractersticas, y agregamos tambin de la magnitud, del problema especfico que se pretende resolver medi,mte la inter-
Lo.\tipos de evaluaci6n
vencin social determinada; habr que responder entonces

a las preguntas siguientes: en qu consiste el problema?,
qu consecuencias habr si no se lo resuelve?, cuntas de
las personas en la poblacin del territorio considerado padecen el problema a resolver? Al responderlas conoceremos la relevancia y magnitud del problema. Y algo muy importante: tendremos los "denominadores" apropiados para
poder estimar luego ]a cobertura del programa o proyecto
ya partir de all su dlcacia real o efectividad. Se entender
mejor con un ejemplo: se trata de un centro donde se brinda complementacin escolar para nios con bajo rendimiento que asisten a las escuelas de un determinado barrio.
Para poder establecer la eficacia de ese centro hay que conocer la magnitud del problema en las escuelas del barrio;
desde un punto de vista restringido, puede decirse que el
centro es efIcaz pues los chicos que asistieron a l mejoraron su rendimiento y promovieron al grado posterior, pero desde un punto de vista ms general, si la cantidad de nios atendidos es muy baja respecto de la cantidad de nilos
que padecen el problema en las escuelas del barrio, ]a intervencin no est,l siendo del todo dicaz pues alcanza a resolver slo una pequea parte de] problema, y por ende
una conclusin es que par3 mejorar la efic3cia debera 3Ument3rse la escala de la intervencin en ese barrio.
El rendimiento, ]a rentabilid3d, la productividad y la
efIciencia constituyen conceptos asociados generalmente
a la evaluacin econmica de un proyecto. El trmino ms
general y relev3nte es el de eficiencitl. f~sta se defIne como
la relacin entre los productos o resultados esperados de
un pr~)yecto y los costos de los insumos o procesos de apoyo o funcionamiento que implica. Esta relacin puede est,lblecerse de di feren tes formas y utilizando diversas tcni71

Oiga Nirerberg, ]osette Bmwernull7, Violeta Ruiz
sistemas locales de salud), una organizacin (escuela,

hospital, organiz::tcin comunitaria),
una poltica, un
programa o un proyecto hasta productos especficos o
servicios brind::tdos por una organizacin o por un conjunto de organizaciones. Cabe aclarar que se entiende
por programa o proyecto social una intervencin social
p]anific::td::tdestinada a obtener determjlados resultados
en un segmento de poblacin. A1.nbos suelen diferenciarse entre s por su escala y su duracin. El programa alude ms a un conjunto de actividades integradas con continuidad temporal, mientras que un proyecto constituye
~na unidad menor desde el punto de vista de su compleJIdad y ]a cantidad de componentes, y se diferencia de]
programa porque tiene una duracin limit::tda y atiende
una demanda o una necesidad social puntual. En ellenguaje de la programacin tradicional, sola considerarse
proyectos a los componentes de un programa.
Cada una de las unidades mencionadas tiene algun::ts
e~pecitI.cidades en trminos de criterios de evaluacin y
dunenslOnes de amlisis, pero muchos aspectos en comn.
Asimismo, pueden requerir algunas tcnicas especfIcas
(por ejemplo, en e! caso de organizaciones se utilizarn las
que son m,s propias de! ::tnlisis organizacional). La expe~-iencia acumulada en la evaluacin de algunos de estos obJetos ha lIev,H\o a] desarrollo de subreas que se lnanejan
con criterios y tcnicas propias: por ejemplo, la evaluacin
de activid,H\es, proyectos o programas de capacitacin o
educativos, o bien la evaluacin de servicios de salud.
Desde e! punto de vista conceptual no constituyen de
por s tipos diferentes de evaluacin: cualquiera de las
clasitlcaciones anteriormente
mencionadas puede aplicarse a estos diferentes objetos de evaluacin.
cas procedentes del anlisis econmico (costo-beneficio,

costo-eficacia o efectividad). Las ::tproximaciones a un
clculo de costo-beneficio en el campo de lo social son
muy complejas por la dificultad de valorar y traducir en
unidades comparables -monet::trias o no-los beneficios o
result::tdos muchas veces "intangibles" de intervenciones
sociales, en relacin con los costos de los recursos que insumen las posibles alternativas de inversin (ex tl11te). La
evaluacin de la eficiencia de un proyecto debe brindar
elementos de juicio para identificar altern::ttivas de accin
que permit::tn obtener mejores resultados con igual cantidad de recursos o bien los mismos resultados con una
mejor combinacin o utilizacin de los recursos existentes. En el campo de la salud y de la educacin se han desarrollado instrumentos para la eva]u,lcin de la eficiencia de servicios y programas. En el campo ms amplio de
las intervenciones sociales destinadas a incidir en las condiciones de vida de la poblacin queda an mucho camino por recorrer. Pero a] transitado, debera tenerse en
cuenta que lo que es necesario mejorar es la 4lciencill de
lo.\'pl~oyectos cjlC/las, lejos de perseguir la eficiencia como
un fin en s mismo o como valor absoluto. Esta ltima situacin es frecuente cuando el campo de ]a accin social
es "invadido" por criterios lneramente economicistas.
Los distintos objetos posibles de evaluacin:

tipos o niveles de anlisis?
Existe una multiplicidad de unidades diferentes que
han sido y son objeto de evaluacin: desde un conjunto
de organiz::tciones (por ejemplo, e] sistema educativo, los
72
73
________________
..J.
Olua
Violeta Ruiz
.Nircnbcrg
<-'. Jos'etteBrawerman,
Los tipo.\'de evaluacin
hnporta ms bien distinguir los niveles de anlisis o

recortes de la realidad cuyas especificidades deben tenerse en cuenta en el diseo de la evaluacin de modo de
utilizar encuadres metodolgicos, formas de abordaje y
tcnicas adecuadas. Los riesgos m<ls frecuentes en el
abordaje y el anc1lisis son la transposicin del nivel -falacia del nivel equivocado- y la utilizacin inadecuada de
tcnicas que no se corresponden con el nivel de aplicacin para el que fueron concebidas.
Para dar un ejemplo del cmnpo de salud, es frecuente
que se trasladen las variables vinculadas a la relacin mdico-paciente (o equipo de salud-paciente) a la evaluacin de progrclInas de salud o del desempefio de establecimientos, o ms an a la evaluacin de sistemas locales
de salud, cuando cada uno de estos niveles tiene especificidades que le son propias.
La estratq!,'ia de evaluacin de clUStCl'S,H desarrollada
en los ltimo~ clos en respuesta a iniciativas de gran escala financiadas por fundaciones privadas y agencias pblicas americanas y de varios pases europeos (Worthen y
Schmitz, 1997), constituye un ejemplo de cmo los diseos de evaluacin deben adecuarse al nivel de anc11isis
donde se concretar<n.Fsta estrategia se aplica a determinadas lneas de programas con ejecucin descentralizada
dentro de las que se identifican conjuntos de proyectos
considerados "agrupaciones" porque tienen en cOlnn ya
sea SLl ideario o misin, su modalid;HI de intervencin o
el tipo de poblacin destinataria (los nios, los jvenes,
etc.), y adicional mente, aunque no exclusivamente, el
8. Cflls!"l' signillca,
pamicnto, constclacit'm.
en ingls,
racimo,
ramillete,
11'11:, enjam1,rc,
origen del tlnanciamiento. En esos casos, la evaluacin se

orienta, mediante un diseo particular, a obtener apreciaciones sobre el desempeo global del conjunto as como sobre el desempeilo de cada proyecto integrante del
conjunto. Se trata por lo tanto de un abordaje especfico
para un nivel de anlisis particular: un grupo de proyectos que comparten determinadas caractersticas. En el
captulo 5 se encontrarn referencias a la evaluacin de
clustcr.\' o programas complejos.
Para concluir, cabe aclarar que nuestra conceptualizacin de la evaluacin se aplica a cualquiera de los niveles
mencionados; lo que podr variar es el foco, as como algunas de las tcnicas que se seleccionen para recolectar y
analizar la informacin relevante. Sin embargo, pondremos el nt~lsis y utilizaremos ejemplos de programas o
proyectos, trminos que usaremos indistintamente.
Para evaluar las evaluaciones

La 711ctacvaluan puede considerarse un caso particular de b clasitlcacin previa, pues se distingue por su
objeto, a la vez que constituye un nivel de evaluacin;
desde otro punto de vista puede ser tambin catalogada
como una evaluacin externa. Se realiza con el propsito de juzgar aspectos centrales del propio proceso evaluativo: apreciar su viabilidad y la del uso de sus resultados, analizar la utilidad de los haJJazgos, emitir un juicio
acerca de la pertinencia metodolgica y tica as como
de la confiabilidad del proceso evaluativo realizado y de
los haJlazgos, la adecuacin de las conclusiones y las recomendaciones que se formularon.
'lgTU-
74
75
""IIiiiiiIiiIIiiI~
""'
OIga Nirenberg, ]o.,ette Brawernum, Violeta Ruiz
L)s tipos de evaluacin
Si son pocos los programas o proyectos sociales que

se evalan de forma integral y continua, son menos aun
aquellos casos en los que se llevan a cabo procesos de
metaevaluacin propiamente dichos. La literatura refiere algunas experiencias, la mayora de ellas del campo
educativo y en los Estados Unidos.
La metaevaluacin se distingue de la evaluacin en general por su objeto, pero los pasos metodo]gicos son los
mismos: requiere del diseo previo de un modelo inclusivo de las dimensiones y variables que se considerarn, las
tcnicas elegiebs, ]os instrumentos y las pautas que uniformen los criterios del equipo metaevaluador.
Se diferencia de esa otra accin de las oficinas de evaluacin de las agencias financiadoras o de cooperacin,
cuando formuLlJ1 observaciones o comentarios generales sobre los informes y Jas metodologas de evaluacin
enviados por los programas o proyectos apoyados.
Conforme se anticip, ]a metaevaluacin constituye
un nivel de la evaluacin, cuyo objeto es el propio modelo y proceso evaluativo. Dado que ese nivel est "por encima" de la evaluacin propiamente dicha, hay ciertas recomendaciones a tener en cuenta, para que los resultados
de esa actividad sean realmente aplicables y tiles.
Es conveniente que la metaevaluacin acompae las

diferentes etapas del proceso de evaluacin, para permitir realizar ajustes oportunos a la direccionalidad
del proceso evaluativo, tal como se aconseja para este
ltimo en cuanto a acompaar el proceso de gestin
de los programas o proyectos.
Deber ponerse especial cuidado en las formas de efectuar las recomendaciones y la "devolucin" de los hallazgos, ofreciendo momentos y espacios para que los
evaluadores evaluados puedan discutir e introducir modifIcaciones y ajustes a los informes de la metaevaluacin (tal como se aconseja para todas las evaluaciones).
Por lo dems, las metodologas
la evaluacin en general.
coinciden
con las de
La multidimensionalidad de la evaluacin
Una conclusin que puede extraerse de las clasificaciones anteriores es que ponen el acento en aspectos similares desde perspectivas diferentes. As, resulta difcil diferenciar en la prctica la evaluacin ex post de la sumativa o
de la de impacto, o bien la evaluacin de procesos de la
formativa o del monitoreo. En realidad, abarcan duniverso de aplicacin de la evaluacin, organizndolo para responder alternativamente a diferentes preguntas: p,lra qu
se evala, quin evala, cundo evaluar y qu se evala.
Los desafos que el desarrollo de la pdctica fue planteando frente a Jas limitaciones de las modalidades ms
tradicionales de evaluacin contribuyeron a su enriquecirniento. Ahora se presta mayor atencin a las caracte-
En el diseilo dd modelo para la met,levaluacin debe

darse intervencin a los miembros del equipo de eva]uacin (ya que ser en gran parte el "objeto" a evaluar).
Los integrantes de] equipo de la metaevaluacin deben acreditar perfiles de mayor experiencia, idoneidad y prestigio que los del equipo de la evaluacin,
dado que evaluarn e] desempeo, los informes y las
conclusiones de esos ltimos.
77
76
..,L
OIga Nirenber:g, ]o.\'ette Brawerman,
Violeta Ruiz
CAPTULO 3
rsticas de los potenciales usuarios de los hallazgos evaluativos. La incorporacin

de diferentes perspectivas
-clientes, financiadores, la misma comunidad- ha ampliado el horizonte de aspectos a considerar; se concibe
la evaluacin cada vez ms como un proccso continuo de
autoaprendizaje, considerando tanto los procesos como
los rcsultados, y se procura involucrar de forma peridica a quienes estn vinculados con la ejecucin.
Los ejes que dieron sentido originalmente a la conceptualizacin de los distintos tipos de evaluacin se van
borrando y se tiende a cncarada como una actividad lws
integral.
En los ltimos
enf()que
generalmente
hasta
cien ~los
provena
convertirse
en mltiples
niveles
usuarios
de los resultados
luador
ayuda
en distintas
tcnico
et;lpas,
cn los puntos
un grupo
a evolucion;lr
para convertirse
de un~l
en una herramienta
mayor
;1
meta
la meta
en
de involucrados
sus haJlazgos
en su mayor
utiliz~Ha
L1
y culpahilidad
En la actualidad,
interpretar
actividad
para fines dc monitoreo.
do de la auditora
~1
una gran
as como
de vista de un solo eva-
mucho
y
evaluando,
de evaluacin,
de una evaltwcin.
!In
que
concentr~]da
en la que participa
de productos
nicamente
dcsde
que se est'lha
multidimensional
a dar f()rma ~] la evaluacin
comien/,a
cucncia
del campo
ha evolucionado
caho por un solo evaluador,
de un proyecto,
de gener~Hlores
de hasarse
~1
en una actividad
variedad
lugar
la evaluacin
unidimensionalllevado
p'lrte
cada vez con ms frc-
de la evaluacin
actual
to y el aprendizaje
en funcin de cxpericncias
lnteramericano
de Desarrollo,
sil).
1 ... 1
ex post
ha pasa-
del entendimienadquiridas
(Banco
El mayor desafo en la actualidad consiste entonces en

adoptar abordajes mctodolgicos y diseos que sean a la
vez rigurosos e integrales, compatibles con los requerimientos derivados de la multiplicidad de perspectivas
que se ponen en juego durante el proceso evaluativo.
78
Los abordajes metodolgicos
Que "sflber"
Jl('
lila
signifique
SiWflcirJlI
mi.\'Jllo C11varios
EII
la flctualidl1l1
algo tllt.\' que "ntflr
CO'ltl1l1zitflrifl
1110t11entos,puedan
im'timttnci/
lTqlcre
lfl CO'lHllilidfld
o yo
lo n\'77lO,
de 77/i conciencia
otro punto
supo-
sujetos,
comprobflr
'lllente l){Ulfl '''':, srilo tengo ceneZ,flS, Pilra

sito salit, de mi y cO'lnpartil~
cierto",
en que varios
propia-
saber fllgo,
nece-
de vi.\,tfl, El sflber
de Ul1 sujeto con otros,

LUIS VILLORO
(19%)
La diversidad est a la orden del da. As como existen

diferentes tipos de evaluacin segn cundo, para qu,
qu y quin evala, ha proliferado en las ltimas dcadas
una multiplicidad de prescripciones, denominadas "modclos evaluativos" acerca de qu es y cmo debe hacerse la evaluacin, enfatizando diferentes aspectos segn
las prioridades y preferencias de los autores. El origen de
cstos modelos, abordajes o enfoqucs (como tambin se
los denomina) pucde rastrearse directamente a partir de
las diferentes visiones de sus proponentes acerca de la
naturaleza de la evaluacin. Sus orientaciones filosficas
1. Briones
(19')1)
denomina
"modelo
de e.;valuacin"
a "un esquema
o disClo general que.; cuactcri/.a

la forma de la invcstigacin
evaluativa
que ha de rcalizarse, las tcnicas o procedimientos
para 1<1 recoleccin
y
'l11,lisis de la informacin,
el conocimiento
final que sc dese,] ohtener y
los usuarios prineip'lks
de los resultados del estudio". Como se desprende del eaptu]o 5, ese significado
no es tan diferente.; del que nosotras
'HloptarenH)s.
79
()Z~ll
Nirenberg, ]oxette Brawerman,
Violeta Ruiz
e ideolgicas, sus predilecciones metodolgicas y sus

preferencias pdcticas los llevan a proponer diseos, mtodos de recoleccin y an~llisis, y tcnicas interpretativas
diferentes.
Evaluacin cuantitativa y cualitativa.

Un debate histrico
Uno de los ejes de los abordajes metodolgicos que
ha generado mayor discusin, como veremos no del todo cerrada, es el quc se refiere al uso de los mtodos
cuantitativos o cualitativos. Merece que nos detengamos
en este debate pues ha atravesado la historia de la metodologa de la investigacin en ciencias sociales e impregnado fuertemente la de ]a evaluacin, tanto desde el
punto de vista conceptual como en ]a prctica. De hecho, se han llegado a identificar directamente los abordajes con la ndole de los mtodos de investigacin ap]iculos denominndo]os,
de modo poco afortunado en
nuestra opinin, "evaluacin cuantit~ltiva" y "evaluacin
cua litativa".
Esquemticamente,
suele asociarse la evaluacin o
investigacin cuantitativa al paradigma positivista de
la ciencia y se la identifica con el enfoque hipotticodeductivo. Generalmente
se centra en verificlr hiptesis especficas (parte de una teora mayor) a travs de
pruebas empricas y privilegia la explicacin de los fenmenos desde el punto de vista de los investigadores/evaluadores. Utiliza discfos experimentales
o cuasi experimentales. Enfatiza la estandarizacin,
Ja precisin, la
so
Lo,\' abordajes metodolgicox
objetividad y la confiabilidad de la medicin as como

la replicabilidad y la generalizacin
de los resultados.
Predomina el uso de los mtodos de anlisis estadstico, Se preocupa no slo por producir datos numricos
sino por generar nmeros adecuados a pruebas estadsticas,
Por su parte, los enrolados en la evaluacin o investigacin cualitativa intentan recuperar el contexto y las dimensiones humanas del fenmeno en estudio. Generalmente esa evaluacin se realiza en medios "naturales"
(investigacin naturalista) como escuelas o vecindarios;
el investigador/evaluador
es el principal "instrumento"
de recoleccin y el que analiza los datos; ent~ltiza la descripcin "gruesa", aquella que ilumina los patrones cotidianos de conducta y su significado desde la perspectiva
de quines se estudian; se orienta a los procesos sociales
y no slo se concentra en los resultados; emplea mltiples tcnicas de recoleccin de datos, algunas ms otras
menos estructuradas; y fundamentalmente
utiliza ellenguaje de las palabras y un enfoque inductivo en el amllisis de ebtos,
Se plantean a continuacin, en forma esquemtica y
a modo de contrapunto, las principales diferencias que
suelen destacarse entre estos abordajes evaluativos,
81
Oiga NircllbelX,
EVALUACIN
Paradigma
]o.\'ette BraWe777ltI17, Violeta Ruiz
CUANTITATIVA
EVALUACIN
positivista/emprico
Predominio
CUALITATIVA
Paradigma
fcn ol11cnolgieo/ e(mstruetivi sta
de deduccin
Predominio de induccin,
comprensin, interpretacin
Dis6os experimentales
o cuasi experimentales
Investigacin naturalista
Perspectiva desde ;1fuera

(punto de vista de] observador)
Perspectiva desde adentro

(punto de vista de los actores)
Lenguaje
Lenguaje verbal
numrico
nfasis en los aspectos

"objetivos",observ;lbles
y cuantificlbles
(:nbsis en los aspectos subjetivos:

captacin y comprensi{n de
actitudes, conduct;ls, valores y
motivaciones internas
An,lisis estadstico
An;lisis de contenido,
estudio de casos
Resultados gener;lliz;lbles
Resultados limitados en
su generalizaci{n
Los desacuerdos entre los defensores de ]a "evaluacin cuantitativa" y los de ]a "eva]uacin cualitativa" se
han centrado en cuestionarse mutuamente el uso de determinados mtodos y tcnicas y la capacidad de los datos relevados por una u otra para explorar, explicar, comprender y predecir ]os fenmenos sociales.
De todos modos, merece destacarse que estos des;lcuerdos son en parte producto de la evolucin de la metodologa de investigacin socia] en e] ltimo medio siglo, dentro del marco de los paradigmas cientficos prevalecientes en cada momento.
Los paradigma.I' constituyen perspectivas gcnerales o
teoras explicativ;ls dc la realidad que determinan cmo
(~
\'7
Los abordaje.\' metodolgicos
percibir c intentar comprender la verdad. Incluyen y

combinan creencias ontolgicas (qu tipo de sujeto es el
ser humano?, cul es la naturaleza de ]a realidad?, existe en los hechos o en e] pensamiento?), epistemolgicas
(cul es la relacin entre el investigador y e] sujet%bjeto estudiado?) y metodolgicas (cmo aprehendemos
el mundo y avanzamos en su conocimicnto?).
Un par;Hligma cientfIco puede definirse como un principio de
distinciones-relaciones-()posici<mes
fllll<hmenta les entre algunas
nociones m;1!Tices que generan y contro!;n el pensamiento,
es
decir la constituci{n de teor;IS y h producci{n de los discursos
de los miembros de un;1 comunidad cientfica determinada
[...].
Se convierte as en un principio rector del conocimiento y de la
cxistenci;1 humana. Ilay que considerar!o como un mapa tiJ, como una aproximaci{n adecuad;1 y como un modelo para h organizaci{n de h inform;1Ci{n conocida (iVbrtnez Miguelez, 1993,
p;gs. 62-3).
Reiteramos entonces que la prctica de la evaluacin

estuvo fuertemente intluenciada por el paradigma o los
paradigmas cientficos predominantes
que establecen
qu es lo importante, lo legtimo y lo razonable en cada
poca.
Ila sta fines de ]os sesenta, 1.1 formacin en materia de
investigacin de quienes se desempeaban como evaluadores provoc 1111 claro predominio del enfoque experimenta] considerado como e] nico que poda responder
a los requerimientos de] mtodo cientfico, entendido segn e] enfoque clsico como ;cumulacin del conoci..
..
"
miento por investig;lciones suceSIVas,
formas " o ]))etlvas
de conocer, y con nfasis en la medicin como sinnimo
de precisin y en la comprobacin de hiptesis mediante pruebas empricas. El rigor en los procedimientos es
83
OIga Nirenberp;, Josette Bra7verman,
Violeta Rlliz
Los abordaje,,, metodolgicos
aqu condicin para encontrar la "verdad". Ello llev a la

aplicacin de diseos cuasi experimentales para captar la
relacin causal cntre programa y resultado, es decir, para evaluar si las metas y los impactos logrados por los
programas y proyectos sociales son imputables a ellos o
son consecuencia de otros factores. Estos diseos requieren como mnimo una mcdicin de la situacin en el inicio -lnea de base- y otra al final del programa -ex PO,I'to del uso de grupos de control. Tnvolucran una serie de
supuestos de homogeneidad, estabilidad y racionalidad
en la implelnentacin, as como de confiabilidad de los
registros, difciles de verificarse o mantenerse durante
perodos prolongados en el contexto de los programas y
proyectos sociales. 'Tambin pueden plantearse problemas ticos al requerir la creacin de condiciones experimentales para contar con un grupo de control, lo que
puede significar la exc\usin de individuos de los beneficios de un programa o proyecto social.
Sin embargo, en los aos setenta comenz a tener mayor aceptacin una variedad de mtodos y tcnicas cualitativas que en los sesenta haban sido considerados inacepta blemente "blandos" y no cientficos. TTubo avances
en la l1mltidisciplinariedad, ya que se multiplicaron los
mtodos y las estrategias de investigacin alimentados
por diversas disciplinas, como la historia, la etnogr<lfa, la
semitica, la antrop010ga, la sociologa. Los evaluadores
adoptaron cada vez ms las formas subjetivas de conocer,
incorporando valores pluralsticos y utilizando mtodos
cualitativos. Por un lado, se produjo una especie de deslumbramiento sin reconocer cabalmente la complejidad
de esas modalidades y las competencias requeridas por
parte de quienes las utilizaban, con lo cual tambin hubo
una "malversacin" de tales mtodos y tcnicas. Y, por

otro lado, sus detractores cuestionaron el abandono de lo
que ellos suponan objetividad y rigor cientfico.
Es a fines de la dcada del setenta cuando comenzaron a percibirse los beneficios de la integracin o la
complementacin
de ambos enfoques dentro de un mismo estudio evaluativo aunque, como veremos enseguida,
fueron diversas las formas en que se dio ese enlace. En la
ltima mitad de la dcada del noventa el debate parece
haber perdido intensidad, al menos entre los expertos.
La mayora de los evaluadores acepta hoy ambos enfoques (cuantitativo y cualitativo) como vlidos. El nfasis
que se ponga en uno u otro depende de la situacin o de
los momentos de evolucin de un proyecto o programa
y pueden complementarse o integrarse en un mismo diseo. Es as que se admiten mltiples combinaciones posibles, que se potencian y pueden aumentar la confiabiJidad y credibilidad de los resultados.
En realidad, pareciera que cada momento histrico en
la evolucin de la investigacin social y la evaluacin an
operara en el presente, bsicamente como un conjunto
de pncticas que los evaluado res toman o no en funcin
de los diferentes intereses o propsitos y de las particulares situaciones o circunstancias.
84
85
Evaluacin cuantitativa
sa no es la cuestin
o cualitativa?
Una de las crticas ms severas a la utilizacin exclusiva de enfoques cuantitativos es que slo miran aquellas
variables que se pueden medir y as pierden de vista el
OZr;aNirenberg,
}oxette Brawernuln,
Violeta Ruiz
Los abordajes 71zetodolgicos
subttu]o de la nota: "Medir o eV'lluar. [... ) Cuando se mide se :lsigna un

puntaJe o valor en una escala; evaluar supone elaborar un juicio acerca del
porqu de ese puntaje [... 1 en general, las pruebas que toma LI Nacin po_
nen m(s el acento cn medir que en evaluar".
procesos como los resultados, brindando indicadores sintticos y numricos sobre resultados, as como explicaciones que reflejen los procesos.
La cuestin sobre qu es mejor y cundo usar mtodos
cualitativos y eundo cuantitativos, entendiendo por tales
el conjunto de procedimientos y tcnicas para la recoleccin de la informacin y el procesamiento y anlisis de los
datos, no pasa en realidad por la defensa de uno en desmedro del otro: cada uno tiene sus potencialidades y sus limitaciones y stas se abordarn brevemente en el captulo sobre tcnicas. Se tr,lta ms bien de reflexionar acerca de su
utilidad y de los bendicios y costos de combinarlos e integrados en el diseo evaluativo que se plantee. Sin pretensin de agotar los argumentos, podemos sealar al menos
que esta combinacin permite la consecucin de objetivos
mltiples atendiendo tanto a los procesos como a los resultados del programa, enriquece los hallazgos evaluativos
profundi',ando en los motivos de las asociaciones que pueden encontrarse entre variables cuantitativas y sugiriendo
hiptesis para explicar la variabilidad entre individuos o
grupos, permite abordar la cuestin de las creencias, motivaciones o actitudes de la poblacin, difciles de ser reflejadas cuantitativamente, dando vida a los datos. Tuubin
f~lcilita la triangulacin (vase ]a pg. 95) y acrecienta la comunicabilidad de los resultados. Por otro lado, no puede
desconocerse que esta combinacin tiene requerimientos
en tnninos de tiempos y costos y, sobre todo, de habilidades para el anlisis que no siempre son Hciles de alcanzar.
Sin embargo, como veremos en los ltimos captulos de
este libro, mediante un proceso de construccin participativa del modelo de evaluacin, es posible instalar las capacidades necesarias a tal efecto en la organizacin ejecutora
86
87
"1)osque " a1 que pertenecen y que les da sentido.2 Si bien,

como dijimos anteriormente, la discusin entre evaluadores parece estar superada y la corriente actual se orienta
hacia la legitimacin de la diversidad, el problema se
vuelve a suscitar fi-ente a quienes demandan las evaluaciones: los gerentes de programas o proyectos, los decisores
polticos, los financiadores; ellos siguen solicitando a los
evaluado res que usen diseJ10s cuasi experimentales, tcnicas cuantitativas "que muestren cifras concretas y grficos
claros", mientras que el anlisis de la estructura del programa o proyecto, sus mecanismos de funcionamicnto
las opiniones y demandas de los beneficiarios son toma~
das con recelo, o incluso no tenidas en cuenta como h,llIazgos de una evaluacin. Desearan -y es lcito- tener en
muy pocas pginas (dos o tres) y unos pocos cuadros con
cifras muy resumidas, el reflejo de los resultados de un
programa o proyecto, la visin de los logros, el xito de la
gestin y tambin, por qu no, los fi-acasos u obstculos
que signaron el desempeo, pero raramente les interesan
los procesos y las explicaciones. Dcbemos reconocer que
muy pocas veces los evaluadores cumplimos en satisfacer
las necesidades de nuestros demandantes. Lejos de desestimar sus pretensiones, ellos nos dan un motivo importante para incluir en el diseJ10 de las evaluaciones los enfoques cuantitativos y cualitativos, considerando tanto los
2. Rcsulta IJluy ilustrativa :11 respecto una nota sin finn:1 aparecida en
el diario Clrn-fn, del 30 dc mayo de 1999, cn rclacin con la cV:llu,lcin de
la calidad educativa y los consecuentes
mJ7kill.~\' de las escuelas.
Dice un
Oiga Nirenberg, Josette BraLvernzan,
del proyecto. De todos modos

presentar diseos integradores
de la combinacin de tcnicas
en un proceso evaluativo.
Al decir de Michael Patton
Violeta Ruiz
Los abordajes 7netodolgicos
es tarea de los evaluadores

y demostrar la pertinencia
cuantitativas y cualitativas
De este modo sera preferible reservar los atributos

de cuantitativo y cualitativo para referimos a diferencias
entre tcnicas de recoleccin, mtodos de anlisis e ndole de los datos' que se obtienen, ms que a distintas
formas de abordajes evaluativos. rEm1bin sera conveniente utilizar, como Patton, el trmino "estrategia" para aludir a la naturaleza de los mtodos y las tcnicas a
utilizar. En su forma ideal una estrategia cuantitativa sera aquella que apunte a obtener datos numricos susceptibles de ser sometidos a anlisis estadstico y una e.\'trategia cualitativa sera aquella que recurra fundamentalmente a otro tipo de tcnicas de recoleccin4 (como la
observacin en terreno, el anlisis de documentacin, las
entrevistas en profundidad y, en general, todo tipo de
tcnicas participa tivas), dando lugar a informacin susceptible de anlisis de contenido o histrico, o de casos).
Las estrategias mixtas seran aquellas que utilizan combinaciones de ambos grupos de tcnicas y mtodos en
una misma evaluacin.
En el sentido amplio que se ha dado al trmino "abordaje evaluativo", nuestro nLlsis, como se ver ms adelante, es acorde con la concepcin de evaluacin que hemos presentado en el primer captulo: apunta a aco~paar el proceso de gestin en todas SLlSetapas, contnbu-
(1987):
El arte de la evaluacjn implica crear un diseo y relevar la informacin que es 'lpropiada en una determinada situacin y en el
marco de una poltica determinada.
o sea que no hay una "receta"
que en s misma determine qu abordaje o qu mtodo US~1r.Ante cada evaluacin se debern tener en cuenta las demandas de quienes
contratan la evaluacin, las necesidades de los decisores, las
de quienes flnancian el programa o proyecto, las de los tcnicos que lo llevan adelante y las de los beneficiarios, as
como la propia visin del evaluador acerca del problema y
SLlexperiencia -preferencia- en el uso de determinadas tcnicas. As ser posible construir un diseo evaluativo que
d respuesta apropiada a ese determinado contexto. Dicho
diseIo, por otra parte, seguramente ser diferente en la
prxima evaluacin que asuma ese mismo evaluador.
Por lo tanto, el abordaje metodolgico no se limita a
una cuestin de mtodos.
Las metodologa s de evaluacin constituyen marcos de referencia coordinados de supucstos filoslicos (acerca del mundo, b
naturaleza humana, el conocimiento, la tica), integrados a perspeetivas ideolgicas sobre el rol y propsito de b investigacin
social en los procesos decisorios de programas y polticas sociales, acomp,lihHlos por posturas valo1'<ltivas acerca de los fines deseados de los programas y de la investig;lcin y fin,llmentc -y es
lo menos- por preferencias acerca de mtodos complementarios
(Greene, 1994:(31).
3. Si consideramos, como Caltung, que un dato es la t<Jrlna de registrar un,l respuest'l, el d:lto sed cuantitativo o cualitativo seg'n cmo se la
registre. As, una opinin (respuesta) se convierte en un dato eu:mtltatlvo
si se la registra sobre la base de categoras preestableeldas para luego est:1hlecer frecuencias, ves un d:lto cualit:ltivo si se la registra en Sll expreslOll
textual. As, un llli S'u o instrumento (por ejemplo, un cuestionario con preguntas ahiertas y cerradas) puede recoger (btos cuantit:ltivos y cualitatIvos.
4. Vase el captulo 4 de este lihro,
88
89
-....--
Los abordaje,l' metodolgicos
0Zf!;a Nircnberg, .losette Bra7Vel7nan, Violeta Ruiz
yendo al aprendizaje institucional y a una retroalimentacin permanente entre evaluacin y programacin, Incluye el uso de una multiplicidad de tcnicas, tanto cualitativas como cuantitativas, predominando aquellas que
permiten incorporar la perspectiva de los actores involucrados en los procesos de programacin y de ejecucin,
incluyendo a los beneficiarios, usuarios o destinatarios de
las acciones,
Veremos en el captulo 5 que un paso crucial en la construccin del modelo evaluativo, en el sentido de diseilo
que le damos en este libro, es la eleccin de las dimensiones evaluativas, mientras que las variables, los indicadores
y las tcnicas y los instrumentos a utilizar son elementos
subordinados, dependientes de cu~lIes sean esas dimensiones, La detcrminacin de las dimensiones del modelo es
una parte muy cre~Jtiva del proceso evaluativo, pues es lo
que divide conceptualmente el todo que se pretende evaluar, en una forma diferente, para encontrar un nuevo sentido que posibilite otra comprensin y permita la transformacin de ]a realidad considerada; eso no puede lograrse
eligiendo variables e indicadores sino con otro nivel de
abstraccin, m~s global, que abarque el todo mediante las
dimensiones que lo integran, )';1 no se trata slo de acercamos a los fenmenos con variables medibles o apreciables mediante indicadores; se trata de eu~l es la concepcin del todo en sus partes, para entonces interesarnos por
cules variables ]0 representan y explican. Diciendo lo
mismo en otras palabras: para afiont~lr una evaluacin no
~astar c:m "elegir los indicadores apropiados", aunque
ese constItuya un paso necesario; se requerir tener una
/'"
,
'
C oncepCIon t eonca
acerca (Ie 1" o 1)Jeto
d e 1a eva I uaCIn"
y sobre la realidad donde ste se ubica.
>'
"
Una cuestin central: el rigor metodolgico

Es importante recordar aqu que el resultado de toda
evaluacin debera acrecentar el conocimiento que se
tiene sobre el programa o proyecto, sobre el problema
que dio origen a la existencia del mismo y sobre las modalidades adecuadas para la resolucin de este problema.
Como hemos dicho anteriormente,
la evaluacin debe
ser una instancia de aprendizaje ms que de control. En
ese sentido podramos enfocar entonces el tema del
abordaje evaluativo alrededor de cmo logramos conocer ms y de qu modo incorporamos el saber.s
Ello remite a la cuestin del rigor metodolgico, es
decir, a los panmetros vigentes relativos al proceso de
produccin de conocimiento para que el que se obtenga
sea considerado cientfico.
La evaluacin fundamenta sus juicios en el anlisis de
un conjunto sistemtico de datos, los cuales no existen ni
surgen de forma natural o espontnea. Primero hay que
poner en claro cules sern las dimensiones o los grandes
aspectos a considerar; luego, definir las variables y los indicadores correspondientes, y slo entonces deben obtenerse los datos pertinentes usando determinadas tcnicas
e instrumentos. Para recoger evidencia vlida y con fiable,
es muy import~l1lte la decisin de cules tcnicas e instru-
S. "La ciencia
no tiene que esta!' limitada fo!'zosamente

a mediciones
Debemos considerar
cientfica cldquier
manera
de abordar el conocimiento
siempre que satisfaga dos condiciones:
que el
conocimiento
se hase completamente
en observaciones
sistem<ticas y que
y an<lisis cuantitativos.
se exprese
mitados
desde el punto
y :lProxim:ltivos"
de vista de modelos
(Martnez
Miguelez,
97
';lO
coherentes,
1993: 17S),
aunque
sean li-
'~--,-.,.",.,.
OIga Nirenlmx,
Josette Brawerman,
Violeta Ruiz
mentos se utilizarn en funcin de las respectivas variables

e indicadores seleccionados. Se requiere utilizar tcnicas e
instrumentos adecuados y a la vez poner sumo cuidado en
los procesos de aplicacin, de modo que la informacin
tenga validez interna y exte777a,r' o sea que se rcfJera a las dimensiones y variables que nos interesan y no a otras, que
midan aquello que procuran medir en el caso de cuantif-Jcaciones, y que permitan apreciar y emitir juicios fundamentados sobre aqueIJo que se procura comprender o explicar en el caso de cuali6caciones. Se requiere precisir5n en
los instrumentos, es decir que deben estar diselados de
forma tal que pueda asegurarse que se re6eran a lo que
importa que se refieran, dejando de lado lo no relevante.
Se requiere asimismo que el instrumento sea suficientemente c()r~fiable, es decir que tenga la capacidad de ofrecer
resultados similares o comparables al ser aplicado reiteradas veces y por diferentes evaluadores. Sin duda que para
asegurar todo eso deben pautarse procedimientos ajustados en los diseos as como en las aplicaciones. Surge entonces la necesidad de capacitar y adiestrar a los actores
que intervendrn en las etapas de diseo y que aplicarn
los procedimientos e instrumentos evaluativos.
Sin embargo, el rigor no tiene que ver exclusivamente con la pertinencia dc1 LISO de determinada tcnica para apreciar o medir determinado fenmeno ni con el grado de conf-Jabilidad y precisin de los datos obtenidos.
6. "La diferencia principal entre validez interna y externa es que la

primera expresa una relacin I()gica, mientras que la segunda expresa una
relacin emprica; la validez externa consiste en poner a prueba una hiptesis" (Zetterberg,
1(65). En la primenl se trata de coherencia y en la segunda se tnlLl de ]a posibilidad de extrapolar o genemlizar.
Los abordaje.\' metodolrSgicos
Por un lado, el rigor metodolgico en la evaluacin

de un programa o proyecto va ms all de la decisin
acerca de las tcnicas y los instrumentos a usar: importa
desde la propia identificacin del problema que se abordad, de la adecuada determinacin
de los principales
ejes o dimensiones que lo componen, de la seleccin de
las variables relevantes en el marco de cada dimensin y
de los indicadores apropiados para retlejar las variables
elegidas; ese rigor en la etapa de la formulacin deber
luego ser reforzado en los pasos de la aplicacin, con
procedimientos apropiados y lo ms estandarizados que
sea posible, lo cual supone actividades concretas de nivelacin y homogeneizacin de los equipos evaluativos, sobre todo de los que intervienen en el trabajo de campo.
Adems, deber mantenerse el rigor en el momento de
procesar, sistematizar y analizar la informacin obtenida,
as como en ]a preparacin de los informes para la devolucin de los resultados.
Por otro lado, uno de los aspectos positivos que introdujo la discusin entre mtodos cuantitativos y cualitativos ha sido la resignificacin de las cuestiones de la validez y confiabilidad, asociando stas a los instrumentos
utilizados y agregando la consideracin de otros aspectos
vinculados a los valores de los investigadores/evaluadores y de los "investigados", incluyendo as el contexto de
produccin de] conocimiento, y la tica. En sntesis, se
han sometido a revisin los criterios tradicionales de rigor y se est<1nincorporando otros.
Es necesario comprender quc los mtodos cualitativos pueden asegurar el rigor aunque de modo diferente
del de los mtodos cuantitativos. La eXplicitacin de los
criterios de seleccin de participantes e informantes (ms
93
""
_--
0Z~'a NirenlJC7X, .losette Bn17vennan,
Violeta Ruiz
LO,I'
que la bsqueda de representatividad

estadstica), la explicitacin de los valores e intereses del evaluador y del
modo en que el contexto incide en ellos, ]a socializacin
del proceso de anlisis e interpretacin, constituyen formas de asegurar el rigor. El consentimiento informado (la
aceptacin de la gente a responder o participar de una
investigacin o evaluacin y adems la transparencia en
cuanto a los procedimientos y los derechos y deberes de
todos los que se involucran en el proceso), el {moni'll1trto
(ms que la confidencialidad) y el cuidado en minimizar
las a.fi'lnetrfrs en la relacin entre evaluador y otros actores, son formas de introducir la tica en los procesos de
produccin de informacin.
Cualesquiera que sean los mtodos que se utilicen, los
evaluadores son actores privilegiados, y por lo tanto la
validez, la precisir}n y la c()J~/I{rbilid{rd de los datos dependen
en gran medida de su capacidad, sensibilidad e integridad, lo cual nos lleva a la cuestin de la subjetividad en el
proceso eva 1ua tivo.
j\1s adelante proponemos que ]a correccin de la
subjetividad individual -que produce distintas apreciaciones sobre los mismos eventos- se encuentra en la "intenubjetividad",7
lograda mediante la incorporacin
de
los diferentes actores en distintos momentos del proceso
evaluativo -n/ltltiactorrrlidad-,
lo cual genera espacios de
7. Habermas
(I'.iN2) menciona proeedimielltos
de "creaei{)1] de C:lmpos epistemolgieos
de intersubjetividad",
contraponiendo
este tipo de
generacin de conocimiento
al que se reali"a de forma aislada o individual)l. que corre el riesgo de la subjetividad
individu,lI, no sometida a crtica, El, como otros muchos ,utores, sostiene que la ciencia, aun en el
enfoque
procuLlr
positivista,
el rigor.
carece
de objetividad
absolut'l,
lo cU'll no impide
abordajes /netodolgicoj-
confrontacin y ref1exin conjuntas, para permitir acuerdos o consensos sobre distintos aspectos y, en particular,
sobre los juicios valorativos fundamentados.
Por otra parte, si consideramos la evaluacin como la
aplicacin de ciencia y conocimiento para valorar la calidad de determinado programa o proyecto, los aportes de
diferentes disciplinas en e] proceso eva]uativo incrementan su poder explicativo y resolutivo, por lo cual es relevante la conformacin de equipos evaluativos rmrltidi.lciplurrio,l'.
Una estr;1tegia actualmente muy difundida para asegurar el rigor y corregir la subjetividad es la trirmgulacin,H Ello supone la utilizacin de diferentes tcnicas y
fuentes para evaluar los mismos fenmenos o aspectos de
la realidad a travs de operaciones convergentes, en el
sentido de sntesis y complementacin
metodolgica.
'Eunbin se habla de triangulacin cuando la evaluacin
es realizada por un grupo en el que "se cruzan" los criterios y puntos de vista de cada uno de los evaluadores.
Con ello se procura mayor clm/labilidad de la informacin
obtenida, mayor entendniento de los fenmenos bajo estudio, reduccin de se.lgo,l"propios de Cflda tcnica, fZlente y profesiol1trl, y la v{rlidacil}11de las apreciaciones evaluativas.
En sntesis, entendemos que el rigor no se limita a la
eleccin de las tcnicas o a determinar los pesos relativos
N. La metfora
de la tri,mgulaci{)1]
se deriva del uso -con
flnes milita-
res o de naveg,cin- de mCiltiples puntos de referencia para identificar con

mayor precisi{)1] la posici'")1] de un objeto ,lejado. En las ciencias sociales
se intenta
mcntar]
algo similar:
conliabilidad
tos sobrc el mismo
mcjorar la exactitud o precisin de los juicios y aude los resultados a travs de la rccoleccin de da-
fenmeno,
desde diferentes
9)
perspectivas
o tcnics.
OZga Nirenhe1-g, ]osette BmWerllUl1Z, Violeta Ruiz
Los ahonl{~je.\ metodolgicos
de los mtodos cualitativos y cuantitativos, sino que depende ms de la calidad de las decisiones y conductas que
los investigadores/evaluadores adoptan a lo largo de los
diferentes momentos por los que se atraviesa en el proceso de investigar o de evaluar. Es as que las decisiones
y el rigor que se aplique en los momentos de:
sus logros y de la efectividad alcanzada, reflejan un proceso de toma de decisiones y establecimiento de prioridades. uunbin los resultados evaluativos forman parte
de definiciones tcnico-polticas y no son simples deducciones o conclusiones abstractas, descontextualizadas de la realidad en la que el programa o proyecto se
desarrolla.
El equipo evaluador describe, infiere y transmite un
conocimiento pdctico adaptado a cada situacin. Pero,
antc todo, su tarea es valorar y, hasta la seleccin de estndares o parmetros que se usarn para contrastar, estar determinada por un contexto. De ese contexto participa una variedad de actores con diferentes intereses y
perspectivas acerca del programa.
defInicin del problema a evaluar,

eleccin y explicitacin del marco conceptual,
generacin de hiptesis,
seleccin de tcnicas,
trabajo de campo,
procesamiento, anlisis e interpretacin de los datos y
resultados obtenidos,
influirn en la validez de los juicios apreciativos para corroborar, precisar o rechazar las hiptesis explicativas/evaluativas, en la comprensin del objeto de estudio y, en
definitiva, en las posibilidades de intervenciones adeClladas que permitan transfonnar la situacin evaluada.
Actores y audiencias
Si aceptamos que los programas y proyectos sociales
son el resultado de un conjunto de decisiones, podemos
tambin aceptar que la evaluacin de programas est,l
atravesada por decisiones polticas en trminos de definicin de prioridades sociales, distribucin de recursos
y, en ltima instancia, de poder. Es en esta lnea de pensamiento que las preguntas evaluativas sobre la importancia de un programa o proyecto, su significado, el de
1,0 que diferencia un aborcbje evaluatvo de otro no son ]os mtodos sino ms bien las preguntas, quines plantean esas preguntas y qu valores se promueven (Crcene, ]994:533).
Nosotros agregamos a eso la relevancia que tiene la

determinacin de las dimensiones de la evaluacin, es
decir, cules ejes conceptuales sern los que estructurarn el modelo a utilizar, pues son tales dimensiones las
que defInen la "teora" subyacente del programa o proyecto a evaluar.
Los actores participantes en el diseo de una evaluacin yel rol que desempean en la determinacin de tales
dimensiones y la formulacin de las principales preguntas
evaluativas es lo que influir,l en las distintas formas de
abordar la evaluacin de un proyecto.
El primer paso de cualquier evaluacin estad dado
por una "negociacin inicial" en la que el evaluador
acordar sus lmites y alcances con los decisores polticos
97
j,
OZg"a Nirenbcrg,
.lo.\"ctte
BnlWC17lJfn7,
Violcta Ruiz
Lo.\"abordajc.\" nzetodolgico.\
o responsables mximos del programa o proyecto y con

los representantes de los entes financiadores (en e] caso
de que puedan distinguirse) teniendo en cuenta diversos
factores, en particular los fondos que se ]e asignen. Son
estos {{amc.\' los que detenninadn
el contexto especfico
en e] que comienza el proceso evaluativo.
A partir de all, e] cadcter de1 abordaje metodolgico
]0 da en primera instancia el punto de vista del eva]uador,'J cuyo rol como actor es relevante. Son importantes
en ese sentido su ubicacin, su concepcin, su origen y
trayectoria disciplinaria, sus vincubciones con otros actores, etc. Cada eva]uador, de acuerdo con su particular
cosmovisin, ubicacin, actitudes, experiencia e intereses, releva aquellos aspectos que considera significativos
y ti'ente a los cuales est, sensibi]i',ado. Como ViUlOS,eso
introduce la cuestin de la subjetividad en el proceso
evalu,tivo, sohre todo en el caso de que se trate de un
eva]uador individua] y no de un equipo. Esta consideracin de la carga ideolgica que el evaluador trae consigo
est, hastante alejada del paradigm, clsico que apela al
supuesto de la objetividad y la neutralidad valorativa de]
investigador, evalu,dor u observador, como alguien situado afuera del fenmeno o realidad en estudio, no
"contaminado" por esa realidad. Ya tales cuestiones no
son materia de discusin seria en la filosofa de bs ciencias, puesto que en las propias ciencias fsicas y naturales
se reconoce ]a influencia del observador en el campo de

experimentacin y viceversa.
Sin embargo, an subsisten formas de encarar los
procesos evaluativos vinculadas a las modalidades tradicionales de evaluacin, que ponen el nfasis en la supuesta objetividad cientfica, sobre cuya base el eva]llador
"llega" al proyecto con un modelo predeterminado, rele. tonnaClOn
" que 1e l11tcresa,
.
""se va para ana ] izar ]os
va. 1a m
resultados y presentar sus conclusiones, luantenindose
en tioe o momento ",.
aseptlcamente "t'.Tlera e11
e programa.
Sin ir tan lejos, est, el evaluador que, si bien se involucra
activamente en el funcionamiento del proyecto o programa, intentando entender su dinmica, elabora aisladamente tanto su modelo eomo sus instrumentos de recoleccin y sus conclusiones, es decir, se reserva el rol de la
evaluacin exclusivamente para s, ya que es el "experto".
Otra posihiliebd, a ]a que adherimos y que estara vinculada a la aceptacin de la suhjetividad intrnseca de los
actores participantes, se encuentra en ]a construccin de
espacios y momentos de "intersubjetividad"
mediante la
participacin de los distintos actores comprometidos con
el programa o proyecto ohjeto de anlisis, en todas las
etapas de la evaluacin. Es en ese sentido que se hablaba
anteriormente de la evaluacin multiactoral y multidiscip]inar.
ste puede ser un individuo o bien (rat'1rse de un equipo, en cuyo caso il1tercsar,n los 1'1Ctores mcncion'1dos
p'1ra CHL1 uno dc sus micmbros,
as
como L1s c1raetersticas
multiproFcsionaks
y n1ldti'1ctor'1ks
dcl grupo y
SllS modalidadcs
de funcionamicnto.
Consideramos que la forma de compensar el peso del

equipo eva]uador y sus puntos de vista (por ms multidisciplinar que sea), y a ]a vez hacer viable la aplicacin de
los procesos evalwtivos para luego lograr la aceptacin y
b ,propiacin de ]os resultados y recomendaciones por
parte de los miembros del programa o proyecto, es justamente a travs del involucramiento en e1 proceso eva-
98
99
9. Cuando
se menei0!1'1 ,11"evalu'Hlor"
debcr,
tenerse
en cuenta
que
0Zr;a N-enberg,
}o.rette BraWe77JU177, Violeta Ruiz.
luativo de todos los actores intervinientes y significativos. Todos ellos deben tener posibilidades reales de intervenir en las decisiones relativas a qu dimensiones y
variables tener en cuenta, cules indicadores son los ms
relevantes, qu tcnicas e instrumentos de recoleccin
utilizar, as como en la implementacin de la evaluacin,
en sus correcciones y cambios, en e] an,llisis y seguimiento de sus resultados, en las conclusiones extradas de dIos
y en formular (o corregir) las recomendaciones.
Es importante, entonces, realizar un exhaustivo re]evamiento de quines son los actores clave en la toma de
decisiones y en ]a ejecucin del programa/proyecto,
para
incluidos desde el inicio en el proceso de la evaluacin.
En las tem<lticas sociales, los usuarios, destinatarios o
beneficiarios, as como ]a comunidad en general, son actores de ineludib]e consideracin en el proceso evaluativo.
En trminos generales podemos distinguir al menos
cuatro tipos de actores, que en principio deberan ser tenidos en cuenta, aunque en cada caso se deber procedcr
a identificar y caracterizar a los que sean relevantes para
cada proyecto o programa.
Lo.\ abordaje.l metodolgico.r
gre superar los temores, las desconfianzas y las barreras

que normalmente surgen en la organizacin o en el equipo del programa/proyecto
que se pretende evaluar ante
el hecho concreto de "sentirse evaluados". Adems, como ya se ha visto en el captulo anterior, los miembros de
esos equipos estn involucrados en distintos aspectos de
la marcha y es natural que se resistan a aceptar cambios
aun cuando surjan de las recomendaciones de evaluaciones ngurosas.
La evaluaci6n y b organiz,cin pueden ser trminos contradictorios. La cstructura dc la organi;r,aci6n implica est,bili(bd, en t,lllto quc cl proceso de evaluaci6n inculca el cscepticismo. La evaIU'lci6n se refiere a b relaci6n entre la acci6n y los objetivos, en
tanto que la organizaci6n relaciona sus actividades con su program, y clientela (Wildavsky, 1972).
Si bien el rol del evaluador sigue siendo chJVe, slo a

partir de] trabajo mancomunado con los distintos actores
nos parece posible llevar adelante una evaluacin que 10-
Por ]0 tanto, en la fase inicia] ser imprescindible el

esfuerzo de] equipo evaluador por conocer a los actores
con quienes interactuar, as como su historia en tanto
individuos y como miembros de un grupo u organizacin. Tnnbin ser fundamental e] desarrollo de capacidades y habiliebdes especficas en los participantes,
a
travs de ]a capacitacin, el entrenamiento,
el asesoramiento y la asistencia tcnica, para facilitar la mirada
evaluativa y el conocimiento del proyecto o programa
desde esta perspectiva.
Podemos decir, en c] sentido que venimos desplegando, que d ro] del evaluador no es solamente generar capacidades en los actores del programa o proyecto para
fJcilitar la instalacin de una "cultura organizaciona]
evaluativa" sino que, simultneamente, ir aprendiendo e
incorporando la informacin necesaria para la construc-
100
101
Los funcionarios de las agencias financiadoras.

Los responsables de la conduccin poltico-tcnica.
El personal profesion<J] y administrativo que lleva
adelante ]a ejecucin.
Los miembros de las organizaciones intervinientes.
La poblacin objetivo, beneficiaria o Llsuaria.
Olua
Nire71beru'. Jo.\ette Brawerrmm,
Violeta Ruiz
cin del modelo evaluativo. Para que ref1eje lo ms acabadamente posible las necesidades y los requerimientos
de los actores y del programa o proyecto, el evaluador
desarrollad
las grandes lneas, conceptua]izar las dimensiones de ]a evaluacin y sus principales aspectos,
pero dad intervencin a los actores en el disefo especfico de dichas dimensiones. Pondd sus habilidades metodolgicas a] servicio de] conocimiento que los actores
tienen de] ]ug,lr y ]a realidad donde se desempefian. En
un proceso as encarado, los distintos actores expresarn
los diferentes objetivos y metas que cada uno persigue
con ]a evaluacin, quedando explicitados sus propios
puntos de vista.
Por ejemplo, en un proyecto que evala la caLidad de
la atencin en ]os servicios de salud, los profesion,l]es
asistencia]es suelen poner el nbsis en los aspectos cientfico-tcnicos de ]a atencin, y consideran el acto mdico en rehlcin con cada paciente; paralelamente suelen
dejar de lado los aspectos de eficiencia (o de costos de la
atencin). Asimismo, sern heterogneos dichos nt~lsis
segn las disciplinas y especializaciones profesionales.
En cambio, los gerentes o funcionarios de los niveles
de conduccin de los sistemas de salud enfatizan los aspectos de resultados a niveles pob]aciona]es y ]a eficiencia, o sea, ]a relacin de esos resultados con los costos (lamentab]emente, a veces slo consideran importantes los
costos, o tan slo los gastos).
Por su parte, los usuarios de los servicios hacen hincapi en ]os aspectos de trato interperson,ll, de accesibilidad y de resu]t,Hlos concretos en la mejora del estado
de salud y bienestar a corto plazo (lo cual no es estrictamente ]0 mismo que enf~ltizar en aspectos cientfico-tc102
Lox abonl{~jex 717etodol~gico.\
nicos), pero casi no consideran los aspectos de costos o

eficiencia (aunque s los de gastos en el caso de que tengan que realizados de su bolsillo). Tambin debe tenerse
en cuenta que habr heterogeneidades en las expectativas
(y, por ende, en ]a satisfaccin/aceptabilidad),
de acuerdo
con las caractersticas culturales y socioeconmicas -los
estratos de pertenencia- de ]os usuarios.
'1()(]os deben ser incluidos en el proceso evaluativo.
Cada uno de esos actores procurad orientar la evaluacin
hacia los aspectos que considera relevantes; la sntesis a ]a
que pueda arribarse a partir de las instancias de confrontaciones y de cOl1senso!1Iotorgar mayor riqueza a ]a eva]uacin y colaborar en e] uso posterior de sus hallazgos
para Ll mejora de] desempefo del proyecto/programa.
En resumen: ]a especificidad y la parte "noble" de ]a
tarea que recae en el eva]uador es ]a de aportar su experiencia metodo]gica a los dems ,lctores, a la vez que
realizar una sntesis superadora y creativ,l a partir de ]0
que ellos brindan.
Por otra parte, es necesario diferenciar a los lleton,
participantes en ]a evaluacin de las (llldicnll.\" interesadas en sus resultados. Algunos coincididn, pero ello no
es as necesariamente. E] modo de preparar ]os informes,
organizar las presentaciones de los resultados y las formas de difusin de las conclusiones e incluso de especificar recomendaciones, seguramente deber, realizarse diferenciando y enLltizando distintos aspectos, puesto que
1 o. I<~n el captulo
efectuar
confrontaciones
se con tcnicas
otras.
sobre tcnic1s se sintetiz:lI1 :llgunas f<Jr111aSp:lnl

y arribar a consensos, pero deber: profundizar-
especficas
de dinmicas
103
grupaJcs
y de negociaci6n,
entre
0Ze;aNirenberg, ]osette Brawennmz, Violeta Ruiz
las inquietudes y preocupaciones de cada tipo de audiencia son distintas. Es relevante reconocer esa diversidad
de intereses por parte de las audiencias, pues ello incidir tambin en su aceptacin de los resultados evaluativos
y las recomendaciones.
Sin duda, los actores que se involucraron en los procesos evaluativos sern audiencias ineludibles, a las que
habr que efectuar "devolucin" de los resultados para
que puedan tener "derecho a rplica", es decir, a modificar las conclusiones y recomendaciones as como las fundamentaciones. Pero las audiencias son ms amplias, por
ejemplo:
los pobladores o actores de la comuni(lad no directamente afectados por la implementacin del proyecto
o programa;
las autoridades polticas inmediatas y mediatas;
los responsables de programas similares en el mismo
o en otros contextos;
los funcionarios de la agencia que financia e] programa (en los casos de que se trate de un programa subsidiado u apoyado por una agencia);
la comunidad acadmica.
No deber:in descuidarse los procesos de socializacin
de los hallazgos de ]a evaluacin, particularizando segn
las diferentes expectativas e intereses de las audiencias.
104

Evaluar para La Transformacion Nirenberg, Brawerman y Ruiz PDF

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Evaluar para La Transformacion Nirenberg, Brawerman y Ruiz PDF

Uploaded by

Copyright:

Available Formats

EVALUAR

EVALUAR PARA LA TRANSFORMACiN

Lic. Irene Gofman

Si desea recibir informacin mensual de nuestras novedades/publicaciones,

Cubierta de Gustavo Macri

de Cret (1913) de ,Juan Gris

1" edicin, 2000

Quoda hecho el dopHito 'llW provi01'" la Ley 11.72:3

DeJ(,nsa 599, Buenos

]o.\'ette BTtlwC'rman, Violeta Ruiz

Prlogo, Leopoldo f1{tlpern

Captulo 1: Para qu la evaluacin?

Captulo 2: Los tipos de evaluacin

Evaluar pan la transfot7lUlrin

OIga Nirenberg, ]osette Brawerrnan, Violeta Ruiz

Captulo 3: Los abordajes metodolgicos

Captulo 4: Las tcnicas de evaluacin

Captulo 5: El diseo de un modelo evaluativo

Captulo 6: La aplicacin del modelo evaluativo

OIga Nirenlmg, ]o.,ette Brawernum, Violeta Ruiz

la programacin, particndo del entcndimiento

esta caracterizaclOn, en su an.ilisis del sistema (modelo)

Oiga Nirenberg, Josette Brawermfm,

3. Cmez, R.: Ncoli/Jcralis71Ioy sClIdocicIlcill, Buenos Aires, Lugar, 1995.

distincin que Bung hace entre ciencia y tecnologa, la

4. Bunge, M.: Qu es la ciencia?, Buenos Aires, Siglo XXI, 1960.

0Zf!;aNirenbelX, ]osette Bra7vernum, Violeta Ruiz

contrario, aun con distintas definiciones, en el resto de

do crecientemente a utilizar las polticas sociales con un

Lv( HJ( )L[)()

La imagen que nosotros construimos de la sociedad, la

En este libro nos dirigimos fundamentalmente

1. Brccht, B.: Klcines Olganon jtir das TbeatC1; ,';cbri/ten Z.lI'lJITbeater,

Oiga Nirenbezg, ]osettc Brawcmzan, Violeta Ruiz.

no del aprendizaje compartido entre quienes participan

OIga Nirenberg, ]osette Brawerman, Violeta Ruiz

se incluyen ejemplos que ilustran los pasos descritos en

llo Local -CFADl'],-,

Oiga Nirenberg, }osette Brawe17nrm, Violeta Ruiz;

te sus mbitos de trabajo, para que juntos pudiramos

NIe podrlls indicar hacia dnde tengo que il" de.,-deIlqU?,

Em depellde de ({dllde quier'as Ilegal", contest

mc impol"t({ demasiado adnde ... , empez ,) de-

i0fl, sicl!lpn llegllnil'IlIlIglll1l1/JlI1te, dijo el Cato, si

1. Carroll, Lewis: /Ilicill el! ell'llil- de 111.1'

Oiga Nirenberg, ]osette Brawerman, Violeta Ruiz

a obtener los resultados que nos propusimos? Y como

jetivos claros y explcitos y hay que saber de qu manera

La evaluacin como momento o funcin de

via, que aqu agregamos: cmo fue quc ]legamos hasta

2. P,ndo Motu es profesor de b I'~scuela Brasileja dc \dministracin

Intentando una definicin

lizada durante un seminario

Llegados a este punto, es posible adelantar la definicin de ]0 que consideraremos

OIga Nirenberg, Josette Brawerman, Violeta Ruiz

permitir destacar algunos de sus elementos esenciales,

Rejlex5n .\'Obre la accin: ya se dijo que la evaluacin

Actividad progrtmzada: quiere decir que la evaluacin

Desbrocemos brevemente los pasos relevantes de esa

Emitir" juicios valomtivos ..

Para qu la evalzulcillI ('

Olp,ll Nirell/!crg, ]osettc BraWeJ711[{11,Violeta Rui-::.

feccionar la gestin de un proyecto o programa, para