'
10 INDICE DE CONTENIDO
valorar la repercusión, 154. Notas técnicas acerca de las medidas de
los resultados, 155. Estrategia "correcta" para valorar la repercusión,
160.
Cap. 6. Diseños comparativos para valorar la repercusión
Conceptos principales, 161. Valoración de la repercusión de progra-
mas con cobertura parcial, 163. El azar en el establecimiento de la
comparabilidad, 166. Estudios no aleatorios: controles construidos,
179. Estudios no aleatorios: grupos control estadísticos, 188. Diseño
de intercambios, 202.
Cap. 7. Diseño de grupos unitarios para valorar la repercusión
Conceptos principales, 203. Controles reflexivos, 204. Controles
genéricos, 210. Controles espectro, 212. Una nota acerca de la aplica-
bilidad, 220.
Cap. 8. Medición de la eficacia 221
Conceptos principales, 221. Perspectivas en el análisis de la ubicación
del recurso, 223. Componentes en el análisis costo-beneficio, 226.
Metodología en el análisis del costo-beneficio, 229. Análisis de costo-
efectividad, 241. Resumen de un campo complejo, 245.
Cap. 9. El contexto de la investigación evaluativa zar e interpretar información acerca de las necesidades, aplicaciones y trascendencia de
(7247
Conceptos principales, 247. Cómo interpretar los resultados de la eva-
luación, 248. Cómo reducir los conflictos entre el evaluador y los eva-
luados, 255. Tiempo de política y tiempo de evaluación, 262. Papel
que desempeñan las evaluaciones, 264. Epílogo, 271.
Bibliografía
Indice onomástico
índice analítico
161
Programas,
políticas
203
evaluaciones
La evaluación sistemática de los programas de acción dirigidos y organizados es fre-
cuente en la actualidad. La investigación evaluativa es un área dedicada a recabar, anali-
las intervenciones con las que se busca la superación de la humanidad mediante el mejp-
ramiento de las condiciones sociales y de la vida comunitaria. Las evaluaciones se reali-
zan por motivos diferentes, a saber: para juzgar la valía de los programas en marcha y
para estimar la utilidad de los intentos por mejorarlos; para evaluar la utilidad de los pro-
gramas innovadores y las iniciativas; para incrementar la efectividad de la conducción de
273 los programas y de su administración, y para reunir varios requerimientos contables.
283 Asimismo, las evaluaciones pueden contribuir al conocimiento teórico y metodológico
de las ciencias sociales.
287
Al planear los programas de intervención social, la atención de la investigación se
centra en la extensión y gravedad de los problemas que requieren intervención social y en
el diseño de programas para aminorarlos. Al poner en marcha los programas de innova-
ción existe preocupación acerca de si éstos abarcan las poblaciones objeto y procuran los
recursos, servicios y beneficios que se pretenden. Conforme las intervenciones se realicen,
crecerá el interés acerca de si son efectivas respecto de la magnitud de sus alcances. Para
la explieación y planeación futuras es importante considerar los costos en relación con los
beneficios y comparar el gasto que implica la intervención con aquellas estrategias alterna-
tivas para ubicar el recurso.
Algunas evaluaciones son integrales y contemplan todas estas interrogantes,
mientras que otras están dirigidas hacia algunas de ellas. En todos los casos, se busca la
respuesta más válida y confiable posible, dentro de los marcos políticos y éticos, y las
limitaciones impuestas por el tiempo, el dinero y los recursos humanos.
CONCEPTOS PRINCIPALES
Eualuación integral: Análisis de la conceptualización y el diseño de las inter-
venciones, verificación de la aplicación del programa
y evaluación de su utilidad.
Conceptualización y análisis Estudios de: a) la extensión y localización de los pro-
del diseño: blemas en los cuales intervenir; b) la manera de de-
12 CONCEPTOS PR1NCIPALES
finir los objetivos en términos operativos, y c) la posi-
bilidad de la intervención propuesta.
Análisis del costo-beneficio: Estudio de las relaciones entre los costos y los resulta-
dos de los proyectos sociales; el resultado general-
mente se expresa en términos monetarios.
Andlisis del costo-efectiuidad: Estudios de las relaciones entre el costo del proyecto y
los resultados; la conclusión generalmente se expre-
sa como costo por unidad de resultado logrado.
Sistema de aplicación: Arreglos organizativos, incluido el equipo humano, los
procedimientos, las actividades y las instalaciones
necesarios para proporcionar los servicios del pro-
grama.
Inuestigación formativa: Pruebas de diseño y desarrollo para maximizar los éxi-
tos de la intervención.
Eualuación de la repercusión: Evaluación de la medida en que un programa causa
cambios deseados en la población objeto.
Interuención: Cualquier programa o acción planeada pára producir
cambios intencionados en una población objeto.
Monitoreo: Valorizar si una intervención opera de acuerdo con su
diseño y alcanza la población objeto especificada.
Eualuación de la utilidad del Estudio de la efectividad (repercusión) y eficacia (cos-
program a: to por beneficio o efectividad) de los programas.
Población objeto: Personas, familias, organizaciones, comunidades u
otras unidades hacia las cuales se dirigen las inter-
venciones.
Problema por resoluer: Condiciones, deficiencias o defectos hacia tos cuales
se dirigen las intervenciones.
Con el apoyo del Departamento de Justicia de los Estados Unidos, se han dise-
ñado programas para hacer más visible a la policía en un gran número de
comunidades, con la idea de que los delitos contra el patrimonio y las personas
se reducirán debido a la percepción de mayor presencia del cuerpo policiaco. A
partir de un programa se dieron a los oficiales vehículos marcados para que los
usaran tanto en lo personal como en horas de servicio, mientras que en otro se
incrementó el número de horas de cada policía en su ronda a pie. Estos esfuer-
zos han tenido poca influencia en el campo de la delincuencia.
En cuatro grandes ciudades de Estados Unidos, una importante fundación pri-
vada ha costeado la operación de centros de salud en áreas marginadas. Estos
centros se han diseñado para reducir el costo de la atención de pacientes exter-
nos, que ahora es ofrecida por clínicas hospital y puestos de emergencia, así
como para ofrecer una alternativa a la costosa hospitalización prolongada. En
otras partes de Estados Unidos se han realizado múltiples esfuerzos para brindar
cuidados médicos económicos a la clase desprotegida y para evitar el encareci-
miento de la atención médica. Las evaluaciones sugieren que los centros de sa-
lud comunitaria tienen una relacíón costo-beneficio más favorable que el de las
clínicas hospital.
En un país latinoamericano, la educación por televisión se ha utilizado para
elevar el bajo nivel de alfabetización. Plaza Sésamo, un programa educati-
vo para la televisión, fue creado mediante la modificación de la serie de tele-
13
visión Sesame Street, y se muestra en horarios accesibles para los niños en
edad escolar. En muchos otros países se ha intentado transmitir programas
de educación similares. La utilidad y eficacia de estos esfuerzos, en cuanto a
costos y beneficios, no se ha determinado.
En un centro comunitario de salud mental, en una ciudad de regular tamaño
en Nueva Inglaterra, se ha diseñado un programa extensivo que se auxilia
con miembros de la comunidad local como consejeros de adolescentes y
adultos, para atender problemas emocionales, educativos y sexuales. Com-
paradas con quienes son tratados por psiquiatras y trabajadores sociales, las
personas atendidas por estos trabajadores improvisados parecen estar satis-
fechas con el centro, en lo que respecta a necesidades de hospitalización y
mantenimiento del tratamiento. Estos resultados se mantienen aun cuando
las características psicológicas y sociales de la persona se tengan en cuenta.
La CETA (Comprehensive Employment Training Act-Acta Extensa de Empleo y
Entrenamiento) destina fondos federales a los gobiernos locales para promover el
empleo, mediante proyectos de servicios públicos, entre desempleados permanen-
tes. Muchos de los empleos y centros de trabajo son "poco usuales", comparados
con las oportunidades ordinarias, disponibles a largo plazo, para personas sin
empleo. De cualquier modo, los periodos de empleo de los trabajadores de la
CETA suelen ser cortos, pues no duran más de un año. La interrogante medu-
lar de una evaluación del U.S. Department of Labor (Departamento de Trabajo
de Estados Unidos) es si los empleos de la CETA encabezan o no las oportuni-
dades de trabajo.
Dos terceras partes de la población infantil mundial que vive en medios rurales
sufren una parcial o total desnutrición que produce comprobadas consecuen-
cias negativas para su crecimiento físico, estado de salud y desarrollo mental.
En América Central se ha demostrado la capacidad para mejorar la salud y el
desarrollo mental del niño por medio de un complemento alimenticio. Mujeres
embarazadas, madres lactantes y niños, desde su nacimiento hasta los 12 años
de edad, contaron diariamente con un complemento alimenticio que contenía una
alta concentración de proteínas y calorías. Los resultados muestran avance en
su crecimiento físico y un cierto incremento de sus funciones cognoscitivas.
Una fábrica de manufacturas, en un intento por incrementar la producción de
los trabajadores y la calidad del producto, ha reorganizado a sus empleados en
grupos de trabajo independientes. En estos equipos, los trabajadores diseñan y
asignan tareas, recomiendan metas de productividad y votan por la distribu-
ción de bonos con el fin de mejorar la calidad y la productividad. A pesar de que
los resultados a largo plazo aún no se conocen, la información obtenida al veri-
ficar el programa sugiere que se redujo el ausentismo laboral, los cambios y las
demás medidas similares de ineficiencia del empleado.
Éstas son algunas muestras de la diversidad de programas de recursos
humanos emprendidos y evaluados con el apoyo de grupos gubernamenta-
les locales, estatales y federales, de organizaciones internacionales, de fundacio-
nes privadas y filantrópicas, y de asociaciones y corporaciones no lucrativas y
lucrativas. La investigación para la evaluación, en cualquiera de sus tipos, es una
tarea difícil. A grandes rasgos, se estima que sólo el gobierno de Estados Unidos
gasta anualmente entre medio billón y un billón de dólares en programas de eva-
14 CAP. 1. PROGRAMAS, POLÍT1CAS Y EVALUACIONES BREVE H1STORIA 15
luación. No hay manera de estimar ios gastos internacionales. Únicamente en el
campo de la planificación familiar, el Banco Mundial ha identificado más de un
centenar de programas de acción social de diferentes magnitudes, que utilizan
estrategias empleadas desde la década de los sesenta, en los cuales han participa-
do ciudadanos de cerca de 25 naciones.
No hay necesidad de recalcar lo obvio: muchos seres humanos padecen
graves deficiencias en sus vidas, éstas existen tanto en los países industrializa-
dos como en las naciones menos desarrolladas. Los cambios que se necesitan
para mejorar las condiciones existentes, las acciones organizadas (generalmen-
te ayuda humanitaria o programas de acción social) y el inicio de otras nuevas,
a menudo se basan en programas diseñados para mejorar las condiciones
humanas — sin tener en cuenta la ubicación geográfica y el tipo de patrocinio -
que conducen a conclusiones erróneas, mal juzgadas, mal aplicadas e inefecti-
vas. Con el fin de distinguir los programas en curso útiles de los ineficaces y
para planear, diseriar e iniciar acciones innovadoras que repercutan eficazmente
en los miembros de una comunidad y su ambiente, es importante que los políti-
cos, las instituciones, los planificadores y el personal del programa, den respues-
ta a preguntas como las que siguen:
¿Cuál es la naturaleza e índole del problema que requiere acciones?
¿Qué intervenciones se pueden efectuar para aminorar la magnitud del
problema?
¿Cuál es la población objeto adecuada para la intervención?
¿Llega a la población objeto la intervención iniciada?
¿Se realiza la intervención de la manera deseada?
¿Es efectiva?
¿Cuál es su costo?
¿Es compatible con su efectividad y beneficios el costo relativo?
Las respuestas a estas preguntas son necesarias no sólo para los progra-
mas complejos y amplios — como la planificación familiar en un país o los
esfuerzos para mantener los ingresos nacionales—, sino tarnbién para proyec-
tos locales y especializados — como los que ofrecen entrenamiento laboral en
medios rurales o los destinados a incrementar la seguridad pública en las gran-
des ciudades. Ofrecer las respuestas apropiadas es la función primordial de la
investigación evaluativa.
¿QUÉ ES LA INVESTIGACIÓN EVALUATIVA?
Esta obra se puede iniciar con una definición simple del término evaluación o
inuestigación evaluativa (se usarán ambos indistintamente): la investigación eva-
luativa es la aplicación sistemática de los procedimientos de la investigación social,
para valorizar la conceptualización y el diserio, la ejecución y la utilidad de los
programas de intervención social. En otras palabras, la investigación evaluativa
usa las metodologías de la investigación social para juzgar y mejorar la planifica-
la—efettividad y la eficacia de programas sociales de salud,
educación, bienestar comunitario y otros.
Nótese que esta definición no implica que los estudios de la evaluación sigan
uno u otro modelo, o una particular combinación de los diferentes modelos de
investigación social comúnmente empleados. La investigación evaluativa forma
parte de las ciencias sociales, sus profesionales son reclutados de entre la gran
variedad de especialidades de éstas, y sus métodos son aplicables a la extensa
gama de paradigmas de la investigación social. Las evaluaciones son sistemáti-
cas en la medida en que emplean las vías básicas para recabar válidamente prue-
bas confiables. Éste es el compromiso de las "reglas" de la investigación social y
la esencia de nuestra concepción del térrnino evaluación.
Al describir las actividades evaluativas, Cronbach y sus colaboradores
(1980) puntualizaron lo siguiente:
El propósito de una evaluación es influir en el pensamiento social y la
acción, durante la investigación o en los años subsecuentes. También es
razonable esperar influencias a largo plazo.
La prueba se obtiene con base en la experiencia de un programa existente
o uno establecido para los propósitos de la investigación. Después del
análisis, los investigadores publicarán sus conclusiones conforme las
obtengan. Éstos deben documentar sus observaciones y razonamientos
de tal manera que el lector comprenda cada conclusión.
3. La finalidad del evaluador es proporcionar una interpretación integral y
disciplinada. La intención es impresionar a personas con mente clara,
incluidas aquellas cuyas preconcepciones o preferencias estén en contra
de los resultados. Es más, la información obtenida sirve para quienes
indaguen e interpreten en forma independiente.
BREVE HISTORIA
La evaluación sistemática basada en datos es relativamente reciente, coinci-
de con el avance y refinamiento de los métodos de la investigación social y con
los cambios ideológicos, políticos y demográficos ocurridos durante el presente
siglo en Estados Unidos. Durante el cambio de siglo, el compromiso de la evalua-
ción sistemática de programas en los campos de la salud pública y la educación,
es diseñar las acciones para alfabetizar y ofrecer entrenamiento laboral, n-lediante
medios económicos y efectivos, y para reducir la mortalidad y el padecirniento
de enfermedades infecciosas. Desde la década de los treinta existieron científi-
cos sociales que se abocaron a aplicar los métodos rigurosos de la investigación
social para valorar los programas (Freeman, 1977). El intento de Dodd para
usar el agua hervida como práctica de salud social en las villas del Este medio de
Estados Unidos, forma parte de la bibliografía sociológica etnpírica de la pre-
guerra; los estudios de campo de Lewin y las investigaciones de Lippitt y White
acerca de la democracia y el autoritarismo en las hegemonías, han sido bien
conocidos por los psicólogos durante varias décadas, y el famoso estudio de la
Western Electric (Compañía Eléctrica del Oeste) ha contribuido para que el tér-
mino efecto Hawthorne se haya incluido en la ciencia social desde hace más de
medio siglo (consúltense la obra de Bernstein y Freeman, 1975, para más informa-
ción, v la de Cronbach et al ., 1980, para conocer una visión histórica diferente).

16
Surgimiento de la investigación evaluativa
Hace más de 40 años, en Arkansas, un profesor de sociología informó de la
evaluación de los programas sociales de nuevos convenios del presidente Roose-
velt (New Deal) (véase anexo 1.1). Hacia los primeros años de la década de los
treinta, e incluso antes, la investigación social aplicada recibió un considerable
impulso; su empleo se incrementó durante la Segunda Guerra Mundial: Stouffer
y sus asociados trabajaron con el Ejército de Estados Unidos (Stouffer et al.,
1949) para verificar continuamente la moral de los soldados y evaluar al perso-
nal y la propaganda política. La Office of War Information (Oficina de Informa-
ción de Guerra) usó muestras al azar para verificar la moral de los soldados. Al
mismo tiempo, mediante múltiples estudíos menores, se valoró la eficacia del
control de precios y de las campañas para modificar los hábitos alimenticios de
los estadounidenses. Esfuerzos similares en el campo de las ciencias sociales se
iniciaron en Inglaterra y otros países (véase anexo 1.2).
ciencias soclale_s. Sólo con todos
los.4oztólpggs y.los.científicos,dé
á.
iOs•ienfizITSOs en el I
El entusíasmo actual aceréa delaPlánificacióride'elqUéiiiiisadualmente, des-
cublerto por los organi s mos o las agenClkdel gobieritp,ied.eral.eltadoithidense, dio
algqnas ..4per.3pzas..cle que esta deficie.gclá se
de esas agencias y el
atiertmentalel'pátlIol'eleiltífItó<0.11aléS,
lOs':édiacadores y los acirilinistrIcIOr .elqiié. Iliíe.dari. alro. Ve-
char sus Investigaciones..
Es.os,laberatorio.s,sitteiin.iticos de las agencias planificador.es de la Nueva
Vesigclaci6WP.etM if.9n..-._411.rde'rnodp más efectivo el rnétodo eXp.érimental en los
' PrOW"Ci01 -40-iti.ir. ítjgatOn'tié lOs - cienríficolsociales. Estatr. tvestigaclon.:pqciría ser
pienCia,;;„sinótati5bién . ütia-:foiffie: de aUclitóría-social
y.41511 .4¡.119&C4t.h.biell esta.
.bleeldos::..enloIprogtamás.
tiárijOS$ajos a la gente de barriada ola gente debarriada ifiac e los
barnos lia)61i.j...-¿1Odifari'earnbiar
genté-áféctada?
ayndar a contestar estas interesantes y desconcertantes preguntas.
Los estuclios realizados por los sociólogos resazIan que los barrios bajos son los
puntos debiles de la civilízación industrial moderna'zErrlas areas de bárdos bajos de
icolcentros,ffirbaros . estadounicienseme localizan grandes .. ..centros.de delincuencia,
evasi ón delrriptit,:..enferrileciades,
nutriCión deficiente, insalubriclad y condiciones similares, junto con los grupos
característicos de bandas de delincuentes y establecirnientos cle vicio. Estos..estable.
cimléntos y condictones compendtan la llarnada vida de ViCi0 de los baridos bájos.
gente viviéra en conclieiones.saludables;:•¿pódlia -poiextsfir
etidériCía.sieriferrnedád?,:ebiritiltIblijii7giiif.14,:detia.tiláda
entur.619..... "',:¿klarmenotdoih0000k.IdépénderIcla y
17
enf errnecli7d?, ¿esta seouro el . lettel? Sin r mh,agnJ,si g,ente...gué.,Vivcj en suburbios no
es parecicla a la que vive ért ble-rics'bájos,
vos; gcneralmente;:és má que
la gentéde barriadá.:, 1profaho podrra
L1Wé La rilejor rnanera de resolveiéste problema
'1 Welnuos élé clelincuencia, depenclencia, comIsión de"delitos - ViféirIedid
grá.liti;17.é
factores similares) característicos de una población dada mientras vtven en la
barriada, con los índices sociales ,de LtIld misma población p, una similar después de
Vivir er-r -nri áMbier. ite ' rerióvado. ,de úna "cOmuniclad rnodelo.',E.Stó podría significar un
iudio"anteS y.'después.".;-;eri'óil-aS'Palabr,71s,
emactas dl enfoqu -e expérsi-rienil lo euál permitirfá:kilee1.4bOts./aCiOneleiátitróla::
das y conocer con mas preciSIón las Illférenéias
mtento social que tiene lugar en el arnt-)Iente social at'alterat'lat :elOndiet6néele
Graficarriente, se pcdría - tiansferir a una nlasa poblacional del tubo de ensave
líqukio A al tubo de ensaye . 1:40110iditi;OVIO.ieákiiiiéjátiirre. r‘:
Ctertan-tente, los índicá :lOetáll's'sitedéiiillitieilá:iáiiiilnos nionetarlós
términos de costo para el gobierno (costo de la delincuencia, comisión
graves;-- dependencia, protecciónpolielaca,.enifermedadV -factores snoilares) y una
corripat'actOridelOs.costOS para el obiériió que .0. reden.y siguen alátnudanza deL
baritO a uria cornun'Iclád rnOdelo cOn iikriiVeY , SOC161¿Onórrilcó saO9rlóri. Especitica,
rnenté, tales_prograrnas ptieden dé délitos
ves.•Loá coStbs por'delincúente y Por crimin u ádulto se pueden calcular y la difererh'..-
cia en , coltos bajós Para el Estádó p,uede sersesultadode.gatluiar el programa. Se
puede .cáidúlar 'el costo'social difer.énciai..`enlas.i. Cir:;datás7nt1Was tOrnunIclades, las
cuules: 16g-i¿árriente,-- se -góbiernó y
socieciad. Tal cuerpo de datoS puede Servir--cOrriótáll .pái"aieeábátápóyo financie-
ro para prograrnas funtros.
Futute: The
.tutrttiz.trftin dc A. S. Strphan,"Prospect and PosibIllhes NetV Dealancl
t
the NeLti SL n clal I Le,earch", en Sttclal FOrCe nurn. 15,:págk"15 y 518.
, .
, -
Anexo 1.2. Primeros experimentos
en comunicación de masas
Para disenar programas de erientaciOn de la Armada astadounldense, un pro-
blema f/ecUentemente deb¿Itielo fue el que sigue euando ny:evidencia ápoyaba la
tesis principal Oue se preentaha, ¿ere mas efeetiVio preseniki sólb los Materia les
que apc . v.lban 1 tema frata,io, o eta mejor iris luir tambien los argumentos opuestos
al [ema en cuestián?
1. Los clos pre-,grarilas e.rnpleados
_
fin el tiernpoen que Sr2 planeaba el experinientoprinciplos de 1945) la guerra .
en Europa est¿ba por , trtninar y se infornló gue la moral de la Armada estadourft-
J. dense era atectacla adv,ersarnente,por.un -gran..oprOnismo-acercIde. uty:ftnal,án
'tiadcl‘de la gúerra' en'el PaCífi'll:Se.Creó`tiria'Cijré,0191:,»)..a'AMiad‘kpala..1M-Wek
concepciiiír/ rie la
origin,5 un5?,ntrOyetsía.'1:14j4
pero liii iyoría de los expertos eri álüríteit'irtilltajeS^C)

18
•
en la preponderancia de los testlmonios que uno de los bandos. Por
to, se esccgió a urrsujeto adecuado para la experimentacIón.
gi;t1
Los grupos estudiados
La investlgaciÓti:prelirnMar se aplicddiír.taryte1arimeia sernana de abril de
1945 a ocho compahfaS cle entrenamlentó .delcOrnisa -riadó . de guerra, Una sema-
na después, ocho pelotoneS:únó- es¿ogido proporcionahnente para-cada una de
las'ocho compañías, escucharon el prográma 1 (el cual representaba sólo a un
bando) durante sus reuniones'Individuales de . orIentación. r.:Otro grupo , de ocho
pelotOnes, escogIdosslmIlartnente, 'escUéhó . el . Prograrnáll (el cual representaba
a ambos'argurnentOs). Inrnedlataniente'deSPiiés del programa los hombres Ile-
naróri el Segundo cuestioñarlo;cón
. fin de'pernntir a la gente
, quechse3 -56 el pro-
.
grarna conocer cómo los.hombres'pasaban dicho pro ,grarna, En este segundo
cuestIonarlo se Inclutan preguntas transiclonales apropiadas, algunas pertene-
cientes- a la.Prirnera inyestidáélón, en las que . Se Inquirfa a la tropá c6k»esti ma-
ha personalmente el tarnano...de la guerra del:Pacífic- d.',Un tercer grupde ocho
tropas sirvió como control; átn recibir nIngún programa. Llenó un cuestionarlo
similar durante sus reuniones de orientación, en . las cuales-, adernás de adtnints-
trarse los cuestIonarios análogos acéréade la guerra del Pacífico, se formulaban
las'mismas interrbgantes-respecto a lo 'que ellos penSaban de , su reunión de
orientación y qué ' podr' ían querer respecto . de sUs futuras reunIónes. Para los gru-
pos_control, las últirnas preguntas, en vez de aquellas acerca de las transcripcio-
nes, se - Presentbari a la troPa con el InIco proPásito del cuestionario.
Resurnen de los resultados
Presentar los argumentos
, desde ambos lados dc un problerna era más efectivo
que dar sólo los areumentos que apoyaban e1ptinto de vistá hecho, en el caso de
individtios.que iniciplmente.:se oponíon al:punto de yista:presentado.
.Pátálal.tiOpa convencida del punto que se presentaba la indusión dé argurnentos
desde
. arnbas perspectivas fue menos cf,xthia, - plara elgrtipo corno un todo, que pre-
sentar sólo los argumentos que favc.m.ecían la posIción general qüe se-abogaba.
Los hornbres mejor educados fueron afectados más favórablernente por la pre-
,sentaci.bn - de.arnbas. ..perspectivas, • mtentras . , que:igls. menós . edu.cados fueron más
afettadós p6r la'écirOiMicación ert la'qUe».16.se usaron argumentos de apoyo.
FuPnte: Aciaptado, ton aut r ,r1, v-1,5n Cari 1 Huvland et ul , E,pertuwnt, 5 nk lus, Cnrnrrunicd
tIon '1 n ,1( 11/: Studlestn So ial I o h, 7L'InWorld WorIi Princeton Univer:at Pi,,,Pr ton rJue
.›
va r , ey, 1 ,M9 r5g; 201 z25
El período que siguió inmediatamente a la Segunda Guerra Mundial fue testi-
go del comienzo de programas de gran extensión diseñados para diagnosticar las
necesidades de desarrollo urbano y vivienda, de educación tecnológica y cultural,
de entrenamiento laboral de las actividades de salud preventiva. Durante este
tiempo también se estructuraron grandes comisiones para diseñar programas
internacionales de planificación familiar, salud, nutrición y desarrollo de la comu-
nidad rural. Los gastos fueron enormes y estuvieron acompañados de las consi-
guientes demandas de "conocimiento de los resultados".
•BREVE HISTOR1A 19
A fines de la década de los cincuenta, los programas de evaluación de gran
extensión fueron muy comunes. Los científicos sociales se ocuparon de evaluar
los programas de prevención de la delincuencia, los proyectos de rehabilitación
de reos, los tratamientos psicoterapéuticos y psicofarmacológicos, los progra-
mas de vivienda pública y las actividades de organización de la comunidad.
Estos estudios se realizaron no sólo en Estados Unidos, Europa y otras naciones
industrializadas, sino también en países menos desarrollados; como resultado,
se incrementaron los programas para la planificación familiar en Asia, los de
nutrición y cuidado de la salud en Latinoamérica y los de desarrollo agrícola y
comunitario en África, incluidos sus componentes evaluativos (Levin et al.,
1981; Freeman et al., 1980). Así, se amplió el conocimiento de los métodos de
investigación social, incluidos los complejos procedimientos estadísticos y las
encuestas. Las cbmputadoras hicieron posible efectuar estudios muy extensos
y realizar análisis estadísticos complejos.
Durante la década de los sesenta el número de culos y libros acerca de
las prácticas de la investigación evaluativa, creíó dramáticamente. La reví-
sión de los méto~nvestigación evaluati'(7á de Suchman (1967), la mono-
grafía de Hayes (1959ácerca de la investigáci evaluativ países menos
desarrollados y elltáf--
-nado de Campbelld(196) para e ectuar experimentos so-
ciales, son buenos ejemplos. Según Wall-Stre'et, en Estados Unidos y en todo el
mundo, la investigación evaluativa a finales de la década de los sesenta se había
convertido en una "industria floreciente".
En los comienzos de la década de los setenta aparecieron muchos libros
acerca de la evaluación: un texto (Weiss, 1972), colecciones de lecturas (Caro,
1971; Rossi y Williams, 1972), críticas a las cualidades metodológicas de varios
estudios (Bernstein y Freeman, 1975) y una reseña de la discusión de las limitan-
tes estructurales y organizativas para realizar una investigación evaluativa (Riec-
ken y Boruch, 1974; Wholey et al., 1970). Los dos volúmenes del Handbook of
Evaluation Research (Manual de investigación evaluativa) de Guttentag y Strue-
ning fueron publicados en 1975. La Evaluation Review, que comenzara en 1976,
la leyeron amp/iamente los investigadores de la evaluación; en la actualidad existen
otras revistas como: Evaluation News, Evaluation and Health Proffesions, Jour-
nal of Evaluation and Program Planning y New Directions for Program Evalua-
tipn. La proliferación de publicaciones y conferencias, las formación de una
sociedad profesional, la Evaluation Research Society (Sociedad de investigación
evaluativa) y las sesiones especiales acerca de evaluación de estudios en reunio-
nes de grupos académicos y de profesionales son testimonios del rápido desarrollo
de este campo. Los esfuerzos para mejorar y reformar las actividades evaluativas
continúan aún. Como lo pensaron Cronbach y sus colaboradores (1980, págsN
12-13), "la evaluación se ha convertido en la frontera viva de la ciencia social i -
estadounidense".
Sin embargo, la historia puede confundirnos; si bien existe un continuo des-
arrollo de la evaluación, un cambio cualitativo ha ocurrido. Todavía en los prime-
ros días de 1967, la definición de la investigación evaluativa de Suchman (a
saber: la aplicación de técnicas de investigación social para el estudio de extensos
programas de servicio para la humanidad) era útil y delimitaba eficazmente el
área. No obstante, en la actualidad resulta evidente que la investigación evaluati-
va es algo más que la aplicación de métodos; es también una actividad política y de

20 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES
dirección, el umbral que conduce al complejo mlbsaico del cual emergen las deci-
siones políticas y el lugar de su aplicación en la planificación, el diseño, la ejecución
y la continuidad de los programas para mejorar la condición humana. Debído a
esto, la investigación evaluativa también necesita ser extendida, por lo menos en
Estados Unidos, como parte integral de la política social y de las actividades de la
administración pública.
Costumbres sociales y actividades de
la admínistración públíca
El entendimiento profundo del desarrollo de la superposición de las cos-
tumbres sociales y las actividades de la administración pública requeriría no
sólo observar el notable crecimiento de la población y la industria en Estados
Unidos durante la primera mitad del presente siglo, sino también analizar cuidado-
samente los cambios en los valores sociales relacionados con la responsabilidad de
procurar el bienestar a los miembros de la comunidad, desde los voluntarios y
miembros de la familia hasta los grupos públicos. Por lo menos, sería importante
tener en cuenta lo más sobresaliente.
Surgimiento del papel gubernamental
Primero, como destaca Bremner (1956), ofrecer servicios humanitarios antes
de la Primera Guerra Mundial era visto como una responsabilidad personal. Los
beneficiarios de las sociedades locales de caridad, constituidas principalmente
por voluntarios provenientes de las clases más privilegiadas, eran la gente humil-
de, los inválidos física o mentalmente y las familias con problemas. Nuestra ima-
gen de esos voluntarios como damas de edad avanzada o ricas que cuidan a niños
en canastas, es sólo un poco exagerada. Junto con las asociaciones cívicas y
los "hospitales de caridad", los asilos del condado o del estado, las escuelas públi-
cas estatales, las escuelas normales estatales y los albergues para ancianos, los
voluntarios eran el baluarte del "sistema" de servicios humanitarios.
En segundo lugar, el gobierno, sobre todo el federal, era comparativamente
más pequeño antes de 1930. Había pocas iniciativas nacionales para atender la
salud, la educación y el bienestar y, por lo tanto, no era necesario un ejército de
burócratas. La sola idea de gastar billones de dólares del presupuesto federal en
la investigación de la salud, podría haber desquiciado completamente al gobier-
no de la década de los arios veinte. El apoyo federal a la educación pública era
insignificante; en la actualidad, desde Washington se le destinan, en seis meses,
más dólares que durante toda la primera década de este siglo. La extensión y el
uso de la información social y económica muestran la poca importancia de las
operaciones de los programas de gobierno. Lynn (1980) registró que, aun a fina-
les de la década de los treinta, el gasto del gobierno federal por concepto de
investigación en ciencias sociales y estadística, fluctuó entre los 40 y 50 millones
de dólares, y hoy día se gasta 40 veces más.
Finalmente, los servicios humanitarios y el gobierno operan con normas dife-
rentes. Los funcionarios clave en el gobierno y aun los empleados ordinarios se
seleccionaban sin un criterio de competencia objetivo; de hecho, existían pocas
BREVE HISTORIA 21
formas de determinar la competencia de manera realista. Los servicios profesiona-
les civiles eran sólo una parte de lo que ahora son, muchos empleos no requerían
conocimientos técnicos y había pocos programas formales de entrenamiento. Más
aún, como las actividades públicas eran comparativamente menores, existía
poco interés acerca de lo que hacía el gobierno en cuanto a los programas de ser-
vicios sociales. La manera de operar de la burocracia hizo más difícil la solución
del problema; por ejemplo, el Federal Freedom of Information Act (Acta de liber-
tad de información federal), que permite el libre acceso a los documentos del
gobierno, es comparativamente reciente.
Desarrollo de los programas
Los servicios humanitarios se incrementaron rápidamente con el adve-
nimiento de la Gran Depresión y, por supuesto, con las acciones del gobierno
antes y después de la Segunda Guerra Mundial. Debido, parcialmente, a las di-
ficultades que acompañaron a este acelerado crecimiento, hubo una fuerte pre-
sión para aplicar los conceptos y las técnicas de la tan nombrada administración
científica, así como para que fuese apreciada por la industria. Estas ideas primero
fueron manejadas por la Defensa y luego por otras organizaciones gubemamenta-
les, incluidas las agencias de servicios humanitarios. Los conceptos y procedimien-
tos de planificación, control de calidad, contabilidad y, poco después, las más
complejas nociones del análisis de la relación costo-beneficio y los sistemas de
muestras, se convirtieron en aspectos importantes en el área de recursos humanos.
Al mismo tiempo, individuos con entrenamiento en ciencias sociales, parti-
cularmente en ciencia política, empezaron a utilizar los conceptos y procedimien-
tos mencionados para comprender la toma de decisiones políticas, organizativas
y administrativas en los departamentos ejecutivos y otras oficinas gubernamenta-
les. Simultáneamente, los economistas perfeccionaron los modelos de planifica-
ción y toma de decisiones y mejoraron las teorías macroeconómicas (Stokey y
Zeckhauser, 1978). En parte, el interés de los científicos sociales en el gobierno
era puramente "académico"; querían conocer cómo trabajaba el gobierno y una
explicación de la dirección de sus actividades; sin embargo, sucedió algo más:
algunos reconocieron que sus conceptos y métodos podrían facilitar y mejorar
las operaciones gubernamentales y las que ellos documentaban.
Asimismo, quienes ocupaban puestos de dirección en las oficinas guberna-
mentales probaban las maneras de relacionarse con sus grandes equipos de trabajo
y con sus altos presupuestos, y reconocían la necesidad imperante de ordenarlos
de acuerdo con sus responsabilidades políticas, administrativas y de programación
y planificación. Finalmente se convencieron de que los conceptos, las técnicas Y,
algunas veces, los principios de la economía, la ciencia política y la sociología
podrían ser útiles. El estudio del sector público creció y se convirtió en una especia-
lidad que se conoce comúnmente como ciencia política o análisis político.
Conforme el gobierno federal se tornaba complejo y técnico, no podía ser
manejado por personas contratadas aparentemente por su inteligencia, o por
sus relaciones con protectores políticos, parientes o amigos. Muchos empleos
administrativos medios y una gran cantidad de puestos ejecutivos superiores
requerían habilidades técnicas específicas y quienes los ocuparon necesitaron

22 CAP. 1. PROGRAMAS, POLITICAS Y EVALUAC1ONES
entrenamiento o una vasta experiencia para realizar su trabajo competente-
mente (véase anexo 1.3). Las contrapartes locales y estatales de las oficinas
federales se expandieron de manera similar, estimuladas en parte por la iniciati-
va y fondos federales y porque también necesitaban personal capacitado. Los
departamentos de ciencias sociales de las universidades proporcionaron algu-
nos de los recursos humanos necesarios para ocupar los puestos en el gobierno,
y también entrenaron nuevos investigadores. Actualmente, en respuesta a la
demanda de "tecnócratas" por parte del gobierno, las escuelas de administra-
ción, salud pública y trabajo social comenzaron programas para satisfacer las
necesídades en cuanto a ejecutivos y técnicos; y las escuelas especializadas,
generalmente con carreras de "administración pública", se organizaron y
expandieron. En suma, surgió una nueva categoría de profesionales.
Anexo 1.3. El origen del análisis
político
El creorniento estahli:ado en el narnerc>, la vaneclad, la complctdad y la
irnportancia social de los problemaspolificos queafrontaba eI gobierrio estadou-
nidense incrernentó las . demandas iriteléctuales dé 'algúnas autoridades y sus
subiírdinados:. ¿Qtié pbsición debería tornarse respecto de seguridad nuclear, el
ernbarazo en-addlescentes, la declinación urbana, el incremerrto de costbs en
hospitales, el desempleo entre la juventud negra, la violencia entre'esposos y
hadia los niños, y la disposición de . aguas tóxicas? Mtichósfde los- sujetos qu'e no
participaban en eáios problenias no estaban éti la agericia pública-20 años atrás;
sin embargo, son problernás Prioritarios ahOra, y algún problema , nuevo d,e
cárácter sirnilar surge irttialmente cadá año Para muchos , oficiales electos y
para sus eguipos, tales interrogantes escapan a su juicio y experiericia previa
Corno la'cuestión no se puede dejar a un lado, las auto/ idadesdii gohkrnc> espe-
rán negOCiar su responlabilidad y eficsencia.
Para ayudarlos a pensar y decidir acerca de la rnaterla, las autoriel¿Ides han
Llependido de la extensión del conocirniento derivado de Id investsación, el análisis
político, la evaluación deprograrnas yla estadística para inforrnar o arioyar sus pun-
tos de'Vista. ,En el pasado; : los oficiales electos en las . diversas'ramas del gobierno,
desCle los juzgádoi-federales hasta lós hornbres de piOvincia, citaban eátudios, datos
oficiales y su opinión experta en por lo menos justificaciones parciales de sus accio-
nes.' En las últsmas décadas; su personal se ha incrementado en tamaño v responsa-
bilidad, incluidb el creciente núniero de gente entrenada o familiariztadit con-técru
cas analíticas para recabar y evaluar- la inforrnación. Se e:t,ta efectuando un
mcrernentO
, en la investigación,
, el análisis y la Captura de datos.
Dt_bido a que el poder de influir en la política CSta muy con-iparticlo en el
nia de gobierno .estadounidense, las autoridades-buscan marupularla, - o sea,
phtcticar bien el juego político, pero' deben ser':muy rierivasivos. Debido al
carácter cambiante de IOSProblernas'políticos, es probablé que haya necesidad
ser más Persuasivo de lo eomún, El ser accesible, amable e inteligente en el
"rodar y negoclar n influye menos, relativarnente, que tener un conocimiento
general y pensarmento agudo, tener habílidad para hacer sugerenCias y.dar.solu-
ciones qüe- puedan atraer,una secuéncia amplia, o que téner reputación-de crín-
co bien infórmado. Los colaboradores del présidente cada día ejercen menos
influencia en los clebates políncos, en lo que T10 pueden conseguir beneficios o
cuendo sus ideas y argurrkaltos son carnblados e‘ ..itosamelialpoPlós expertos cie
23
la oposición. De hecho, la orelen cletalladá , y general : e,,Iliproblema Suele ser un
rnanclato. Los legisladorelrequieren:ejeciitivos,expeRdSlentOsiprogratnas,ypro-
Uleinas bal,) tilliliridi¿éi'O 'n—, ::.á la v e z .qiielóS jUlCi'ciá .:Wqri-iiiln:PrúébaS detallad ás
. de las decision:eS administrativas que no sean arbltrarias 9 caprichosas. Por su.
1
- parte, los oficiales del' Oresupuesto demanclan evaluaclones de programas que
se.an positivas,st el PUblico déseá rnejores explicadones. Ast, el proceso dlnáml-
co . que enfrenta dondegtilera el ..siStema acer ca
bleinassocialeS PerCeptiblernente.:(ss nOes'Oue ldrainátleamente) 1.iii4r‘ i- Ci:Iiiiénte:
do las exigencias' dela Competencia sustantiva y adminIstrativa en la ejecucióri .
de las responsabiliddes-públIcas
._ . ,
,,,tnl,naté:
F ,:,,,,Fu,ill , n,dut o n izac 1 ,5 rd deL aure nce E. 1~ Jr Désign!ng Public PolicY, Sc'Dtt , •
.11,(:,pdn:t;, ov, ci ,_,5.0
-
,•=,--,1,
.. ,., ' 1.-'/ •
La institucionalización de programas de análisis político y de administración
pública en las universidades, ha mantenido el impulso de las actividades interre-
lacionadas de la ciencia política y la administración pública. Los conceptos y
métodos de las ciencias sociales se han convertido en la parte medular de los pro-
gramas educativos que formaron a muchos de los funcionarios públicos y los
directivos de la programación; además, estos programas acentuaron el entrena-
miento para la investigación evaluativa. La importancia de las evaluaciones es
reconocida actualmente por quienes desempeñan papeles políticos o ejecutivos;
por ejemplo, la oficina de Contabilidad General, dependencia "guardián" del
Congreso, estableció un instituto de evaluación especial, en 1980, en respuesta
al interés de los congresistas en la conducción de programas de valorización. La
investigación evaluativa empieza a ser algo más que un asunto académico aisla-
do, pues ha tenido éxito en las actividades de la política social y la administra-
ción pública.
Por último, cabe hacer notar que en los últimos años se ha cuestionado seria-
mente la continua expansión de los programas de gobierno, ya se han incremen-
tado los requerimientos de efectividad y eficacia (Freeman y Solomon, 1979) y
las auditorías de los gastos gubernamentales. Referendums como la Proposición
13 de California (la cual limita la recaudación de impuestos locales) y las leyes
sunset (que estipulan la suspensión inmediata de los programas inefectivos) han
incrementado la demanda de evaluación sistemática (Adams y Sherman, 1978).
Paradójicamente, los políticos y fiscales conservadores, a menudo escépticos
hacia los métodos de la ciencia social, apoyan a los defensores de la expansión de
los programas de acción social que se necesitan para atender la información que
la evaluación puede proporcionar.
La evaluación debe reconocer la importancia de la embestida de los nuevos
tíempos en Estados Unidos. Los esfuerzos para controlar la inflación y revivir una
economía con déficit continúan mediante la restricción de los gastos federales,
incluidos, por supuesto, los destinados a los programas sociales. Una postura
similar se manifiesta en muchos estados y ciudades; las reacciones estatales y
locales contra la inflación suelen ser particularmente severas. Esto no es una sim-
ple consecuencia de la desconfianza, de la hostilidad y de las acciones políticas de
los miembros de la comunidad, desanimados por los gravosos incrementos de los
impuestos sobre los ingresos y las propiedades, sino también es causa del descon-

24 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES
tento que ha producido la larga serie de programas promovidos por políticos,
planificadores y funcionarios públicos desde la Segunda Guerra Mundial. Evi-
dentemente, la elección de Reagan para la presidencia, ha sido vista como una
medida para reducir, o por lo menos reorganizar, los programas sociales y huma-
nos. Las elecciones recientes en algunos países de Europa Occidental sugieren
que esto se ha convertido en un fenómeno común.
Dado el curso de los tiempos, cabe esperar un escrutinio de los programas
existentes, así como presiones para suspender o desechar aquellos que ofrez-
can una evidencia limitada de eficacia y de la eficaz prestación de servicios. Al
mismo tiempo, las evaluaciones serán necesarias para valorar las alternativas
económicas de los programas reducidos o abandonados y para revisar sus
medios de aplicación.
Estado actual de la
investigación evaluativa
El florecimiento de la investigación evaluativa seguramente se basa en los
esfuerzos de los científicos sociales comprometidos con estudios técnicos y
complejos destinados a lograr un cambio social progresivo (Berk y Rossi,
1976); sin embargo, quienes están cerca de la "línea de fuego" (los legisladores,
el planificador, el administrador del programa y el ejecutivo de la fundación)
constituyen verdaderamente el vehículo de la investigación evaluativa, pues
son los responsables, en primera instancia, del amplio crecimiento de la activi-
dad evaluativa. Su disposición para ordenar su desarrollo político e instrumen-
tación continuará siendo la mayor influencia en la dirección de los trabajos de la
investigación evaluativa.
No obstante lo anterior, cualesquiera que sean los valores sociales, las metas
y los objetivos de quienes ocupan puestos importantes, es indispensable tener
información acerca de la eficacia del programa y sus costos para aclarar el proce-
so de toma de decisiones que dirigirá el diseño y la ejecución de los programas y
las políticas sociales. El producto de la investigación evaluativa —su trabajo prác-
tico— ha alentado el crecimiento tan notable de este campo.
CONS1DERACIONES GENERALES ACERCA
DE LAS EVALUACIONES
Las evaluaciones se pueden emprender por varias razones (Chelimsky, 1978):
con propósitos administrativos y de conducción, para valorar la efectividad de
los cambios de un programa, para identificar los caminos diseñados para realizar
intervenciones o para satisfacer los requerimientos contables de los grupos de
apoyo. Dichas evaluaciones se pueden efectuar con propósitos de planificación y
políticos, para probar nuevas ideas acerca de cómo afrontar los problemas huma-
nos y comunitarios; para decidir si se expanden o suspenden los programas, y
para defender un programa que se opone a otro. Finalmente, la evaluación se pue-
de emprender para probar una hipótesis particular de la ciencia social o un prin-
cipio de práctica profesional (el programa particular estudiado para este caso
puede ser, principalmente, un problema de conveniencia).
LAS EVALUACIONES 25
Para cualquiera de tales propósitos, la clave es diseñar y poner en marcha
una evaluación tan objetiva como sea posible; es decir, que ofrezca una valoriza-
ción firme y que no cambie si la repiten los mismos evaluadores u otros.
Elementos de la evaluación
La extensión de cada evaluación depende, por supuesto, de sus própósitos
específicos. Más aún, la forma en que las interrogantes de la evaluación sean
formuladas y los métodos de investigación adoptados dependen del programa
evaluado de una intervención innovadora, de una modificación o expansión de
un esfuerzo existente o de un programa bien establecido para las actividades
permanentes de los servicios humanitarios.
La evaluación abarca varios grupos de actividades relacionadas. Es útil dis-
tinguir tres grandes clases de investigación evaluativa: el análisis relativo a la con-
ceptualización y el diseño de las intervenciones, la verificación de la puesta en
marcha del programa y la valoración de su utilidad. Aunque no siempre es posi-
ble hacer todo esto, la evaluación de muchos programas sociales necesita incluir
estas tres clases de actividades; las evaluaciones que los hacen se Ilaman evalua-
ciones integrales.
Un análisis detallado de las variaciones en las estrategias evaluativas, relacio-
nadas con los tipos de programas, es el tema cenral del capítulo 2. Aquí se estu-
diarán, en términos generales, los tres elementosde la evaluación y se listarán las
interrogantes más importantes de cada una.
Diseño y conceptualización
del programa
Las intervenciones, sobre todo durante la planificación y durante toda la
existencia del programa, se pueden considerat como solución de problemas
comunales percibidos o incipientes. El origen un programa social es el reco-
nocimiento de un "problema social" —es decir, rn conjunto díverso de defectos
en la condición social y humana— y la intención de realizar acciones objetivas y
organizadas para resolverlo. Por ejemplo, la trascendencia de un programa
para desarrollar las habilidades educativas, generalmente radica en el reconoci-
miento de que un número significativo de personas, en una población dada,
muestra deficiencias en sus habilidades para la lectura y las matemáticas. Un
programa en funciones se puede justificar por la persistencia de algún proble-
ma social: en las escuelas preparatorias la educación automovílístíca recibió
apoyo del público y está sujeta a evaluaciones debido al continuo y alto índice
de accidentes automovilísticos, sobre todo entre conductores adolescentes. En
el capítulo 2 se analizan las relaciones que hay entre la ídentifícación de proble-
mas, el diseño y la planificación de programas las actividades evaluativas. A
su vez, en el capítulo 3, se examina el "diagnóstico" de las actividades evaluati-
vas, esto es, los conceptos y procedimientos que permiten específicar un proble-
ma social y la manera de mejorar los diseños de las intervenciones apropiadas y
sus evaluaciones.
26 27
Interrogantes en el diseño y la conceptualización del programa
¿Cuál es la extensión y localización del problema por resolver, de la pobla-
ción objeto o de ambos?
¿El programa está diseñado de acuerdo con los objetivos?, ¿hay una explica-
ción coherente, que lo apoye?, ¿existen posibilidades de que su aplicación
se,a óptima?
¿Cuál es el presupuesto asignado o estimado y qué relación tiene con los
beneficios y con la efectividad?
El monitoreo y la responsabilidad por
la administración del programa
Existen muchas razones para verificar los programas. Primero, la adminis-
tración y el manejo de los programas de recursos humanos requieren eviden-
cias empíricas acerca de su costo y de las estimaciones tomadas. Cada vez más
existe preocupación por la carencia de información acerca de la responsabilidad
de los programas, particularmente de los públicos. Segundo, no hay punto de
comparación con el resultado de un proyecto particular, a menos que tomara
lugar y sirviera adecuadamente a los participantes.
Muchos programas no se ponen en marcha de acuerdo con su diseño origi-
nal. Algunas veces, el personal no se haya disponible o el equipo está descom-
puesto; otras veces, el personal puede ser prevenido políticamente o por otras
razones para abstenerse de actuar. Algunos miembros de los proyectos son
negligentes o no tienen motivación, o de plano no saben realizar las tareas enco-
mendadas. En otras ocasiones, aun la estimación errónea del presupuesto o la
misma inflación lleva a los integrantes del equipo a modificar sus esfuerzos.
Otras veces, los participantes del proyecto no existen en número suficiente, ni
pueden ser identificados precisamente o no cooperan como debieran; por
ejemplo, en ciertas comunidades, se han aportado fondos para desarrollar pro-
yectos en los cuales los participantes se identifican como niños con problemas
cardiacos hereditarios. Sin embargo, para algunos de esos proyectos, la partici-
pación de gente de la comunidad ha resultado tan costosa que los fondos son
insufícientes para el tratamiento.
El monitoreo puede alertar al personal del proyecto acerca de tales proble-
mas, al dar una explicación sistemática acerca de si se efectúa o no el programa,
si opera de acuerdo con el diseño, y si alcanza a la problación objeto específica.
Como resultado de tal evaluación, el equipo del programa de desayunos de las
escuelas de la ciudad de Nueva York descubrió serias deficiencias en sus servicios
(véase anexo 1.4). El monitoreo y la responsabilidad se analizan más detallada-
mente en el capítulo 4.
Anexo 1.4. El repor-te del monitoreo de
los programas de alimentación grattata
El iiiI del menitoreo tuvo cons htuido pcd- uitint lo on \periuncIJ en
clacación; nutrición e invesngación. y los serviciesa la niñez efectuaron yisitas a las
cscuelas de la ciudad de Nueva York parad rihir el programa de desayunos gra-
tuitos.
. delSe
tes
seleccionaion 2 1 CSCLICL1S de Ill1CVC dl q tritos y se entreVistóa los integran-
equipo escolar .de manera informal. Los monitores observaroriel salón de
sayunó Y las cotidicioiic de trabajo en la cocina; aciernás Se'ánalizaron 1322
cuestionarlol de los trabajadótes saíóri de desayunos.
En marzo de 1975, en Nueva York hubo un total de 1 292 esclielas
instituciones que sirvieron un promedio de 537 359 desaYunos diariarnente; de
ésos, el .90%era grattiltd. Hasta Unales de 19.75;no se habíariredticido préCios en c I
programa de .alirnentacióriescolar de la'ciudad de Ntieva Yóik, "perdya sé há hecho
en respuesta a la legislación federal qú lo di. u anda. Cerca del 57% de los niñoS Ins-
critos én escuelas elemenHés y ecundaririsson elegiblespara el desaYuno gratuito.
de ellos, el 87% partic,pa en 1 prOgrarna Cle desayunoS estólares. Si la reclücción de
precios estuviese disponible en lós de cáyunoS,los monifores .estirharían que, con
base en ercenso de 1970, quedabán ai in elegibies 250 000 rtifiós aspirantesa ella.
Cc)n-lo en )unio de. 1975,22 de los 32 distritos escolares comunitarios s' irvie-
wn un promeclio de 63 838 desayunos diarios en-365 esCuelas. Sólo el 13% de
los niñós elegibles 'en /a ciudad de Nueva Y ork reCibieron d. elayunb áratuito. Por
lo menos-400 000 . de los Otros, que ahora ton. Mr1 d. esayuno gtatutto, son elegi-
bles para él, pero no se les sírve.n.
Administración del prograrna
Los modlitores Cf1C0 ntraron que la distribucrán centralizacia de alunentos no es
ri,'oesariamente la más barata ni la rnanefatiliás eficai-cle proporcionar alitnento a
niños en edad escolar. Durante sti visita aTas esetielaS,-los monitores observaron
qu é el alimento compraclo al rnayóreo por medio delá Oficina de Desayunos Esco
lares frecuentemente era más costoso cle lo que podía haber sido en el mercacio
por eiemplo, el pullo ccaliprado por medio dela Oficina costó 0.67 dólare.s el
medio kilograrno, rnientras que el precio en el ínercadolOCal era de 0.47..clólares.
además, las escnelas oficiales se quejaban de,que la Oficina pdgdb¿i por grandes
entregas de productoS onlenados o que se podrían
Cuíidocl de los alimentos
Erigenexal. los rumlitures estaban poco satistechos con la apaliecia n y el
si delbs alimentos servidos en esos programaS. Ellós cálificarb¡i la,COMida
Lle sólo iieá cil:los 14 prógizimas cle. desayUnoS Yjde‘. 12 deicil'á0.:Prograinal de' al-
n-iuerzb viSitáCiós;".cOrno ',`Apetitosa en Cilátro
desaytmos y en 10almuerzos s¿lbía bien. EncOntraron "hot dogs7 corí hongos y
¿Jgrios. los frijoleS; así como mezclas inidentificableS de arroz y carne, rollos
antargós, verdüras pqdridas y otros pi itillos poco apietitoSdS.MaChbs :Idé lós pro-
qrarnas cle almuerzos v casi todos los desavurios no ofrecían. álternativas -en el
Algunos monitures inform¿Iron que había idna'gran parte dé niños mayo
tes gui. iurm cuandof,tio les gv,istaka el ciesayuno,.dejaban pocos residuos.
11

28 29

Plani,ficacián t distribucián del utenú Valoración de la utilidad del programa

Las escucla s. no distributan niena ¿Implja o regularniente. Ni los padres ni los
Obviamente, es importante conocer los grados de repercusión del programa
niños,conoeian el n lenü _con anticipación, ni I azron consultaclOS,para planificarlo,
n111-111Cji:ié aacitaéllOS lo osigieron en algunos escu,z'as r: Los monib9J-éS, „- notar9n .que en
y sus beneficios en relación con los costos. El primero es la efectividad o repercu-
una eseuela del lado (301-inferibib'de Esbados Unicios, ios sión del programa, y el segundo, su eficiencia (en el capítulo 8 se analizarán el
planificáión del ns un conel riáSultadb de gLIC ta.e;euela sers4M . costo-efectividad y el costo-eficiencia).
A,, nutritivos,'Nó se hiclercin praviSiones en cuantóa'dietas espétiales.b. p l obJ er,as.
„ „ A menos que el programa tenga una repercusión demostrable, es difícil
Atinque 10-.trabajadoiéS en el otainedOr -clljerqn Iiii.Oi .frecuentériteritelabían las pre- defender su puesta en marcha y su continuación; de aquí la necesidad de valo-
fer'encis dé.loá errvéz.dela,¿citadi ia, que o rar la repercusión. Sin embargo, el conocimiento de la efectividad es insuficien-
una rt:banada extra cle:Pán paya que hiciesen emparedados—, fueron incapaces de te en la mayoría de los casos; los resultados o la repercusión se deben estimar
influir en la (21aboraciÓn'fiel contra los costos iniciales. Algunos programas pueden no contar con apoyo
debido a sus altos costos en comparación con su repercusión; por ejemplo,
algunas universidades al afrontar problemas de'presupuesto, han finiquitado
Atmásfera en el cornecior sus programas de asesoramiento a los estudiantes, debido a sus altos costos y
ligeros resultados. Otros programas pueden ser ampliados, retenidos o termi-
Ntuchas escuelas contaban coipócos recursos a qi'andes canti, nados con base en su costo comparativo; por ejemplo, los resultados acerca de
clades de niños L.Os. comedores y los hórartos de sertitctiti algu-
vcces la repercusión del cuidado institucional, en oposición al comunitario, para ado-
rnuchos c'e4tie.,'¿1?ir'élt,y'tért.ritáírié'.10 lescentes infractores sugiere que los programas comunitarios son preferibles,
con sus abrigos (o debido a su bajo costo. La necesidad de determinar la relación de tales costos y
jimentos y para . salir a recrei la efectividad requiere una valoración eficaz.
¿orrita réstiltádo que
jaranrtkilláornida o dietan_de
jutIlr;17tiTSJ:tHir, c nDll lo que la atnaósterá.'re hacia demasiado rüldogi"e inconfo Valoración de la repercusión
para aquellos que aün comían, Existía Lina cintldad signlficativadebasuraymu
--,:txtescuelás:eyan catalog;-tdas 'COMO-dotadas
y los plsoS COnio iás áreas alrededor deló é basüil.eá Valorar la repercusión permite medir el grado en que un programa origina
atcstacas, m)entras que en cytras cambios en una dirección deseada, lo cual implica que existe un conjunto de
metas específicas definidas operacionalmente y criterios de éxito. Un programa
con repercusión permite lograr cambios o movimientos hacia los objetivos
Sepcirgtián cle gülenés recibían el deseados. Estos objetivos pueden ser de comportamiento social (como los de
.gratuíto de /us cierlitís ustucliontes los analfabetas funcionales con nivel bajo o las deficiencias nutricionales entre los
nirios), de relación con la comunidad (como los que reducen la frecuencia de cier-
Ekistta evidencia r de'que los-niños•: que recibían gratuitomonte el almuerzu y tos delitos) o físicos (como los que reducen la contaminación del agua o incre-
aqueililue, pagaban porél odlevaban ersuyo sé S-eparaban. De las ecuelas vlsita- mentan el número de viajes en autobús para conformar un horario).
das qUe seriiían almuerzos gratuitos y paqados, la rnitad separaban a los niños que Para realizar la evaluación de la repercusión, el evaluador necesita un plan
no pagzHn, manbanían filas diferentes, rnesas sepandas yío usaban boletos en vez destinado a recolectar datos, con el fin de demostrar de modo persuasivo que los
de dinero.
cambios están en función de la intervención y no pueden ser explicados de otra
manera. Los planes específicos para valorar la repercusión pueden variar consi-
Tt 1, 1 5 I Oç Fi p ,
s,dniufu us 0111,2 1` /u York CIty,
derablemente: algunas veces es posible usar diseños experimentales clásicos en
Iln,1-5t1,n 11,r 1ril d U
los que existen grupos control y experimentales, los cuales reciben tratamientos
diferentes y se constituyen por medio de una selección al azar. Las estrategias
básicas para analizar la repercusión se encuentran en el capítulo 5, y los experi-
mentos aleatorios se estudian en el capítulo 6.
Interrc,gantcs dcl prograrna cle verificación Sin embargo, por razones prácticas a menudo se requiere emplear enfoques
estadísticos en lugar de experimentos verdaderos. Los experimentos no aleato-
¿Aharcd (21 programa a la p J. 1 acu nobjetooaJ ra. objetivo es rios y los métodos no experimentales se utilizan comúnmente en la valoración de
¿Se:realtzan los csfuer¿os de irderjOri .élti'Cbirilsp'.1s0Cifi el diseño del la repercusíón. Con el cuidado y las calificaciones apropiaclos, tales dise'ños no
programa?.,
experimentales pueden dar una estimación razonablemente firme de los efectos.
Esos diseños se analizan en los capítulos 6 y 7.

30 CAP. 1. PROGRAMAS, POLITICAS Y EVALUAC1ONES
Las evaluaciones de las repercusiones son esenciales cuando existe un inte-
rés en cualquiera de los casos (comparar programas diferentes o probar la utili-
dad de esfuerzos nuevos) para reducir un problema comunitario particular. Un
ejemplo a este respecto es la evaluacón de un programa para optimizar el des-
arrollo psicológico en niños (véase el anexo 1.5).
AfleX0 1.5. Cttidado infantil diurno
¿Asisteii. los infantes a:uri centro grupal de cuidado bien ideado, educativo y
.xesp g nsablelos cinco días . dé la sernana, clurante un poco más de 100
qüe muestran:diferentes patrones de,desarrollo psicológico en transcurso o al
final de ese periodo, cuando. se Compara con ninos dél rnismo sen.y.anteteden,
tes familiares que son relegádos en el context() ,sociar familiar
noreste de Estados .Unidos?
le Una investigaCión a largo.plazo se di senO para-valurar los efectos psicológic,os.
un prograrna experirnental realiza clo acerCa . del rno de niñOS entre lál
adades . de y 29 .rneses..-.LOs'sujétos'fueráñ-Chitias'9...Caitásicos defárnilias dela
claSe- :frabajadórá' vinediá;-'161. Ctiales ft.jeran Cutdadól:Paitist grüpo de asistenéla
,ocial especial 'en un centro, duránte de la sernana; el gru-
po control principal estuvo constituido rd1-11MC relegadéks totalmente. a su . casa y
comparables cOri los niños experimentales en tii , rminos de sexo, clase socia19 rela-
ción étnica.
La cuestión central que pr(Y.'0 n16 la investigación se puede contestar COIlclerta
, eguridad: atendey ith centro de cuidzIclo cliunto con empleadosaclultos conscientes
y educativos duranteios 2.5 a .ños nu;pareciti et , ear ult perfil psicológico 'diferente
del crado por la permaneriCia en el:hOgar ,de lOs'nifícis control. Esta concluSión se
basa .na ..sÓló . en'la . .vatoración gian interés en el .carnpo del cuidado de la salud. En Estados Unidose1 interes ha
tárribtérferflas pbsertracioná.triforrnales
de las'rtiñOS
. • durarité
. él periddci'de
. 2  añOs. nci ¿onfirm
.— an :I'atias
t • rtocto-
nes cpriáticlas acerca de Ids grupos de culd¿Rio. Aunque esrazonable presurnir
que
encúentradiari .o'Con otroSioños durante los pnmerus doS arios podría aCelerar la
rnaduraciórt de .las secuenclaS interaccio: tales sociales vistas en nitios de 3 y.4:años,
lás datps recabádos riq'apóstaron significatiVamente .e.sta predicción. Las niños de
2ii.y.. 25MeSes de edatinó füerón :Muy'sociablés ni iniciaban juegos con 'otres niñós.
LoS . juegos:cooperativos y agresivos no se vieron flenteente
roca rri entre arnbos gru-
póS: Habia nirios tímidos tanto entre-e1; ..grupo de culdado diurno Corno . entre :lps
iños de contipi hogareño. De hecho ocasión los -autores sattlficiéróri 1u.
ctiriósidad acerca de .uria-niña:. qUe:nolmalmente cra poco tírnida, con una semejan-
te . extraña-énila : Valóraéión para : 20 . inese s y enviaron una pariente al centro de cui-
dado.dítirno. La niria • Se refügió de inine d,ato con Sll ITIZ1CStro del centro de éuidado
penSaba que aúnestaba erisu territorío.:Los niños del centró de cuidá;
.do no',fueróri'mas.Coóperativos ni rnás agrestvoS que'14. niñós control en Erí
reuine1-1;11á evaluáción:. reki. e. 10 una función de -creCimiento similar entre los nmos
contráLdel hogar -ccirrio. :en . los del centro dé cuidado.
-
Fuente: Adáptádb de Kagani Eilects of
, Devel6pmentr;_ en Eváluatioh
n 7I n .11 Quarté,Iy. .
de19. 7:7, ; p;Igs 1(19?.1.42
.
31
Valoraciones de la eficacia
Desde que los recursos presentan problemas constantes que se agravan, el
programa requiere valorar la eficacia. Las intervenciones compiten unas con
otras para captar fondos de las fundaciones, de los organismos intemacíonales y
de los diversos niveles del gobierno. Asimismo, las intervenciones específicas en
los programas, suelen competir por fondos y recursos. Frecuentemente, se debe
escoger entre programas con fondos y sin ellos, continuos y discontinuos, y
amplios o restringidos uno respecto del otro.
Por lo menos una de las consideraciones que implican lo anterior concierne
áeinandS a lo económico: ¿un programa produce suficientes beneficios en comparación
con los gastos realizados?, ¿es un intento por producir un beneficio particular a
un costo bajo, por unidad de resultado, respecto de las otras intervenciones o la
entrega del servicio se ha diseñado para lograr la misma meta? Las técnicas
para responder este tipo de preguntas, tienen dos enfoques relacionados: los
análisis del costo por beneficio y los análisis del costo por efectividad (para un
ejemplo del análisis del costo por beneficio, véase el anexo 1.6). Las ideas con
las que se destacan los dos enfoques y los ejemplos ulteriores de ellas se presen-
tan en el capítulo 8.
Anexo 1.6. Cirugía ambulztnte
en un hurnano
En años recientes, el sujeto tratado en cirugía arnbulante há llegado a tener un
do estimuladp por la'apertura del centro de cuidado quirúrgico gratttito a lo largo
del país, y por los esfuerzos en incrernento de las ágencias reguladoras de la sdlud
para contener'el aurnento tan rápidó .de las costos en el cuidado=de aqUella:
El estudio es un exarnen retrospectivo de los datos tórnados de un sistema de
cuidado rnedico autocontenido, que incluyó un cambio en los servictos quirúrgicas,
de su hOsPital..E1 'servicio dé cirügía ambulatoría queproporciona es sírnilar al ofre-
ido en los centrós de ctiidado quirúrgico de estancia libre. Los cirujanos delKalser-
Permanent_MediCál Caré Program (PrO§rarna de .Cúidado médico permanente Kat-
er) "dé Poitland,.Oregon, han practicado "Oirugía arnbulatoria durante más de 20
áños. En 1961-,.el . 10%de los pacientes que habían pasado por cirugía en los cuartos
peratórioS del-hospital_no fueron admitidos antes o después de la cirugía. A su vez
en 1977, cerOa de1419.(Dde los pacientes que habían pasado por cirugía ambulatoria
del programano fueron alniticlos en el hospital.
AturdisiS del ohcn rro en los costos
mvestigaron las dderencias dcl prc,ccsot I ambulatorias
igt'--s'iifiu
nd '- i'a 'sL
la interna,'y encontr6 ;. ciúe la única difcrenc íca()d
tt\;-11: 1. 2,7
14(kitítLtkno se
admitieron lós pacientes arribblantes (salva costos paralol págetit0.1ittelos),
ea Olue usaban más tiernrio cuartos tielry nternos. Estas
ron cdmol g iáüe : :Pará'hallar tos 'ahorrosen:e
ci costo:
o)iertos:procedirriientoS
ta la mPdalidad interna a ambulatória'éálátlái.t;hi
en, la presuncton de que ,(excepto I ,.)Igunos casos notados el costodel 143n-
a.rvá
,


32 33

.'lisis de los prOceddmientos seleOcIónados) . 1a cirucla ambnlatoria no esiába c1,4ponl-

. ble y, por tanto, podrían haber sido admin dos Po r ellocuatidio:él . Procedirniento se Interrogantes acerca de la utilidad del programa
7ealizó.corneren , e1 . caso ambulatorio se ala-O rr arortéoltós'd'elnternarló:lOS cnales
Meluyen el servicio de rutin por costb de internado y , el'coMO del doetor pár visitar ¿Es efectivo el programa para lograr sus metas?
at intérno v son parcialMente influidos pór el costo extra dél llempo en el cuarto de ¿Se pueden explicar los resultados del programa por medio de algún proce-
recuperacIón del Pacierrte arnbulatorio, el cua1 s Mayor que paia los Internos. so alternativo, el cual no está previsto por dicho programa?
25raty ¿Tiene el programa algunos efectos que no se planearon?
¿Cuáles son los costos de entrega de servicios y beneficios para los partici-
AhOrros;en los; eostos por caso ambulatorlo medlante proccrlimientos selectos pantes del programa?
!(basados en loS prócedinnentos arnbülatorios de 1974, áplicadd a -dólares de 1977) ¿Utiliza el programa eficazmente los recursos, en comparación con los usos
i alternativos de los mismos?
, •
total SustracélÓn del Costo total.
ór pactenté costo del cihorrado
por caso
ra ián lat ETAPAS DEL PROGRAMA
113.41ataaión y curációcfeUútekT1,. 1 54
Etlrpactón y dé,Strude(óri':dé.iél Como se vio en párrafos anteriores, las evaluaciones se realizan para res-
Lven, la piel y el tejido sub-cutkne0
;_ i, 16 . ponder a una variedad de interrogantes relacionadas con las listadas en los
Ilgarnento lateral y divisl¿n déla tres enfoques de la investigación evaluativa: la conceptualización y el diseño
trompás de Falopio'y del programa, la puesta en marcha del programa (monitoreo y explicación) y
salpingectornía bilaterai 2 05 la utilidad del programa (valoración de la repercusión y de la eficacia). Ade-
Miringotomía - 4.32 más de tratar estas interrogantes, una evaluación se debe adecuar a la etapa
(> 131opsia del seno niastectorjifái
del desarrollo de la intervención que se ubica. Esto se puede encontrar al loca-
.pareiál ' •,
Extlrpaciórt de la leslón clel
lizar al programa en un continuo cuyos polos sean los programas "innovado-
muscular y faSclá res" y los programas "establecidos", con puntos intermedios en algún sitio
EX'plórión y neurolisis entre los polos, y que señalen las necesidades de "refinamiento", "modifica-
J:perifiérko ción" o "afinación". Mientras que los mismos procedimientos genéricos
,.Clreuncisión caracterizan todas las evaluaciones, el estado de desarrollo de un programa
parcia1del —al que se hará referencia como la etapa del programa— determina el nivel de
I•tráVe'OtO -mía (éoni,iació111 esfuerzo y los procedimientos técnicos seguidos durante la evaluación.
ITOdos los procediMientos .
selecciOnaclos (tasa promedgi.:
casos 21.9, Evaluación de programas innovadores

onclusiones
. . _
n este ..41.tilfii •sa .'ericoritro-atielá . éttilafá:ár03alaiit . paedé ah"„..<.-iiar-gf-bn-cnriff:•
dad de.dinero : para los constmuclí,res de ciii Lidosaii la s¿alud-rl se ejer utara a nivel
nacionaLenuna proporelon sunilar ,7)1 estudlo hectio,-se ahárrarían.apttOmáda-
i-nchte'750-nrlit anualtriérite.•'(áSaddeiiigrIf4'.'de-19,1».). -1-árn-
blén'se encontró que Ids pacrel n tes n,))Ositii-6VééClél-es de cuidados estaban satisfe-
chos con, • la cirugía ambulante y que'-la•cálidad,del , cuidado era muy _ alta.
Los resultadoS del estudiO indican clararnente que un- programa de cirugía
arnbulante,podriajSer beneficoal , sisteina,:tptaLdeuiliOps , en la salud. Él estudio
: tambien rétrela-í. rré tal progranía,se,Todría'gjecutarlácilmer4.
.20?'
PuésteY, 'Ad.,-,p-tn-dó, cnri
n;o1 xt,111. 1,14 , rer.c, : tle 1 50 ;gs:' 127 1,1;0.
Las intervenciones nuevas son relativamente raras. Muchos programas pre-
sentados como "nuevos e innovadores" suelen ser modificaciones de las prácticas
ya existentes. Lo que hace innovadora a una intervención es que el "tratamien-
to" no se haya aplicado nunca a la población específica. Puede haber sido proba-
do en pequeña escala, demostrados sus juicios de manera impresionista, pero
nunca con el intento de ponerlo en marcha en gran escala.
En términos nuestros, un programa innovador es aquel que no ha estado
sujeto a ejecución y valoración en los siguientes puntos:
1 La intervención misma está en una fase de desarrollo y de investigación
emergente; es decir, no hay evidencia (o está muy limitada) de que ejer-
ce un efecto en un programa establecido. Por ejemplo, los hospicios, que
se instalaron con propósitos no médicos para pacientes enfermos en vías
de recuperación, están siendo evaluados como una opción innovadora
para la hospitalización prolongada. Aunque los hospicios han funcionado
34 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES
durante muchos años, sólo recientemente se les ha considerado como
una amplia posibilidad, la cual quizá deba tenerse en cuenta para merecer
el apoyo gubernamental o de fundaciones nacionales.
La entrega de sistemas o parte de ellos no se ha probado adecuadamente.
Tal programa podría incluir la idea no probada de tener estudiantes de
nivel medio y dar educación nutrícional e información a los ancianos.
Los objetivos de los programas son nuevos o amplios. Una interven-
ción de este tipo puede ofrecer entrenamiento de lenguaje por medio
de cintas grabadas, para escolásticos inmigrantes, quienes no están
presentes en gran número para justificar los programas educativos
bilingües en escuelas individuales.
4. Un programa, originalmente tomado en respuesta a un objetivo, se conti-
núa o amplía a causa de su trascendencia en otros objetivos; por ejemplo,
un programa mediante el cual se proporciona automóviles marcados a la
policía para el uso de su personal, puede haber sido iniciado con el fin de
disminuir el índice de delincuencia, pero se continúa para restringir la
inestabilidad del trabajo y mantener a la policía cerca de sus distritos.
Evaluación del refinamiento
Una vez que el programa está en marcha, es importante probar las diversas
formas de su funcionamiento. La mayor razón para hacer esto es mejorar su efi-
cacia, o sea, incrementar la magnitud de su repercusión o disminuir sus costos
por unidad de repercusión. Un ejemplo de lo anterior podría ser un programa de
instrucción semanal para niños pobres que mejoren sus habilidades en un grado
aceptable, pero que el equipo de trabajo considera que podría ser más efectivo si
los niños tuvieran oportunidad de aprender una vez a la semana. De acuerdo con
esto, se evaluó e incluyó un programa complementario de "tareas para la casa".
Un ejemplo de lo anterior es el programa que comprende tres meses de asesoría
diaria para alcohólicos recién salidos del hospital. Como el costo del programa
era muy alto, se hizo la evaluación para valorar la reducción del programa de tres
meses a dos.
Existen otras razones para depurar las evaluaciones. Una es dar los servicios
de manera equitativa, esto es, que los servicios del programa se den a la población
objeto al mismo tiempo que se proporcionan a las personas de la población en
general. En una clínica dedicada al cuidado de la salud, esto implicaría establecer
un programa de citas, con lo que se conseguiría abatír el tiempo de espera. Aquí el
resultado podría ser si se han satisfecho o no las necesidades del paciente; con un
buen sistema de entrega, esto se incrementaría sin pérdida de eficiencia. Otra base
para depurar un programa es reducir las deserciones de la población objeto. En
nuestra clínica hipotética, esto podría ser un razonamiento secundario por ejecutar
después del sistema de citas.
Cabe destacar que no existe una división clara entre innovador y depurado,
este último también conocido como esfuerzo de modificación. Algunas veces
los cambios que se prueban son menores y fácilmentes modificables. Sin embar-
go, en otras son costosos y pueden estar ampliamente ramificados en la red de
servicios; por ejemplo, la depuración que en un principio integró a los centros
¿CóMO SE USAN LAS EVALUACIONES? 35
comunitarios para la salud con los hospitales de enseñanza, no cambia el con-
cepto básico que apoya el servicio de cuidados médicos a personas con bajos
ingresos. No obstante, puede tener mayores consecuencias en el costo de tales
cuidados, desde el punto de vista nacional, y alterar marcadamente la calidad
del servicio recibido.
Evaluación de programas establecidos
Los programas que establece la legislación, y aun aquellos con décadas de
existencia, pueden estar sujetos a evaluación debido a causas diferentes. Prime-
ro, un programa se pudo establecer debido a múltiples razones externas y/o polí-
ticas, de modo que es importante, para justificar su continuación, expansión o
terminación, tener un programa de computadora y el rango de sus beneficios por
costo. Los cambios en la disponibilidad de recursos, puntos de vista, prioridad de
los miembros de la comunidad y las declinaciones reales o afirmadas en la magni-
tud del programa objetivo, pueden originar actividades evaluativas. Quizá más
importante al estimular la evaluación de un programa establecido sea la suposi-
ción de que los programas son deficientes. Incluso, como ya se mencionó, los
programas estatales y locales y el creciente número de los federales deben cum-
plir los requisitos de la legislación vigente, la cual dispone de un programa regu-
lar de revisiones y terminaciones "automáticas" de los programas que no pueden
demostrar su utilidad. Las evaluaciones de los programas establecidos pueden en-
focarse en los rangos de los efectos y en costo por beneficio; sin embargo, a menu-
do, las valoraciones se limitan a examinar la entrega de servicios. En tales casos, la
evaluación se centra en las interrogantes del monitoreo: si se sirve o no a los gru-
pos objetivo apropiados y la extensión en que el personal del programa y la admi-
nistración cumplen los requisitos con respecto a la calidad de servicios entregados.
El área de servicios humanos es altamente susceptible al cuestionamiento serio y
responsable, acerca de cómo se realizan los programas, así como respecto de los
ataques políticos o de la publicidad. Los resultados de la evaluación (o sea, los ori-
ginados por la verificación del programa y los causados al evaluar la eficacia y la
trascendencia) pueden influir en las decisiones acerca de la expansión, continua-
ción o terminación del programa, así como en las decisiones de las organizaciones
que son responsables del mismo.
¿C(5/§40 SE USAN LAS EVALUACIONES?
Efectuar evaluaciones no sólo es diferente de acuerdo con el estado del pro-
grama desarrollado, sino también con el uso que se les dé. En el alcance y diseño
de las evaluaciones se deben tener en cuenta los usos múltiples; sin embargo, no
existe una distinción clara. Aunque el rango de usos nunca se puede describir
específicamente, es posible considerar los usos de la evaluación en términos de la
forma de tomar decisiones. El uso también se puede examinar en términos de las
consecuencias o ramificaciones del esfuerzo evaluativo. Ambas perspectivas son
adecuadas con respecto a cómo los evaluadores desarrollan su trabajo.

36
Formas de las tomas de decisiones
Como en toda investigación aplicada, las evaluaciones se efectúan para
influir en las acciones y actividades de los individuos y grupos que pueden unir
sus acciones para obtener resultados derivados del esfuerzo evaluativo. En el
caso más simple, los resultados se dirigen a un ejecutivo individual, como un
oficial clave en el servicio público, quien tiene la autoridad y responsabilidad de
colocar recursos y así establecer un programa de servicios humanos; por ejem-
plo, dentro de ciertos límites, los jefes de policía pueden decidir cómo asignar a
sus oficiales, cómo estructurar la comunicación entre las diferentes divisiones y
cómo tratar las emergencias y otros sucesos imprevistos.
En otros casos, la situación es más compleja; una gran variedad de partes
influyen en la forma de diseñar y ejecutar los programas de recursos humanos;
por ejemplo, la iniciativa de un seguro nacional para la salud podría requerir con-
venios, en programas delineados, para ramas ejecutivas y del congreso del
gobierno federal, e implicar la atención de las opiniones y el interés de mucha
gente evaluada, incluidos los profesionistas en el área de la salud y sus organiza-
ciones, grupos de trabajo y manejo, aseguradores y agregados de consumo. Las
permutaciones y combinaciones variadas de evaluados, así como el rango de
influencia y el proceso de toma de decisiones encontradas mediante las activida-
des de recursos humanos, están sujetas a indagaciones especulativas y sisternáti-
cas. Existen tres posibilidades para la toma de decisiones, las cuales se estudiarán
en seguida.
Decisión de continuar o no continuar
En varios puntos de la programación de servicios humanos se requieren ac-
ciones decisivas; por ejemplo, la Secretaría de Salud y Servicios Humanos debe
recomendar al Congreso o a la Casa Blanca si se debe o no dar entrenamiento a las
distintas categorías de practicantes en el área de la salud, cuáles pacientes admitir
en los hospitales auspiciados por el gobierno, los requerimientos para elegir los
programas de bienestar, etc. En un nivel local, los superintendentes y las juntas
escolares pueden decidir si se impone o no un ordenamiento acerca del tamaño del
salón de clases, con el fin de establecer un programa de estudio-trabajo para estu-
diantes de secundaria o para terminar la instrucción preprimaria.
Relativamente, existen pocos casos en los que las decisiones se basan sólo en
los resultados de la evaluación, aunque si estos resultados son convincentes y los
estudios son defendibles desde el punto de vista de rigor, pueden dominar la
toma de decisiones.
Desarrollo de una fundamentación para la acción
A menudo, las evaluaciones influyen en la toma de decisiones, a saber; las
consideraciones prácticas, políticas y de los recursos, así como la sabiduría y la
experiencia de aquellos con influencia. Algunas veces, las evaluaciones afec-
tan directamente la fundamentación esencial de un programa y, en consecuen-
¿CóMO SE USAN LAS EVALUACIONES? 37
cia, las divisiones profesionales, políticas y legales acerca de ello; por ejemplo,
la presión para desinstitucionalizar el tratamiento para enfermos mentales y
personas retardadas está acompañado de numerosas conclusiones prácticas,
políticas y legales. La primera orden dada por un tribunal con respecto a la
desinstitucionalización de las facultades otorgadas por el Estado para retarda-
dos mentales, fue acompariada por una evaluación pagada, con el fin de termi-
nar las consecuencias de esta desinstitucionalización en las personas severa-
mente retardadas, sus familias y los miembros de la comunidad que viviesen
junto a donde ellos podían residir. Los resultados podían tener importantes
consecuencias para la legislación futura y para las decisiones legales en varios
estados e incluso a nivel nacional.
Otras veces, las decisiones tienen un efecto indirecto o diferido. Las que se
tomaron para desarrollar el conocimiento o para los objetivos de un programa
particular pueden tener una repercusión subsecuente. Esta repercusión evalua-
tiva es referida algunas veces como uso conceptual de los resultados de la eva-
luación; por ejemplo, hace algunos años mediante estudios cuidadosamente
controlados se examinó la repercusión de la psicoterapia en las prisiones. Los
resultados demostraron que la psicoterapia tenía utilidad limitada, si existía
alguna, misma que estaba disponible desde varios años antes de que existiera
preocupación acerca de su eficacia en los programas de rehabilitación con pri-
sioneros (Kassebaum et al., 1971). Los esfuerzos para ampliar la psicoterapia
en las prisiones, incluidas las acciones de la corte, resultaron poco útiles ante la
evidencia de la ineficacia, la cual contó con la evaluación previa. En este senti-
do, aunque con dificultad para ponderarlas, las evaluaciones pueden contribuir
seriamente en el área de los servicios humanos. Asimismo, las evaluaciones sir-
ven para "disciplinar" el programa de toma de decisiones. Como se verá más
adelante, el énfasis de las evaluaciones sobre metas explícitas, los criterios o la
especificación de actividades intervenidas, puede influir en cuanto pesen otras
decisiones importantes que se hayan dado.
Legitimidad y explicación
Las evaluaciones también pueden servir a cualquier programa ya sea de opo-
nentes o seguidores, como inicio a los descuidos de los programas. La informa-
ción acerca de cómo se han realizado las intervenciones, la extensión en que han
alcanzado sus objetivos, su repercusión y sus costos pueden ayudar a los seguido-
res de un problema en particular a tener cuidado de sus oponentes o viceversa.
La legitimización se puede requerir en niveles diferentes; por ejemplo, la junta
de trabajo de una fundación que apoya el programa de salud en una escuela
podría estar preocupada por que se tratara o no a un número de niños suficien-
te y por el costo del cuidado de cada niño como unidad. La administración estatal
de ese programa podría usar los reportes regulares de tal información para esti-
mar la producción y el desempeño de los grupos de trabajó sobre salud en la
escuela, los cuales se localizaban en los sistemas escolares en todo el Estado.
Por supuesto, las evaluaciones de los objetivos de la legitimización no tie-
nen como finalidad justificar el statu quo con respecto del programa. Más bien,
alertan a los financiadores del programa o a los administradores acerca de
38 CAP. 1. PROGRAMAS, POL1TICAS Y EVALUACIONES ¿QUIÉN REALIZA LAS EVALUAC1ONES? 39
..puntos débiles" y sirven como base para la modificación, expansión o reduc-
ción de las intervenciones; por ejemplo, en el distrito, los diferentes índices de
personas inválidas que regresan a sus labores, podrían sugerir al director de la
agencia estatal que se necesita reubicar los recursos humanos o trazar de nuevo
los límites del distrito para centrar la atención en los grupos de población con
grandes necesidades.
La política y los estudios administrativos
La bibliografía acerca de la investigación evaluativa, o sea, muchos de los
comentarios en las diversas investigaciones aplicadas, se refiere a la "adecuación
política" del trabajo en el campo. Las evaluaciones políticas se pueden describir,
en general, como aquellas que tienen un efecto potencial en grandes sectores de
la población, o que originan cambíos operativos mayores en la estructura y las
actividades de los grupos participantes, o que son críticos para ubicar los recur-
sos monetarios, humanos u otros. Marginalmente, es fácil separar a la política de
las evaluaciones administrativas; sin embargo, en la práctica la distinción recae
en la manera en que los evaluados perciben las consecuencias de la valoración;
por ejemplo, es evidente que la evaluación de un programa como P/aza Sésamo
se puede considerar un estudio político. Los resultados tienen implicaciones
sobre los fondos públicos, los requerimientos para los canales de televisión con
respecto a la asignación de tiempo para la transmisión pública, y los tipos de
otros programas relacionados con el aprendizaje de la lectura o la enseñanza. En
contraste, la decisión de una agencia del gobierno acerca de evaluar "el tiempo
flexible" para su grupo profesional (al permitirles trabajar a veces en lo que ellos
escojan, conforme cumplan con el número requerido de horas) se puede consi-
derar una evaluación administrativa, aunque pueda influir en múltiples personas,
incluidos los grupos de otras agencias, los clientes y las familias de los mismos
trabajadores.
Ciertamente, conforme las evaluaciones son más generales y permiten tomar
decisiones costosas y difíciles (esto es, cuando los cambios que se efectúan influyan
chrecta e indirectamente en un gran número de personas), son más factibles de
rotularse como "evaluación política". Sin embargo, es importante que la extensión
de las evaluaciones políticas no se destaque sobremanera y que la relevancia de la
valoración administrativa no disminuya. En muchos programas, pequeños y
grandes, la evaluación de la tecnología, de los cambios en los procedimientos
burocráticos y de las modificaciones menores en la entrega de sistemas, puede
tener consecuencias importantes en la efectividad y eficacia de los mismos.
También cabe destacar que la dístinción entre política y estudios técnicos
administrativos es artificial. En parte, depende de la perspectiva desde la cual
se determine el nivel de evaluación; por ejemplo, muchos podrían considerar
que una forma de disminuir el índice de delincuencia de usar autos policiales
como autos personales, parece un estudio técnico o administrativo. Sin
embargo, para administradores políticos, las materias de costos, responsabili-
dad del seguro, moral policiaca y aceptación pública aumentan las responsa-
bilidades políticas.
La manera en que se percibe un estudio depende de lo que es el programa y
de cómo se formula. Existen dos programas nacionales de salud infantil, apoya-
dos y evaluados por el gobierno. Uno, realizado en la UCLA (Universidad de
California en Los Ángeles), consiste en desarrollar centros ambulantes de cui-
dado primario en escuelas públícas, atendidos por enfermeras practicantes
(con médicos internos), quíenes dan servicio a nirios de familias con escasos
recursos. Si es eficaz y eficiente, podría ser un modelo para el programa nacio-
nal que cuenta con apoyo federal. La naturaleza de la intervención minimiza las
oportunidades para estudiar los componentes individuales del programa; sólo
una interrogante de intervención amplia podría brindar una valoración total. El
segundo programa fue evaluado por la Rand Corporation (Corporación Rand)
y se diserió para mejorar la salud dental de los escolares; es un experimento en
el que numerosos escolares, en todos los Estados Unidos son asignados a pro-
gramas de tratamíento diferentes. El tratamiento más completo consiste en un
curso acerca de educación de salud dental, el cepillado y uso de hilo para los
dientes, la fluorhidracíón de éstos y una aplicación anual de un obturador que
rellene las cavidades. El diseño del experimento permite estudiar la repercusión
y el cbsto por beneficio de los componentes del programa por separado, en todas
las combinaciones posibles. Según los resultados, se podrían poner en marcha
programas elementales individuales. Por varias razones, esto se podría conside-
rar un estudio técnico masivo; pero el grupo de la fundación apoyadora y los
diseñadores en el área de la salud lo consideran un estudio a nivel político, debido
al efecto de los costos en el cuidado de la salud dental, incluida su influencia en el
trabajo de los dentistas particulares, todo lo cual prueba si es eficaz (Robert
Wood Johnson Foundation, 1980).
Por supuesto, el nivel de la evaluación tiene consecuencias en su diseño y eje-
cución en términos de fondos, tiempo para su terminación y sus requerimientos
de gente. Los evaluadores exitosos son aquellos que se han clasificado a sí mis-
mos, a sus apoyos y al equipo de trabajo, acerca de cómo debe usarse la evalua-
ción y sus niveles de aplicacíón. Esto es necesario siempre que la evaluación sea
un programa innovador, un programa con exigencias de depuración o un pro-
grama establecido.
¿QUIÉN REALIZA LAS EVALUACIONES?
Los estudios para evaluaciones sistemáticas se basan en las técnicas de
investigación en ciencia social, que tíenen aplicación en estudios evaluativos.
Por consiguiente, muchos especialistas en evaluación han tenido entrenamien-
to en ciencia social. A primera vista, las personas poco relacionadas con la
investigación evaluativa difícilmente podrían comprender los análisis profesio-
nales de las evaluaciones. Como en otros campos profesionales, los evaluadores
han desarrollado su propio vocabulario, sus expresiones taquigráficas y sus re-
glas para efectuar el trabajo. Uno de los principales propósitos de esta obra es pre-
sentar al lector este lenguaje especial que emplea el evaluador. Para facilitar el
aprendizaje del vocabulario, al príncipio de cada capítulo aparece un glosario téc-
nico especializado con el nombre de conceptos principales.
Parte de la complejidad de la evaluación se debe a la tendencia de algunos pro-
fesionales de desarrollar su propío lenguaje, pero parte de esas necesidades, en
cuanto a terminología especial, deriva del concepto único y de los desarrollos inter-
nos propios de cada campo. En un nivel mayor de complejidad, las actividades
40 CAP. 1. PROGRAMAS, POLITICAS Y EVALUACIONES

evaluativas pueden ser técnicamente complicadas, complejas en su concepción,

costo y larga duración, por lo cual requieren la participación dedicada de especia-
listas altamente entrenados y con habilidad para asimilar la teoría de la ciencia
social, los métodos de investigación y las técnícas estadísticas. Estas evaluaciones
altamente complejas son realizadas por grupos especializados en evaluación. En el
otro extremo, existen muchas habilidades de evaluación que pueden comprender
y completar fácilmente personas con poca experiencia.
Uno de los propósitos de esta obra es ofrecer a todos aquellos cuyas posicio-
nes actuales, intereses académicos o su natural curiosidad los inspiran a querer Cómo integrar
aprender la forma de realizar las evaluaciones. El objetivo es ayudar a las perso-
nas encargadas de la administración y el manejo de programas de recursos
humanos, con suficiente comprensión de las tareas evaluativas y sus actividades,
las
no sólo a juzgar por sí mismas qué géneros de evaluaciones son apropiados a
sus programas y proyectos, sino también comprender los resultados de estu-
dios completos adecuados para su organización. Se ha tratado de escribir una
evaluaciones
obra que sea útil para aquellos que realizan (o planean realizar) evaluaciones,
para quienes las contratan, para quienes supervisan personal y para quienes
Cada evaluador no puede ser un planeador y un ejecutor de programas; sin embargo,
son consumidores de la investigación evaluativa realizada por otros. las relaciones entre el programa y su evaluación requieren una comprensión mutua de las
habilidades y del proceso en que participan ambas pa:rtes —de aquí la necesidad de consi-
derar la planeación, el diseño y la ejecución del programa. Cada evaluación se debe inte-
grar a su programa. Las tareas emprendidas por los evaluadores son diferentes en varios
sentidos, según la etapa de actividad en que se desarrollan y las necesidades e intereses de
los evaluadores, como los políticos, administradores del programa y grupos financieros.

CONCEPTOS PRINCIPALES

Va/oración de /a eva/uación: Conjunto de procedimientos para planear las evalua-

ciones de tal manera que el interés de los evaluados
se teriga en cuenta con el fin de optimizar la utilidad
de la evaluación.
Metas: Conjunto de declaraciones generales y abstractas de
los estados deseados en las condiciones humanas y
del ambiente social.
Modelos de repercusión: Conjuntos de hipétesis guía que remarcan la planea-
ción y la puesta en marcha de un programa.
Objetivos: Declaraciones específicas y opcionales, mediante .las
cuales se considera el cumplimiento deseado de los
programas de irrtervención social.
Planeación: Proceso de convertir las metas en objetivos, de tal
manera que se formulen las intervenciones específi-
cas y se definan las poblaciones objeto adecuadas.
Sistema de manejo de la infor- Sistema normal de recolección y análisis de datos que
mación (SMI): permite el cumplimiento puntual para la entrega de
servicios y de la información resultante.

La investigación evaluativa es una parte integral del conjunto más amplio de

actividades que generalmente se describe como política racional, toma de decisión
científica o planeación y ejecución de programas Sin embargo, se debe reconocer

41

42 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
que las decisiones que afectan los programas casi siempre se originan de una mez-
cla compleja de consideraciones políticas, de influencias personales de los princi-
pales evaluados, de limitaciones económicas y de la disponibilidad del personal
técnico necesario, así como de tecnología (véase el anexo 2.1). Por tanto, la inves-
tigación evaluativa se debe considerar como una de las múltiples posibilidades
de iniciar la investigación, el diserio y la ejecución de programas. Para maximi-
zar su influencia, el evaluador debe comprender los arreglos organizativos for-
males e informales del ambiente en el que labora. Por otra parte, los políticos y
los administradores del programa deben asegurar que la toma de decisiones, la
planificación y la ejecución se realicen de manera clara y explícita, de modo que
las intervenciones serán para beneficiarse del esfuerzo de los evaluadores.
Anc,x0;2:1•:-.:Histotiá-:del experimento,Idel intpuesto
negátivo áljháiégiM,Pé -nnsylúaniá-Ntieva Jersey
LóS'prograrnás ildtinpuctos eg, - It I VUS ti / 1,2I"(2Su ,usotuyen lus debienestar .
, , . . , -
social,whan;sido;defendijdos por per,ona ,,. tan div. ersaScornp .„Milt91:riedrnan y
otrcS•éConbrnistási-riláTlibjerales.
.
..-
>
atractiVOJ 'cle'algáriOs' álljkalés:
. -Prógrántáá...lf• ;'0V&s• .In's-•, e. Zito. JDébido. . •que no
.
.gui.ó, la „aprobáción,,pOlítita,:,,e1 equipp de, la-oro busc6 rnaneras d'prbducir
¿onírin¿érité,'evidericia'de
. , _ - - sn-•factibilidad.,
,.,.... • ción, el desarrollo y la ejecución de los programas; supone que existe un acuerdo
En 1 C_) b 'y 1967, se enüiarorr nun-Jerósós planes.de.la ..:0EQ,para-eornenzar
pru t Liás de->"C. .árn-po , ácerca‘j.de lOs-diiid"sos.,plárieS`idel>,,iñnpilestb
Ingreso. 1.111án rriáS > atráctivO'fue , enviádo pof Mathernatica, una erttpresa09 . 1r.inT ,
- ce.ton,- 1\f-tib:ra-:-Jerlesr.
, ffil-InciarjestkiSrnbeiliciOn, Sargent.':$ ,. .hliver;'•dtrector >. déj11.0E0, éltába-indecikde,
_ preSrar:íart §-r:an a0da. á'ea'étripresaJinsisrtó e. n[gLiejel"pro. Yeétose realizartiajó
' - la -jreSPOnsjabilidadj.látj tnCIPal - d' el " InStitnte for ' Re,earchj on Po y erty dristitutó'de
I,, in's;iestigáéféin'S'obre`-.1alSóbrei`aj de lá'UniverSic1,-Jd de Wisconsin corno prirner.co,n-
tratado:y Máthernaticázcomo > subeOntratado. -
A.j rn-ediadós-dejl.96,7,se,-firrnáron:los:corittd.tos › se consu nlier-on 141rneses..en.,;,,.•
el cliseñó del.estudio, el cual se-ideó cc>rno . un experirnentó cori
j üleatbribS en el qiie-los'ia'ago5 ;negátivoS,del,irnpueSto sOre el , ingres9..variaáfissis- •-• ,
iernáti¿ari'leñie'eri'doS,dirneriSionel-S :21a , gáraritláldé.'iiidreSb rnírl'irrWli;165.6ziejjia: -
jes`cle_jirríptieSTO:allicabler-Désdkelotqñáikle,-.19613.1-iásta
oágo-s,-„ dierón á.f,"fartnliasjériTgrirpos',¿Zier-tinentales,. = Y 1.61f Ofu—IS-61'. taiít'd. eXpneri-
mentales_, corno cc.ntrol rinnuciu•jaruent„
•
p.or _ •.-•:-.
J1•_. J2ntrevistas
personales •
Dluante todo el espe lunento ocurriel on 5 lOOeventos (11.11: muestran
raccic,nes entre los eventoS, p-olítiqbs y la reálización dela actividácIl.ev'áluati nid'El---'
prun„er evento tue 14P cl-un bi9i eri la:políitc • de1bierteStarsocial--en -ebEstadc? d..e:Nue.
va _ 'jíláCó 'Clejr>ties'd . J é r;'eSi.:71.e`r.é.S. có i ó
cornpub sitiO párCi0;debido á ,. quela, riólítit&de.biénestár.s(pcial actualsólo,abarca-,;-
b#,'"ájá.p:pládiés'de3fámiliábájólalAIDC:;.(Aiiitó.' Fmiliesvith Dependent.Children
farriiliaseón hijos ‘ dependientes-,7 )..Er.¿an-lb:b.tórnó_a las familiás.con
cle:biénéStaf:'-'j
Nueva .‹.1,2rse.1,7corup j , Ptivas j cjón algunqs,planes, menos generosos.:,--,
El „.. • Nneva--Jerse9,-c'reóiótrób-•pr'obterna::•Lbs:Of
, . .„,..
.oeieS de:bienestar so¿JiaLlóc.alés se,p,reoeuparon reicir
43
,i,ceptabs -irincv; pilqt_)s dr leiew mi v los j‘ jkperiméntalr-_Js•i;Eldirector detpro9e7C4O-ftie
cit-)do en la corte N ic n. n 0: jJernsjejy;Y:Se le on-lei'j&JbaCerri iélistros expenUrentaleS.
. Aunque el citatclirio do tuvb'él cáraeter de obldátário, se'Vequirió o Mattrernati¿á
que conlpens,lra a lo*depaí-tameiitos . de tienestar soclal locales por nl sobiépago
otcTg40:1?ápIps,;familiá'.,éxííéririeht¿ilés.
É11969, Cb-nf¿t-tine eflCcingreso tm nusi deroha uná reforrna al bienestar
s¿?presionóal equirio,de.trakájo, Par. ágtie prc;dujeralesúltados dei;exPerirriántó gtie
sár jadecuad¿S párá la legi 1 inc o q1:1,2 se .C. onsideraba:t o's
.res sé:coryilíilai. C5i,i;iy ,. -Présentarórt pr,.j .-Ju raciam
en testl j nortio:, antej. e1.1.0,ou'se
WayS -anctMeanS'Corrunittée'(dornIté"de nTaneras y signIticádos de la caSa): ÑC•ijObs:
tante, los op. Ositores á lalégislaérón éSiirnaron a los rrperimnentadoresi COrriO defert
sores reforrnas, proOueStás> al -bjerlestar' sociI y prestonaiorir--.1a.General
Accountin§OffiCe-(Qticina,de Ontabtlid,_n,c1 g rural) - pára gue efeetuara,Unianálisis
crítieó-rdel'éPeliner
'litO;
- , irieluida
'Unáth
„ e-t
>vi¿jaciórt'aCéjitárdil.lOá.'clatoS'OrigiViále
los reentn35isras.con 1 ujetos experimentalessj:.,
•
n Fair, TfiP Nety it y Inc,rit•
Es f ritn-77t tol I 'Ara,i,mac P", 'a.15rk. i.ágs 4 5'
Cabe hacer dos advertencias. Primera, el análisis que sigue proporciona una
perspectiva ideal de las relaciones entre las actividades evaluativas y la planifica-
formal entre las partes participantes para efectuar la ejecución en el orden en que
se hará. El lector debe notar que la tarea actual de ubicación y sus secuencias
varían marcadamente dentro y entre las áreas de servicios humanos.
Segunda, existe una amplia variación en los arreglos organizativos. En un
extremo, el evaluador puede hacer su trabajo casi por completo independiente-
mente, o bien puede programar o planificar al personal. En el otro extremo, el
mismo grupo de personas es responsable de la planeación, el diseño, la ejecu-
ción y la evaluación del programa. Es muy raro que el programa qUede tan bien
planeado, diseñado y ejecutado, que el evaluador disponga de tiempo para con-
centrarse sólo en lo que se puede concebir específicamente como las tareas de
evaluación técnica. El trabajo del evaluador suele incluir su: participación, sea
parcial o total, en las actividades que idealmente deben proceder del esfuerzo
evaluativo, o por lo menos deben ser responsabilidad de otros. De hecho, algu-
nos evaluadores argumentan que esta participación, en un proceso mayor, es
una gran contribución al esfuerzo evaluativo (Wholey, 1979). Es esencial con-
tar con una orden compartida para diseñar y tomar programas, de tal manera
que maximicen la probabilidad de una evaluación rigurosa. Apoyar estas activi-
dades es uno de los objetivos de este capítulo.
PLANIFICACIÓN DE LAS EVALUACIONES
DE LOS PROGRAMAS INNOVADORES
El proceso de planificación incluye identificar las metas de los gastos de la
- organización y del inicio de la intervención, valorar la extensión en que las actua-
les condiciones se desvían de aquellas metas, y desarrollar una infraestructura

44 CAP. 2. CÓMO INTEGRAR LAS EVALUACIONES
general o estrategia para lograr las metas deseadas al modificar las condiciones o
el comportamiento. Lo segundo requiere especificar los recursos humanos nece-
sarios, así como los recursos financieros, designar las responsabilidades indivi-
duales para obtener las actividades de la intervención, y establecer un horario
para llenar los objetivos de la reunión. La planificación se considera un deseo de
reducir el vacío entre las metas y la realidad; no obstante, en algunos casos la
meta puede ser mantener el statu quo para afrontar el deterioro anticipado.
El diseño de todas las evaluaciones tiene cualidades genéricas similares.
Aunque en la sección siguiente se examinan estas características en relación con
los programas innovadores, muchas de ellas son aplicables a las secciones subse-
cuentes en la evaluación de programas establecidos y en su depuración.
Cómo establecer las metas e identificar los objetivos
Los programas de intervención social se pueden diseñar sólo en relación con
una meta. Para propósitos evaluativos, establecer las metas debe permitir operar
con los resultados deseados, una aclaración que especifique la condición por
negociar con un criterio de éxito establecido. Los autores y otros investigadores
evaluativos se refieren a estas condiciones operacionales como los objetivos.
La distinción entre metas y objetivos operacionales es vital: muchos progra-
mas, sobre todo aquellos con grandes poblaciones objeto o con efectos lejanos
por alcanzar, inicialmente establecen sus metas en términos amplios y vagos; por
ejemplo, cada año los componentes de los departamentos del gobierno federal,
como el Department of Health and Human Service (Departamento de Salud y
Servicios Humanos), disponen "planes futuros" o papeles estratégicos a sus
secretarías con metas que reflejen las aspiraciones de su departamento. A menos
que esas metas funcionen en objetivos específicos, es improbable que se trace un
plan y se trabaje para lograrlas (véase el anexo 2.2).
Anexo 2.2. Sino le importa dónde lo consí u '
entonces no importa hacia dónde va
Para gue un PrOgrama logré loobjetives, debe s,atIfIt'er los ciiterios
1 , „ Q I ós objetivos rnedibWs , se hayan , esPecificaolo; es decir, gue los encarga-
ue
dbs del prágrama, cgmo los polífieCil y los nclministradores del p'toorarna,
hayan COnYenido con los objeti y ós nin'edibles, incluida cualquier . medida nece-
saria a los costos y la ,s acti yida44,-del piograma, a los resultados intentados
a la irifluenOia , Intentada izril-problerrias afroniado's por el prograrna.
,2, 0,'„ ue e,ist-an presunclonlirobables relacionacins orn la aplicación de los ,.
recursos a las actividades:del .progr-ama, cOn'lá_'ae,tlyidades del prograrna
pnra intentar resultados i íón los resultadólidéVbferarna'rdspdcto delos
objetivos de éste—
• . ,
3. Los encargadps de.1 programa deben tener la motiVacIón,labilidad v autort-
dacl par:a.adMiniSlrarlos, -• ' • '-'
Se teconoce que algunpsprogramas, • puoden sér..inás o rnenos rnanejables;de_
actici do con':Iá.extensión'en jiue se satistaeén o no,los tres criterios antriores. Las .
45
lnve_sttgaciOWS al respecto r velanque et p;cogr9ma
s feer1 f es Inmane-
- jable," j-1;íque n rerine UT10 o más cle los'treritehos,
- -
. ,Aunquecada programa fecieral pres-enta di y ersosobjetl y os, &tosgeneralmen-
te
Y10 los ha'n definido e ncargados (políticos y administrádoresdelV},,ióátárna)---
, - ,
de mane'ra gire progresenhacia objetl y os quesep,tle'dary'lite.,.seaniítiplotigntes
'para apoyar las presuncidnes de_l programa prob jW0:- U4. 1):0:01rarflátSfáh 5114;;;J.-
cientemente : definidos Párz-1 ap-Oyarlos,
-modo que se logren obleti y os esPecífico's-telatitiOs alasrnetaS irnplicadas-len
, 1129iSlación autori2ádá --, En ' táleS proliáM-ái;ttliquler actiVidadiealizada tienl?
- ,,• , • . „
,ser sinónimo de los -objeti y ós; esto es;desdelá perspecttva,,-adrnintstrativa„
, ,
efectos Intentados se logán cuando las 4. tiViclades del prográma se realtzan_inde . •
pendientenierde cie los réultadosdei , prograrna ode la repercUsióri subse'ciíentl-
' - • •
lós,-,probternas afrontaclOpor,
t Tainadu, de
_ Na..1; et .ci
_ Yo.0 -"1 1.42 ” Then I t
Tch M dtt "''
,WIthlWay yuo Go",- én CIC„Abt (chi'.), The EVUILIUtiOn of .Soctal ProlnarpsSpgre POlicati.ortS, bi,verlg
97 MS • - •- '
El logro de un objetivo absoluto requiere que una condición indeseable se
elimine totalmente o que una deseable sea atendida por todos. Un objetivo
absoluto en el área de la salud podría ser inmunizar a todas las personas de
enfermedades como la tosferina. Los educadores abogarían por otro objetivo
absoluto, como la eliminación de los iletrados. Los objetivos relativos estable-
cen estándares de los logros es términos de mejorar de algún modo las condi-
ciones que existen en algún punto en el tiempo; por ejemplo reducir en 50% la
gonorrea como enfermedad del aparato sexual podría ser un objetivo relativo.
La contraparte relativa del ejemplo educativo anterior podría ser reducir en
75% el número de personas con menos del sexto grado de educación.
Evidentemente, establecer metas y objetivos específicos requiere suposicio-
nes o conocimientos acerca de los dos aspectos fundamentales de la situación
social: los valores y las condiciones existentes. La meta de lograr la inmuniza-
ción refleja ciertos valores básicos que favorecen la salud y los rangos de morta-
lidad bajos. La meta para eliminar el analfabetismo supone la importancia de
las tareas educativas en la participación productiva del sistema económico.
Ambas metas, como cualesquiera otras, están basadas en la suposición de que
hay campo para el mejoramiento; es decir, que hay una discrepancia entre las
condiciones actuales y las especificadas por las metas.
Aunque una deficiencia se puede reconocer con facilidad, se requiere valorar
refinadamente la situación empírica, antes de que se puedan formular las metas y
los objetivos y planear los programas para lograrlos. Los procedimientos para
diagnosticar los problemas sociales se estudian en el capítulo 3.
Una vez que las estimaciones refinadas de las condiciones existentes se
han obtenido, las metas y los objetivos deben modificarse. Esto puede ser
necesario debido a las condiciones externas referentes a la población objeto o
al problema objetivo; por ejemplo, los diseñadores de programas pueden comen-
zar con el objetivo absoluto de eliminar el hábito de fumar, pero encuentran que
la testaruda resistencia de los adictos al cigarro necesita el objetivo relativo de
reducir el número de fumadores en algún porcentaje específico.

46 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
La modificación de las metas y los objetivos puede también resultar de las
condiciones que intervienen en el esfuerzo; por ejemplo, es esencial que el eva-
luador, los diseñadores, el equipo de trabajo y los patrocinadores convengan en
los criterios que se emplearán para valorar si se han logrado o no los objetivos. Si
un programa casero se evalúa parcialmente, de acuerdo con cierta morbilidad,
las medidas específicas de ésta (como el número de inasistencias al trabajo o a la
escuela debidas a enfermedad) tienen que basarse en los indicadores del resulta-
do. Al fallar en este acuerdo, la evaluacíón se puede afrontar como un conflicto
rencoroso entre el evaluador y los diseñadores, el equipo y las políticas proyecta-
dos, cuando se presenten los resultados de la evaluación. Algunas veces, si se dis-
pone de recursos adecuados, la solución es incluir múltiples criterios que reflejen
los intereses de cada parte que interviene. Otra solución es formar objetivos en adi-
ción a aquellos que proponen los evaluados, con base en los puntos de vista
comunes, así como, en las teorías relativas, el campo sustantivo apropiado
(Chen y Rossi, 1980).
De lo anterior se infiere que una tarea inicial del evaluador es trabajar con los
diseñadores, los administradores del proyecto y los patrocinadores para transfor-
mar los objetivos ambiguos o contradictorios en declaraciones claras, congruen-
tes y operativas. Cuanto más cercanos estén los objetivos a los resultados, de
manera que se puedan medir directamente, más probable será que resulte una
evaluación competente. En el anexo 2.3 se muestran las reglas útiles para especi-
ficar los objetivos.
Anexo. •23. Algunas reglas para
espcificar bbjetivos
...cuatro técnicas son particularrnente útil, para decrIbIr objetivos, Velltdi0-
Verbos fuertes;-b) estableeer sólo un próPósitO u objetivO; c)'esbecificar
sos: .á)ju. sar
un selP resultadp:ó.procludo final;y d).eSpecifiear ei,tiérritie . éperadp -pará-el lógro
férence Manúdi, Wasbingion,D. C.', 1975, Department of Fksltli. Educa
tión and'Welfare, Office.'of-Hurnan DevelopMent).
' Un verbo : "Juerte"'es tiria . aceión orientadá'éri forma cle vc-Tho que describe un
coniportamientdibbseliable o;rnedible que ociirriráj por ejemPlo,
,uso . dé los maieriales ,:de.;eduCación una declaráPión.cle,áCción
orientada gúée1. CompOr-farniéntó, , _ .obseniable:-
En cOnti-aste, "Prornover-
-rná.yor uso de los Matetialés educattyós para la salud" es una declaración más débil
y Menos específiea. El térmirío,pr9rriotier se -presta a .rnitchas-,interpretaciones.
EjemPlOS.dé . . de' aCción.Orientada
Verbos itiertes inéluYe éscribii- reurnr, encontr'ar,
. -
InCrérriéritar y firrriar; rnienita5 -qué ejetriptos-rde YeibiE;:s rio específicOs y dábilés son
cnr.prénder, estimular, elevar y prornouer.
',.U. na segunda suglypryekalirtibpara describir'un : .objenvo':.0aro, esestablecer un
sob. .:bldhéd:op'roP6110:»IlieSdell116,: rnüchos prPgráinálliendrari,obje061-mtilti-
--ples, Pere err cádá objetivo sólo, deb delinearse un únieo:proj56ájtO. Un-Objetivo
.gue establece dos o más propósitos o re ultados deseadOs puedei'équerir diférente
ejénición y estrategil';dé-OloiaPiól; así Porno clifiCialtarétlógro de los objetlyós:
por-..eiempi t,: -esfeblee.e?a
. 7 . 1a.g).W40.. de . trés. -claset .:P..i.'énatalel'ParáM. .ujeznembi..a-
raZadáS-iiique proporCiária-'1eCiP1--de tranSPortáción para-a. Cortiodar.25 nitije‘rs
. por e,ue nr re dificultIdes Erte objétivo contieng dos_propósitos: pnvorctonar
47
-
clases prel ttanspor'te.Si cm propósitó::ecáiini.1.4d41,
n 9 el,otrp. ¿en , que e).cten.sión . se cumplirá el objetivo?"Es.mejOieStablePér un
córno "cornenar it'es clAes:Pré:natales para
/nujers preñadas - o "propo l c,,n, I r o o de tr,insporte a 25 nuOeres ernbara-
/.adas pár claSe
Especificar uri o pr,,itdcto es la tercer técnica que contribuye a
lograrobjetiVOs ,,enta i osos ; P or e i áTl P 10 , -éstab lecer la declaración "Comenzar tres
craleS -.Prénatales para mujeres e-mbarazadas mediante un'subcontrato con el City
Mernorial : HOspitalOiespital memciriar-citadinor connene dos resultados: las tres
Subcontrato. Es mejor establecer'estos objovoliseparadarnente, sobre
todo Por- ive uno es un objetiV.6-de rriaYOr orden (cornert:lárlies clases prenatales),
ek:cual.depende. yiarcialmente de Li con-IpIctación de un objetivo cle segundo orden
(e.talileCer
, .nri-Subcoritrato).
. , Un objetivO claramente a ,:cr n to puée-lé contener un propbsito stngular y un
resulta.do.p. -predu.cto., fipal; por.ejernplo,,la dedáración ", Eltablecer_cornúnicáción
Healt. t.i;50ern1 'Age Age riciá en-Silternas de Saltid)"indica el propósito
pero no el'resUltado firial deSeado. .¿Clué contribuye a eviclenciar la coinunicación:
liarnadas telefóniPas, reúniones o inforines? No espPcificar un producto finál cvi-
dente dificulta extremadarnente la valoración,
Lo anversoeSequivalente cierto, o sea, pueden existir declaráciones que espe-
cifigüen . urt..PredlictO . fiñát pero no un objetivo o PrOpóSito. "Rernitir todos ios
extractos descargados menslialmente a la Corntnission of.Prófesiónal and Hospital
Activities Iço.misión de actiVidade.s profesionales y hospitálarlásr esun ejemple de
una declaiación'con un produetó:finaL , Peró sin.proPó. lito. El proPósito
puede serrinejorar Ia4 declaracieries ..del eqUipo Médico, y . la adrninistracióh 0, rne io
: la PálidadAel.citidadó médico , pero río- és evidente que rerrntir las extracciones-ra
arnplir. I . estos objetivos, ni los objetivos-se Pnedén valorar sin un propósitO o . decla-
raCión Clé . unarinanera acertada: . . Quienes . escriben y evalúan objetivos deben tener
en cúenta,Clos euestionés: a)--¿p6dría alguien ciite'lee el Objetívo, cón o sin conoci-
mientPdetprograma hallar el mismo p ropostto corrió el primero'i tentado 9 b)
está-presente come eviden - cia de eue los
Ubjetivos se han .CUmplidó? Los pi'dpósitos deScribenlo qué se hará, mientras que el
resultado o prOducto .deséribé las evidencias que existirára de lo que se ha
fiecho, o sea, as. gurarse lector "conoce uno cilándo. ve uno".
especificar.eltiernpo esperado para lograr el otjetivo La
ieclaraci6n.dé..-`.'Establecer una - clíniCa • tari--Prónto corno sea posible" no será un
bjetivo. a la vaguedad de tan "pronto como sea posible". Es niás útil
e;. PéCifiCar.la - feeba. .9,: .en cas. ó. s en. .que . exista duc.r. lírla re: oporción cle fechas. por
emplo, `.tín ttia entie maríCil. inatz&-3.0".
nn !,,1 5Lep 1,11 5, r.`.1r. I r )1 R1 ,1-131, -Ht,ft. Evuduci(1,,ri T11:
I
(' Louic igs 21, P.,Impreso Elut,rt:ac!Cm
Procedimientos formales
Existe un número de medios formales para establecer los objetívos, cuyos
detalles técnicos son el tema del presente libro. Un procedimiento muy conoci-
do en el campo evaluativo es la decisión del enfoque teorético (Edwards et al.,
1975), el cual permite la explicación formal y la categorización de los objetivos

48 CAP. 2. COMO INTEGRAR LAS EVALUACIONES
de los diversos grupos. Cada grupo, primero define y categoriza sus objetivos,
además de dar información de aquellos que considera más importantes. Luego,
mediante un conjunto de procedimientos conocidos como estadística bayesia-
na, los objetivos escogidos se analizan y reportan a los grupos. Con base en
esto, se reordenan las prioridades. El proceso de dar información, vincular los
objetivos con las inferencias y reordenar los objetivos continúa hasta que los gru-
pos Ilegan a una solución en la cual se tienen en cuenta los diversos puntos de vis-
ta. Este enfoque es particularmente útil cuando los evaluadores manejan puntos
de vista conflictivos y agudos, y los fondos de objetivos potenciales apoyan la
reconciliación informal. Otro enfoque formal —valorar la evaluabilidad — busca
producir evaluaciones con una utilidad potencial básica. Aunque la valoración de
la evaluabilidad es aplicable a todas las evaluaciones, incluidas aquellas que se
realizan para programas innovadores, se realiza más a menudo en relación con
programas establecidos; por tanto, se estudiará más adelante en otra sección de
este capítulo.
Escala para el logro de metas
Aunque muchas evaluaciones cuentan con declaración de objetivos, que inclu-
yen cambios en las medidas de los grupos objeto, la escala para obtener metas per-
mite reunir las metas en unidades individuales dentro de la población objeto. El
resultado se puede resurnir con el fin de dar una estimación compuesta de la reper-
cuslón del programa (Kiresuk, 1973). En este enfoque se usan más medidas relati-
vas que absolutas, una idea que ya se ha estudiado; por ejemplo, en un programa
de tratamiento contra el alcohol se emplea el número de días de cada tres meses de
ausencia en el trabajo como un criterio de resultado. En el caso del trabajador A,
quien es inicialmente un "bebedor de fin de semana", la meta puede ser reducir el
número de días por trimestre de 12 a cuatro. Para el trabajador B, quien es un
"bebedor exagerado", la meta puede ser reducir el número de días de 12 a ocho.
También se pueden diseñar los objetivos para la entrega de sistemas; por ejemplo,
la frecuencia con que se pierden las citas para terapias se puede individualizar
como en el ejemplo anterior. El evaluador puede calcular luego las anotaciones
diferentes y examinar las estimaciones individuales para obtener un resultado com-
puesto. Las expectativas de la obtención de metas se pueden basar en el punto de
vista de los practicantes, ya sea de los propuestos, de los externos o una combina-
ción de ambos.
Como la escala para el logro de metas tiene utilidad evaluativa en varias
áreas, (enire otras las psicoterapéutica y la de la educación especial), también
tiene sus limítaciones. Primero, consume mucho tiempo y es costosa para estu-
dios a largo plazo o en los que se incluyen muchos objetivos. Segundo, se contra-
pone a los enfoques de las intervenciones de muchos programas relacionados
con los resultados congruentes para la población objeto. Tercero, dicha escala
puede dar por resultado objetivos deprimidos; por ejemplo, en una clínica, para
reducir peso se diseñó un objetivo con el fin de hacer perder 2.5 Kg a un paciente
que tenía un sobrepeso de 15 Kg, de tal manera que éste tuvo un "éxito" reducido
con un mínimo esfuerzo. Sin embargo, independientemente de tales precaucio-
nes, este método sigue siendo atractivo para algunas evaluaciones.
49
Diseño y desarrollo del programa
En algunos ejemplos, los evaluadores toman la pauta al diseñar y desarro-
llar los programas que evalúan; no obstante, esta tarea suele ser responsabili-
dad de los diseñadores del programa: son encargados por los patrocinadores
del programa o por los ejecutivos de la fundación y los legisladores. Sin conside-
rar quién efectúe el trabajo y para realizar una evaluación exitosa, se requiere
tener en cuenta ambos aspectos: el del convenio de objetivos y el de la descrip-
ción detallada de cómo se lograrán. La susencia de un mode/o de repercusión
bien detallado limita severamente las oportunidades para controlar la calidad y
efectividad de un programa (Freeman y Sherwood, 1970). Por analogía, el
paquete de la información de la computadora (software) no es útil si no ha sido
documentado adecuadamente. Aun cuando un programa sea exitoso en su entre-
ga de servicios y en el logro de los objetivos para el que se estableció, sin un
modelo de repercusión explícito no hay base para comprender cómo y por qué
funciona, o para reproducir sus esfuerzos en una escala mayor, en otros sitios o
con otras poblaciones. Si no hay modelos de repercusión (o sólo existe uno
incompleto), cuando una evaluación se emprende el evaluador debe inducir al
equipo de trabajo del programa o a los patrocinadores a crear uno o efectuar este
trabajo él mismo.
Elementos del modelo de repercusión
Una intervención o modelo de repercusión es un intento por trasladar las
nociones relativas a la regulación, la modificación y el control del comportamiento
social o de las condiciones de la comunidad, en hipótesis sobre las cuales se pueda
basar la acción. Son raros los modelos explicados completamente. A menudo, el
"modelo" de la intervención consiste en las presunciones que destacan el funciona-
miento del programa. Estas presunciones pueden haber sido diseñadas con base
en estudios previos (realizados en muestras pequeñas o en otras localidades) o
pueden tener bases deficientes o no empíricas, ideadas en vez de los procedimien-
tos no probados, en los cuales se han basado los practicantes.
El modelo de repercusión toma la forma de una declaración acerca de las
relaciones esperadas entre un programa y sus metas: establece sucesívamente la
estrategia para Ilenar el vacío entre el establecimiento de metas durante el proce-
so de planeación y el comportamiento o condición existente. Dicho modelo debe
contener una hipótesis causal, una hipótesis acerca de la intervención y una hipó-
tesis de la acción.
Hipótesis causal. En la esencia de cualquier modelo de repercusión se
encuentra una hipótesis acerca de la influencia de uno o más procesos o determi-
nantes del comportamiento o condición que el programa busca modificar. Aun-
que existen muchas maneras de pensar acerca de las causas, una simple idea de
causa es suficiente; por ejemplo, numerosos científicos sociales creen que care-
cer de empleo entre los ex reclusos, después de un cargo de felonía, resulta en un
regreso el delito (reincidir). Múltiples investigadores (Irwin, 1970) afirman que si
el prisionero liberado es incapaz de encontrar un empleo legítimo, buscará pro-
bablemente modos ilegales de obtener ingresos.
 50 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
En este caso, la hipótesis causal podría ser que reincidír es resultado del
desempleo; pero, para ser práctico, todas las hipótesis, incluidas las causales,
se tienen que establecer de tal manera que permitan hacer pruebas o medidas.
Éste es el proceso de operacionalidad. Para operacionalizar las hipótesis, el
evaluador puede establecer que el rearresto por delitos es más probable entre
prisioneros liberados, los cuales tengan mínimas calificaciones vocacionales
o que encuentren mercados de trabajo relativamente pobres. Cabe hacer no-
tar que esta forrnulación no es la única que parece congruente con la hipóte-
sis causal. La reincidencia se puede medir con base en si una persona es convicta
de felonía o no; las calificaciones vocacionales pueden significar la historia previa de
contratación, el entrenamiento vocacional mientras se está en prisión, o las califi-
caciones en varias pruebas de aptitud, y el mercado comunítario de empleos se
puede medir por la lista de vacantes que emiten las agencías de empleo, por el
nivel medido de desempleo en la comunidad, etc.
El punto de apoyo importante es que reincidir, las calificaciones para el
empleo y las oportunidades para obtenerlo se tienen que medir en la evaluación
de cualquier programa diseñado para reducir la reincidencia entre los prisione-
ros. Por tanto, parte de la tarea de diseñar un modelo de repercusión consiste en
especificar las variables causales en términos operacionales medibles.
Hipótesis de interuención. Esta hipótesis es una declaración que especifica
la relación existente entre un programa, lo que se hará y el proceso o determinan-
te vinculados en la hipótesis causal con el comportamiento o condición que se
reducirá o cambiará. En el ejemplo del control de la reincidencia, la hipótesis de
intervención podría ser que el empleado ex convicto está relacionado con la ter-
minación exitosa del entrenamiento de un programa vocacional. De esta manera,
el modelo de repercusión para reducir la reincidencia podría establecer la hipóte-
sis de intervención de que dar entrenamiento vocacional a prisioneros liberados
permite reducir la reincidencia.
Otras hipótesis de intervención son congruentes también con la hipótesis
causal. Una hipótesis de intervención que da oportunidades de empleo directa-
mente, mediante alguien que motive a los empleadores a contratar a prisioneros
liberados (quizá por medio de subsidio a los impuestos), podría ser una opción
del entrenamiento vocacional. También sería una hipótesis de intervención la
que destaque la asistencia para buscar trabajo a prisioneros liberados. De hecho,
• 1! una agencia que trate de diseñar un programa efectivo para reducir la reinciden-
1'
.1i
cia puede considerar los trel - enfoques separadamente y en combinación para
1 diseriar un programa de intervención más eficaz y efectivo.
Hipótesis de acción. Se requiere este tercer tipo de hipótesis, que permita
"I
evaluar si la intervención, aun en el caso en que conlleve un cambío deseado de la
variable causal, está necesariamente unida a los resultados, esto es, al comporta-
miento o condición que se busca modificar. Esta tercera hipótesis es necesaria
porque, aun cuando un cambio natural en las condiciones existentes puede cau-
sar una serie deseable de eventos, la inclusión de este cambio por medio de una
intervención puede no resultar en el mismo proceso social o de comportamiento
natural. Una acción se puede planear y realizar como una intervención, pero las
condiciones deben ser diferentes de cuando tales acciones ocurren "generalmen-
te". De esta manera, la competencia que resulta del entrenamiento vocacional
puede no ser la misma que aquella que resulta de aprender lo que sucede durante
PLANIFICACION DE LAS EVALUACIONES 51
las experiencias de trabajo regular; por ejemplo, los ex convictos que han llevado
cursos de entrenamiento vocacional pueden no cumplir con el rango de califica-
ciones requerido por los empleadores o estimarse que no lo poseen.
La importancia de la hipótesis de acción se puede considerar como una
parte interesante de la investigación reálizada desde hace varios años acerca del
decremento de la discriminación racial en los empleos (Festinger, 1964). Los
enlaces causales estaban presumiblemente entre: a) la comprensión y el conoci-
miento de los negros; b) los prejuicios, y c) la discriminación. Al respecto, se
ideó un programa por administradores de empleos para incrementar su com-
prensión y conocimiento acerca de la raza negra, de manera que se redujeran
sus prejuicios. El resultado raro del programa fue que los administradores de
empleo cuyas actividades cambiaron se convirtieron en sujetos más discrimina-
torios que antes. Para explicar este resultado, Festinger argumentó que la dis-
ponibilidad de nueva información permitió polarizar el . cornportamiento. En
otras palabras, el enfrentamiento que provocó el programa, hizo imposible
para los administradores continuar comportándose como lo habían hecho. Por
tanto, mientras que algunos de ellos se volvieron menos discriminantes, otros
incrementaron esta actitud al realizar sus prácticas de empleo: Ni los hallazgos
del estudio, ni la explicación de Festinger invalidan las relaciones causales que
existen en el curso normal de la socialización. Aun cuando los cambios ocurrie-
sen en un ambiente natural, no se podría inducirlos; sin embargo, la hipótesis de
acción es tan importante como las otras hipótesis en las investigaciones eválua-
tivas y se debe estudiar empíricamente.
Fuentes de hipótesis. Idealmente, las hipótesis en las que se basan los mode-
los de repercusión se derivan de los estudios experimentales que permiten hacer
inferencias causales, de teorías bien diseñadas o de ambos. En la actualidad, los
estudios causales y las teorías del comportamiento social y del proceso social
diseñadas con lógica son escasas. Muchosmodelos de repercusión se derivan de
impresiones clínicas o de asociaciones estadísticas entre las variables indepen-
dientes (presumiblemente causales) y las medidas dependientes (o resultados).
El estado de desarrollo en el campo y el conocimiento de los resultados de otros
programas de acción son determinantes de las fuentes de hipótesis. Desde luego,
los programas exitosos en la entrega de servicios y en sus resultados son más pro-
bables cuando def inen razonablemente el conocimiento disponible para diseñar
un modelo de repercusión.
Manipulabilidad y factibilidad
Los modelos de repercusión se basan en la presunción de que las váriables
relacionadas con el fenómeno que se modificará son susceptibles de manipula-
ción. Primero, el modelo de intervención debe especificar las variables de inter-
vención que son acciones adecuadas para la población objeto, es decir, las
intervenciones que puedan afectar a los objetivos directa o indirectamente. La
manipulabilidad se impide cuando existe una condición indeseable, debida a
que el objeto se vincula a esa condición de una manera particular en el momen-
to en que se produce la intervención. Éste es el caso, aparentemente, en el área
de la realización educativa. Evidentemente, mucha de la variaCión en la acti-
tud de los estudiantes de nivel medio, por ejemplo, no está en función primor-
52 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
dial de lo que le sucede en la escuela; en vez de ello, se debe principalmente a
la influencia de sus familiares y el ambiente social anterior (Sewell y Hauser,
1975). Si se detecta una asimilación deficiente, se prestaría a que hubiera
cualquier intervención cuando los estudiantes son más jóvenes, aun "sacrifi-
cando" a los niños de edad secundaria. Desde luego, el enfoque de un progra-
ma se debe hacer en las variables, que sean manipulables y que tengan un
tiempo adecuado para manipularlas.
Segundo, se debe evitar seleccionar intervenciones con poca factibilidad.
La baja factibilidad se puede deber a la aceptación del programa por los patroci-
nadores, los sujetos objeto y otros evaluados, los valores ideológicos y los impe-
rativos de la vida comunitaria, o al riesgo de que ocurran efectos colaterales no
deseados. Por ejemplo, en un programa diseñado para reducir la contamina-
ción del aire, ciertas condiciones (como la cantidad de humo emitido por los
automóviles) se pueden considerar manipulables; otras (como la reducción de
descargas de la industria contaminante) se pueden identificar como no tan
manipulables debido quizá a la carencia de técnicas científicas para reducir las
descargas de humo o la indisposición de la industria para pagar los costos. Los
imperativos ideológicos y políticos se pueden ejemplificar con otro problema.
Se ha encontrado que la clase social está correlacionada con las enfermedades
mentales, pero un cambio revolucionario en la estructura económica estado-
unidense es difícil, una intervención que se podría atribuir a un político típico.
Los efectos colaterales pueden resultar del uso de grabadoras telefónicas para
identificar a ciertos delincuentes como los apostadores profesionales. Dado
que en la grabación se necesita incluir las cintas de gente inocente y de la incul-
pada, su uso significa una invasión de la privacía, un efecto colateral militante
, Escoger una población objeto adecuada es una decisión estratégica. El enfo-
contra este género de intervenciones.
Entonces, tanto los evaluadores como los patrocinadores y el equipo de tra-
bajo necesitan diseñar modelos de repercusión que sean sensibles a la manipula-
bilidad. Dichas personas deben estar preocupadas por el espacio político, por el
cual se entiende la congeniabilidad entre las acciones de la intervención que se
deben tomar y la factibilidad de la ejecución en términos de los intereses, sus fina-
lidades y los puntos de vista de los evaluados, en los que se incluyen los sujetos
objeto.
Selección de poblaciones objeto
Debe quedar claro que existe una acción entre la selección de la población
objeto y el diseño del modelo de repercusión. De alguna manera, la distinción entre
ambas tareas es artificial. El modelo de repercusión debe incluir un conjunto de
hipótesis acerca de la plausibilidad de un evento que precede a otro. Tales hipóte-
sis se basan en las predicciones respecto de las características de una población
objeto relacionada con la intervención.
Al considerar la selección de una población objeto el investigador debe tener
cuidado de que frecuentemente se desea distinguir entre el grupo que estará sujeto
de inmediato a intervención (el objeto directo) y la población total que requiere
eventualmente intervención (los objetos indirectos). Algunos modelos de repercu-
sión implican tales distinciones; por ejemplo, cuando el problema consiste en
incrementar el ingreso de los desempleados. El gobierno había aumentado los
PLANIFICACIÓN DE LAS EVALUACIONES 53
pagos de los desempleados, los objetos directo e indirecto eran los mismos: aque-
Ilas personas sin trabajo; sin embargo, el gobierno podía decidir convertir a los
empleadores en el objeto directo, al permitirles reducciones especiales a los im-
puestos, siempre y cuando contrataran trabajadores con un historial de desempleo
(quienes son ahora los objetos indirectos). Para predecir el efecto de tal interven-
ción, el evaluador debería tasar los datos de estudios pasados o recolectar nuevos
datos, y las relaciones existentes entre ese incentivo del impuesto para los
empleadores y el incremento del empleo; una tarea tan importante como prede-
cir la composición de la población objeto, —los trabajadores desempleados— en
sus características sociales y psicológicas (para un estudio más detallado de los
objetos directos o indirectos, consúltese el capítulo 3).
Además, debido a la relación existente entre la manera en que están organiza-
dos los programas y su aceptación y uso por las poblaciones objeto, los modelos de
repercusión necesitan tener en cuenta la forma en que se organiza un programa en
términos de aceptación por parte del objeto. El cambio de la salud constituye un
ejemplo útil. Los estudios correlacionados sugieren que la carencia del cuidado
prenatal, sobre todo durante los últimos meses del embarazo, está relacionado con
los problemas subsecuentes en la salud de la madre y el niño — entre otros, una
alta probabilidad de que el niño estará retardado mentalmente. Un subgrupo
representativo de una población objeto está constituido por madres solteras,
particularmente en áreas con bajos ingresos. La solución viable suele ser muy
simple: incrementar los servicios médicos disponibles en las áreas con bajos
ingresos, las cuales tienen grandes poblaciones de mujeres jóvenes; sin embargo,
esto no necesariamente significará que el incremento de los servicios hará más
fácil o incrementará el uso de los servicios médicos para las madres solteras.
que del programa debe cambiarse rápidamente si las poblaciones objeto no son
lo que originalmente se pensó. Por ello, en el capítulo 3 se verá cómo se deben
estimar los objetos.
Diseño del sistema de entrega
Las intervenciones, no importa cómo se conciban, pueden no ser efectivas y
eficaces, a menos que exista un cuidadoso y bien diseñado sistema de entrega.
Algunos sistemas de entrega son comparativamente simples, sobre todo cuando
los objetos están poco definidos. Proporcionar educación para la salud en los
salones de clase es una proposición comparativamente simple. Otros sistemas de
entrega son altamente complejos. Los cuidados especiales para la salud de madres
prospecto, que experimentan "altos riesgos" en los embarazos, pueden requerir
médicos familiares, especialistas en obstetricia y pediatría, hospitales generales y
centros especializados en el cuidado infantil.
Elementos del sistema de entrega
Para documentar y valorar un programa se deben explicar los elementos y cri-
terios de representación diseñados y medidos. Entre los elementos generalmente
monitoreados, los cuales se estudiarán en el capítulo 4, están los siguientes:

54 CAP. 2. CCI MO INTEGRAR LAS EVALUACIONES
Identificación del problema y de la población.
Provisión de procedimientos y servicios.
Las calificaciones y competencia del equipo de trabajo.
Los mecanismos para reclutar y obtener la cooperación de la población
objeto.
Los medios para optimizar el acceso a la intervención, incluidas la localiza-
ción y las características físicas de los sitios de entrega de servicios.
Los esfuerzos de referencia y seguimiento.
Por supuesto, cada programa tiene sus propios conjuntos de elementos de
entrega de servicios. Aquí será útil un ejemplo. Una enfermedad neurológica
infantil, rara pero invariablemente fatal, es la de Tay Sacs,* por lo general trans-
mitida y confinada casi exclusivamente a los judíos con antecedentes en Europa
del este. En uno de cada cuatro embarazos en los que cada padre potencial Ileva
el gene recesivo del defecto, el niño se verá afectado (los objetos están identifica-
dos). Fue diseñada una intervención para prevenir tales embarazos, en la cual se
ofrecen análisis sanguíneos (prueba de Tay Sacs) a la población con anteceden-
tes en el este de Europa; los portadores son advertidos de los riesgos que corren
al tener relaciones sexuales con otras personas que Ileven el mismo gene; las por-
tadoras embarazadas son aconsejadas para que busquen un diagnóstico evaluati-
vo del bebé en el útero, y en el caso de la existencia de un feto con Tay Sacs, se
recomienda médicamente la intervención de un aborto terapéutico (procedi-
mientos y servicios).
El programa está bajo la supervisión de un consejero especialista en genéti-
ca, hay enfermeras para tomar las muestras sanguíneas, y un especialista en
publicidad es contratado para seleccionar sujetos objeto. Uno de los esfuerzos de
la intervención se realiza cada semestre, en los recintos universitarios, en un
lugar conveniente (por ejemplo, la confederación universitaria). Los casos positi-
vos se envían al consejero, el cual se encuentra ubicado en la clínica de la ciudad
universitaria (reclutamiento y acceso al sitio). Los estudiantes portadores que no
buscan al consejero son contactados tan frecuente y agresivamente como sea
posible por su doctor y, una vez identificados, son contactados anualmente por
correo para impulsar la prueba también en sus parejas potenciales o comunes
(retención del objeto).
Además, para valorar los diversos elementos del sistema de entrega se deben
recabar datos de los costos, si se tiene que efectuar una evaluación eficaz. Los
costos en salarios, el trabajo, las cuotas y la propaganda podrían ser adecuados y
aplicables al ejemplo anterior (véase en el capítulo 4 lo relacionado con el moni-
toreo y en el capítulo 8 lo referente a la eficacia de los estudios).
Estudios formatiuos
En el diseño y desarrollo de muchos programas es útil y frecuentemente
necesario efectuar actividades evaluativas durante el diseño de la intervención.
Tales actividades pueden ser rnuy simples o tan complejas como las evaluaciones
exhaustivas. En algunas ocasiones se dirigen a interrogantes específicas relacio-
Entermedad congénita caracterizada por retraso mental, ceguera progresiva, parálisis y muerte (N. del E.).
PLANIFICACIÓN DE LAS EVALUACIONES 55
nadas con el desarrollo del sistema de entrega, con la selección de objetos y con la
estructuración de la intervención. Otras veces son evaluaciones de repercusión
míníma realizadas para colectar las estimaciones de la magnitud de la repercu-
sión que se espera con una intervención particular. La necesidad de contar con
una evaluación formativa es una razón importante para permitir un tiempo ade-
cuado a la planificación y el diseño del programa. Muchos programas fallan en su
fase de diseño para invertir suficientes recursos en esfuerzos formativos. La con-
secuencia puede afectar la importancia del programa. Las evaluaciones forrnati-
vas pueden incluir la prueba y valoración de un programa, ya sea en uno o pocos
sítios, o con una pequeña muestra del objeto antes de la ejecución exhaustiva.
Por ejemplo, como parte de la planificación y el diseño del programa Sesa-
me Street (Plaza Sésamo), el equipo de trabajo estaba consciente de cuáles
características particulares de la televisión debían ser escogidas como los agen-
tes del mensaje por comunicar. Se realizaron experimentos relativamente senci-
llos. Los mismos mensajes de aprendizaje se transmitieron en caracterizaciones
diferentes y en frecuencias distintas. Los grupos de niños que veían las represen-
taciones en las pantallas de televisión eran evaluados en la variación de su aten-
ción a la pantalla. Con base en esto se tomaron decisiones respecto al formato del
programa (véase el anexo 2.4).
, tP.of4nrgt.r.
Anexo 2.4. Investigación format Iva
de Plaza Sésamo
,
Ilna parte Unttórt.aritéde h: Investigación formativa $aliz'ada en año y medlo
de planificación dePtaii Sáhinci impllc6 lárnedtelón dela aildiencia, y su atencIón
era Ull elemento importante para saber si Plaza Sésarno lograba su audiencía y si la
mantenía.Pequelos grupolde : nittós.de¡gclad apropiada y con habilidades cognos-
útiv.al evidentes fueron seleccionados pata que acudieran a los estudios.del Taller
de IsphOs cátveiflii:tillier:prograinaS propOestos y 'Partes de estos CiltIrnos:E1,0i-o-
grania ssé Proyectá 'étitttiaparatode teleyisión, 'rrtientras que, sobre unapared radya-
cente, se proyettaron transparencias en angulo para los nIños. Los observadores
obtuyteron una proporción cds 7 5 seaundos de que los niños vefan el programa
en vez. de las tr.ánOaréri . CIal, ',Provectablas Lb. s.PródjgVores -pu, dieron
pimto en el 'grado de
atericiákqué existia sobre el ptitglámá'ci . párte de'la pr obada denItios.De:
a..lejítar,:‘ii:r. réChazar versiones de prograrnas, se hicieron
41.eiC0.-delaS 'carattérláticas que Itrajerono n0:1A_atención de las
n i net.l.é;OnáilnitatpentldesOeittájacióí:12 investilátóri fOrMátiVa desernpeñó un
paiiet,-crüciffl,s:seMplo,1 prcidüCtOtéli al reduclr el rIesgo de que Plaza Sésarrio no
iéle:
:.„Jtyla
. t ic,,nzada
105,0;,Tpe rirít,Ylar-63 Sesame Streml The Formanse
, - '
En otro ejemplo de un estudio formativo, una porción "típica" de la población
objeto se seleccionó para partícipar en un proceso de prueba de la intervención.
Este estudio se realízó para estimar el número de poblaciones objeto que podrían
56 CAP. 2. COMO INTEGRAR LAS EVALUAC1ONES
utilizar un programa comunitario de salud mental con atención semanal. Se man-
tuvieron registros cuidadosos de los medios para "seleccionar" sujetos objeto, en
la proporción de quienes asistieron al curso de ocho semanas y de quienes deserta-
ron. Se entrevistó a los que abandonaron el curso, con el fin de saber por qué no
completaron el programa, para encontrar mejores maneras de reclutar a la pobla-
ción objeto.
Por supuesto, los estudios formativos varían en el grado en que son rigurosos
y en la complejidad de sus recolecciones de datos y de su análisis; sin embargo, en
muchos casos aun los estudios más simples permiten examinar los problemas que
afronta la intervención y los medios para resolverlos. Es más, en muchos casos los
estudios formativos también permiten probar con anticipación los procedimien-
tos e instrumentos de la evaluación, así como la evaluación misma. Los evaluado-
res comprometidos en estudios formativos deben participar en el diseño actual y
en el esfuerzo de programación, pues el énfasis aquí consiste en incrementar el
éxito de los esfuerzos de las intervenciones subsecuentes y de sus evaluaciones.
Así, el evaluador se convierte en un defensor y partidario participante de las acti-
vidades del programa.
Simulaciones del programa
A menudo, el tiempo, el costo y otras exigencias impiden realizar estudios
formativos en el diseño de actividades innovadoras. En tales casos, el equipo del
programa y los evaluadores pueden alternar las simulaciones del programa (véa-
se el anexo 2.5). Las slmulaciones también pueden complementar los esfuerzos
formativos.
, r777 - ""
Anexo ujo Involuntatio
del paciente
n segulda de las bastantes ,sóliclas experiencias de éxIto én el aeroespacto, la
Ibillcta;:lárcórnputacIón y las decharactóri,es:;de he§ticlo,s; ta tolcnica de la simulálk
ti¿n Ppr OOputadora aparec-e lasj'aPlidaelOnes de blenest4.i
s6cIaL5Aúnque en los últimos Casos el sisterna rnodelado era rnenosestructurado,y-_
las VarTables cle los .reSultádos eran frecuenternente menos. defintdas,
ciones se ernprendían por tazones típicas para la técnica: existía un sistema de
variables interrelacionado, completamente, en el sentido de qüelas relaciOrre
ehtre los ingresos y los egresos no eran Intuitivamente obvlas, perosídifícileSideenki-,
car de manera analítica
.„ -S I el siStema s'e pue.d er relresentar de modoactecu-adá en un
Modelo, los egresos resultantes del patrón particular de ingresos sepodraneSiimany-
L., la información ernpleacla en cu,alquier procesp_dejdecisión es-tará,.~nible:r
Ehliano de 197 ,se '1:ecabarb n'claíias cle:1'--riodo--de'
pe sePtiembje'de 1974 a
abril de:1975Sue permItIeron describir los númerOS de pacie ,ntes de aCtierdo .con la
áecIsíión;-, sijas' di'strIbúclohes cle los periodos de ^estancialkir cada `segmento
eStanCia:1-6Súj¿tos fueron pacientes que 'ingtesaron e.nd pabellón durante .else
pertodoTjLá datos Prirnarlos fue un sisterna de ,dátOS cornputárizado.de-un
Centró de salud rñe-rital:, eOinunItario relativO, el Cnal durante eSe tiernPótamÚlén
incluía a todos lospaclentes que ingre ,:aban .en el,pabellón psiquiátrico. Datos
cionales Se -ohiuvieron del regis'tro"del condado.y
bPortaron profesionales''en
57
salud merital qüe conforMbron el ingreso:inicial,de pacientes.pcitenciales
rios. Los clatos colectaRicís incluyen fuentes referenciales internas y dIsposiCión fue
ra del pabellón, datos de fechas acerca dé adn'ilsión y, desearga, y fechás de cada
addi.r2.ncia Cárnbio de estains inlentrás los paciCntes PerMariecfail en et
, Cada paciente fue clasificado de acue, do con su estado por cada díaen el pabe„--
donde las categorías de estados fueron de bdmisión voluntaria, converttglas
voluntariás (adn-iltidas thyoluntariamente,.per9 rn , ,ás tardese ton y lno en que se corvi
o ,cde 90 días
,
-Dado el tuegO de,CláSifiCacir5n pára. pacientes, se prograrnas de
cornputadoras que podrián ,resurtur. las fuentes referenciales y las disposiciones den, =
- tro-;,;:fuefra de pábellón,-',. tárabjo, seil-"Yel es- tadolde4-,paciente, frecue,ntlay,tipo.s „d. e 1as
audiencias legáles, dIstribuclones de las longitiídes de estancias distribuciones d.,
nürneros , y'fipoS- de adrnisio,nes, y
b da tipd de pacientes:
t3s
'
ne"CUP3El a Cd par_ tictuarrnenle
1ción acerca'lli -admisiortes,audiencias y cambios en.et:
estatus, Una buena reacción natural cle esos materla Í es hetho7de-,.'que
fue "¿Qué pasaría mejore,s versIones delaeuestIónIn'eron: b)¿quéliabría
sucedido sI la eornbinációry'de los.Paclentes voluntarios e involuritario's:hublesé''
carnbiadó?:V. b. ) . 4ulliábría'sücedieló si lós jueteS -erhpezaran'a Intfeinentár-odet re.-
.meritaretrailIó en-aüchiCiéton cornprórniIós'en l priinera aüdiencia? Esas
res son de interés especial debido a su repercusIón en la cornbinación de paciente
voluntariosiinvoluntarios (dado que estdafecta'al pr9gre.ama)'proriredIo
clo de estadía y proporción de ernpleo de camas. , Talés íSibbierilas
- han,Sidó .de
importaritia par-litular porqüe,la cg, que representa un cat'nblia,raclical moderado
en el próCediriiierito, era aúri'relativaniente nueva, y los mét&lás para responder a
ella apenas se habían consolIdador , Un estudio cle simulación pareció ,la rnahera
'apropiacia de dirigir las interrogantes. • ' '
El segundo propósito del estudio de simulacIón . , - fue adquitir alguna
con'la téenica de sImulación en un esfuério por valorar su utilldad para la évaltia"-:
isa. ción 11:1 kograina y les.fUnclope,s,de.lainVQ.spgacI5n
Álgunas simulaciones son altamente cuantitativas y formales, e incorporan
modelos complejos elaborados en computadora (incluidos los estudios de efi-
cacia anteriores, examinados en el capítulo 8). En otras se aplican enfoques
cualitativos, como en las consecuencias de cada manera de identificar, delimi-
tar y reclutar poblaciones objeto. Asimismo, varios niveles de repercusión son
estimados Por programas de intensidades diversas. Finalmente, los evaluado-
res suelen simular los resultados de estudios de programas similares para que
los patrocinadores, los planificadores y los diseñadores puedan confrontar el
tipo y la magnitud *de resultados que logren.
Mucho del trabajo de simulación que los evaluadores efectúan durante el
diseño de un programa y durante toda la evaluación es similar al realizado en
todos los estudios de investigaciones; por ejemplo, un anexo comúnmente reque-
rido en los diseños de evaluaciones es un conjunto de "tablas falsas", las cuales
muestran lo que los resultados de una evaluación deben parecer y en cuál rango
58 CAP. 2. COMO INTEGRAR LAS EVALUACIONES
de uso y estimación de la repercusión se debe incluir. Las "tablas falsas" deben
alertar al equipo de personas, a los patrocinadores y a los evaluadores acerca de
si se plantean o no las interrogantes apropiadas para la evaluación, sugerirán las
estimaciones razonables de la repercusión y, de este modo, formarán expectati-
vas de acuerdo con la adopción del programa en una base más amplia, o si se
continuará apoyando en cualquier nivel.
Resumen de las actividades
innovadoras de la evaluación
Cabe recalcar que el evaluador, al planificar, diseñar y probar los nuevos
programas, debe ser capaz de emprender un arnplio rango de actividades. Éstas
varían de acuerdo con el tipo de programa puesto en marcha, las exigencias en
recursos y políticas y las tareas particulares del equipo del programa y de los gru-
pos evaluativos. En muchas evaluaciones de programas innovadores, el evalua-
dor participará por lo menos en alguna de las tareas examinadas en este capítulo,
a saber:
Identificar y describir el problema o la preocupación.
Operacionalizar los objetivos del programa.
Desarrollar un modelo de intervención.
Definir una población objeto.
Diseriar el sistema de entrega y los procedirnientos para verificarlo.
Valorar la repercuslón y estimar la eficacia.
EVALUACIÓN DE PROGRAMAS ESTABLECIDOS
Mientras que la evaluación de programas innovadores representa una
importante actividad para el campo, la mayoría de los recursos de los programas
(y, por tanto, de los esfuerzos evaluativos) recae en la valoración de los progra-
mas comunes establecidos. Los esfuerzos evaluativos relacionados con programas
establecidos son menos evidentes que aquellos vinculados con prograrnas innova-
dores. Primero, la mayoría los realizan "en casa" equipos asociados con las agen-
cias operantes. Segundo, parte de la evaluación de programas establecidos se
relaciona con asuntos administrativos de mantener y mejorar la efectividad del
programa.
En este sentido, las reglas de campo son diferentes. Los programas estableci-
dos suelen ser una respuesta histórica a preocupaciones sociales; muchos han
surgido de esfuerzos tradicionales, permanentes o mejorados, y sus estructuras
básicas rara vez son susceptibles de cuestionamiento. El valor de los cosejeros-
guía en las escuelas, los programas vocacionales para impedidos, la supervisión
de la palabra de honor para ex convictos y la educación cornunitaria en la salud
para prevenir enfermedades se consideran cuestiones resueltas. El público espe-
ra no sólo que esos programas sean vigentes, sino además que involucren a
defensores y empleados, y que una proporción significativa de la fuerza de traba-
jo nacional intervenga en su continuación. Así, las presiones para mantenerlos
resultan fuertes.
EVALUACIÓN DE PROGRAMAS 59
Al mismo tiempo, en muchos sectores de recursos humanos existe un escrutinio
continuo e intensificado de programas establecidos. Muchos se basan en valores y
modelos de intervención que no son adecuados, mientras que otros han perdido sus
fundamentos aparentes y sus objetivos. También, como ya se hizo notar, existe una
comunidad creciente e inconforme acerca de la proliferación y la redundancia de los
programas. El costo en espiral de los programas y las limitaciones incrementadas de
los recursos, sobre todo de los fondos públicos, requiere escoger lo que se apoya y su
magnitud. En consecuencia, se han planteado interrogantes serias acerca del grado
en que el programa funciona eficazmente y se apega a los requerimientos ftscales,
legales y operacionales. Finalmente, los distritos electorales y los seguidores de cada
prograrna están preocupados por su repercusión y su relación costo-beneficio, en
cornparación con los prograrnas con los que compite por patrocinio y financia-
miento. Por todas estas razones, los encargados de la política y responsables de
ubicar los recursos, los administradores del programa que defienden su puesta en
marcha y los grupos de seguidores irnplicados reconocerán la necesidad urgente
de evaluar los progrannas establecidos. En el anexo 2.6 se describe el cuestiona-
miento común de los programas de educación acerca del alcoholismo.
educación 'acerca deralciShol,
¿previene IpCproblemas del aleoholismo?
Una premka razonable es que la prevenoón de los problemas de alcoholismo
y consumo de drogas entre los jóvenes debería empezar con enseñar entre los
,
nthos y adolescentes ei conocimientode la realidad acerca de la naturaleza, el co. n-
surno, y los éféctos dé.aquellas sastantias que son bbjeto de abuso. No obstante,
:eyldenclás-ieelentes sugleren que los programas de educación contra el consumo
`de drogaS- tiuf?dn aumentar en vez de disrnInuir las achtudes prociroga y el c.onsu-
rno de"droqas ha incrementado las críticas a los esfuerzos actuales de ectUcaclán
contra el aicobol y las drogas y ha permitido a algunos buscar una mórátoria a los
enfoques de -preiP encIón pnmaria R e -.pecto dela educación contra el alcohól, este
papel examina críticarnente las evidencias acerca de esta falla en la edueaólón
como una InedIda preventiva y c.onsidera st una acusaciáncontra, , empleo cfe
estos rnE:todos se g¿,trantiza en este tiempo. Adernás, se examin,an varias caracte-
rísticas nCcesária;s7dé una'prueba'adecuada de efectividad den la edueactón'eOntra
el•Atifique 'eSte docurnento se retaciona con la educacl6n contra el
alcoholkmo, se ha incluido información de la bibliografía acerca de cclucación
contra el consurno de drogas más abundante cuando sea pertinente.
Efectividucl ambigua de la e ikación
contru ei alcoholisalo
Auncitle.:lás.:Inttlínico_ -,édnlati!;4'.:en Estados Llnidos reclben aprobaciones
corcliáy colinOZIrderiVel'Ireler'ithiCIrlifinar-lOW.: 1110i:lin:a.;,aftaIncia de que virtual-
merliltOdos lcil:.10418i:rellgeten. ltistrIcCIÓnAjelaCIO`ii:15g1/ alcohollárnO en las
e sc u c I a s'Príhlióál; ;.11.éjeltielória .Ctithl,de:104ilOgilihállfiltitIctivos generalinente se
, ha„ phriciad4iijg-hallai4i,
.,.„.,.., .„. , :ahlaItiCi6hsf,MérflOat
. ..:,, Gicitietil. entre
.., , :... ...„ ,,..- .....-. Otros: lha , sugeri-
dó.que ,. .„ .:...
..:1¿:Iiréséhté"Iihi
...a, éi6h'se
..,,..,. drigth6Círándóil
,--‹ , . InfliteriakdélOs . grupos de rnode-
ración:(15Or : e)priiplo, i.élr..DeP :. 5.1,q,..nt:Oti; so'mrI. s1 e.nitiérariCe ,Departavinento de


60 EVALUACIÓN DE PROGRAMAS 61
.......I'v,....?•7,111 ~.. ....:;:-.'".:.7.. ., - - , . ,.
ddél:któii.: :Ciério . 40.1i.1¡ • Ilitirpo*.. ; . - • . - irnetos, esfuerzos-de esos'grw, trario, cualquier evaluación que se emprenda será probablemente poco útil.
,. p9.1..rd, 4.:4;bli._e-ra'cl.,ón.. .......tenj4.ó.... 1 ...9 ....., .Çgyr:•4..;".14.....ed..110.¿..I.i5.n ...1Có.nti-a
., .':1.,ral,s6.1451.12-1--' La valoración de la evaluabilidad requiere la disposición incondicional del
üill.Párte:iinpili,tánte de(picig-r."ainá¿ini-10.4ri;i:lklaS:es'Cuejal:PúblIali..S!.¡Srnátéríal personal y, en muchos casos, la colaboración del patrocinador y de quienes se
. ....e¿IúCáíitTói..:Tnéixini.,altiicad01..C:Oiiii>5'..tlilnyliónaélólY,:baIlidós.sPfiliielnáliri'erite:InTiol encargan de la política, para explicar los objetivos, la descripción del programa
Séliiiinieritós'ile.:Wiledólj.:Z141.C:iíti401aIejld-a's-,'"pón.:,el' d.Verii.fnIeri.tól.51:.:IbrOgICIO.I.:,. y decidir las tareas evaluativas. Mientras se puede argüir que el equipo de traba-
‘7.1e',11Pinhibleián, dañareki'd etta.hiddelenfitiáne..:CleinneleYalÓ.n.y:'llejátón'Itnutind.!..-'" jo del programa debía, de acuerdo con su propio convenio, realizar las activida-
.11001:ecímreglarnentos-enlIn¡..que:S.e;‘¡:e0nría,11(illir,11:90.1.esol..0,41.9,911:00.i6.:i. des descritas como valoración de la evaluabilidad, el evaluador encontrará que
.:. riciii•:'1.1•;:.-ílilion ningún : .ffiétime.táltfletitio.::40 ..:teoppioárá • lá•oiétlát,. :ciorlii. • esto ocurre rara vez. En consecuencia, estas evaluaciones se convierten en una
:;.......,wiliiie' .ilabit..Éilfrelit,401 c...dn'eSte.`41erini:;:leiS'..édi4a4.14;e1r.patec.éntiabli-.011.. responsabilidad del evaluador, por lo menos en términos de liderazgo, el cual es
l'.;..t.IrnIi';.::E't difi ere
inetlá yniétnClót;;:-.E.c11: 111teo.010:410 04,..s'4•pto-lii'd14..1é...011.10ii-en Is..1)3-Ci..liá necesario para efectuar el trabajo.
¿:1-..i.áléial'éiái .1.-oliketI. tá.ii.:.cki 1.4...,.."..6ith*. él:iétiíá'.e14.'éducácin ¿cintie
.',.'ll'smciY,lell'efec.t.OICenclüctUaIgl. .:S.• • * . ilt41-clela,ICOJi.011tOn njituna até ".
44:Illiii1044té'. t ." x .ti" . • , . ''''adOé-Icebtes: Valoración de la evaluabilidad
•• '''.-'•Unaideclárációri r:11: -'4:'..1) :1 ›.'. .9.,1-. 3. . -„.. 'm.édibleá",'es
.. .. . • ,,.. Ltna forrna necesar:
.,, .,... . . .. ,
ciAl.r,ul.p.t9glatna'.'1:1491 .L,.......
,flia..re.9.„- . ,003.1 , signi0c4tiva, aun cuando.:-.yarists Realizar la valoración se puede considerar como una serie de aproximacio-
hari .a(?:Itá'c00 -1:•¿$" 'iéiilki .t.án: 'i. leei:¿¡ité szle.'ine.aí,'érilos prograrriA' de'éduca nes sucesivas. El especialista en evaluación usará cada encuentro con el personal
contra'eraltitiOliátntiMúchtisIilogtoriá0. 14 -rietpoi.isin una'clai-a,d'efintciÓn.d de trabajo para ampliar sus conocimientos, identificar a los nuevos informantes,
_filosoff430'..esul:i iilre0,:e.ii , p.áitoi.:. 1«,:;e1..,ke:11501S4ble de la ausenC1A de estudios verificar la información recolectada y probar los diversos escenarios de las futu-
bien c6Vrtídiá'cid s. . ádétcáifela-efecfivIdad . détatéli-biógr.alnaS. En 196 -6, Fre eman y ras actividades evaluativas y las opciones de programas alternativos.
SCOtt infornlaron que muchos de los prOgrátnas'de..;edn.lación contra el alcoholls- El método está reconocido como uno que requiere un juicio detallado de par-
nió,::r. glfeiifei;:: .0.iét:ál: . eltiP.d.f.I.F:e'l,íi. ef I cierecle .:...OFjáii;.e.,Pefct..1.5; ó n y que poco SC te del especialista en evaluación. Se han hecho esfuerzos en varias descripciones
i_-)dría,..ti'a¿'.. --. — - ' - ititáción, El ' eiMa subsiste, después de del método (Rutman, 1980) para codificar los procedimientos, con el fin de que
-. .
proporcionen una valoración reproducible por otros asesores. En general, se han
Dg Alc.:,hol Education P-re--•
seguido los siguientes pasos repetitivos:
up Educovon, vot, 25, ntIm.
, Preparación de una descripción del programa. Esta descripción se basa
en documentos formales, como los de los propósitos de los fondos, los
folletos publicados, los manuales administrativos, los infornnes anuales,
las minutas y los estudios evaluativos cornpletos. Se incluyen las declara-
ciones que identifican los objetivos del programa y los clasifican en forma
Perspectiva de la evaluabilidad entrecruzada con los elementos del programa. En otras palabras, como el
estudiado rnodelo de repercusión para prograrnas innovadores, la des-
La idea estudiada en esta sección parte de las experiencias de un grupo en el cripción del programa compara cómo se supone que funciona actual-
Urban Institute (Instituto Urbano), cuyas actividades evaluativas les permitieron mente la intervención.
llegar a dos conclusiones relacionadas (Wholey et al., 1970; Wholey, 1979). Pri- Entreuistas con el personal del programa. La gente clave es entrevistada
mero, encontraron difícil y algunas veces imposible poner en marcha evaluacio- para recabar descripciones de las rnetas del programa y de sus fundamenta-
nes de los programas públícos porque los adrninistradores y otros evaluados se ciones, así como para identificar las operaciones actuales del programa.
resistieron, fueron poco cooperativos o fallaron en centrar los propósitos de los De esta información, los modelos de las intervenciones de las operaciones
estudios. Segundo, encontraron que, a menudo, los resultados de la evaluación del prograrna se diseñan y verifican subsecuentemente con las personas
no se utilizaban para refinar o rnodificar los programas. Esto fue dirigido desde el entrevistadas.
punto de vista de un enfoque sistemático, lo que Wholey Ilamó valoración de la Exploración del programa. Aunque la valoración de la evaluabilidad
eualuabilidad, que debe preceder cualquier esfuerzo evaluativo tradicional. Las no incluye una investigación forrnal, en el sentido de una recolección
valoraciones de la evaluabilidad o evaluación previa están diseñadas para dar un de datos a gran escala, suele incluir visitas para obtener impresiones
ambiente apropiado al trabajo futuro de la evaluación; además, como una con- prirnarias acerca de cómo funciona actualmente el programa. Estas
sulta de la administración sisternática, tales esfuerzos en sí mismos pueden ser informaciones se confrontan con la inforrnación de los documentos y
utilizados por el equipo de trabajo antes de las actividades evaluativas (Schmidt de las entrevistas.
et al., 1978; Rutman, 1980). La valoración de la evaluabilidad también puede Diseño de un modelo de progr-ama eualuable. A partir de los tipos de
revelar si la puesta en marcha oorresponde al programa tal como la definieron inforrnación variada, los elernentos clel programa y los objetivos se expli-
aquellos que crearon su política y los procedimientos operacionales; en caso con- carán para induirios en los planes evaluativos.
62 CAP. 2. COMO INTEGRAR LAS EVALUACIONES
Identificación de los usuarios de la eualuación. De acuerdo con los
propósitos de las actividades evaluativas y con los evaluados clave, en
seguida se identifica a quién se dirigirá. En reciprocidad, se decidirán
los cambios por efectuar, respecto de las nuevas decisiones (esto es,
administrativamente o por medio de la legislación).
Logro del conuenio para continuar. El paso final es revisar el plan evalua-
tivo con varios de los evaluados. El proceso de acopio de la información
durante la valoración de la evaluabilidad incluye, típicamente, diálogos
con los individuos clave y con los grupos importantes. Para este punto se
han aceptado la mayoría de los componentes del plan. Antes de que los
evaluados "firmen" el plan, es importante que se llegue a un acuerdo
explícito en lo siguiente:
Los componentes del programa que se analizarán, el diseño de la eva-
luación y las prioridades para iniciar el trabajo.
Entregar a las fuentes requeridas y convenir acerca de la colaboración
y cooperación necesarias.
Un plan para utilizar los resultados de la evaluación.
Un plan de los esfuerzos requeridos por el equipo de trabajo del pro-
grama para reforzar el potencial de la evaluabilidad de los componen-
tes del programa, los cuales generalmente no son manejables por la
evaluación, y un enfoque a la ulterior integración de los mismos en el
esfuerzo de la evaluación.
Al final, la planificación de las evaluaciones para programas establecidos
no es muy distinta, cualitativamente, de la que ocurre en las intervenciones
innovadoras. Quizá las dos distinciones clave en el estilo son: el énfasis incre-
mentado para incluir el modelo del programa de evaluación desde las activi-
dades existentes del programa y la atención más deliberada a los puntos de
vista de los evaluados, así como a sus responsabilidades y sus influencias. En
el anexo 2.7 se muestra un ejemplo de la valoración de la evaluabilidad.
Anexo . 1,7. Appalachian Regíonál Conamission
(Cornisión Regional de los "Apalaches)
„.
En la Appalachian Regional Conunission (ARC), los e, valuadores trabataron
administradóreS" ylós pOlítipas, pára lograr un'consensp acerca del diseno
un nuevo Prograrria rnaS . verosímll . P ara eos
m rat e escmpeno ce f" d acl
- at e ectivi
La-Valoración clé la evalaabilida'd de loS progra'rnas de salud y desarrollo del niño de
Ikha'organizaCián c" nipezo'con una colocción de'datos acerca de las íntenslond, los
dtlyInistrádores v la confnhiliciálpor.'éitirbáta lnstitute (instituto urt;ano), lOsevalua
ie .ron io sIguiente- -
• Se han ri-iej¿írádo
Revc=c1 rca) los clatos de la cornisión en cada uria de las 13 ARC estatales fun
dadas y rcspeuy dc lo's:progrartilas-de salucl-y desarrollo delos niños,
Visitaron duiante, un ' día crldauno de los cin.co estado-s para' a yndar la
, -Jt1 V-;
ue ba-rticip-andn_en la evaluación de sisterna cle
s• cd_y:ción de dos siaclos, cj
63
Re ,,d,aron cerca de 4() piiCsJr documentaciór, consideracla esencial para .
rnprender los,,objetivo, y ars actividades ,de la comtsión,. del congreso,•del
e,ta o en relación con ei proyecto incluidos la autortzación de la legtsla
1:-)s audiencias'del congresdy. ‹-etinforrne del coinitI;los_dckUrp:entoldéplári1
fIcación estatab9.1a .-a¡alica¿Cn 11.2S cle perraiscrs il proyet Jj"
Revisaron entié 50 si 60 piezas dc documentación,'Incluidos 1(35 Orm'elst
los cont‘ratos,
, ARC; lós- docilmTltos'.-..„.
de planes locales, los rnateriales proyec-
taclos;-7 1a" dbCurnentación CSPit,-11- Vlós p roy cc tos de investigación:
Entrevistaron aaproximaidmcnte . 75 personas de los equlpos congresiona- -
les; del Cúarter.de la corm siún, del,OersOnal de los prograrnas de salud y
-arrollO;del estado de la ARC de otros
. . dos. nnidades. .
p'anifIcación local y de los proyectos locales
Participaron en los tattcies con aproximadarnente,Z,QprIcticanteláctiltdr
rs de saluel clesarrolk) del uulo perso nal estatár de laARCy analiaaS.ext
' 110 S
nródiajetóri:.01,1"M.
qn preSentába laS actIVidades y IOS-pbietiy n)s elel progfa arcoo ls yeiátjo:e
-clusále'asunildás'entrellábáCti.vidadés,det-prórán'iá -r-
láynedición, y,faCtibilidad délds:Obietivos'cletotlpgranía
redefiniCIOneS.del d. iSeñó del , PrOgiárna. 'Aqní los evaluádores, influtdosorlas5cri
cas estériles'alprograrna y s-u .diseño, sugirieron córnoloS políticos y
, cloresP,Odrían estableder objetivosfealistas y inedibles, a"dernááde ciatoS de-,
ejecucjón'creii=Prográtna „ 'para-rnejOirai'.'n'actuación.
-
jEl- jnforine se pi'esehtó ,de dosrnaherás:,como modelo ma tótárde -
serieS indiVidualéde "friódeldCada uno coneerniente con'im objétivo
identifieadó del Prbdrainál ' El'infortne'séñal >atia'una serie'de opciones en'la informa-
ción; eOresadas en;:términóS de Modelo;Cualesquiera de los cuales se podría des-
arroltaren uii estudioespeCífico o sisterria.z‘,clé-"evalaad6n:',At , ieyisar el informe, et
'eqüipo de la . ARC tus,›:0 que esco j et explícitarnente -entre,10C-iirm - -ás alternativos de-
lá accióri11 . pi.dceso-de reciiáión.empleadó, fue una serie ,s de discusiones intensivas
_ _ -
Cdn los;-egUibOá:pay'fiCipánt'á de la ,ARGydel Urbárv-IriStmate;centradas en .„
tiVo y un ificidelo:del .:PXograi-na á- lá _vez..10-cacla sesión; se intentó llegar ci un acuere-lz-
dp acerca dé .1á validez del niodelddeflujo:p .rescntadd,éTVei informe la atenSi."4:
eruque„cullligíti_e'ZI:d1 - '14-1;e-lOnét-41
inforrnáción, se' podíaperSegiiir.
I u,áblbdádse - corn
_ p, eto ,en,apto xima, ,
de 50 000dolares Otros dos rheSeside"trabajO'Cai :la Ápi3aighian:
CorniSSIon Con'lás,rupOs'estatales yllóCáles'PiOdujeton decisloriede
.-lFIC 'siltémátiCas para,,mOnítorear;lár eje'C'CiCióit'.Cle'ródíSicis:Iroyectós
desárr011o de la niñez de la ÁÉC, aí c- 6mO -pára idehtifieáf-Y -evalual. la 'efectividad de
proyec.tós'::Innò -
- -,-6Aiil'13, - estádál;:delafÁRCT 7-1'hah'adoptado voltirn taidaiWit;l'érliátéma
rhónitoreó de;la,ejecución:=Dhiersós representi,mtes mfOrman que,en la áctualidad
los diseñOS del - proveCto rst iii mas cl¿Ii¿Irnente artieulados y creen quelosproyectos
Adaptaciój ic119::S.,Wytqley;,.."Ustng Lvaluation to Piógram eiís
e Reseaji-h aricl, F:ractic¿.:Climp¿ratiue óridInterilcrtióni21 Perspect.Iues S
64
Estudios explicativos
Por cualquiera de las dos causas, como consecuencia de los mandatos exter-
nos o con base en la valoración de la evaluabilidad, los estudios explicativos tie-
nen como finalidad proporcionar los hallazgos adecuados a las exigencias de
cada tipo de preocupaciones para explicarlos.
Los patrocinadores, el equipo de trabajo y un amplio rango de grupos comu-
nitarios pueden estar preocupados por uno o varios de los puntos que se enume-
ran a continuación:
Explicación de ia repercusión. Los administradores del programa están
interesados por la repercusión por dos razones: las internas de operación
y para justificar los programas externamente.
Explicación del alcance. Se refiere a las cuestiones clave relacionadas
con el número y las características de las poblaciones objeto, el grado de
la penetración (esto es, qué proporción de poblaciones objeto potencia-
les son servidas), los rangos de deserción, etc.
Explicación de la entrega del servicio. Generalmente, es necesario valo-
rar la operación actual del programa conforme a los planes de éste; por
ejemplo, los centros de salud mental comunitaria pueden incluir en sus
planes tratamientos de emergencia durante las 24 horas; la explicación
en cuestión implica si éstos proporcionan o no. Asimismo, muchos pla-
nes de intervenciones especifican las calificaciones para los proveedores;
de esta manera, la extensión de la entrega del servicio por un grupo de
trabajo calificado es otro problema digno de explicación.
Explicación de la eficacia. Obviamente, la repercusión relacionada con
los costos del programa es importante de dos maneras: internamente, en
términos del juicio de los beneficios relativos y de la efectividad contra el
costo de cada elemento del programa, y externamente, al competir por
los recursos.
Responsabilidad fiscal. Los programas tienen una responsabilidad clara
para explicar el uso de los fondos en sus informes fiscales; sin embargo,
además de lo que es una responsabilidad estricta explicativa, pueden sur-
gir pertinentes cuestiones anexas; por ejemplo, el costo por cliente y el
costo por servicios son datos que no se pueden abstraer de un informe fis-
cal. El incremento de los costos o los costos marginales son también perti-
nentes, dado que los programas varían en tamaño, o porque se incluyen
diferentes pob/aciones objeto, etcétera. Finalmente, los costos diferencia-
les pueden estar en función del sitio, la época y el inicio de programas
competitivos.
Responsabilidad legal. Todos los programas, públicos y privados,
requieren de reglas para cumplir sus responsabilidades legales. Éstas
incluyen el consentimiento de información, la protección de la privacía,
la representación comunitaria en las juntas para tomar decisiones, la
equidad en la provisión de servicios y el costo compartido. En los pro-
gramas públicos una adecuada complacencia con los requerimientos
legales es un requisito previo, el cual a menudo se debe cumplir para
seguir contando con el financiamiento.
EVALUACIÓN DE PROGRAMAS 65
El enfoque de las actividades explicativas de un programa está determinado
por dos tipos de requerimientos: externos e internos; por ejemplo, muchas leyes,
incluida la legislación reciente, requieren un informe de la repercusión del pro-
grama antes de la aprobación de su financiamiento para años ulteriores. Los
administradores y ejecutivos del programa, a quienes se informa, están conscien-
tes de la información explicativa, para que se mejoren y modifiquen los esfuerzos
y para administrar sus intervenciones eficientemente. De muchos modos, la valora-
ción de la evaluabilidad se considera un medio para diseñar una estrategia aclarato-
ria que se integre a las necesidades actuales y futuras de la intervención. Al diseñar
las estrategias explicativas existen dos consideraciones importantes: las evaluacio-
nes continuas en oposición a las entrecruzadas y las valoraciones internas en oposi-
ción a las extemas.
Evaluaciones continuas en oposición
a las evaluaciones entrecruzadas
En muchos programas extensos se utiliza el monitoreo y el sistema de infor-
mación, a menudo referido como sistema de administración de la información
(SAI), que permite valorar en una base continua el trabajo y los resultados de los
programas. Este sistema registra la información de cada encuentro, de la entrega
de servicios y de los resultados y costos. Los sistemas continuos frecuentemente
se critican porque "frenan" el impulso; sin embargo, como representan una
entrega permanente de recursos, necesitan justificar su uso constante.
No obstante, al mismo tiempo, en los estudios individuales o entrecruzados
de vez en cuando se realizan gastos excesivos en los costos y pueden ser eroga-
dos por el equípo de trabajo, pues no se consideran parte de las operaciones
rutinarias. Es más, pueden no ser oportunos y deben tener menos utilidad en las
decisiones administrativas dignas.
Otra vez, aquí no hay modo de aportar las reglas; en su lugar, se debe juzgar
en términos de costo por beneficio un sistema continuo de monitoreo. En
muchos programas se usa una mezcla de monitoreo continuo con el fin de valo-
rar el proceso con evaluacíones entrecruzadas para estimar en varios niveles la
repercusión y el costo por beneficio.
Evaluaciones internas en oposicIón
a evaluaciones extemas
Las evaluaciones explicativas agravan tajantemente el problema de si el per-
sonal de los programas debe emprender sus propias evaluaciones o contratarlas
en el exterior. Por una parte, es evidente que en el caso de esas evaluaciones, el
evaluador debe conocer muchas operaciones del programa, con el fin de diseñar
la evaluación y abocarse a la consulta, la educación y el diálogo requeridos para
optimizar su utilidad. Por otra parte, existe el riesgo de que el evaluador, quien
forma parte del programa, sea acorralado y que los patrocinadores y los evalua-
dores que están fuera del grupo de trabajo sospechen de la autenticidad de los
resultados. En programas extensos en los que los evaluadores pueden trabajar en

66 CAP. 2. CóMO INTEGRAR LAS EVALUACIONES
grupos serniautónomos, probablemente es más benéfico y económico para las eva-
luaciones explicativas que éstas sean internas. En programas pequeños puede ser
mejor tener asesoramiento externo, próximo a los métodos de las auditorías fisca-
les. En algunos casos, una combinación de ambos, en que se emplee a consultantes
para proporcionar asistencia técnica inadvertida, es más ventajosa.
DEPURACIÓN DE PROGRAMAS
ESTABLECIDOS
Frecuentemente, como se señaló en párrafos anteriores, existe un sutil límite
entre lo que se Ilama intervenciones innovadoras y la sintonización del programa
de ejecución, mediante su depuración. Asimismo, la depuración de las evaluacio-
nes comúnmente traslada las evaluaciones de programas establecidos. Con base
en la información de evaluaciones actuales, los administradores del programa
pueden efectuar camblos, día tras día, en el aspecto tanto administrativo como
técnico, bastante extensivos y sujetos a una evaluación sistemática. No obstante,
la parte medular de la depuración es la modificación del programa que repercute
de manera notoria en los esfuerzos de la intervención. Su esencia la denota el tér-
mino inicianua, el cual se aplica a menudo en los esfuerzos de depuración en las
intervenciones nacionales o a gran escala.
Típicamente, la depuración de programas ocurre porque los patrocinadores
y el equipo de trabajo no están satisfechos con la efectividad, con la eficiencia de
las intervenciones o con ambas. La base para efectuar tales cambios se origina en
los hallazgos de los estudios de la evaluación sistemática de monitoreo o repercu-
sión tipo, en los resultados de la valoración de la evaluabilidad o en una evidencia
más notoria, fundamentada en la nula satisfacción de la manera como se han rea-
lizado los esfuerzos.
Algunos ejemplos serán útiles. En el campo de la salud mental, los centros
comunitarios de salud mental en áreas donde existe una población sígnificativa
de habla hispana, han llegado a tener cuidado con las barreras que estas personas
afrontan por problemas con el lenguaje. Se ha tornado una variedad de enfoques
diferentes con la finalidad de agilizar el acceso a personas de habla hispana. Uno
de ellos ha sido incrementar la proporción de personal de habla hispana para
transmitir las características del centro por medio de un lenguaje dual en signos y
material educativo acerca- de la salud, y mediante el empleo de personas de
herencia hispana para contactar a grupos religiosos y culturales que sean clave
dentro de la comunidad hispana. Un segundo enfoque ha sido establecer progra-
mas "nutridores" satélite en las comunidades altamente pobladas de hispanos;
aquí, el personal, el material y las relaciones interpersonales reflejan la característi-
ca específica cultural de los residentes, el diagnóstico a corto plazo y el tratamiento
están disponibles y los pacientes se refieren a sus centros originales. Por supuesto,
el problema es si esos enfoques incrementan el acceso a la población objeto y cuál
de ellos es más efectivo.
Otro ejemplo de depuración se relaciona con el gran número de iniciativas
vinculadas con los centros comunitarios de salud, muchos de los cuales comen-
zaron como organizaciones gratuitas. Aquí, los grupos extemos al centro
comunitario de salud, incluidos el gobierno federal y las grandes fundaciones,
han adoptado una variedad de programas para relacionar a los centros comuni-
DEPURACIÓN DE PROGRAMAS 67
tarios de salud con los hospitales y las escuelas de medicina. Mientras que las
características básicas del cuidado médico no han cambiado en los centros
comunitarios de salud, las iniciativas se consideran mecanismos que reducen la
sobreposición indeseable de los servicios entre las instalaciones hospitalarias y
los centros mencionados. Asimismo, tales afiliaciones incrementan la continui-
dad en el cuidado del paciente, lo cual da mayor satisfacción al cliente. Simila-
res tipos de esfuerzos para reducir la fragmentación del cuidado han tenido
lugar en los centros vecinales individuales que ofrecen, a quienes reciben ingre-
sos de beneficiencia y a otras personas con ingresos marginales, una variedad
de servicios previamente disponibles sólo en oficinas separadas una de otra por
escasa distancia.
La depuración requiere básicamente, por parte de los patrocinadores del
personal del programa y de los evaluadores, tres juegos de actividades relaciona-
dos, los cuales se examinarán a continuación.
Reestimación de los objetivos
y los resultados
Los esfuerzos de depuración y los programas innovadores constituyen una
respuesta a las condiciones existentes; sin embargo, en el caso de la depura-
ción, la acción se centra en las condiciones inherentes al programa, en vez de
aquellas relacionadas con el problema nuevo o poco tratado. A menudo, la
advertencia de que un programa no ha resuelto los problemas comunitarios
requiere modificar los objetivos del programa y los criterios de los resultados.
Al respecto, considérese el problema de los centros comunitaríos de salud men-
tal y de la población hispana. El objetivo original de los centros puede haber
sido proporcionar un rango de diagnóstico, emergencia y tratamiento en sus
programas a corto plazo para atraer a los residentes del área. El objetivo, como
se estableció originalmente, no incluía considerar de modo especial las cuestio-
nes éticas y los pasados culturales de la población objeto. Al afrontar el error de
proporcionar acceso a personas particulares por sus pasados sociales y cultura-
les, se hacía clara la necesidad de mejorar los objetivos. Asimismo, el programa
de afiliación de los centros comunitarios de salud con los hospitales locales
refleja un mejoramiento de objetivos; se han redefinido y operacionalizado los
objetivos para incluir la máxima continuidad en el cuidado.
La necesidad de redefinir los objetivos suele ser evidente conforme se esta-
biliza el programa innovador y surge como especulación establecida en el cam-
po de los servicios humanos. Algunas veces, la redefinición de objetivos se
ramifica del diálogo que casi siempre acompaña a las actividades administrati-
vas cotidianas. Otras veces, el evaluador realiza estudios especiales, ya sea
como contratista independiente o como miembro de un equipo de trabajo, para
obtener datos que ayuden al personal del programa a revisar sus objetivos. En
otros casos, el evaluador y el personal de trabajo tienen a su disposición (como
se vio al estudiar los programas establecidos) la administración actual y los ser-
vicios del sistema de información que aportan datos acerca de los problemas
referentes a los objetivos comunes y el grado en que se satisfacen. Cada vez
más, se han empleado nurnerosos enfoques formales para auditorías continuas.
68 VINCULACIÓN DE LAS EVALUACIONES 69

Valoración del prestigio
El término valoración del prestigio se emplea con el fin de denotar el esfuer-
zo sistemático para obtener de los evaluados (sobre todo de las poblaciones obje-
to) opiniones y datos acerca de la experiencia, mediante lo cual se enjuiciará el
grado de éxito del programa para lograr sus objetivos. Valorar el prestigio consis-
te básicamente en obtener datos del banco de información. Algunos programas
contienen cuestionarios para el cliente con el fin de obtener información de ellos
para conocer su satisfacción con los programas. Esto se puede hacer mediante
un estudio especial o como parte de un esfuerzo común de monitoreo. La investi-
gación podría incluir preguntas acerca de varios aspectos del tratamiento tales
como tiempo de espera, realaciones con los practicantes, costos y cuotas, etc.,
así como buscar expresiones de los servicios deseados y de las necesidades no
satisfechas.
En resumen, sobre todo para programas extensos, el evaluador puede inves-
tigar al proveedor de servicios. Tanto las personas que ofrecen servicios como el
cliente tienen sus proplas desviaciones y riesgos en el programa, pero pueden
percibir las fallas y deficiencias susceptibles de corregir mediante una depura-
ción; por ejemplo, los datos regulares y sistemáticos se pueden obtener de maes-
tros, acerca de varios tipos de servicios especiales ofrecidos por una escuela,
como el proporcionado por consejeros que tratan problemas emocionales y el de
las guías vocacionales (en el capítulo 4 se abundará acerca del monitoreo).
A menudo, la valoración del prestigio señalará los esfuerzos de depuración
comparativamente simples, como dar retroalimentación a los maestros acerca
del tema que tratan con los estudiantes, áreas en las que fallan los programas
especiales y la manera de colaborar eficazmente con el fin de entender los proble-
mas del estudiante. Otras veces, la información puede resumir la necesidad de
hacer considerables modificaciones del programa.
La información menos formal incluye las presiones de los que abogan por los
evaluados y los grupos comunitarios, y la dan personas de clase media y en la
vida política. Cuando la valoración sistemática del prestigio se realiza antes de
estas presiones, el personal del programa de administración puede tener inter-
venciones mejores y evitar convertirse en sujetos de juicio.
base informal en cursos de inglés y matemáticas, para someterse a los exáme-
nes de la junta del colegio. Si se puede demostrar a la junta de la escuela que
esos estudiantes obtienen más altas calificaciones, las sesiones preparatorias
formales se pueden incorporar en el currículo regular de la secundaria, sobre
todo porque optimizan las oportunidades de los estudiantes de elegir la profe-
sión y el plantel que prefieran, lo cual es un objetivo congruente con una de las
metas generales de la educación secundaria. Al mismo tiempo, tal modificación
curricular puede incrementar el vacío que hay entre estudiantes con aspiracio-
nes y aquellos que no las tienen, lo cual requiere el énfasis de otros aspectos del
programa educativo e interfiere con los planes del maestro durante el curso.
Así pues, en términos de depuración, el evaluador debe participar en las
tareas siguientes:
Revalorizar los objetivos.
Usar los datos de evaluaciones previas, así como la información acerca
del progreso del programa, conseguida como parte de la entrega de ser-
vicios, con el fin de buscar la manera de modificar el programa.
Comprender y usar la valoración del prestigio.
Participar en la replanificación del programa y en su rediseño.
e) Planificar y poner en marcha los diseños de la evaluación para realizar el
monitoreo de los cambios del programa y su repercusión.
VINCULACIÓN DE LAS EVALUACIONES
CON LOS PROGRAMAS
En este capítulo se ha expuesto cómo la evaluación se ajusta al desarrollo de
las intervenciones innovadoras, dentro del conducto de los programas estableci-
dos, y en el mejoramiento y la depuración de los programas. La primera lección
que se podría transmitir es que la evaluación.se debe vincular con el programa
(véase el cuadro 2.1).
Cuadro 2.1. Revisión de las actividades de evaluación

Replanificación del programa y rediseño Programas Programas

innouadores estableciclos Depuración
Evidentemente, poner en marcha la depuración y el mejoramiento requie-
Conceptualización 1. Descripción del Determinación Estudios de la
re revisar los diversos pasos y las actividades examinadas con algún detalle en repercusión
problema de la
la sección de evaluación de programas innovadores. Es necesario que el pro- evaluabilidad
blema se halle bien identificado y descrito, que los objetivos estén operacionaliza- Funcionamiento Desarrollo del Redefinición de
dos, que se diseñe un modelo de repercusión revisado, que la población objeto de objetivos modelo de objetivos
sea redefinida, que el sistema de entrega se diserie de nuevo y que se hagan los evaluación
planes, por si se requiere revisar la repercusión del monitoreo y la eficacia. Desarrollo del 3. Identificación de 3. Diseño de las
Cabe destacar que no sólo los esfuerzos de depuración son más comunes modelo de las modificaciones
que las intervenciones innovadoras en el campo de los servicios humanos, sino intervención oportunidades del programa
también que las consecuencias de esos esfuerzos son extensivas; por ejemplo, potenciales de
en muchas escuelas secundarias, algunos estudiantes son preparados con una modificación
70

Cuadro 2.1. (Continuación)

Progra mas
innouadores .
Programas
establecidos

Definición de la 4. Determinación
extensión y
distribución de la
de
Depuración
3
población objeto
Especificación
requerimientos
de contabilidad Procedimientos
del sistema de
entrega

de
Ejecución 1. Investigación
formativa y
desarrollo
1. Verificación del
programa y
estudios contables
1. Refinamientos R
y D al programa diagnóstico
2. Ejecución de la 2. Cambios al
verificación programa de
verificación Como parte del desarrollo de las actividades evaluativas y la aphcación de los méto-
dos de investigación social en el área de servicios humanos, los enfoques sistemáticos y
Vaioración 1. Estudios de la 1. Estudios de la 1. Estudios de la reproducibles se han proyectado para identificar los problemas no tratados y las condicio-
repercusión repercusión repercusión nes que no se ajustan bien a los programas existentes. Estos procedimientos de "diagnósti-
2. Análisis de la 2. Análisis de la 2. Análisis de la co" algunas veces constítuyen el paso inicial en la identIftación del problema, mientras
eficacia eficacia eficacia que otras veces siguen la impresión del evaluado y la valoración de las necesidades para
diseñar programas de acción social organizados. En ambos casos, la documentación siste-
mática de la necesidad del programa se debe realizar de tal -nanera que se puedan planear,
Por supuesto, de ninguna manera se pretende restar importancia a las mejorar, ejecutar y evaluar los esfuerzos para la acción social.
actividades ténicas de evaluación y a sus procedimientos que siguen de la con-
ceptualización de los estudios. De hecho, esto es lo que se pretende en esta
obra. Más aún, es importante reconocer que los programas y las evaluaciones CONCEPTOS PRINCIPALES
son "dinámicos" en el sentido de que la experiencia adicional al programa, la
retrolimentación de la evaluación preliminar y los turnos en los contextos Incíciencía: Número de casos nuevos de un problema particular o
condición identificados u originados en un área específi-
políticos, económicos y sociales en que los programas y las evaluaciones ocu- ca durante un periodo determinado.
rren, pueden requerir modificaciones y ajustes para diseñar las evaluaciones. Indicadores: Medida que refleja un problema o condición del cual exis-
Al mismo tiempo, a menos que las evaluaciones comiencen por ser detalladas te información por series de tiempo.
y que sean congruentes con las operaciones del programa y sus requerimien- Medición de necesidades: Valoración sistemática del tipo, la profundidad y el alcan-
tos, los estudios sistemáticos exitosos probablemente se suspenderán. Mien- ce de los problemas como fueron percibidos por las
tras haya límites con respecto a cómo completar el proceso de enlace —pues poblaciones objeto o por sus defensores.
esto implica no sólo la formulación ordenada y el mejoramiento de ideas con Población en necesidad: Unidad de poblaciones objeto potenciales que común-
la integración de los datos, sino también el diálogo, la discusión y la interac- mente manifiestan una condición determinada.
ción con los evaluados—, el mensaje debe ser claro. La comprensión y partici- Población de riesgo: Segmento de una población que tiene una probabilidad
pación máxima del evaluador para ajustar las evaluaciones a los programas es significativa de desarrollar una condición.
Predominio: Número de casos existeMes con una condición dada en
esencial para emprender con éxito las evaluaciones sistemáticas. un área particular en ur. tiempo específico.
Rango: Ocurrencia o existencia de una condici6n expresada
como proporción de una unidad en la población (por
ejemplo, la muerte de mil adultos).
Inuestigación: Colección sistemática de información de grandes grupos
de estudio, generalmente por medio de entrevistas o
cuestionarios administratívos a una muestra de la uni-
dad de población.

71
72
CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO
Si viviéramos en un mundo utópico, donde casi siempre se tuviera buena
salud, no hubiera diferencias sino un equilibrio social completo, amplias oportu-
nidades para participar en las actividades culturales y socioocupacionales y exis-
tieran programas de servicios humanos eficaces relacionados con las deficíencias
individuales, interpersonales y comunitarias (lo cual, por supuesto, podría ser
menor), no habría necesidad de efectuar evaluaciones, ni nuevos programas ni
depuración de los existentes y tampoco sería útil verificar los esfuerzos estableci-
dos. Así, la evaluación se puede considerar como una respuesta al esfuerzo de
encaminarse hacia un mundo perfecto; los múltiples problemas actuales y antici-
pados en los campos humano y social, y la gran presión para diseñar, ejecutar y
depurar diversos programas que los reduzcan y controlen son el objetivo funda-
mental de la evaluación.
EL IMPULSO PARA INTERVENCIONES
Y EVALUACIONES
En una concepción global, la contribución del evaluador en identificar y
escalonar las deficiencias sociales y humanas y en la innovación y el mejora-
miento de programas que las traten es realmente modesta. Los investigadores
evaluativos deben ser modestos acerca de su influencia en esta materia a la luz
de las acciones de los grupos políticos, de las corporaciones de abogados, de
los ponentes y de las personalidades carismáticas. La atención del mundo pos-
terior a la Segunda Guerra Mundial con respecto a las enfermedades mentales
se debió en gran parte a un congresista singular; los prograrnas con subsidio
federal para ayudar al retardado mental recibieron un gran impulso durante la
presidencia de John F. Kennedy porque él tenía un pariente retardado; el mejora-
rniento de la seguridad automovilística se puede acreditar en gran medida a los
abogados de la guía Nader; y los esfuerzos para controlar la prestación impropia
e ilegal de los servicios de salud y bienestar a menudo se deben a los riesgos a que
está expuesta la clase media y a las actividades de interés y presión de ciertos gru-
pos, incluidos los esfuerzos de organización de los clientes.
Sin embargo, los evaluadores desempeñan un papel (reconocido como par-
cialmente responsable) en la identificación de los parámetros de los problemas
que requieren atención y en las deficiencias y limitaciones de quienes realizan
esfuerzos comunes. Lo que el evaluador agrega (por lo cual se hará referencia
a esto como procedimiento de diagnóstico) son los enfoques sistemáticos y repro-
ducibles para identificar los problemas comunales y para aclarar su alcance.
La importancia del diagnóstico de la información no se puede exagerar.
Mientras que las informaciones especulativas, impresionistas —y aun las desvia-
das— pueden acicatear a los políticos, a los planificadores y a los patrocinadores
o a sus organizaciones para iniciar acciones, es esencial tener una información
totalmente confiable acerca de la población objeto potencial del programa y res-
pecto del contexto en el que una intervención podría actuar antes que el progra-
ma comience. Así también, antes de afinar una iniciativa existente o de abreviar
un programa actual, se debe estimar la magnitud del problema. En seguida se
dan algunos ejemplos de los que sucede cuando se ignoran los procedimientos de
diagnóstico adecuados:
ESTIMACIÓN DE LAS 1NTERVENCIONES 73
En una intervención social diseñada para rehabilitar a delincuentes juve-
niles en un suburbio de la parte oeste se descubrió, después de terminar el
programa, que virtualmente no había delincuentes juveniles en la comu-
nidad. Los planificadores creyeron que como la delincuencia juvenil era
un problema general de la sociedad, podría encontrarse también en esta
comunidad.
Los planificadores de muchos proyectos de renovación urbana realizados
durante la década de los sesenta creyeron que las personas que vivían en
edificios "en ruinas" y consideraban sus casas como defectuosas, podrían
pagar la demolición de su hogar y aceptar la relocalización de nuevas casas.
De ciudad en ciudad, los residentes de las áreas urbanas renovadas presen-
tan una fuerte oposición a los proyectos de renovación urbana diseriados
por los planificadores.
La media de los programas diseriados para motivar a la gente a buscar un
examen físico con el fin de detectar los primeros signos del cáncer, hizo
que los centros de salud se vieran saturados al enviarles más pacientes de
los que podrían atender, pues muchas personas hipocondriacas sin indi-
cios de cáncer fueron estimuladas por el esfuerzo medio y creyeron que
estaban experimentando síntomas.
'En un proyecto de televisión educativa diseñado para mejorar las habi-
lidades de los adultos urbanos en una ciudad poco desarrollada, se
encontró, después que el programa había comenzado, que la mayoría
de los adultos sin habilidades educativas no tenían acceso al aparato
televisivo.
5. Un proyecto de control natal se amplió para reducir el alto rango de
abortos reportado en un gran centro urbano. El programa falló en
atraer a muchos participantes adicionales, y después se descubrió que
muchas de las pacientes potenciales ya eran atendidas. Para la mayo-
ría, los pacientes potenciales eran mujeres jóvenes que llegaban a la
ciudad procedentes de áreas rurales; una alta proporción de residentes
urbanos practicaban ya el control de la natalidad.
En todos los ejemplos anteriores, la investigación diagnóstica podría haber
proporcionado información que permitiría prevenir los problemas de la ejecu-
ción del programa. Cabe señalar que en los ejemplos en los que la intervención
no falló, fue simplemente porque la investigación no se realizó debido a que la
población objeto no existía, o porque no se procuró el programa previsto, o se
identificó incorrectamente, o se plantearon demandas que la intervención no
pudo cumplir.
ESTIMACIÓN DE LAS INTERVENCIONES NECESARIAS
El paso crítico en el diserio de un programa innovador es verificar que un
problema actualmente ígnorado o que se ha tratado sin resolverlo, sea tan gra-
ve que requiera una intervención nueva o una adicional. La justificación poste-
rior de los programas comunes y de los esfuerzos para depurarlos requiere la
evidencia de los defectos persistentes o no resueltos en las condiciones sociales
o en el sistema de entrega del programa. La acción de veríficar y medir la magnitud
74 CAP. 3. PROCEDIMIENTOS DE DIAGNóSTICO
y localización de un problema y de su población objeto intentada se ha llamado
valoración de /a necesídad. Valorar la necesidad es indispensable porque tanto los
profesionales como los miembros de la comunidad, en su celo por mantener y
ampliar los programas en los que ellos tienen algún interés, pueden sobreestimar el
tamaño o la característica de la necesidad. En algunos casos, aunque un problema
-por ejemplo, el predominio de incapacidades físicas- puede ser obviamente gra-
ve y tan difundido que requiera una intervención, puede ser necesaria información
acerca de sus características de distribución. Entonces, si las incapacidades físicas
son predominantemente un problema de personas de edad avanzada, originada
por enfermedades relacionadas con la edad, el tratamiento será diferente de aquel
que se aplica a las incapacidades entre las personas jóvenes. Así pues, las valora-
ciones de la necesidad se realizan para estimar el número y las características de la
población objeto en el programa.
¿Qué es una población objeto?
Las poblaciones objeto suelen estar constituidas por individuos, aunque pue-
den ser grupos (famílias, grupos de trabajo, firmas, establecimientos, etc.), áreas
relativas geográficas y políticas (como pequeñas comunidades de una región par-
ticular) o unidades físicas (casas, sistemas de carreteras y similares). Cualquiera
que sea la población objeto, al principio del esfuerzo de diagnóstico es imperati-
vo definir claramente la unidad de análisis. El criterio de definición varía. En el
caso de indivíduos, las poblaciones objeto generalmente se identifican en uno o
más de los siguientes puntos: a) características sociales y demográficas; b locali-
zación, o c) problemas, dificultades y condiciones de la población. La población
objeto de un proyecto educativo en el que los individuos reprueban se podrían
especificar como niños del sexo masculino, cuyas edades van de 10 a 14 años,
quienes residen en un distrito escolar y se encuentran entre uno y tres años por
debajo de su grado normal en la escuela.
Cuando las poblaciones objeto son conjuntos (grupos y organizaciones), a
menudo se definen en términos de las características de los individuos que los
constituyen, de sus propiedades colectivas formales e informales y de sus proble-
mas comunes. Una población objeto organizacional podría ser las escuelas de
enserianza elemental con por lo menos 300 alumnos, de los cuales el 30%, como
mínimo, provenga de familias con ingresos inferiores a la línea de pobreza.
Poblaciones objeto directas e indirectas
Como se mencionó en el capítulo anterior, las poblaciones objeto se pueden
considerar como directas o índirectas, según si los tratamientos se dan a las
poblaciones objeto ínmediatamente (directamente) o eventualmente (indirecta-
mente). En la mayoría de los programas se especifican sus poblaciones objeto
dírectas. Esto sucede claramente en las intervenciones médicas, en que una per-
sona con una aflicción directa recibe la atención del médico; sin embargo, en
algunos casos ya sea por razones económicas o factibilidad, se intenta establecer
programas que afectan indirectamente a las poblaciones objeto, haciendo como
sus objetos inmediatos a las poblaciones o condiciones que influirán en aquellos
ESTIMACIÓN DE LAS INTERVENCIONES 75
que recibirán los beneficios. Por ejemplo, en un proyecto de desarrollo social se
seleccionó a los granjeros influyentes de las pequerias comunidades y se les pro-
porcionaron programas de entrenamiento intensivo. Después de un tiempo
regresaron a sus comunidades y comunicaron sus conocimientos a los otros
granjeros. De nuevo, un proyecto que identifica a sus poblaciones objeto como
las unidades de habitación subnormales puede influir indirectamente en los ocu-
pantes de esas habitaciones.
Si la población objeto se define corno indirecta, la efectividad de un progra-
ma dependerá de la gran extensión en los patrones, principalmente del inmedia-
to a la última población objeto. La efectividad del prosiecto en el que se emplea a
los granjeros influyentes depende de las habilidades y de la motivación de aque-
llos granjeros para comunicar sus conocimientos a otros miembros de su comuni-
dad. Asimismo, si existe una relación estrecha entre la calidad de la vivienda y la
salud de la familia, la investigación e inversión para mejorar físicamente las habi-
taciones se puede justificar; pero si la correlación es tan baja o esencialmente
nula, tal inversión podría ser inefectiva o de desperdicio.
Especificación de las poblaciones objeto
La especificación del tamaño y la distribución de las poblaciones objeto pue-
de parecer simple en primera instancia; sin embargo, casi no existen defectos
humanos y sociales que se puedan estimar fácilmente, sólo por contar a los indi-
viduos u otros componentes de un problerna o una condición particular. Consi-
dérese un ejemplo sencillo: ¿cuál es la población dé personas con cáncer en una
comunidad determinada? Primero, depende de si se cuenta o no a los residentes
permanentes o si también se incluye a los residentes temporales (lo cual podría
ser extremadamente importante en Miami Beach, por ejemplo). Segundo, ¿se
cuentan los casos "recuperados", o aquellos sin una recaída, digamos en los cin-
co últimos años, se eliminan de la estimación? Tercero, en la estimación se deben
tener en cuenta los propósitos para los cuales se usa. Si se utilizará para diseñar
un programa especial de cuidados de enfermeras en casa, las personas con cán-
cer en la piel no se deben incluir, pues su condición rara vez requiere cuidados.
Un ejemplo de las consideraciones que consisten en especificar poblaciones
objeto se muestra en el anexo 3.1, tomado de un artículo que influye gratamente
en el desarrollo del concepto línea de pobreza, una definición de pobreza que
aún se emplea en la actualidad.
_
Anexo 3.1 Cómo se mide la pobreza
.- ,Contar la pptylza elun ejercicio detartgde 1922..,11. posible. Para decidir quién es
, ti.re. ,.las:plegar -- 01- 1bn'rnákirrlábt-tantel ' q' tiébbt ' éá ' ' *la. Pobteza , como la
. lands ,P9Mu
l5Oltézk. ..éstá . éti in i ói'V -
-tiiI.T',s,,,....
é-,",p111. ‘a.e.all'cl:étti 9,21t
v ...,'¿4:i- t Pii°I
,a,jfagé. :"_". .111:17.: é:1:41ép::1Pn.: 111
fieár 0t1n1;1_Zin1 c.iütaic.sti:Su-dgve_vs'iliO°nr,'alu°nn'cnocnattig°
p-94 na
Cli:- 1994 9 n9r.:P991:kii1 119:1-.. pbbi'l.eitáe.locla Clálé d1 táibres de juicios: El.con-
;:...cpp.tb.,:debe: ser inu9 liriiitác1.6›, ..:: tiOs. :00- pnSpite's 4.leinflu'itárt- é-hla definición Nb exis
una rdzon part páro,oritár.la
~1. pobreza,.a:Menol'qüese. hacta alqó'Por evitart-d.
Si 1710511,i I des de la ilaittig"a-ción :Caélyglitiéral son diversas. cuando
- •

76
yaea a clehnir I pobreza; solo se puecle ser subjetivo o me.nos que eso, pc-ro no ser
SW
.C)c finición de.I piobliVii
. :
En la Administraerón d•el Seguro5Ocial, la pobreza 'se defir0 primero ,en térmi-
nos. de , problerna o ¡.)olítieIá i `pUbliéa:- ¿a cüántaL getite y a cuáLqtieremos dirigir la
preoCupaeicM cle una po a irec a? Aun cuandci se tehga en.IC4enta.esto,',.eknivel
de \.ida emPleaclo para separIar el - tener" del "no tener" podriIaI S'ertan rigUtIOSo
: geniruso como quisiera LI nivel se Pódría" eStablecer;deltalinaleni .que en¿rlquie-
o ra güe sIe c-ontara edél de Ioó quie rkitienennl'eallítériteribienga bastanté. Si
se hizo lo Contratid; se Corierá el riesgode contar a alguten qüe no debiese eStar ahf.:
En resu rnery nO-aiste un esquerna perfecto ni uno de"valorlibre. Iny41
Dado quease intenta mOS-brar el,nIVe1 de r preocupaelárIpPillco,se quiere-estar
rséguro de que cada fámilia o únidad deconsunio tenga lá OPOrttInidaIdeseiContado
entre aquellos que Se consideran con necidaddeatención:De-beetiOI,-Precisarnent_é..;
, para asegurar la Inclusión dé las noCr2sidadés defamIlias grancl e:YI1 c11-!e.fiás . , ,
- gente joyerti-,y:gt-andeil.
se.tnejorartkn ,lás'inqrtnas.mlciale_s,diseñadoSPór'el Conntil
Econorriíe-:Ádl-iiPers-.'-(ef3ticiliOde
cualquier familia cle dos o rnaS Integrantes comingresos menores111.00(5d-rolare-S
:anual; así corno cltalquier
_ . :rsona que viviese sola , coMli5G0 dólares; Se',Pddrían
, pc
cOnsideiar pobres par¿a efectbs de la•plánificaciótidel prGgrarna dé antipObre:?_a, pero
no par¿lelegtbiliclad-de este Esta original norma permitió . la irrégülaridad reSultante
de que tina'pareja.ddedad'¿on,2•900.'dólares dé ingre_so al año se íitielféracánsiclerar
- pobre, peroAne uno famili -agan'tin mando, espoSa yetiatr9 hijospe . queños com3 100
dólares dé ingreso anuar '
Es risas, cuando en las distribuciones derno- gráficas _ sé . cornpara
, -pobres
'Con la PobláCiOn tbtal, se-efectúart .des:Ctibrimientos im, POrtanteS; por ejernplo, el
porcentáje de 'farniliás clásifiCadaS cOrrió'PrObres -qúenditerien hltós éra mas'alto que
el • de la-'151-Obla¿fánlotal; y - para haCeilo-Poco realista, el porcentaje de :farnilias
pobres eOn:cuatrOhijos pequenos o tnasfer :a menor que la representaciómcle tales
farrailiaS;:endipOiilkeión. Co,inOresto'iti>era c-tirt é. cto, se trzttó de váriar bá„línea de-
-": pobrez-a nece,sano- de, 1-re-rcur:-.'COrtel'farriaño y la eórnposición de la
familia. La razón dé que estb pp.ló hict tos.dato-
. o,estaban•••
: disponibles para ellos en e_sétiem t : ,M. Orsba.nskyl.zr,Irsiwetves
- Cómo esta b
- lecer la inarC'-
Un Coricepdó que puede influir en el pensarnicnto público debe ser social y pOlí-
ticarnente, - crediticio. Se néces-itan rn'aréas Pará diStinguir i grupo de la población
diii upar. Flsa rriarc,a no debeseleccionar a ungrirPo-tanpégüeño:-ires-
pet,O,de tbda.1á peblaciOnIeqUe parezcz difícil que sin'a para un programa 9,renera/,
nl tári-gr-a-nde: oíre la SoluciOMa Sus prOblemas Pareca . irnposible-, pOr ejeinpló, eh lá
, dec",:- adadélos treinta el préSid -énte ROOSevelt'dijo `32éo délante de mí a un terelo de
la riación, Sincasasin ropa y sin comida Esta ,fraCCión es ahora parte de la hiltp r ia
estadeUItiideriSel",WIMPOritalíttl nún-i-eros sé tefiganahora; si Más dé un teráll.de la
pOblaciárl Se Ilarna pobi-éj--Terclerá yalor como Puntó ,de referencia Pública,
.En.,--la,/drninistraciórúdei„SegUro . SociaLse-,decidió-,,que se podrían idéat-dos
ri-Kidida_S!de 1¿-1 nece ,--(clád y declarar con bals;e enla Mar, -tra de ingresos.de
-aciOn-Actual d -P¿'1:1-Jetói;-,'éuantos_O quét¿itétds (le :tánultIs cirin delineados
77
_
porestas medidas. La Administración delaSegtiri_ adiSocial no establecia la rinea
0 -liobreza. Tanto I Of ficje of E.conomiCOPPorttintriji(0,ficipa de Següill'ad
la Colitejl of
tenfári la responsábilidad 'de'Seleteitariat- -•--ár rítás bajo en las dos inedldás'y decidtt
cuál irsar conlo instrumento de trabajo
. - -Liamejor ,que se puede decir ta - medida es
que cuarldo,era útil estatia;ahí, :Es interetanteadyertir que pocas personas, con
'
eXCeptin'. ,-dellás',Perteneciéri Seguiro,Sociatl'qutsiela_
liáblar'aCerCáliélarnay-orde láliriedidás:-,TodbldeéabanliablaUe lá
brada . línea de pobre'iája
_ cual produjo c.asi los mismos números de.gente pobre
que • de . 3 000,dólares,
, la Orlginal - - excepto- que unaS Pocas familias- con muchos hIjos
fueron sustituidaS Por- farnilias de mayor edad, peío-sin ;
Urnbrales de la pobreza
- Se han diseñado urrIbrales de la Pobreza, que corresponden a los Ilarna-
dia0:Éppres y los cerca de„Ip. :ppbreza._.Esjc>s.utTibr:4)11:ton conjuntos,séparado0e,:,2,,--
menores de 18 años el núntero de adultóSytilet familia vive o nra
umbral se clefine como tm intento de 'espleifIcat ettnininto ingreso.ci:;h.qu'epú
de vivir una fanulia promcclio de compostción dada.;',a1 más bajklri1sie1 9git.tentrl,,,,.
con b:;,s,cStándare . S5je.:ülda prOálecientes entlpals;.estábásado
néCésttan la gifarroliáSde-difererites tarnañO`Stlipoparatbrriprar uná dletanutriélo-
„,
nal adecuada, ante la pruslmción de que no se uSa.más de un terelO[del ingreso
farnifiar para corrrprar corriida". Los
_ , dos urribraleIs<1;idesarrollaron-cleinvcstiga:
ciories acerca del consurno de alirnentos, que reyebban que el prorne,diO ,gast.ad,o
en cOrnida póIftedas láSfamilías fue de aprO)drnadátrie-nte un tetcio del'Ingresd;-'
-Se supuso.que los pobres podrían terverlarniSrna;flexibilidad de. --übicíar el ingre=
só córno.eliestO de la población-, pero, obilairtente';,:Sti-- rnargen de sele41-6it Podiía
ser menbr: LaTcantidad nbicadá Para cornIda-del Pnl'prnédiagastado ff.ie,re'Cdrt,-;da al
mínirno que ell:512partamento de agriCulturadijópcIdila seMfa las fatnibas estadou-
' nidenses para satisfacer una dieta adecuada. Sé-ajalj-c4e1 plaribajo de costos para
caracterizar a los cercanos a e_Star pobres, y pa - -réalínefite7Pubres uno aún.na4s
bajo: el plan económico de alirrieritación.2,
Floruhly Ldber Ecuiew, núrn. 92, iebrero de 1969, págs. 37-41. Relinpres-o c¿n autoriz.adón.
. ,
-
Límites de las poblaciones objeto
Una adecuada especificación de las poblaciones objeto establece límites, o
sea, reglas de inclusión y exclusión. Un riesgo al especificar a la población objeto
es hacer la definición muy amplia o que incluya demasiado. Considerar a un cri-
minal como cualquier persona que ha violado una ley o regulación administrati-
va, puede ser de poca utilidad, pues sólo los individuos más honestos no han (de
un modo u otro, en algún momento u otro) violado marcadamente o de otra for-
ma una ley o regulación. Los individuos comisionados para evaluar la pobreza
pueden describir a sus poblaciones objeto como personas o familias cuyos ingre-
sos no permiten tener un estándar de vida razonable. Evidentemente, tal defini-
 78 CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO
ción no puede ser el punto de partida para valorar la necesidad útil o para diseñar
un programa, pues no proporciona un criterio lo bastante específico para deter-
minar al grupo objeto adecuado. Por tanto, una definición que incluya demasia-
do puede resultar en una sobreestimación de la necesidad y causar una inversión
nada económica, en una intervención cuya población objeto se beneficiará poco
de ella, o en una malversación del programa con el fin de servir a un grupo objeto
excesivamente grande.
La definición también puede resultar muy restrictiva o incluir poco hasta el
punto de que casi nadie forme parte de la población objeto; por ejemplo, en un
programa diseñado para la rehabilitación de presos liberados en la ciudad de
Nueva York, se decidió excluir a aquellas personas con algún historial de drogas o
de abuso en el consumo de alcohol. El predominio de abuso de las sustancias fue
tan grande entre los prisioneros liberados que sólo uno de cada 10 era elegible
para ser incluido en la población objeto.
Factibilidad
En resumen, las definiciones útiles son aquellas que pueden tener aplicación.
Una especificación en la que se basan algunas características de personas difíciles
de observar, por ejemplo, una actitud favorable hacia la investigación evaluativa,
es virtualmente imposible de poner en práctica. Las definiciones complejas que
requieren mucha información detallada son muy difíciles de aplicar en la selec-
ción, por lo cual se deben evitar: los datos requirieron buscar poblaciones obje-
to definidas, tales como granjeros que hubiesen plantado cebada por lo menos
dos temporadas, y que tuviesen dos hijos adolescentes que fueran miembros de.
una cooperativa de productores, lo cual podría ser difícil, aunque no imposible,
de conseguir.
En general, cuanto más criterios tiene una definición, más pequeño es el
número de unidades que pueden calificar para incluirlas" en la población objeto
(los granjeros que satisfacen el criterio anterior podrían ser sólo unos cuantos).
Por tanto, las especificaciones complejas pueden ser parecidas a las estrechas, y
conllevan los mismos riesgos.
Variación de las perspectivas en la
especificación de las pobláciones objeto
Otro problema aldefinir los problemas y las poblaciones objeto se origina en
las diferentes perspectivas de los futuros profesionales, así como de los políticos
o de los beneficiarios de los servicios. Lo que parece un problema humano o
social para un grupo puede no ser percibido así por otro. Así, los diseñadores de
un programa orientado al mejoramiento de la calidad de la habitación disponible
para personas pobres, pueden tener conocimientos profesionales acerca de la
calidad de las viviendas que difieran del criterio de aquella gente que viva en ellas.
Por ejemplo, en el Experimental Housing Allowance Project — Proyecto de asig-
nación de vivienda ex -perimental— (Abt Asociados, 1977), se consideraba una
norma en la construcción de los edificios lo referente a la proporción del área del
piso y del área de las* ventanas en las recámaras; se consideraba inadecuada la
ESTIMACIÓN DE LAS INTERVENCIONES 79
vivienda cuya proporción era inferior a 10. La perspectiva de los propietarios e
inquilinos era muy diferente, ya que estimaban que tales hogares eran suficiente-
mente adecuados.
Las discrepancias también pueden existir entre los puntos de vista de los
políticos y los de los otros grupos. El congreso puede tener planeado aliviar la
carga del gobierno federal al reducir la ayuda especial a las víctimas de los desas-
tres naturales. Un medio para lograr esto es estimular a los gobiernos estatales
y locales para que inviertan en diversas medidas preventivas, tales como la ad-
ministración y el uso de las riveras de los ríos y los códigos de construcción para
disminuir los riesgos de daños y perjuicios. Los gobiernos estatales, y en especial •
los locales, pueden objetar fuertemente al plan con el fundamento de que como
las crecidas de los ríos ocurren en su propio terreno, tales medidas pueden perju-
dicarlos. Ciertamente, se ha confirmado que sólo ocurren 100 crecidas por ario,
en cualquier lugar, una vez cada 100 años (en promedio); sin embargo, desde la
perspectiva federal, las 100 crecidas de ríos pueden ocurrir tan a menudo como
una vez cada pocos días, pues, en Estados Unidos, el gobierno federal tiene que
responsabilizarse de todas las crecidas (Wright et al., 1979).
Obviamente, mientras que la investigación no puede establecer el problema
acerca de qué perspectiva es la "correcta", puede eliminar conflictos que podrían
originarse en los grupos que discuten entre sí. Planificar la investigación puede
implicar obtener la valoración de la necesidad desde varias perspectivas. En el
anexo 3.2 se describe un método diseñado con el fin de valorar la necesidad de
salud mental para la comunidad, al interrogar a cinco grupos de evaluados, cada
uno de los cuales contribuye con su punto de vista particular. En el anexo 3.3 se
muestra un ejemplo de servicios juveniles e indica que se puede requerir una
variedad de fuentes para expresar los puntos de vista de la agencia, de la juventud
y de los padres.
Anexo 3.2: Valoración de las necesidades
de salud mental voluntaria
El modelo cle.consumo pre.senta del yirograma tín máodo paral :. •
,valorar las necesidade. 1 ..de.sáltid incntal comunitaria, para ló cual se ernpleá al con;',..tt
surnidorcomo . mayor , uen e e ingreso. El consumiddi_;_Se -define como cuaiquier
miernbrorletlacornuniciad que en un á rea geografic:a detertninada. El módelo-:;.
aporta infobnaci6n cle las priorici.de rS'en las flecO dudes de serviciOs
ptor pi oblerna t5Idjetivo,:grupo det_dadesu area geográfica. Dentro del rnoclelo,
co grupos de consurnidores fuerori - investtgados: •
-
1 Agencius de Se/illd MEntal: at_tencias o inclividnos que tratan gente directa
IndircctarneMb7?. con prottlermas de
=2...ttfigencias,,securtdarius relocionacias: agencias que hacen referencla a.los±;:
ertiiCioS -.de-szlud mental. -
3. Ir' i dit;idtios c¿n riesgo§ altos indiciduos que, débklo ' a su „ td
cornPortamien0Y
pdsado o presente, usan o hatí US,71do serviciol-'dé , sakid ;
4 Grripos círticos ricbrnurtitariost grupo.. en la comunidad que
edos dIre(_leclor de una meta común o de un propOsito específico.'
-5 1_,(9 rnayoríd u,munitaria.u ira selecctunadá:;.dejesident de. un
,rt. ue Pueden est,tr asociadós o no cot i cualqureradelcloiroscu%tro -grxr,Pos.,
80
A•fin cfe deterrninar la factibiliclad clel moclelo y stritso,se invéstlgárórafflaríosf-
g rupoS.pertenécientes-al area s'ubregional'cle. la Me-saKearny'del Conda. do de ' Sa. n
' Diego:bé-laS42 -arM I:suhregionalcs en el coildado, se eSco q i151 a- '-flesa Kearny ' pnr-
. que Se aproxima._estrechamente alas caracten2stic.as'sociodernograficas cle la pobla-
; ción total
CueStionatió1V-0-10-euistas
Agencias de sá ud mental.-Se . - -
n úna-escuelá, 111--pettut
nalniente, un centro,de erists familiar y de personas que e_seapaban, un hospital ps1-
qutátrieo
- privado, un centro de servicios familiares, VarioS ceñtros , de entrenarnientó
para retardados, clínicas de consulta - externa y'facilidades ,de tratarniento.resiclenT
cia!Para ruños. DelaS-13 agenclas qUe reeible,ron el euestiOnárlo, tddaS lo llenaron
y regresaron.
Agencias, seeundarias ielacionadas. Se incluían varias escuelas el - departa-
rnento de vigllancla; el meclico forense, la sala jüvenil, un hos¡attal-generaLuna'casa
de cómj alecencia, un centró cle'serviciósjlegaleS, uba clíni dd ció yaúdición -
una oficiña- de desínpleoi De las 33-1-Jgenclas'que-recibleron el cueStiOnario, 22
(66•6%)'»lo lleriaronsY regfes_aron. '
_ o casas..Se cliseñaron cliátro,t1p -c cle;ártícJüléj s del resurrien:
El cuestionario
, _ pedía
. a ambos grupos que graduaran.los-problemas objetivo
que regiterían la primera, segUnda. Jytercera rpás:OrnédiatáValebtlopés en tres
pos de edad: jóven es Vn e n n r es'ejllayibS);'aclújtOS(delaiSIM'eriatras (de 60•'
o inas) Además, se buscó infortnaéjárrco tíaSe en la - cantidac(si,-eljtipo:de progra
mas j existerites en el^afea de la Mesa,KeártlY. ,;,le,-plúntearonOteriritas acerca del
Máinértó de persórias . serviclas, tratad¿Sjaltsta de esperay. la
edad; lá rai,ét.,•y el - area, gc gr ifica Se rs ida' -
Grup(aS,cfrticós y cornunItarióS. Seineluían las mujeres auxibiárdélas aoen-
cias Públicas, un club'sbcial de darnas, una asóciación de paclre_s y rriaestre,
. zaciones de serYicios para bombres. una YivICA (Asociación de:jóveneS'eriStiafiOs")•
y un clülápára niños. pe los 10 grupos a quines se enviótin cueStlbriaraó' ;.cinecares---:
. • -
requería del respondietiteIltve-,Vei'tfieWtalcil;etkltósYlié'd
' rian eStar disyaonibles para un mayor número de gente en el área de la Mesá-l<enny
para lós tres grupos,de edacles. A fin deasegurár,un muestreo representatIVO'POr
mediO de los grupos étnicos -ysoeioeconántICOS:'se'P'reg, untd a cada arid Fecubock InstrumenLs, vot 1, ,a1 ke,c31-<_h In-titufz, EGfilder,
• la
- edad;-'iel niVel dé ingresos y e/ geográfico'délos' miernbros.
ynnyoría cornundada. :,Seenvia.ron cuestionanos a muestras de residentes .
s'eteeelónaclbs al azar del Direéto1r1O,Cle:: Localización Flaines, el cual contenía
r ta .pOr;:ealles y.rastros deF.cerisc1, :-Sel.sétecciónáron doS,d1recciones al azande cada
al factor c. 6St6;•'S¿leá9.41fati-iilia- S .`,(e1,--16`X)délas farnilias de, la Nlesa
t Kearney) 'ffieron (O-Sea<t,a18.9%) ¿:›gresaron-el
cuestionarió. I as 53 famillas inbl6nan 176-thdlVfdttps ;(0, seal,; : 3 3 por familia)...
El cuestionario peclia que se venficaran los servims.que débeiíen estar dispo-
; mbles a unnaayor numeró de gente en el área de la Mcsa hearney. También pedíaal
eonstírrildbf:qtie incliéar'a la edad, la raza, los ingresosja Manera de y icia y el tspó de
residencla'de los mlernbros delafarnilia. eincluy6 urilre.sPuesta ablerta qüe
al eortSümicior citie l3tara a la Pers' ona' 'd'persOna.-1a laS'"C `uales'acudiríaen buSca de
l aux1110 si tuviera Un-prOblerna.personal.
- ,1
Fuenfe:Tfirni¿lo chli n .-T e tonsumer 1.1,1
El`d osis 5, t,_.1 -2. 1975 u e 71 Rei 'mprécr' .c ó' ri p€rne, .
81
Anexo 3,13. VálOraCión de . tas-
áeeesidadés dela jiis-Jentúd
El mas reciente y completo intento por clesarrollar una , metodOlogía y unosloInss ra
'truirientós para valorar' las necesidades en los jó\; ; eneS lo Béhav• 1
Research and Evaluation Corporátion (Corporación p-ara la Eváliiáél&tie
crón Conductual -BREC-).11:álatirneraestrategla recornendada,era'uh ahállsis der-
fáreal,i, ociul;; e1.-cpaipropgrcióna
• • ; . • . ,. Mformacián acerca de,las.,caiá¿terisficas
, dernégráfWas'yeconó miCas r de.la comuniciad, con énf¿Isis eSpecial:tantO en la
' tud, córno en la estoktura y organización de la bornuniclad ,. 'Aquí se recolectaron
da Lr ás-áis-pOnibles déteenso_de los iegistroS de la Oorte.Vla policia, los datos
res, los d.é la seguriCtá&lOCiál, los del clesenipleo, etc., y se analIzardrapara
prender la naturaleza d la comunidad y la extensIón en qtte e_staban preSentes
categorías de próbléffias,-
- La "valoradó:n de las necesidades de la fuVentu d" que BRÉdtta
intento por resufnír iras.„peciclacles de toda la .ju y entud enla poláláél6n,
en forma oputa OPTil los jók;ens que 'reciben ' servIcios, La rnetodolog'ía
implicaba tin tnuestreo ai azar éii Iás Ocuelás g un muestreo agrupádOen lás esctielasi.
des y.neeesidades, especificéndo lafrecuencia de su presencla- y Seriedad; 2. sentis •",
_. rnientosi--achtucie:s;wcpmportannentos, en que se consideraban cuatro factores: "c1)1,
oporttinidades percibidas para lograr as metas persbnales .y los paPeles soclales
deseados, b) marcado negátiYól3éI.ibiclo por padres, rnaestroS y arnijOsí_ic)
:nile.ntes de, soledad y recha-z¿a:Y -c4,Mjvolucración autorreportada en conditCtas
ti y as-‘7; 3 percepctón y és;álúrzlcióii -del jOVCilieSpeeto de los servicios disponibles y de
" las age,néias, y 4, Antecedeptes'PersonaleS y,datos socloeebn6rnItial,cle)6140,
1 d' t . una i›Cládéklio —1 'd.-1 s , m
datos base para valoraciones de la.repercusión subsecuentesy
Lás percepciones del equipo cle la agencia en que se consideran las neceslda7-
des de los jóvenes se pneden medir con el másrno instrumento ernpleado - por los
jóvenes, donde las agencias personales sbn Mterrogadas para astiMar.:el:p.orcenta
de jO y enes con problerna.,y,yalori.,,,ar,ta:SértédIr'.de-e..StOsitíltiM'Istr"•--
Fuente::11,urne,-;', con íle ry- ricititrokfórCorybnprotpfip
C.C4drac.1, 6¡1 '
La información colectada de los diversos puntos de vista acerca de la necesi-
dad puede permitir considerar de nuevo el problema, la prospectiva de la inter-
vención o la posibilidad de abandonar el programa (sobre todo si cada punto de
vista pierde validez por manipularse excesivamente y ser altamente contradicto-
rio). La consecuencia de proceder con la idea de que existe un consenso cuando
lo que hay es un conflicto considerable, se puede ver en el destino del programa
de renovación urbana (Wilson, 1966). Este programa se estableció después de
celebrar un convenio en el que se consideraba el importante criterio de la dilapi-
dación y obsolescencia de la vivienda por los diseñadores, los residentes y las ins-
tituciones. El criterio seguido por los diseñadores a menudo no corresponde con
el de los residentes. En consecuencia, los proyectos de renovación urbana en
cada ciudad crean conflictos con rencores, tantos que en muchos casos los pro-
gramas se abandonaron gradualmente.

84 CAP. 3. PROCEDIMIENTOS DE DIAGNOSTICO
Otra vez, mientras que todos los adultos analfabetas están en el grupo de los que
requieren un programa educativo vespertino, sólo aquellos que tienen disposición
o que pueden ser persuadidos de participar se consideran la población objeto (esto
es, aquella con demandas). Evidentemente, las distinciones entre población en
riesgo, con necesidades y con demandas son importantes para estimar el alcance
de un problema, anticipar el tamaño de la población objeto y diseñar subsecuente-
mente, así como evaluar y poner en marcha el programa.
Incidencia y predominio
Otra distinción útil es la diferencia entre incidencia y predominio. La inciden-
cia se refiere al número de nuevos casos de un problema particular identificado u
originado en un área geográfica durante un periodo específico. El predominio se
refiere al número de casos existentes en un área geográfica particular en un tiem-
po específico.
Aquí, de nuevo se han derivado los conceptos de los esfuerzos en el área de
la salud, donde las distinciones entre los términos son agudas; por ejemplo, la
incidencia de la gripe durante un mes determinado podría referirse al número de
casos nuevos detectados durante el mes. El predominio de la gripe podría ser el
número de gente afligida en cualquier momento en un mes específico. Al planifi-
car proyectos en el sector salud, generalmente existe interés en la incidencia
cuando se relaciona con alteraciones de corta duración, como las ínfecciones
del aparato respiratorio superior y los accidentes menores. El predominio es un
concepto importante para aquellos problemas que no se pueden erradicar rápi-
damente, sino que requieren administración a largo plazo y un tratamiento
exhaustivo. Esto incluye diversas enfermedades crónicas, como el cáncer, y las
enfermedades de larga observación clínica (por ejemplo, la disentería y la des-
nutrición severa).
Los conceptos de incidencia y predominio se han adaptado al área de los
problemas sociales. Algunas veces su uso obvio; por ejemplo, al estudiar la tras-
cendencia de los delitos en las víctimas, el problema crítico es la incidencia de
casos nuevos que ocurren por intervalo de tiempo en un área dada. Proporcionar
servicios para prevenir el abuso por mes hacia los niños en una ciudad sería una
medida acertada de la necesidad de intervenir para resolver ese problema.
Para otros problemas sociales, a menudo no es claro si se debería definir o no
a la población objeto en términos de incidencia o predominio. Al relacionar el
problema del desempleó, es importante conocer el número o las proporciones de
la población total desempleada en un momento dado. Sin embargo, cuando lo
concerniente se basa más en la provisión de apoyo financiero para los desem-
pleados, no está claro si la definición se debe referir a las personas desempleadas
en un tiempo particular o a aquellas que se convierten en desempleadas en un
periodo dado. El principio implica centrarse en el problema de si uno está intere-
sado en detectar y tratar los casos conforme aparecen, o en detectar los casos
existentes en una población, cualquiera que sea su tiempo de origen.
85
Rango
Además de estimar el tamaño de un problema grupal, es importante conocer
el rango de un problema específico. Muchas veces es difícil expresar la incidencia
o el predominio como un rango: el número de casos nuevos de desempleo o por
debajo del desempleo en un área en la que se experimente una recesión se
podrían describir con la base por 100 o por 1 000 de una población (por ejemplo,
133 de cada 1 000).
Los rangos o porcentajes son especialmente críticos para identificar las
características de una población objeto; por ejemplo, para describir el tamaño y
las características de las víctimas de delitos, es importante tener estimaciones por
grupos de edad y sexo. Aunque casi todos los grupos de edad están sujetos a ser
víctimas de algún tipo de incidente delictivo, la gente joven es mucho más sus-
ceptible de ser víctima de robo y asalto, mientras que las personas de edad madu-
ra o avanzada quizá hayan experimentado más asaltos y hurtos en su hogar; el
hombre parece ser menos víctima del abuso sexual que la mujer, etc. Poder esti-
mar a las poblaciones objeto por medio de varias características permite planear
y desarrollar el programa de tal manera que maximicen las oportunidades para
incluir a los particípantes más apropiados y vincular al programa con las caracte-
rísticas particulares de los grupos medibles.
Las estimaciones de las poblaciones objeto y de sus características se pueden
hacer en varios niveles de fragmentación; por ejemplo, los rangos de analfabetis-
mo, calculados al dividir el rango de iletrados funcionales en varios grupos de
edad entre el número total de personas en tales grupos de edad, permíten estimar
la población objeto que se puede obtener si se relaciona un proyecto con series
específicas de periodos de edad. Las técnicas estadísticas más eficaces se pueden
emplear para tener en cuenta simultáneamente las variables sociodemográficas
adicionales.
En muchos casos no sólo es tradicional sino también útil especificar los ran-
gos por edad y sexo. En las comunidades donde existen marcadas diferencias cul-
turales, así como variaciones en el pasado racial, étnico y religioso, también son
importantes estos denominadores para dividir las características. Otras variables
útiles para identificar las características de la población objeto pueden ser el nivel
socioeconómico, la localización geográfica y la movilidad residencial (para un
ejemplo de los rangos de víctimas por delito divididos por edad, sexo y raza, véa-
se el anexo 3.5).
Un conjunto final de rangos se puede referir a los problemas relacionados
con la habilidad para participar en el programa y con las medidas relativas a la
ejecución del programa. Así, en varios programas de entrenamiento técnico pue-
de ser ventajoso estimar los rangos por grupos que requieren 15 minutos, media
hora o más de una hora para llegar a los centros de entrenamiento.
SELECCIÓN DE LOS OBJETIVOS DEL PROGRAMA
Los programas son más eficaces y efectivos cuando los objetivos alcanza-
dos se limitan a las unidades que necesitan la intervención; es decir, en los tér-
minos señalados en la sección acerca de los límites de las poblaciones objeto, no
hay inclusión excesiva ni inclusión deficiente.
 Anexo 3.5. Rangos de victimizacion 87
criminal
Inclusión excesiva
Delitos peisonales: rangos d e_yictimización Especialmente en el caso de proyectos en los cuales los recursos son insufi-
atíos O más, por raza, sexo y edá'd de lás por edad de las personas cle 12
cientes para abarcar a todas las poblaciones objeto potenciales, se considera a
por 1 000 residentes de la población envíctimas, y tipo de delitos (proporción
cada grupo) la selección como más eficaz si el tratamiento se da principalmente a poblacio-
nes objeto con las más altas probabilidades de resultados exitosos. Tal enf oque
Raza, sexo y eclacl Ilomicidlos con uiolencia
hace máxima la probabilidad de contar con rangos favorables de costos por
Homicidio pcir robo beneficio, y la probabilidad de que la trascendencia positiva se pueda demos-
Blancos trar; por ejemplo, un programa diseñado con el fin de reforzar el contenido
Masculino nutritivo de las dietas para niños, a quienes se dieran almuerzos escolares a un
12-•5-(14100) 129 precio bajo, podría ser ineficaz si alcanzase a una gran proporción de nirios que
16-11 05,700) 69
157 133 ya tienen dietas adecuadas. Éste podría ser el caso si todos los niños con defi-
20-24 (28.100)
25-34 (29 100)
139 164 ciencias nutricionales también fuesen beneficiados por el programa. Así, si en el
112 150 programa se incluye a todos los niños con deficiencias nutricionales, pero el 90%
35-49 (26.700)' 51
50..-64 (27.-700) 93 de beneficiados no sufren esa condición, una gran proporción de los recursos que
54 69
.65 .b . rnás (19.900) 38
llegan al programa se podrían "desperdiciar". Tal inclusión excesiva a menudo
66 resulta en intervenciones poco económicas.
Fernenino Sin embargo, cuanto más exacta y precisa sea la selección de las poblaciones
12-15 (13.100) 64 objeto más costosa será la selección de los procedimientos implicados. Un proce-
.1619 (19.200) 56
65 187 dimiento de selección en un proyecto para combatir el analfabetismo funcional
2024
,1 (133.400) 73 de poblaciones objeto específicas por medio del sometimiento de múltiples per-
25-34 (31.400) 229
62 190 sonas a pruebas elaboradas, sería muy costoso por cada caso de analfabetismo
35-49 (29.7.00) 34 no incluido, agotando de este modo los recursos que se podrían usar para pro-
50764 (36.500) 131
31 81 porcionar los servicios.
65 o más (34.400) 14 59
Negros
Masculino Inclusión exceSiva y evaluación
42-15„(4.200) de la utilidad de un programa
71 148
(3.6b0) 113 Las implicaciones de tal deficiencia suelen ser serias para el esfuerzo total del
(4á00) 97
173 160 programa; por ejemplo, en términos de costos, es cuestionable exponer a comu-
25-34 (5900) 59
35 19--(5.8b0) 131 nidades enteras a programas educativos, culturales, de vivienda y médicos, cuan-
65 100
50-64.(3700) 56
do sólo un pequeño porcentaje de esa población está "en riesgo". Es más, desde
- 650 más (1.800) 15-4 el punto de vista de estimar la repercusión del programa, fallar en definir efecti-
191 vamente a la población en riesgo disminuye las posibilidades de detectar efectos
Femenino positivos. Éste es el problema de tener demasiados "positivos falsos" en el grupo
1245 15.0P0) 47 objeto en una evaluación de la repercusión (véase el capítulo 9). Considérese un
16.19:(4.500) 56
102 94 programa diseñado para incapaces de aprender, en el cual se incluía a todos los
'20-24•(7.000) 67 escolares de una comunidad en la que sólo el 5% de los niños presentaba esta
2534 (10...100) 82
64 114 anomalía. Si el programa es eficaz sólo con el 5%, las diferencias en el aprendiza-
35 ,19. (8.200) 46
50 64 (5.100) 114 je de las prepruebas y de las pospruebas probablemente no son reveladoras (a
30 123 menos que la población de escolares sea grande), pues la mayoría de los niños
65.o rnás:(.,?,po)„..,... O '66 a quienes se dio tratamiento no lo necesitaban y, por tanto, podría no esperar-
tefletéla:/a . población en eT grupo, se beneficio alguno.
, . e,staciísticarnente poco
significatisiá,q
. . . .
Inclusión deficiente
Ncitioritit:Olíne. Sun., ' Reltrirf
Ii;i A
La inclusión deficiente no sólo niega oportunidades al programa y a la parti-
D" 1977, ros 26
- - • cipación de poblaciones objeto con necesidades altamente en riesgo, sino que
 88 CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO
también existe una negociación entre los costos de selección y los recursos dispo-
nibles para la entrega del tratamiento. En un programa'preventivo diseñado para
cuidar la salud será posible identificar, mediante pruebas de laboratorio, a aque-
llas personas en la comunidad que no hayan desarrollado una inmunidad a la po-
lio, y dar la vacunación sólo a este grupo. Sin embargo, tal procedimiento podría
ser ineficaz, pues los recursos necesarios para realizar este fin son mayores que el
costo de proporcionar vacunas contra la polio a todos los miembros de la comuni-
dad. Asimismo, un proyecto en el cual se abastezca de agua desde la central por
medio de tubos para todos los hogares de la comunidad, incluidos aquellos que ya
disfrutan el líquido potable, puede parecer muy complic,ado; no obstante, los cos-
tos de enlazar el proyecto para eludir las viviendas, la ulterior contaminación que
sufre el agua potable y la dificultad para que el público acepte un proyecto selecti-
vo son argumentos válidos para restringir a las familias objeto a sólo aquellas que
tienen pozos contaminados.
Algunas razones psicológicas y políticas permiten definir aisladamente a la
población objeto, en vez de la exclusiva de población con necesidades o en ries-
go. Primero, la identificación eficaz de la población objeto con una condición que
pueda estigmatizarlos aumenta - seriamente las condiciones éticas: un estudio
efectivo para localizar a niños medianamente retardados para un proyecto espe-
cial, puede resultar en un señalamiento hecho por compañeros y maestros, con
la consecuencia de que cualquier beneficio del programa selectivo es opacado
por los efectos negativos del proceso de señalización. Así, podría ser mejor abrir
el proyecto a todos los niños (o por lo menos a aquellos que parezcan experimen-
tar menores efectos por el hecho de ser señalados).
Segundo, cuando en los programas se incluyen oportunidades, bienes y
servicios valiosos para todos los miembros de la comunidad, y sólo aquellos
con características particulares o que vivan en determinadas circunstancias
son admitidos, tanto el personal como los políticos del programa pueden
tener que afrontar antagonismos considerables y pérdida del apoyo comunita-
rio. Esto se puede explicar porque los proyectos son poco cuidadosos para
identificar a las poblaciones objeto y para seleccionar a aquellas que tengan
una alta y definida probabilidad de tener necesidades o estar en riesgo.
PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS
Para estimar el alcance de los problemas que requieren nuevos esfuerzos de
intervención y la población objeto de manera que permita el empleo más efectivo
de los recursos y el personal disponible, se pueden utilizar una gran variedad de
técnicas, las cuales varían en su complejidad y costo. Las listadas a continuación
se describen en orden ascendente de complejidad y costo.
Acceso al informante clave
El acceso al informante clave es un término que denota una técnica de investi-
gación poco costosa e informal, la cual incluye a los líderes y expertos conocidos
que pueden identificar, seleccionar y cuestionar de tal manera que se construyan
estimaciones de los problemas y poblaciones objeto. Esta técnica facilita una ima-
gen amplia de las necesidades y los servicios percibidos como importantes y las
PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS 89
características de la población que lo requiere; además, tiene la ventaja adicional
de que desarrolla el apoyo de las influencias de la comunidad, las cuales pueden ser
necesarias para diseñar el proyecto y continuarlo.
La mayor limitación de este tipo de procedimiento es que tiene una desvia-
ción interna de los individuos y de las organizaciones investigadas; descuida la
posibilidad de que las características, el predominio y la incidencia de los proble-
mas de las poblaciones objeto puedan ser percibidos incorrectamente por los
líderes y los expertos. Es más, las perspectivas de los líderes y los expertos se pue-
den caracterizar tanto por su carencia de conocimiento profundo de los segmen-
tos que constituyen una compleja y ampliamente distribuida sociedad, como por
sus "intereses"; por ejemplo, el punto de vista de un terrateniente con respecto al
problema de la habitación puede ser diferente del de los inquilinos.
El acceso al informante clave funciona mejor cuando los líderes y los exper-
tos son cuestionados acerca de la información concreta y específica. Así, se
arriesga la perspectiva de desviación al preguntar a los líderes acerca de cuáles
son los problemas principales de su comunidad. En contraste, si se identifica
cuántas familias se localizan en el bloque de transportación de líneas públicas, lo
hace menos propenso de desviación, ya sea hacia arriba o hacia abajo, especial-
mente si se consulta a quienes están familiarizados con los servicios locales de
transporte público.
Cuando se usa este procedimiento, es buena estrategia diseñar una lista de
entrevistas potenciales antes de iniciar la investigación. Si el evaluador conoce
muy bien a los líderes y a los expertos de la pequeña comunidad, podrá elaborar
una lista de hasta 25 líderes clave. En caso contrario, un enfoque alterno será
comenzar con un pequerio número de informantes (por ejemplo, de cinco a 10) y
luego usar una técnica conocida como bola de nieve, la cual consiste en solicitar
al informante que mencione dos o tres nombres al final de su entrevista, que sepa
que conocen el sector de este problema particular. Esta técnica no se debe
emplear en más de 50 entrevistas.
Los dos principales criterios para seleccionar a un informante clave deben
ser: a) el conocimiento de la comunidad, su gente, sus necesidades y los patro-
nes del servicio recibido, y b) su liderazgo potencial. El primer criterio permite
exarninar la entrevista con profesionales locales y expertos (maestros, docto-
res, enfermeras, expertos locales técnicos, empleados civiles y similares) quie-
nes, por virtud de sus ocupaciones, se relacionan con un rango de personas,
propietarios y condiciones en el área. El segundo criterio está comprometido
con el punto de vista de los posibles beneficios políticos para el proyecto. El uso
de líderes puede permitir a los administradores del proyecto obtener su apoyo,
en el mejor de los casos, o por lo menos la neutralidad. Esto facilitará la etapa
de ejecución del programa, si el proyecto reúne cierta oposición potencial entre
las poblaciones objeto. Otro criterio puede incluir accesibilidad con los adminis-
tradores del proyecto, si un informante potencial representa a un subgrupo o
población particular, y si la persona es un consumidor o un consumidor poten-
cial del programa.
Con esta técnica es útil construir una guía de datos por adelantado; es
decir, una lista de reactivos que cada informante plantee para completarlos o
que se conteste ulteriormente en una discusión informal con los informantes
clave (para un ejemplo, véase el anexo 3.6) El uso de una guía de datos facilita
90 CAP. 3. PR OCEDIMIENTOS DE DIAGNOSTICO
91

una rápida recolección de las respuestas de los informantes clave y ayuda a Acceso al foro comunitario
estandarizar la información de todos los informantes. Una vez que todos los
informantes han sido contactados y entrevistados, la información se debe Este tipo de enfoque asemeja una asarnblea abierta, esto es, una recolec-
resumir y, si es posible, poner en forma tabular. Muchas veces, después de ción de miembros de una organización comunitaria designada o aun de gru-
tabular los datos es valioso proporcionar una ret roalimentación a los infor-
pos informales. En esta técnica se obtiene la participación del ciudadano, aun-
mantes clave, un paso que permite verificar la información y los resultados que también es una manera de obtener estimaciones de una variedad de
recolectados. También es un medio para que los informantes clave sigan parti- individuos acerca de la incidencia y el predominio de los problemas particula-
cipando en la planificación y el desarrollo del programa.
res y respecto de las características identificables de las poblaciones objeto. El
enfoque también se puede usar para recolectar datos acerca de qué tan bien se
percibe el trabajo de un sistema.
nexo 3.6. Guía de entrevistas sugeridas para La utilidad del acceso al foro comunitario depende principalmente de si la
et'enfoque del inforrnante clave, a fin de valorar atención a tales reuniones abiertas constituye una representación equilibrada de
las necesidades en salud mental comunitaria los miembros y las poblaciones objeto de la comunidad considerada, y de si los
participantes se sienten libres para expresarse abiertamente. La técnica puede
Posibles temas por discutar con cada persona entrevistada: ser superior a la anterior —el acceso al informante clave — para obtener informa-
ción clave válida acerca de si el evaluador tiene éxito al efectuar una junta entre-
1. Problemas c-ornunitanos (general) cruzada de los evaluados. A menudo, esto se puede hacer cuando se tiene en la
junta un representante de las personas influyentes o un patrocinador de las orga-
En orden de prioridad de la importancra. nizaciones respetadas. Por tanto, esta técnica algunas veces se utiliza como de
Recursos extstentes ,.para ayudar a cada problerna, seguimiento para los accesos a los informantes clave.
Necesidades y p ró6lernas rio reunidos. por grupos. Este tipo de acceso es económico, pues permite aprender las percepciones y
- ¿Quién abandona mas consistentemente los sei vicios?
los diagnósticos de un gran grupo de personas a un costo relativamente bajo. Las
¿Qué problemas no son evidentes?
, limitaciones son bastante obvias. Un foro puede restringir los géneros de informa-
-
2. Problemas de salud mental ción que las personas deseen revelar. También puede esconder los puntos de vista
de aquellos quienes es más probable que participen, y probablemente se desvíen y
Una Ilsta prIontaria de serjeclad incluido ci predonanio). no obtengan información ni perspectivas de los individuos que se perciben a sí mis-
Fuentes easi,pentes de ayuda á cacla pioblerna. mos como menos influyentes en la comunidad. Un foro puede convertirse en el
Actitudleeamitarias hácia el usb de los servie.íos de s escenario en el que los resentimientos políticos locales se manifiesten, de modo
público-s. ilud mentai
que produzcan más rencor que datos.
Grupos que toman mús SCrViCi05 de salud mental, Esta técnica del foro es más efectiva cuando los objetivos del programa y las
Grupos que están más desfavoreCidos. operaciones del sistema de entrega se pueden establecer explícitamente en térmi-
nos de accesibilidad al grupo que integra el mismo. De otra manera, la informa-
3. Actitud bacía los centros de salud mental comunitaria. ción recibida puede ser valiosa en términos de necesidades de valoración general,
pero puede no estimar la extensión de un problema particular y las características
¿Quién solicita ayuda a • los centros?
, ,.Qué otros tipbs de recursos dé ilud de las poblaciones objeto.
mental usa la gente en la cornuni- Algunas veces, con el fin de obtener un entrecruzamiento más amplio que el
tlad?, ¿qUién los tra?
Qt0.(..,'n no uud. que se pueda esperar al tener un foro general, se hace un esfuerzo para realizar
adira a Ios centros y por varias juntas del mismo género, pero con poblaciones variadas, cuidadosamente
¿Q0é.gli:Ipds—oknetelidades de.servicios de'sálud mental son menos
?"-(1,-;17élt7-2 un mapCi cie la cornurudad). definidas y seleccionadas; por ejemplo, en las comunidades con varios grupos
religiosos se pueden manejar juntas separadas para cada iglesia, bajo el patroci-
Fúéát1::Adá át tó jjályiitiiiité c>f -
Worki7?q Manud of Slu g ; , le Pr,lururn
nio de los líderes religiosos locales.
/4'ilini101'.;1¿7(tri '/F-1,2,-,101Cen t ,.rs GJVC. Fs m Las restricciones en uso y aplicadas al acceso al informante clave también se
D. C . 1976, p.. 107. rut Print inq DffIce. 1ru un ton,
-
aplican a este tipo de acceso. El potencial de estructuración de la desviación para
las necesidades, el tamaño y la extensión de la población objeto es considerable.
Esta técnica se debe usar sólo como complemento de otros métodos, con el fin de
estructurar el consenso patrocinador de un programa, o en ausencia de bastantes
recursos para emplear alguno de los otros métodos mejores, los cuales se descri-
birán en las secciones siguientes.
 92
Acceso a los porcentajes bajo tratamiento
Este acceso, tan comúnmente usado, estima a las poblaciones objeto me-
diante los servicios utilizados para el mismo problema objetivo en una comunidad
similar. La suposición que subraya este acceso es que las características de la
población objeto deseada y su tamaño están relacionadas estrechamente con los
atributos que presentan aquellos que ya han recibido tratamiento. Algunas veces,
sobre todo en las comunidades donde no se han efectuado intervenciones pre-
vias, las estimaciones se pueden derivar de una o más áreas geográficas que se
asemejen al sitio propuesto para el proyecto. Si se pueden encontrar áreas en las
que las propiedades sociales y culturales de los individuos se reflejen iguales a
aquellas en las áreas proyecto, se podrán derivar estimaciones de las poblaciones
objeto en términos de tamaño y características.
Casi seguramente, las estimaciones derivadas de los porcentajes bajo trata-
miento tendrán una desviación hacia abajo. Los proyectos rara vez abarcan total-
mente a una población objeto; por tanto, cualquier cliente dado al proyecto será
un subconjunto seleccionado de la población objeto. La selección puede ser for-
zada por la escasez de recursos o por fallas de la población objeto para usar los
servicios ofrecidos. Esto puede tener sentido en ciertas circunstancias para consi-
derar tales estimaciones, como en los límites más bajos para estimar el tamaño de
una población objeto y para ajustarlos de manera coordinada; por ejemplo, los
Reportes uniformes de criminalística, publicados por el Department of Justice
(Departamento de Justicia), se basan en los delitos informados por la policía. Las
gráficas y figuras se trasmiten luego al Federal Bureau of Investigation —Oficina
Federal de Investigación— (FBI). Los porcentajes de delitos impresos en esos
reportes son, en principio, índices de los "porcentajes bajo tratamiento" y expre-
san los "casos" que han recibido algún tratamiento (o se,a investigación) por los
departamentos de la policía local.
Cuando estos delitos se comparan con los delitos informados en las investi-
gaciones (en las cuales las personas son interrogadas acerca de los delitos que
han sufrido), esto hace obvio que dicho reporte no estima significativamente
(pór un factor de cerca de cuatro) el número total de delitos en los cuales una víc-
tima está involucrada. Esta baja estimación ocurre, en parte, debido a que algu-
nos delitos no son informados a la policía y, en parte, porque la policía no pasa
fielmente al FBI las gráficas correctas elaboradas por todos los delitos informa-
dos a ella.
De muchas maneras, el uso ecle las estadísticas del servicio y de las oportunida-
des para sustraer información de los registros de las poblaciones tratadas parece
proporcionar un rnodo atractivo de estimar a la población objeto. Los porcentajes
bajo tratamiento también se usan para estimar el rango que abarca cualquier pro-
grama existente; por ejemplo, si la información acerca del desempleo proporciona
una estimación de 5 000 personas desempleadas entre los 18 y los 25 años en una
comunidad particular, pero las estadísticas revelan sólo 250 personas de esa edad
que participan actualmente en los programas de entrenamiento para el trabajo de
la comunidad, esto hace evidente que el programa se debe modificar.
No obstante, cabe señalar un buen número de precauciones importantes. En
muchas intervenciones los registros del servicio y las estadísticas derivadas de
ellos son poco confiables. Es evidente que muchas agencias consideran que man-
PROCEDIMIENTOS PARA ESTIMAR LOS OBJETIVOS 93
tener registros es una actividad que tiene poca prioridad, sobre todo cuando se
exige la prestación de servicios. Asimismo, como el proyecto recibe apoyo eco-
nómico y político cuando demuestra que hay una población de clientes grande,
muchos se esforzarán en exagerar las necesidades de su servicio yfa extensión de
los servicios ofrecidos. Algunas veces esto es a propósito y muchas otras esto
aparece más o menos inconscientemente, debido al entusiasmo de los proveedo-
res de servicios por su proyecto particular.
Acceso a los indicadores
Muchas oficinas federales, estatales y comunitarias mantienen buenas estadís-
ticas que se pueden usar como base para estimar a las poblaciones objeto. Estas
estadísticas incluyen datos tales como tendencia a la fertilidad, a la mortalidad y a
la incidencia de ciertas enfermedades; los indicadores económicos tanto del des-
empleo como de los ingresos personal y familiar, y la información acerca de deli-
tos, pobreza y delincuencia juvenil. En Estados Unidos se encuentran disponibles
datos valiosos acerca de la población y la composición de las casas en las jurisdic-
ciones estatales, locales y políticas (ciudades, pueblos, condados), y las pistas de
los censos en las áreas urbanizadas. Dichos datos se pueden obtener ya sea publica-
dos como resúmenes o en cintas de computadora para uso público.
Para los problemas sociales definidos en térrninos para los cuales los datos del
censo son apropiados, el censo decenal puede aportar excelente información de
las necesidades de la valoración y para ubicar las pollaciones objetivo; por ejem-
plo, se puede usar el censo para ubicar a personas y familias de acuerdo con su
raza, edad, estatus socioeconómico y condiciones de vivienda. Para las áreas esta-
dísticas estándares metropolitanas (AEEM, definidas como las ciudades y áreas
principales que tiene una población de 50 000 habitantes o más) están disponibles
los datos por área de censo, o sea, superficies con promedio de 13 km 2 y que
contienen un promedio de 4 000 personas. En el anexo 3.7 se muestra el uso del
censo de 1970 para producir estimaciones de la población objeto para los pro-
gramas denominados límite superior e ínvestigación del talento.
Anexo 3.7. Estímación,de lawoblación
de los prOgranias en busca del talento educ.atilki
y brnite superior, con datos de14censt„
„
.• Los propd p sitos del estudio fueron esti mar el tarnaño
en laIBTE -educativo».de lá•pobl3ción=6bjetci:ydesd-ribirlsW:•:,
composición 'dón, r espetiolde las caracteilstiéas persenalés y demográficas En , este
estucho, lalpobla.cióiY:elbjétodefinió paráinclu,todas las,personas.de,14 a 24
1970, Oyo. lradOsnpertor cursado enla ec'uélá--ésttivieraeiitté-étS0xto,yel
de.cirricendC?)IradiSS:derlducacrón; y:cuYbs-ingre_scs,familiáres en.1969;:fáéran
inferiCreárniel da pobreza Las personas incluicLAs,enjá ppbl'adón
Offtcof (Oficina de
Llicaion:dá$Ciá'¿le
EduCaajend.é.:ES'tad. regi.ohir 'y-.Jsratai 'Según
9.2X0; . arif&.-edéntes:ctriori-Seia l es y estatus escolar,
- 1._(5.-:'daidsr,registraclos en el Cé.nsó CIC'pOblaCión cle 1970 revelaron queJas
 94
-poblaciones objetoppra , L5 y BTE incluía. ná'3,8130:000 personas„ó„.
páblacióri de Estack,s pnid-c.)s en 1970 La población objeto seael 2c1;de
' ábardába a 2.1
millones de rnujeres y 1 8 millémede,hornbrés;y:sírcolnposiciórán-Oii-acIO-nal
incluvi5 1:1'1:,7_1c` blaneos36T,;_.de n Idt4-:1.:(5,111.:.d¿keS'ee-
ridléntes de...e'sbaotes
metiosf-cieLlyde personas con otros antecedentes etnorraciales:-EnU976;e-1
2. ilráélJ- POSIOcióii:6b5to estaba'inscrita e'tála
segundo grados. y
, , - escuela entre.elsexiOde
. „ ." eirno‘
no lo estaban. Ge o g ráíicarnente,..erniayor núme- •
ro de:persolias:n lá-, población . objeto esta,ba en la reglón IV de la USOE la cual
incluía a 1 0 .5 .1.S200. 1er sonas (o sea .el 27;(i,de la poblati6rilObTáitOtáWeguiela
.de
lá regióttYeon VI27
, 6 (o Sea, e11.6% de la po6lación objetO'idtal):
200
La polalacip'n"objeto se estirnó de'uno en 100 - ción de la muestra se puede definir como la medición ampliada a una muestra de
muestraS de IplregistróSibáslcos
del eenso -de l pb-bláCión de,1970, pero la estimación agredada
rmáneceálid en
térr ytinos de,-,..1objettyos desviación al seleccionar la unidad. Evidentemente, existe una relación estrecha
población óbjetiy naáónal d eelin 6 . -enÁláV:de'l70'a que el tamaito de.la
• entre los censos y las investigaciones de la muestra, pues unos y otras comparten
l'- Fttentel 'Art l.MA,-cen .pri-rn176';'& rr FI:-Stri71-riits
for Upward Bnund und Taent Search 1?ro9rams, Re_seai-c 1.-
CiiilzéS;t1rhateso thé.T
~é)01011. atO.DiaianV '
Si se pueden usar o no los datos del censo, ya , sea en su forma publicada o no
publicada, dependerá de qué tan rápido éstos se vuelvan obsoletos conforme
pasa el tiempo o de qué tan adecuada es la serie de ellos. En áreas que han experi-
mentado considerable crecimiento y cambio en la estructura de las poblaciones
por medio del aumento de la inmigración, los datos del censo pueden ser extem-
poráneos en pocos años y, por tanto, de poca utilidad para estimar a la población
objeto.
Sin embargo; los indicadores tienen otro valor: como series de tiempo. Los
datos de series de tiempo derivan de observaciones hechas a intervalos regula-
res, de tal manera que la pista de la incidencia y del predominio de problemas
particulares se puede evaluar (Sistema Estadístico Federal, 1976). Los cambios
repentinos y agudos en esos indicadores generalmente señalan la emergencia
del fenómeno que requiere los programas de acción; por ejemplo, dado que
hay una correlación coriocida entre el desempleo y el rango de suicidio, y los
datos de las series de tiempo del punto del desempleo hasta un aumento máxi-
mo en el número de trabajadores desempleados, también se puede anticipar
que habrá un incremento marcado en el número de personas que requieran los
servicios de la unidad de intervención de suicidios.
Se pueden obtener muchas series de datos de interés para personas rela-
cionadas con problemas sociales, pero principalmente se definen para unida-
des geográficas muy grandes, a veces la nación en su totalidad, los estados o
las AEEM (definidas anteriormente). Los datos indicadores sociales para
áreas dentro de ciudades o'condados, se pueden elaborar mediante el acopio
de datos provenientes de las agencias encargadas de recolectar esa informa-
ción (en este caso, el Departamento de Salud Citadíno). A menudo, la compa-
ración de esos rnateriales y el cálculo de los rangos de varios periodos son muy
costosos y consumen mucho tiernpo. Por tanto, a menosque las séries dé tiempo
estén publicadas, no será posible reconstruirlas en una locálidad particular y
comunitaria. - de fenómenos relativamente raros.
95
Investigaciones y censos
El medio más directo y generalmente más seguro para tener datos exactos
acerca de los problemas objetivo y de las poblaciones objeto puede ser realizar
censos especiales o investigaciones de la muestra, en las que se empleen las mejo-
res técnicas de medición y que las estimaciones se deriven en las condiciones más
rigurosas. Un censo se puede definir como una enumeración completa de las uni-
dades poblacionales (individuos, familia, firmas, etc.) respecto de las cuales se
obtienen las características adecuadas de la unidad. En contraste, una inuestiga-
la unidad en Una población, y la muestra se sortea de tal manera que minimice la
los problemas y se esfuerzan en dar estimaciones acerca de las poblaciones.
Las investigaciones de la muestra son preferibles a los censos por dos razo-
nes: 'Primero, son considerablemente inenos costosas y segundo, cuando se reali-
zan apropiadamente proporcionan estimaciones de las características de la
población en cualquier grado de precisión deritro de los límites calculables de
error para la muestra. Además, las investigaciones de la muestra se pueden efec-
tuar con mayor cuidado y minimizar los errores de medición. Cabe señalar que
las investigaciones no se deben limitar al estudio de individuos. Las investigacio-
nes de la muestra se pueden realizar en familias, grandes grupos organizados
(como en unidades) o entidades físicas (como en hogares, negocios, parcelas
agrícolas y caminos).
La ciencia y el arte de examinar la investigación de la muestra los explican
bien Rossi y sus colaboradores (1982) y Sudman (1976). Existen las metodolo-
gías para los muestreos cuidadosos y la entrevista apropiada de los instrumentos
para la construcción. En la investigación se usa la medición estándar para medir
el predominio y la incidencia de ciertos problemas. Por ejemplo, un esquema de
la investigación podría incluir una lista de las habilidades funcionales medidas en
los miembros de la familia, en tanto que los artículos y las pruebas para hacerlo
incluirían una lista de las características de la vivienda, los niveles de incapacidad
en la salud, etc. Estos géneros de medidas, junto con las características de dura-
ción de la residencia y los ingresos familiares, permiten estimar a las poblaciones
objeto con gran exactitud. Los requisitos mínimos para realizar adecuadamente
una investigación de la muestra incluyen un buen procedimiento de muestreo, un
bien preparado y probado esquema de entrevistas o guía de observación y entre-
vistadores o tabuladores capaces que conozcan las áreas que se investigan o que
se consideran implicadas.
Debido a que las investigaciones pueden ser costosas y de mayor demanda
técnica, deberán emplearse sólo cuando exista una justificación adecuada de
los costos implicados y cuando esté disponible el personal entrenado adecuada-
mente. Muchas investigaciones de la muestra, aun las de pequeñas poblacio-
nes, requieren meses de preparación, y para proporcionar información útil y
predictiva, necesitan ser en gran escala. En general, pocas investigaciones de
menos de mil entrevistas u observaciones serán de utilidad; las investigaciones
en gran escala suelen ser necesarias para estimar la incidencia o el predominio


96 97
cAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO

En el anexo 3.8 se ilustra el uso de investigaciones de la rnuestra realizadas Anexo 3r9. Una nwestigación d un
entre familias con niños de menos de 13 años que aún viven en el seno familiar. El rnuestra para un área p-equena
propósito del estudio era estimar las necesidades en cuanto a facilidades para el
cuidado del niño, así como el uso de los diversos tipos de arreglos para el cuidado Una rnuestra de familias con bajos ingresos que y Ivian en Brookline, Massaf,!
infantil en las familias de esta . clase en Estados Unidos en .1975. Mientras que .chuSetts dnrante 1965 y,qUe ,,terilap.porilo.,rnÇ n ou n híjo en la escuela secundartav,,,
pocos investigadores evaluativos necesitan estimar las poblacionés objeto para local públIca o eaviarrOclúlát,Se'tó4Trile dl an ie' el- er-npleo . de lds regIstroS-'d0,k:
Estados Unidos como una unidad, los .mismos principios se aplican a investiga- saludmanterudos
_ , en las
. escuelas en cuestión. La seleccI
, ón prelImInarde ..___lal famillas'
.
ciones .de la muestra en, pequeñas áreas o aun dentro de instituciones. En el anexo se hízo con bás-é en la inforrnación de los reg1stros de l lS í 'escuela, y _ deterrhina.j.4.j'
uría
eídel crédIto-':-.;
3.9 se ilustra ei uso de investigadonesde la muestra para áreas Pequeñas (en este ción final se tomó de_spues de var .las entrevistas y algunalverifIcación
casóBrookline, Massachusetts). .1 acerc_a de'su estatus cle . bajóSjingresCis'de l a famIlia y de la ocupacióddellefe de fárnk:"zi:
- lía. Se usó una muestra - de 806'.,fámílias,
famIllas que pudie,serm,.;
, : : El propósíto de la inve stIglOnfue,obtener un grupo de
necesitar lós serilic ios de la clíni¿á elental"PúblIca. Se emprendleron entrevIstas.ebriV
Ariexo' 3.8.'Estudio riacional acerc ..cada farnilia para asegurar lospatz'Ories del culdado dental de los mlembros de lall,
del -cOnsumidor del cuidado al;niñ -:;farnilía. Los exámenes desitálésse'reafizarem
. ,- en es- cuelas de adOlescentes.para
gurar la necesidad del cuidado dental de las farnilias con bajos Ingresos, suponlendellb
Los datos Colectados en esta inVestigación representan el e -xain e. n: Mas comple•: , que los adoleseentes implicadoSrepresenta ba n razónablemente el'estatus de Culdaí
haaja_teehalle los patiOrieS aiTtuales del u5o clel cuidado al niño en EStados Unidos. 1 do de la salucl de y.akfarnlltal:dejalque provenían.,
niuesira dC2 Probabilidad estratificadanaélon'al:de:= ::44
....,?, ...¿.,.--„,--.1..„.-1.,---
.,,
ubit:Cotiege and
aprox" ínádarMente 4 600. fanallias . cOn niños de13 aflos o menores. Ni lo5 niños . [ Fuente: Re,,,. uvnen; loh'i peryrtrip:,`iide.l.ar, n bert;::J.i.:yrylE;Iréérnan, The clin.
' ' r;:1,,!..:
familias con baj oslii, g-resós.:,fueron sobtirpt!' eitreados para garannzar-,-,su íUniv,-rsity Pre-,s, Nekkr 05iii<e0111íi4:19.67. ' '
La 1n si estidá 'éb¿ri'if"derit1f1éj5 las n-iliCigdés'Slgulerítes réspect&del
Ouidado- iarni casá por un pariente b) en casa por 'un desconotido', c) co otra . 1
L --- s
caSa por un desConóelcio; enfermeras . cuidad a
preascolar,f) centros dé :reiii. dado q) programas dé cbp'perativas;.h) progra:
Mas de'cuidado El establecimiento de las características del objetivo debe estar basado en
_ t)- rhaefici::Tam-
bien sé:hizo una distiriCión entre el ctif.dé'clOdét.-i-nercade,;' por medio det cual se una combinación del conocimiento de las investigaciones prevlas y la práctica,
paga ep . efectivo'ci'él .'gobierno aportá un subsidio; y el euida0o slirmercado, el
cual r la experiencia y la información, obtenidas cuando se determina el tamaño de la
es proporcicirk-ido. -sin cuota . o en intercamblo:
, población en necesídad, demanda o riesgo. A menudo, después de decidir los
,
Niteve de las ,10„ casas con niños cle, mynos de 14 , años iriformaron usar tina de criterios, se pueden adoptar procedimientos adicionales para verificar la utili-
Mencionaclas. : No valía el múltiple arreglo 'qUe para el dad de tales decisiones en cuanto a la selección característica del objetivo; por
Una cle cacla tre_s caRas us,5 sólo Lin metódóldétuidado ejemplo, un proyecto educativo para entrenamiento intensivo puede tener
írás . que' los dos tércioS restanteS usaroh por lo Menos como definición de objetivo apropiado a todos los miembros de la comunidad
Ej estudio nacional,acerca cleb„consuiniciori-cletp.lidadója,LñiDO..e.Sjaarti4iIáv,;,. que tengan entre 16 y 60 años y que hayan cursado menos del cuarto grado
rnente_aniplio z11-eriurneMr lS factiaíje.S-'cli:e'.,11-ffIlyenTliláqéleCCIÓdde escolar. Una estimación del 10% de analfabetismo funcional en una comunidad
:í çobre el modo del cuidado Ls rnportancia "de lol.diyersos tipoS de cuiclado pre;Por-
a I te tiV(D' S:" (0
de 2 000 adultos puede provenir de la investigación de un informante clave.
„_. 'e.rí marOo .c1 la dermariclá)las Una investigación de la muestra puede proporcionar datos acerca de si se debe
caracterfStitás_ _ del bien ,
inflnyen.en la se2.1_e"ción
, y se exarnlnan con alqún detallé.
El inforrné tainbién "s:e lirnita propiaMente a-recolCar qüe las a 'étitüdelas de los cOnsu-: usar o no una definición del cuarto grado que produce una población potencial
, micioreS suelen carecer de lo c , ancreto, sobrébodó - eitando algunaS'ele'las cuestiones de cada 10 entrevistados.
las interpretan ecnnó hipo . tencas alguno de los respenclentes.,Dadelta advertencia
, cOn el„heelao -,clé que los datos nca se anal4an de tal manera qué,influ9an ealos.Otrow:V.:,í1
factore[ConstIllteS, de nada ilc quer fiuchos corisumidores IMPORTANCIA DE DIAGNOSTICAR
cuida dd .d i a:IJs-preescolárés-pkii raignes propias . del niño, en vez de Por
su pr4"1- eonv é n ienCiaHlá ..VálldéZ.: .-del'esie cuc,,siionatnientd permánece'en dadá, LAS EVALUACIONES
peró si se cdnfirma P-Or mas vigerosds;arkíliSk de datos -junto con el resultadó delqtre Evidentemente, la especificación y selección de la población objeto se debe
nincl-raS' í familías risan n un ' estilo-d e'C'Ubdado,-'sm--,rpercado—darauna eVidentiljt:Ié
có rno se f o rrnanlas: Preférencia : ;"v loS • éjeteOs'en eirriei'cadei-dereüidadOdel.4
basar en mediciones de las características, las cuales sean fácilmente detectables
- y exactas. Desde el punto de vista de la administración de un programa, sin tal
especificacíón es virtualmente imposible realizar una intervención exitosa. Des-
pués, a menos que el diagnóstico esté bien establecido, ni la verificación ni la utili-
dad de la evaluación tienen probabilidad de ser usadas. Como un buen pescador
98 CAP. 3. PROCEDIMIENTOS DE DIAGNÓSTICO

sabe, existe poca probabilidad de capturar un pez, incluso después de seleccionar

bien la carnada y el aparejo, a menos que se conozca bien qué tipo de pez existe y
cuál es la profundidad adecuada para hundir el anzuelo. Asimismo, la mejor
intención para mejorar las condiciones humanas no será apropiada, a menos que
el personal del proyecto y/o el evaluador puedan especificar precisamente los
objetivos y seleccionarlos adecuadamente.
Monitoreo del
programa

contabilidad
El monitoreo del progranna tiene por objeto resolver dos interrogantes principales: a) si
el programa alcanza o no a la población objeto apropiada, y b) si la entrega de servicios es
congruente o no con las especificaciones del diseño del programa. Existen varias razones para
que se requiera el monitoreo de un programa. Primero, el monitoreo generalmente se requie-
re para propósitos de contabilidad; el manejo del programa y los patrocinadores buscan con-
tinuamente información para contestar la pregunta siguiente: "¿Quién está haciendo qué y
cómo?". Segundo, el monitoreo de las evaluaciones generalmente es un auxiliar necesario
para valorar la repercusión, pues los errores en el programa a menudo se deben a ejecuciones
incompletas o defectuosas de las intervenciones, más que a la inefectividad del tratamiento.
Tercero, el monitoreo de la información puede ser la base de la valoración de utilidad o un
complemento de ella; por tanto, es un medio que interviene en la decisión de continuar,
ampliar o terminar los programas en curso.

CONCEPTOS PRINCIPALES

Estrategia de acceso: Plan para alcanzar y proveer de servicios a una población

objeto.
Contabilidad: Responsabilidad del personal del programa para aportar
evidencias a los patrocinadores y a las unidades de supe-
rordinados, de conformidad con la cobertura del progra-
ma, su tratamiento, su legalidad y sus requerimientos fis-
cales.
Desuiación: Medida en que los subgrupos de una población objeto parti-
cipan diferencialmente en un programa.
Cobertura: Grado en que un programa alcanza a su población objeto
intentada.
Estudios del proceso: Término generalmente referido a las actividades relaciona-
das con la identificación del objetivo y con la valoración
de la conformidad del proyecto.,
Elementos del programa: Actividades identificables y discretas de la intervención.
Entrega de seruicios: Procedimientos y arreglos de organización empleados
actualmente para proporcionar los servicios a las pobla-
ciones objeto apropiadas.
 100 CAP. 4. MONITOREO DEL PROGRAMA
Después de firmar una nueva ley, se atribuyó al presidente Kennedy haber
dicho a sus colaboradores "Ahora que -está hecha la ley de la tierra, espera-
mos tener a nuestro gobierno abocado a llevarla a cabo". Si el presidente de Esta-
dos Unidos se pudo expresar escépticamente en lo relativo a la ejecución de la ley
federal, ¿cuánto más vacilante e incierta es la complementación de los progra-
mas específicos? Por cierto, realizar o no cualquier programa con total interés en
la ayuda de sus patrocinadores y de los integrantes del programa, es siempre pro-
rip lemático (si es que alcanza a la población designada para que resulte beneficia-
da con el programa y la entrega de servicios ordenados).
En este capítulo se estudiará el problema que se refiere al monitoreo de la
puesta en marcha. Por monitoreo de la puesta en marcha se entienden ciertos
intentos sistemáticos para medir la cobertura del programa, o sea el grado en
que el programa alcanza a la población objeto designada, y por proceso del pro-
gra ma se entiende el grado en que el servicio por prestar concuerda con lo que se
intentaba proporcionar. Tanto la cobertura del prograrna como el proceso del
programa se conocen frecuentemente como producción del programa, esto es,
los productos y servicios que se prestan a los beneficiarios apropiados. La pro-
ducción no se debe confundir con los resultados, pues éstos se refieren a los efec-
tos de la producción en las poblaciones objeto, es decir, la repercusión (para un
estudio más extenso de los problemas y de la investigación acerca de la puesta en
marcha, consúltense Williams y Elmore, 1976; Williams, 1980, y Pressman y
Wildavsky, 1973).
USOS DEL MONITOREO
Realizar el monitoreo de la puesta en marcha del programa es una actividad
que se realiza en diferentes momentos del programa en curso y en la administra-
ción de programas establecidos. El monitoreo de la ejecución del programa es fun-
damental para desarrollar el proceso cuando los programas se han probado y
depurado. Los diseñadores necesitan conocer cuáles problemas se encuentran en
la ejecución, de manera que se efectúen cambios en el diseño del programa, con el
fin de resolver tales obstáculos. Los resultados inesperados y los efectos colaterales
indeseados aparecerán rápidamente en el curso de la prueba; por ejemplo, una clí-
nica médica destinada a ayudar-a las madres trabajadoras y que está abierta sólo
durante el día, descubrirá pronto que la mayor demanda será para la prestación de
servicios clínicos y que tales horas no son adecuadas para madres que trabajan
durante el día. En un programa establecido para resolver severos problemas psico-
lógicos en el comportamiento de los niños en la escuela, se encontró súbitamente
que muchos de tales niños no tienen alteraciones profundas, sino sólo superficia-
les; por ello, el programa se debe modificar.
Los resultados del monitoreo del programa también son esenciales para reca-
bar datos con el fin de difundir el programa. De esta manera, se pueden reproducir
las características esenciales de una intervención en sitios diferentes de donde se
originó. Se debe describir el programa en detalle operacional. Los puntos críticos
en la ejecución necesitan ser identificados, las soluciones a los problemas adminis-
trativos bosquejadas, las calificaciones del éxito del personal del programa docu-
mentadas, etc. El buen desarrollo del programa incluye elaborar manuales que
CONTABILIDAD DEL PROGRAMA 101
detallen los procedimientos administrativos, la entrega de servicios, las calificacio-
nes necesarias del personal, etc. El resultado de monitorear el programa en la eta-
pa de desarrollo, se puede aprovechar en la preparación de tales manuales.
Para programas que están más allá de la etapa de desarrollo y en funciona-
miento, su monitoreo sirve para satisfacer las necesidades de la administración al
proporcionar información acerca del alcance y el proceso y, por tanto, retroali-
mentar con respecto a si el programa cumple con las especificaciones. La depura-
ción del programa se puede requerir cuando la información del monitoreo indica
que los objetivos no se han alcanzado o que los costos de la producción son mayo-
res que los planeados inicialmente. Los administradores del programa que descui-
den verificar un programa sistemáticamente corren el riesgo de administrar un
programa que sea muy diferente de sus mandatos.
Los programas en gran escala en los que se incluyen unos cuantos sitios y gas-
tan grandes cantidades de recursos, pueden formalizar el monitoreo del programa
al establecer un sistema de administración de la información (SAI). Esfuerzos siste-
máticos y continuos suelen generar datos acerca de lo que sucede en el programa
al contestar interrogantes tales como ¿cuántas personas abarca el programa y cuá-
les son sus características?, ¿cuántas "unidades de servicio" son entregadas?,
¿cuánto del fondo se gasta?, ¿qué tanto permanecen las personas en el programa?
Los objetivos de un sistema de administración de la información bien diseñado son
proporcionar a los administradores del programa y al personal reportes detallados
y periódicos acerca de qué tan bien funciona el programa y alertarlos en la entrega
de problemas conforme se originan, de tal manera que se pueda emprender una
acción correctiva.
CONTABILIDAD DEL PROGRAMA
Por supuesto, la información del monitoreo del programa es también crítica
para quienes apoyan y patrocinan los programas, los niveles diarios del programa
anterior de manejo. En esas circunstancias, el problema es la contabilidad. ¿Se
emplean adecuadamente los fondos del programa?, ¿se incluyen las poblaciones
objeto designadas?, ¿cuánto del servicio intentado se presta? Por cierto, para el
Congreso, por lo menos tanto como a los programas educativos nacionales con-
cierne, la información del monitoreo del programa parece tan importante como la
información de su repercusión (Raizen y Rossi, 1981).
Desde una perspectiva del monitoreo, la contabilidad adopta varias de las
formas mencionadas en el capítulo 2.
Contabilidad de la cobertura: ¿son las personas beneficiadas aquellas
que fueron diseñadas como objetivo?, ¿hay beneficiarios que no debe-
rían ser?
Contabilidad del servicio de entrega: ¿se entregan las cantidades propias
de la producción?, ¿son los tratamientos entregados aquellos que el pro-
grama suponía entregar?
Contabilidad fiscal: ¿se usan los fondos apropiadamente?, ¿se facturan
adecuadamente los gastos?, ¿se usan los fondos dentro de los límites esta-
blecidos por el presupuesto?
102 CAP. 4. MONITOREO DEL PROGRAMA
• Contabilidad legal: ¿observa el programa las leyes vigentes, incluidas
aquellas que conciernen a la acción afirmativa, la seguridad ocupacional y
la salud, así como la privacía de los registros individuales?
Los problemas de la contabilidad legal y fiscal deben resolverlos los profesio-
nales especialistas en esas áreas. Seguir los procedimientos propios de la contabi-
lidad y cumplir las condiciones de las leyes estatales y federales son cuestiones
que implican conocer la contabilidad y el derecho, y arriesgarse al tratamiento
inexperto de trabajadores sociales entrenados en la investigación social, pero que
trabajan aisladamente. Por tanto, los problemas de cobertura y el tratamiento de
la contabilidad son comunes en el monitoreo de la puesta en marcha, desde el
punto de vista de la investigación social.
Aun cuando el monitoreo orientado a la administración (incluido el uso de los
sistemas de información) y los estudios de contabilidad del programa se refieren a
menudo a las mismas interrogantes, se diferencian por los propósitos a los cuales
va dirigida su evaluación. Los sistemas de información administrativa se diserian,
típicamente, para detectar las fallas que deben corregir los miembros del progra-
ma. Los estudios de contabilidad primero proporcionan información que los
patrocinadores y el equipo que toma decisiones necesitan juzgar con respecto a la
pertinencia de las actividades del programa y para decidir si debe o no continuar,
ampliarse o limitarse. Los estudios de contabilidad generalmente se realizan con
un espíritu más crítico, mientras que las actividades orientadas al monitoreo de las
actividades se relacionan menos con efectuar juicios decisivos y más con incorpo-
rar medidas correctivas como parte regular del programa de operaciones.
Algunos comentaristas de las actividades evaluativas (Crobach et al., 1980)
sostienen que los resultados de la repercusión son producto no de la administra-
ción del programa, sino del diseño del mismo, lo cual generalmente no está al
alcance de los administradores del programa. Por tanto, su punto de vista, es que
los administradores deberían ser los responsables primarios de la integridad fis-
cal, la cobertura y el tratamiento.
Estamos de acuerdo en que los administradores del programa deben ser
explícitos en la entrega de servicios a la población objeto; además, aceptamos
primero los procedimientos para monitorear la cobertura y luego a aquellos que
se emplean en el proceso del monitoreo.
POBLACIONES OBJETO Y
COBERTURA DEL PROGRAMA
Como se vio en el capítulo 3, es esencial definir cuidadosamente a la pobla-
ción objeto; pero esto será úttl sólo si existe un procedimiento para determinar la
extensión en que la actual participación de las poblaciones objeto tiene lugar.
Esto es particularmente esencial para múltiples intervenciones en las que la acep-
tación del programa y la participación son voluntarias; por ejemplo, los centros
comunitarios de salud mental diseñados para prestar un amplio rango de servi-
cios suelen fallar en atraer a un número razonable de personas que puedan bene-
ficiarse de esos servicios. Aun muchos pacientes recientemente dados de alta en
hospitales para enfermos mentales y que han sido alentados para usar los servi-
POBLACIONES OBJETO 103
cios de los centros comunitarios de salud mental, después de su alta, a menudo
fallan en hacer contacto con sus centros (Rossi, 1978).
Selección de poblaciones objeto
En general, cualquier intervención o tratamiento que requiera participantes
para aprender nuevos procedimientos, cambiar los hábitos existentes o tomar
instrucciones, puede encontrar dificultades para atraer a los grupos objetivo. Por
consiguiente, para saber si en un programa se incluye o no a las unidades objeti-
vo, aquellas con las características apropiadas y específicas, se necesita monito-
rear las evaluaciones.
El problema del grado en que la población objeto participa en un proyecto
concierne tanto a los administradores del proyecto como a los patrocinadores del
programa. La administración eficaz del proyecto requiere contar con la informa-
ción. adecuada y oportuna de la participación de la población objeto, especial-
mente en los casos en que la modificación de los procedimientos del proyecto se
puede requerir si la participación de la población objeto no se encuentra en el
nivel esperado. Desde el punto de vista de los administradores del programa, la
participación de la población objeto es una medida crítica de la vigencia del pro-
yecto y de su efectividad última.
Los problemas de participación de la población objetivo, a menudo se des-
cuidan en el desarrollo de los programas nuevos, cuando se asume que las pobla-
ciones objeto están necesariamente motivadas para participar, sin embargo, éste
puede no ser el caso: en los experimentos de la demanda de la vivienda disponi-
ble (Kennedy, 1980; Struyk y Bendick, 1981), menos de un tercio de las familias
elegidas participó en uno de los tratamientos, el cual exigía a las familias que ren-
taban casas que cumplieran ciertos requisitos. Asimismo, un programa diseñado
para proporcionar información a los probables compradores de casas podría
revelar que pocas personas se interesan en los servicios ofrecidos. De aquí se
infiere que los diseñadores del programa deben preocuparse por dar los mejor
con el fin de motivar a las poblaciones objeto potenciales para que busquen el
programa y participen en él. En algunos casos, podría requerirse que los esfuer-
zos alcanzados se integren al programa, mientras que en otros sería necesario
ubicar especial y geográficamente al personal del programa, etcétera.
Cobertura y desviación
El problema de la particípación de la población objeto consiste en aspectos
de cobertura y desviación. Por cobertura se entiende el grado en que mediante
un programa se obtiene la participación de la población objeto, como se especifi-
có en el diseño del programa. La desviación es el grado en que los subgrupos de
una población objeto designada participa de manera distinta. Una desviación en
la cobertura de un programa significa simplemente que algunos subgrupos son
cubiertos de modo más extenso que otros. La desviación puede quedar fuera de
la autoselección, debido a que algunos grupos participan más frecuentemente
que otros. También puede derivar de las acciones del programa; por ejemplo,
algún miembro del personal puede mostrar favoritismo hacia algunos grupos y

104 CAP. 4. MONITOREO DEL PROGRAMA
rechazar a otros. Finalmente, esto puede resultar de influencias imprevistas,
como la ubicación de la oficina del programa, lo cual puede estimular mayor par-
ticipación de un subgrupo, o sea, para quienes el acceso a las actividades del
programa es más conveniente.
Al probar los programas, la desviación suele constituir un obstáculo serio
para la validez de la valoración de la repercusión. Especialmente crítica es la par-
ticipación diferente de los grupos experimentales que reciben el nuevo tratamien-
to y de los grupos control o testigos, quienes son observados con el fin de valorar
la repercusión de la evaluación. En muchas valoraciones de la repercusión los
miernbros del grupo control renuncian más frecuentemente que aquellas que
reciben el tratarniento en los grupos experimentales (véase el capítulo 6, donde
se estudia con mayor detalle el problema de la cobertura durante la prueba de
programas).
La cobertura y la desviación son relativas, de manera muy clara: un progra-
ma que incluye a todos los participantes proyectados, obviamente, no se desvía
en su cobertura; pero como pocos programas sociales tienen una cobertura total
y exacta, la desviación se convierte en un problema típico.
Generalmente, se estima deseable que un programa sirva para una gran pobla-
ción objeto. La excepción, por supuesto, se presenta cuando los recursos del proyec-
to son limitados para dar el tratamiento apropiado a todas las unidades objetivo
potenciales; sin embargo, en este caso, la definición del objetivo durante la planifica-
ción y el desarrollo del programa probablemente no fue lo bastante precisa. Para
corregir este problema se puede dar una definición más ajustada a las características
de la población objeto mediante el empleo de recursos más efectívos; por ejemplo,
establecer un centro de salud que proporcione servicios médicos a personas sin fuen-
tes regulares de cuidados médicos puede resultar en un desconcierto de la demanda
de servicios, que limite al recurso y que las facilidades sean imposibles para muchas
personas que deseen recibir este beneficio. En tales circunstancias, si se agregara el
criterio de elegibilidad que considera la severidad del problerna de la salud, el tama-
ño de la familia, la edad y los ingresos, se podría reducir el tamaño de la población
objeto a proporciones más manejables.
El problema más común con respecto a la cobertura en intervenciones socia-
les es que no se ha logrado la total participación de una población objeto, ya sea
debido a la desviación al seleccionar participantes de un grupo específico o por-
que los clientes potenciales rechazan el tratamiento. Por ejemplo, los experimen-
tos de la demanda de la vivienda, que se realizaban correctamente, han tenido
rangos de participación bajos: sólo del 30% al 40% de los grupos elegidos han
participado, en oposición a la aparente obviedad de las ventajas que tendrían al
seguir el experimento (Carlson y Heinberg, 1977; Struyk y Bendick, 1981).
Sin embargo, también existen ejemplos de sobrecobertura: el programa
Sesame Street (Plaza Sésamo) ha logrado reunir consistentemente audiencias
que por mucho han excedido el número de poblaciones objeto designadas origi-
nalmente, a saber: preescolares en desVentaja. Otras audiencias, incluidos niños
que no están en desventaja y aun adultos, han sido atraídas por el programa.
Afortunadamente, como tales audiencias se han logrado reunir sin un costo adi-
cional, esta cobertura inapropiada no es un desperdicio financiero. También se
ha descubierto que los niños aventajados que ven el programa se benefician
mayormente que los espectadores en desventaja (Cook et al., 1975). Como una
POBLACIONES OBJETO 105
de las metas del programa era llenar el vacío existente entre los niños aventajados
y los niños en desventaja, el éxito del programa para abarcar a una audiencia
mayor que la planeada ha exagerado un problema que se buscaba remediar.
En otros ejemplos, la cobertura inapropiada puede ser costosa. Los progra-
mas bilingües patrocinados y dotados de recursos económicos por el Departamen-
to de Educación de Estados Unidos incluye a muchos estudiantes cuya lengua natal
es el inglés. Los sistemas escolares que gastan el presupuesto del programa y que
dependen del número de niños inscritos en clases bilingües, han inflado las listas de
asistencia al registrar a más niños que los necesarios, incluidos los estudiantes defi-
cientes (Raizen y Rossi, 1981). En algunos casos se ha demostrado que las escue-
las han empleado la asignación para instrucción bilingüe como medio para tratar a
algunas. clases de "niños problema" e impartir las clases bilingües con saturación
de casos disciplinarios.
Medición de la cobertura
Los integrantes del programa y los patrocinadores deben relacionarse con los
fenómenos de cobertura excesiva y cobertura baja. La cobertura baja se refiere a la
proporción de grupos objetivo de un programa, con necesidades, en el que partici-
pen. Por su parte, la cobertura excesiva se emplea algunas veces para referirse al
número de participantes de un programa que no tienen necesidades, comparado
con el número total que no tiene necesidades de una población dada; mientras que
en otras ocasiones se refiere al número de participantes que no tienen necesida-
des, comparados con el número total de un programa. Generalmente, esta últi-
ma figura es la importante; el uso eficaz de los recursos de un programa requiere
minimizar tanto al número no servido de quienes tienen necesidades como al
número de quienes son servidos aunque no tengan necesidades. La eficacia de la
cobertura se puede medir mediante la fórmula siguiente:
ÍEI número con El número de los que
necesidades de no tienen necesidades
— de servicio
Eficacia de la cobertura = 100 x servicio
El número total con El número total servido
necesidades
La fórmula produce un valor positivo de 100 cuando el número actual servi-
do equivale a la población objeto designada con necesidades y que no se sirven a
poblaciones objeto inapropiadas. Un valor negalivo para 100 se da sólo sí sirve
a poblaciones objeto inadecuadas. Los valores positivos y negativos entre + 100
y — 100 indican el grado de eficacia de la cobertura; por ejemplo, si en un área
geográfica particular se ha éstimado que 100 inclividuos objetivo necesitan un
programa, pero del actual grupo de 100 servidos sólo 70 son individuos objetivo
apropiados, el valor obtenido mediante la fórmula anterior podría ser de + 40. Si
100 individuos objetivo necesitan un programa y sólo 10 de los 100 son indivi-
duos objetivo apropiados, el valor obtenido podría ser de — 80.
La fórmula produce un medio de estimar los intercambios de un programa,
incluidas las poblaciones objetivo inapropiádas y las apropiadas. Un programa
administrativo confrontado con un valor de — podría imponer un criterió de


106 CAP. 4. MONITOREO DEL PROGRAMA 107

selección adicional al eliminar a 70 de los 90 individuos objetivo inapropiados y,

por medio de una campaña de reclutamiento intensivo, asegurar 70 reemplazos
apropiados. Entonces, el valor para la eficacia de la cobertura podría ser de + 60.
Si el programa fue poco costoso o poco inteligente desde el punto de vista
político o muy difícil de imponer un criterio de selección adicional para eliminar
la cobertura baja, el administrador podría ampliar el programa para incluir a
todos los individuos objetivo apropiados. Sl suponemos que la misma propor-
ción de individuos objetivo inapropiados son servidos, también el número total
de participantes podría ser de 1 000.
El problema de medir la cobertura es casi siempre su incapacidad para especifi-
car el número con necesidades o la magnitud de la población objeto. Las actividades
descritas en el capítulo 2, si se realizan como parte integral de la planificación del
programa, generalmente minimizan este problema. Además, se pueden usar tres
enfoques para valorar el grado en que la población objeto apropiada ha servido para
un programa particular.
Uso de registros
Casi todos los programás requieren mantener registros acerca de las
poblaciones objeto servidas. Esta información es útil, en términos generales,
en la contabilidad del tiempo del equipo de trabajo y de los recursos gastados.
Existe una gran variación entre la caliclad y extensividad de los registros y en la
complejidad inmiscuida con su almacenamiento y mantenimiento. Aún más,
la factibilidad de mantener sistemas de registro completos y al corriente para
todos los participantes del programa varía con la naturaleza del tratamiento y
con la disponibilidad de los recursos; por ejemplo, la administración compleja
por computadora y el sistema de inforrnación al cliente se han diseñado para
sistemas de salud mental y médica (Gall y Norwood, 1977). En el anexo 4.1 se
muestra el uso de los registros para describir a los participantes en un programa
de vales alimenticios. Un sistema de administración de la información para un
proyecto pequeño de demostración se describe en el anexo 4.2. Mientras que,
inicialmente, este sistema se puede diseñar con el fin de describir las actividades
del proyecto para propósitos de la evaluación, el administrador del proyecto
también empleó los resultados para reentrenar a los trabajadores del servicio, de
modo que éstos pudieran entregar la producción más apropiada a los problemas
presentados por las poblaciones objeto.
1• ' --- .' Los niariufacturerbs gne reckeron estampillas alimentanas tuVlerán rriejor,es.,
t - dletas; fanHilias mas grandes y nlasicir, es ingresos qüe quienes participardn eriel pra- :-.--
, drarna de diStdb.Lsciemi 'aliinentiCta -o'gueaquelloSelegibles, perclque no partiCiparon'
`1 'en el prOgrama de --a, 9stencia':,áln-rregtria. .. ::. _ .: ..: 'ffl,,,-..''.':,:-.
:Apróxlmádáme -dte, el 37(V.i'delas' finIlia 'St> 11.-n1 E-frp141416•Vd 4: 7 lOs progra,.z":'
' Mas de alstencia-a1ii-nentafiá‘.de...lá'TISSE1.4::ért,111I,1,,I'23% eStaba l tistado eil
ii ç):14 'éc1b14gstamptIlas alimentarias, -
: -. P rograrna de clis,fribución al entaray.
( Uha de cada cuatiO far'inilias .éian elegiblel.';'Petó,rió'plr'ficIpabanenelprograrna;::
r mieri"tras que 2 -3.,..%'erári -in-eTégiblesdebid4 1,1t¿ilá esos o at ' tainaño.famt- ''• N'''', ,- '."' ,-
i. llar reducido, ••-,-,1'::-', ,.. . 1 ..'4•T•nts
,A.,
•• Las caractetísticas socióeconórMcas se comparaban pará : amilia pa'rtletpan.,-,.
, tés en los programas l:des ‘ tarnpillas alimentarlás : y dé distribuchán dé álirnentos,::',,,
parano parncipantes elegibleIy -Para no participantes lnelegibles durante 1969:, En .
' toclos los ,gmpos,lals-fa'n'illiobtenían pocOS Ingrescrs,- vlvfan'prinetpalment e eni,,
are_as:_urbanas, tenian antecedentes einicó ,j :,y racIales minoritarlos y nlveles edu7:
cativos relativameriq.bajOs.Pereade s ditteídode las fam111Q¿g -Oza - ba. ride seguridad.
Social. El'grliPo cl14cii'iiii,?¡5"OiÉt6ilitó :faiit1llas nerásy deresidentes urbanc
_fue el de ao particiPaiiteS : elegiblel. I,os nlveles educativos fueron bajás (rnenós cle .-
octicianos de esColarlda c̀I) :en lo -g-tiapós de distribuffin dealirnento Yde nó Pártict:*,:i•
-pin-re.'S:elegibles;La participacióh cle.1 seguro socla1 entre las familias asistldas fue --
I sustanel:alrnente_ mayor que para,las-farrillia.s . nO participantes, ...','..'-.•,':;:5.`,,- ' -1 .' ::
EiProMedlb de i 'ngfesos p gi: . fa'Inilia'¿;:iá de 'cerca de 200 dólare g Por rnes Para .
los asiStenteS',ál progranla de i estarripillas y dei 65 dólareS para los programas de
farnillato:PartIgpaptes relegtbles y déclig,rilSución alímentaria: Annque-los,partIcl-
„panteSen ' éj,áiiijitáté7éáiiíhiltáOüviero'ri - riiáyo-i:és-:áastos en alimento,-.16;S"óclasio-:
familtas elegilp:Who`Partt:':
c •nados , por Personas
_ fueron
. . equivalentesa aquellóS de las.
' clpant;:s. 1.1.15s ` no - participantes elegibles gastai-oItnáld4 e -Jrilresbs en
aliffientos -un porcentajealto en coMparación con u:,:ilq.,:
„
-Elingresci de : lat . familias ineleglbles ex:cedi6--,ilú,300:416 pal ms 6t15
r., , 7".1,estabía afiliado'ala Seguridaá soCial, y et.j:iiiirriedlódelliná n o farniliar fue de:„.-
,,
,-, I, c:iiatirOffnien-lbros. Comparados cón otras farnilas, los Melegibles fueron m-ás urba-,:
,nOteníamr.nertos negros y:se afiliaban menos'a la Seguridad soClat: 1 as.- ventajas : ' '
....'.,
..:Icónárnital ':de, l'sas familias se áeflejaban en sus mayores ingresOs y gastos en. . alt,-
.:25mentatión,Taíntmén gastaron una:rnenor proporcion del mgreso, famillar en comt-
a. 51-..teníart,knejorerSjOr'áenca s allnienticias.• - — --
. -, . .
< ,
iltel'Resuinea :de J.,G7Feuster v G ES PerkIns, in the Evanciéd Foad and Nutritiort
Educuttbn .Prfiigrcirri: Compariti. .bf Fr d Sta 11tp and Fcvo' d Dtstributfon Progran Participa nts arxi Non,
S'ner',-3-í-1-rneñt'Cl'Agnculture, Washirnteri:,-D.
['.rtle-Ir.,-,7ts. „ , C., 1973.
_
•

r Aner 4.1..Degcr1pcOn de los participante

en un progirarna d'e tipo , -='-'' -.--
1 ,. -25:"riekol 4.2," '1..in''s-ís- tverna dezaár;'-ilálir'áCión
,
1 ' dé lá, irlfórmaciónipará pi - ogramas' tiO
reddos,,-,
- L1na muestra naCional (de-naás de. 10500) se torn6,dé : rnanufacture ,ros en . , - ,
,- S, :_Dpat'frnent o f'./1 2 r icultureOSDAY:.'--DepartarriéntO de'Agricultura:de.E.S.tados.,' 1.,,...--,--, Uh prograrnade 'demóstraclOn , di-eñado Con el:fin-,&.;P.ro.4ár-la_viabiltdad de-_,
lega- ;"
ExteMdon Sél'y' 1Ce's Exp:34-rdát ., entrenamiento'de subprof c'S . lontStás parálegales paraldentlflOak.Tól'proble rnas
de . Extensióri de;Sers.itieiC,Icle EciireatiCamen Allinentati6n i a
láde -pa-Cientes cie: s ' lUid Mental deiltro de los hosPilalls:delE.Siad41;quejlan_stdo
Jel pregran-la'eraelrkre rioctmienfo dé la . nutriefe5i0 la'- 1.: desiiistitución..dizados; y para á - ,udar a los pac'e tés cilSterser --áts'áéreh'ri-s'LtOtal.
dieta de fa 'rniliaS Pobres e ii-npnisar el prograina de familras,pará que se listén en 1 n-lente, flie financiado por-el Natioaal I nstitute of Mentaltlealth:ffinsíitütbiKactOnal :: r
dC ilW5tencia 'ainnent4ria. - cle Salud Mentálr a'fin'de operar en lá régiOn desattid trintat deitiéiáé:IklqS10¿Ñl-: :i
-'-'...--11.--.Á..._:.~-- • ------_-___,.--''--------------„,'''—'-,--"''--- 2____ 1----;«.---'41
 108
.,setts Los trabajactores paraleesdes (sobre todo estudiantes) - son entrenadosjpara,.
conoccr lisp,u . tes pet tinc ntes de las leyes federales - y estatales, así cOrno de las
regLilaciones, son euviactos'a contactar pacientes mentales,a r sea a hóspltales o a
centros cie tratarniento c(Traniitarnof Pára podet identificat'loSiptoblernasle-gáles
presentados pordOS-Axacientes (y, Portanto, ajustar su entrenatnle,nto , de 'aeuercló
con'esto), scnis15 un sls. tJma de adrUíntstración de la- inforrnaCión que proporcio-
t nara f tchas
‘ resurntdas'acerca de Ihs eUcuentros entre el perseiñal parálegal
pacientes Despnes ducada encuentro con un pactente; los trabajadore.s paralegalesf:
inicIban el ilénadó'doicasá'én el cual se registrat,a la inconformidad del paClente,
las acciones tomadas • por el . personal.paralegal- las fechas los tiernpos y las referen,
ciáscí- izadasa otras fichas de In stituciones y centros de.contacto': Asf, era posible
idéntifiear áteaS de problemas leeales, para las que se había putólnucho'enfasis'ety.::,
el entrenarniento y para las que se dn o,poco énfasis. Además, el sisterná.'donformla
ción pernutió calcular la.entrega de serviciOS:j.-
1149t<
,lohn Hornik si :ár.f:3:éch'niccd
P.ItichtsA s Prc n ert, West;Gnipils'llchuétti
con Jsiltortzación,
Al medir la participación de las poblaciones objeto, la principal preocupa-
ción es que los datos sean seguros y confiables. Existen múltiples procedimientos
que se pueden efectuar para asegurarse de su confiabilidad. Quizá el más impor-
tante es diseñar un sistema de registro que sea lo bastante simple para no volver-
se una carga al personal del programa y lo bastante comprensible para satisfacer
las necesidades de la evaluación. A menudo existe mucho riesgo al diseñar tanto
un sistema de registro demasiado extensivo como uno que contenga poca infor-
macióri. Al no pensar en todos los requisitos de la información, un sistema puede
ser parcialmente ignorado debido a su connplejidad, por tedio o porque consume
mucho tiempo al aplicarse.
Por otro lado, es importante no sólo que las formas apropiadas y otros ins-
trumentos de registro se construyan, sino también que el personal reciba un
entrenamiento adecuado acerca de las habilidades y técnicas relacionadas con
su uso; por ejemplo, si la ocu pación, en el tiempo de la admisión del programa,
es un criterio importante para definir a la población objeto, entonces las instruc-
ciones para registrar la información detallada ocupacional son esenciales para
registrar y guardar datos. Aún más, el continuo entrenamiento y reentrena-
miento, así como la instrucción inicial, suelen ser necesarios para mantener al
personal informado de los desarrollos que afecten a los registros y para mante-
ner sus habilidades. Esto puede implicar verificar las muestras de registros con
sus fuentes autoritarias y denotar los errores de comisión omisión.
Otro procedimiento para asegurar la confiabilidacl implica las pruebas de
control de calidad de una manera simple. Para hacer esto se puede pedir a varios
miembros del personal del proyecto que completen registros independientemen-
te y que verifiquen la congruencia de la información codificada. Finalmente, la
información obtenida de los registros del programa se puede comparar con otros
datos disponibles; por ejernplo, un programa de planificación familiar puede
comparar sus registros con los de una clínica local o de un hospital.
POBLACIONES OBJETO 109
Cabe señalar que todos los sistemas registros están sujetos a un mayor o
menor grado de confiabilidad. Algunos registros contendrán información inco-
rrecta o anticuada y otros estarán incompletos. La extensión en que los regis-
tros poco confiables se pueden usar para tomar decisiones depende del género
y el grado de su confiabilidad y de la naturaleza de las decisiones en cuestión.
Obviamente, las decisiones críticas que implican resultados significativos
requieren mejores registros que las decisiones triviales. Una decisión para conti-
nuar o suspender un proyecto no debetía basarse en datos derivados de registros
parcialmente inconfiables, mientras que una decisión para cambiar un procedi-
miento administrativo se puede tomar con base en datos derivados de esos regis-
tros. Si los registros administrativos desempeñan un papel importante en la toma
de decisiones o problemas de gran alcance, será deseable hacer una auditoría a
tales registros.
Los datos del sistema de registro, sobre todo de los sistemas de información
administrativa diseñados para programas en gran escala e instituciones de ser-
vicios humanos, se pueden usar para estimar la cobertura del programa y la
desviación. La información acerca de los diversos criterios de una población
objeto se puede tabular para determinar si las unidades servidas son las especifi-
cadas en el diseño del programa; por ejemplo, el registro de participantes de un
programa de planificación familiar, cuya población objeto está constituida por
mujeres con una edad menor a los 50 años y quienes han sido residentes de una
comunidad particular por los menos seis meses y tengan niños con una edad
menor a los 10 años, pueden ser examinados para ver si las mujeres a las que se
sirve actualmente están dentro de los límites de elegibilidad, y el grado en que
los participantes están representados en una edad particular o grupos de pari-
dad. La desviación en la participación del programa en términos de las caracterís-
ticas de la elegibilidad, observadas singularmente o juntas, podría ser evidente de
tal análisis. Asimismo, la cobertura y la desviación se pueden determinar por hos-
pitales que normalmente mantengan registros completos de las personas admiti-
das, del diagnóstico del paciente, de la cobertura del seguro y de las condiciones
de su alta. Estos datos los tabula y luego los consolida la American Hospital Asso-
ciation (Asociación Americana de Hospitales) de acuerdo con el estado o la
región. Muchos departamentos de seguridad estatal también tienen excelentes
sistemas de administración de la información.
La cobertura del programa se puede estimar del sistema de registro utilizado
en combinación con otra información disponible. En un programa preescolar
ideado para satisfacer las necesidades respecto al cuidado del niño se podría esti-
mar la cobertura mediante la fórmula dada, si en una investigación previa se
hubiera estimado el número de niños en edad preescolar en la región del progra-
ma y con ambos padres trabajando lejos de casa. Tales cálculos eran importantes
cuando el valor del programa dependía parcialmente de si se prestaban servicios
en cierto nivel a personas con necesidades (generalmente designado por área,
nivel socioeconómico, antecedentes étnicos y criterios similares).
Cuando los programas son de larga duración, como en muchos de los esfuer-
zos para desarrollar la educación e intervención en la salud, puede ser necesario
actualizar los datos con cierta regularidad. Menciones como tamario familiar y
composición, ocupación, ingresos y lugar de residencia cambian frecuentemen-
te, y las estimaciones de la población objetivo, cobertura y desviación deben

110 CAP. 4. MONITOREO DEL PROGRAMA
seguir el paso de esos cambios. En resumen, un sistema de registro útil debe ser
confiable y actualizado.
Inuestigación de los participantes
en el programa
Una alternativa para usar los registros de servicios y de la administración es
realizar una investigación especial acerca de los participantes en el programa. La
investigación de muestras es deseable cuando no se pueden obtener los datos
requeridos rutinariamente como parte de las actividades del programa, o cuando
el tamaño de la población objeto es muy grande y resulta más económico y eficaz
emprender una investigación de muestras de la población para obtener los datos
de todos los participantes.
Por ejemplo, un proyecto educativo espeCial realizado primariamente
por los padres de una comunidad se puede emprender sólo en unas cuantas
escuelas. Los niños son examinados en todas las escuelas y enviados para edu-
cación especial a sitios especiales, si obtienen notas bajas en las pruebas de
lectura o aritmética. El proyecto puede aceptar a todos los niños enviados,
pero el personal del mismo puede no tener tiempo o entrenamiento para
administrar las pruebas de habilidades educativas apropiadas. Más bien, un
grupo de evaluación, probablemente de una base simple, puede efectuar lo
anterior para estimar la adecuación de los procedimientos de selección y para
valorar si cubre o no a la población objeto servida por el proyecto.
Inuestigaciones de la comunidad
Cuando los proyectos no están dirigidos a grupos perfectamente selecciona-
dos y definidos, sino a una comunidad entera, la más eficaz y algunas veces única
manera de examinar si la población presumidamente en riesgo es cubierta, con-
siste en realizar una investigación de una muestra de la comunidad.
La evaluación de Feeling Good (sentirse bien) es un buen ejemplo del uso
de las investigaciones para aportar datos de audiencias de tamaño y composi-
ción nacional. Este programa de televisión fue una producción experimental del
Children's Television Workshop _(Taller de la televisión para niños), productores
de Plaza Sésamo. Dicho programa se diseñó con el fin de rnotivar a los adultos
para emplear prácticas de salud preventiva; aunque el programa era accesible a
casas de todos los niveles de ingresos, su principal propósito era motivar a las
familias de escasos recursos para rnejorar sus prácticas de salud. Gallup efectuó
cuatro investigaciones nacionales, cada una con aproximadamente 1 500 adul-
tos, en momentos distintos durante las semanas en que el programa se televisó.
Los datos proporcionaron estimaciones acerca de las audiencias que lo veían, así
como las características demográficas, socioeconómicas y la actitud de los espec-
tadores (Mielke y Swinehart, 1976). El resultado mayor fue encontrar que el pro-
grama fallaba enormemente en abarcar al grupo de objetivo.
Además de la televisón educativa, muchos programas de diversos tipos
(entre otros de salud, educativos, recreativos y de servicios humanos) suelen ser
comunitarios, aunque las poblaciones objeto designadas pueden ser grupos
POBLACIONES OBJETO 111
selectos, como los delincuentes juveniles, los ancianos o las mujeres en edad
reproductiva. Las investigaciones son el mejor medio para valorar si los objetivos
se han alcanzado.
Para medir la cobertura de los programas del Department of Labor (Departa-
mento de trabajo), como aquellos de entrenamiento y empleo público, el Depar-
tamento comenzó una investigación periódica y racional de las muestras (Westat
Inc., 1976-1980). Por medio de entrevistar con el personal, esta gran investiga-
ción interna comprobada si cada adulto era o no miembro de las familias mues-
treadas, o un participante común en cada programa del Department of Labor. Al
contrastar a los participantes con los no participantes en el programa, la investi-
gación proporcionó información acerca de las desviaciones en la cobertura del
programa. Además, también se generó la información de la población no cubier-
ta, pero que es elegible.
Utilizadores del programa,
elegibles y desertores
Otra forma de valorar la población objeto consiste en detectar la desviación
de la participación en el programa, y aun a aquellos que lo abandonan, a aquellos
que son elegibles pero que no participan del todo. En parte, el promedio de
deserción o de abandono de un proyecto puede ser el indicador de la poca satis-
facción por parte del cliente con las actividades de intervención. También puede
indicar condiciones en la comunidad que prevengan a las personas para realizar
una participación total; por ejemplo, en ciertas áreas carentes de transportación
adecuada, esto puede prevenir la participación de aquellos que en otras circuns-
tancias serían elegibles y estarían dispuestos.
Es importante identificar a los subgrupos particulares dentro de la población
objeto, quiénes no son los participantes iniciales o quiénes no siguen el trata-
miento con una participación completa. Tal información es no sólo valiosa para
estimar el valor del esfuerzo, sino también necesaria para desarrollar la hipótesis
de cómo se puede modificar el proyecto para atraer y retener a una gran propor-
ción de la población objeto. Así, los aspectos cualitativos de la participación tam-
bién pueden ser importantes para planificar los programas subsecuentes.
Como ya se señaló, la información acerca de los abandonos y la de la no
participación en el programa es esencial como forma de documentar y modelar
la naturaleza de la autoselección de la desviación. Aún más, y en especial proble-
mático 15ara examinar longitudinalmente los nuevos programas, la pérdida en la
participación debida al abandono o a datos omitidos, es de daño potencial para
la validez de la valoración de los resultados de la repercusión (Watts et al., 1977).
Los datos concernientes a los abandonos puede provenir del servicio de
registro o de las investigaciones diseñadas para ubicar a quienes no participan.
Las investigaciones comunitarias generalmente son los únicos medios factibles
para identificar a las personas que no han participado en un programa. Por
supuesto, la excepción tiene lugar cuando existe una información adecuada acer-
ca de la población total elegible antes de ejecutar el proyecto (como en el caso de
los datos provenientes de un censo o de las entrevistas). En las comparaciones
con cada dato recolectado para planificar el proyecto o para efectuar las investi-
gaciones comunitarias, realizadas durante la intervención o después de ésta, se

1.
112 CAP. 4. MONITOREO DEL PROGRAMA
emplea una amplia variedad de enfoques analíticos, desde los puramente des-
criptivos hasta los modelos muy complejos.
En el capítulo 8 se describen los métodos de análisis de los costos y de los
beneficios de un programa, para Ilegar a medir la eficacia económica. Evidente-
mente, las estimaciones del tamaño de la población con necesidades o en riesgo,
de los grupos que comienzan un programa pero que lo abandonan, y de aquellos
que participan hasta su terminación, son importantes para calcular los costos.
Dichos datos son también la base para estimar los beneficios. Además, son muy
útiles para estimar la importancia de un proyecto, su continuación o expansión
en cualquier caso, ya sea con la misma comunidad o en otras localidades. Ulte-
riormente, dicha información es esencial para el personal, ya que por medio de
ella reconoce sus responsabilidades administrativas y de contabilidad. Mientras
que los datos de la participación del proyecto no son sustitutos del conocimiento
de la repercusión para estimar la eficacia o la efectividad de los proyectos, existe
poca base para adelantar si se tiene un análisis de la repercusión sin una descrip-
ción adecuada acerca del grado de participación de la población objeto.
MONITOREO DE LA ENTREGA DE SERVICIOS:
ESTUDIOS DEL PROCESO
El monitoreo de la e\ntrega de servicios es importante desde el punto de vista de
las decisiones relacionadas con la continuación y expansión del programa. El gra-
do en que las especificaciones del programa se reúnen actualmente en la entrega de
la intervención deben ser, desde luego, totalmente documentadas por los diseriado-
res de la política. Además, la investigación en la entrega de servicios es valiosa
para determinar los niveles de desemperio de los miembros del equipo (véase el
anexo 4.3 en el cual se describe el reporte de la repercusión de un programa de
televisión en los maestros en El Salvador). Sin embargo, antes que nada, los eva-
luadores de la entrega de servicios buscarán determinar si la producción actual
de una intervención se aproxima suficientemente a la producción intentada.
n programa
ár-te na reform lic tis u 1 1 ior se emprenclid un esfuer-
zo serio para r¿entreriar. a todos lós i rriaestros ele tercer grado, de tal ruaní2ra que
pudicsen trabajar efectiízamente cbrütodas laS irínovaciones propuestas Por tanto.
las aCtitudeS de los maestres 1-161cia la reforma se convirtierOn en un importante
cle ewíluación y de ives tigación. A continuación se expol.
nen :bres'iénienfd;Iós:.i"esUltados.•
in ser Olháll¿lzgos en los estudiantes, hubo una declinación
entuslusmo en 1969 con respecto a la TI (tele-
Iii 0 1 6211riil'iriiltS)'lia01.áctitudempenorgs en . quantoolaOipositivisrno en
.ma, estr.O .s.....téri:dierop más ' á geilcríticos varios
arit:iii. aritelí;dela . ínclusión cle la TI U l progrtirna -de refcarna. Sin embar-
-
Okitros . prOhletnas, mas gue la la televisión instructiva o la
113
confianza en la retorma,-contribuyeron a las actitudes negativas de
maestros. -
2. E. n parOcilla-031,01aestroljnp , estat»01011íg rrries con sus.condiclones
ñtóIen.listdoS y sus corieSpondlentes
rias. kle al 1nr
gas de trabajo, con clases matutinas y vespertínas des-de las 7:00 hasta
11:0Ohngs.1NgXCeppi(5.11,det tzgao ,extrá,- .1ps,salarlas y sus niVeles no
ban'zidéCuadaniente. :MejOradóI ,:svr:;kegUiatS l en dó poco atractivos,Dadas
elf41' ;OriCliOdnes; :::tiffer4',sciffifOidente.1 14 u e ocurriesen dos huelgás
-
3, Existía una confusión general acerdddeVhIpélilue' -410
en el nuevo sistema de culiflcactóny promoción y ,itlenttid
inadecuadarnente preparado pára , iikar tat sistéma.;Eiti:IsterikksbnávOc;
requería que los rnaestros esttiviesenpreparados pára sus clasesStpar4i0s;
nzarmveltigaciones, así corno pará - lnvertir su tlempo en diversal adv)1.í--
dadegí.:11e'éliklilión fuera-del horario norrnal Al mismo tlempo, el núev15-:
sisteina de^caliírcátión disminuia Ikpostbgidadde
, _ ue
un estudiante
de sér considerádo al no aprobái fib "de
Fuente:Tomado de H "Reconsidettng the, Use of Televislon tor EducationalFtlform:1h47t.'
- Case of El Salvadot", en R. F. Arnove (d1r),-EdúCatioñal Teleuislon: Policy Crnique and Gulde
Cuuntrles, Prmgex Publishers: 1975, H:g -130, Rorrpresocon perrnisdeHoit, Rinehet,;
WInston -
¿Por qué falla un programa?
El monitoreo de la entrega de servicios, para evaluar la ejecución de un pro-
grama, se realiza debido a múltiples propósitos. Una gran proporción de progra-
mas que fallan en demostrar su repercusión, son así porque fallan en entregar las
intervencíones de la manera especificada. Existen tres géneros de fallas en las eje-
cuciones: primero, se entregan sin tratamiento o no se tratan de modo suficiente;
segundo, se da el tratamiento de modo erróneo, y tercero, el tratamiento no está
estandarizado, no se controló o varía entre las poblaciones objeto. En cada ejem-
plo, la necesidad de monitorear la actual entrega de servicios e identificar las
fallas y deficiencias es esencial.
Los "no programados" y el tratamiento
íncompleto de los mismos
Considérese primero el problema de los "no programados" (Rossi, 1978).
McLaughlin (1975) revísó la evidencia de la ejecución del Título I de la Elemen-
tary and Secondary Education act (Acta de evaluación de la Educación Elemental
y Secundaria), la cual programaba un billón de dólares anual para ayudar a las
escuelas locales con el fin de vencer las privaciones educativas de los estudian-
tes asociados con niveles de pobreza; sin embargo, las autoridades escolares
locales fueron incapaces de describir con algún detalle sus actividades para su
Título 1; por tanto, pocas actividades se podrían identificar como servicios edu-
cativos entregados a los escolares, aunque los fondos sí se gastaron.

114 CAP 4. MONITOREO DEL PROGRAMA
En la bibliografía se han documentado otros numerosos programas como
ejemplos de fallas en la entrega de servicios. Datta (1977) revisó la evaluación en
los programas de carrera educativos y encontró que los ojetivos diseñados rara
vez participaban en las actividades planeadas para el programa.
En un intento reciente de evaluar un programa diseñado para motivar a los
estudiantes de niveles secundarios y desaventajados, con el fin de que lograran
niveles más altos de realización académica, se descubrió que el programa consis-
tió principalmente en distribuir botones y bibliografías exhortiva y poco más
(Murray, 1980). Aunque el programa recibe gran apoyo de la publicidad, pocos
de los estudiantes de nivel secundario de las escuelas participantes, o quienes se
suponía serían abarcados por los conocimientos del programa, sabían de su exis-
tencia, y menos habían participado en cualquiera de las actividades que se supo-
nía formaban parte del programa.
En vez de no entregar servicios de modo alguno, un sistema de entrega pue-
de diluir el tratarniento de manera que sólo una cantidad eficaz alcance la pobla-
ción objeto. Aquí el problema puede ser una falta de compromiso de la parte
principal del sistema de entrega, que resultará en una entrega mínima o "cumpli-
miento ritual" hasta el punto de no existencia (Rossi, 1978). Por ejemplo, las
leyes afirmatival de la acción han requerido al cornercio anunciar la apertura del
trabajo al público; sin embargo, las organizaciones suelen poner anuncios públí-
cos cuando las posiciones han sido ocupadas formalmente.
Tratamiento incorrecto
La segunda categoría de fallas en los programas, Ilamada entrega del trata-
miento incorrecto, puede ocurrir de dos maneras. Una es que en el modo de
entrega se niegue al tratamiento; por ejemplo, un experimento al azar para pro-
bar la efectividad de un grupo, que dictaminaba en prisión, tenía que recurrir a
guardias de ésta sin entrenamiento y a veces hostiles como líderes del grupo
(Kassebaum et al., 1971). En el experimento de representación contratado, en el
que se contrataban firmas privadas para enseñar matemáticas y lectura, y que se
pagaba en proporción a la realización obtenida por los alumnos, la compañía
enfrentó dificultades extensivas para operar el programa. De hecho, en algunos
sitios el sistema escolar saboteó los experimentos, y en otros las compañías se
encontraron con fallas del equipo con la hostilidad de los maestros (Gramlich y
Koshel, 1975).
El tratamiento incorrecto puede resultar también en un sistema de entrega
excesivamente complejo. Puede haber una diferencia considerable entre los pro-
yectos piloto y las producciones dirigidas a tratamientos complejos. Así, la inter-
vención que podría funcionar bien en las manos de entregadores de servicios
altamente motivados y entrenados, puede finalizar en forma incorrecta cuando la
administra el personal, para el sistema de entrega en serie, cuyo entrenamiento y
motivación sean considerablemente menores. El campo de la educación es un
ejemplo: los métodos de enseñanza (por ejemplo, el aprendizaje asistido por
computadora, la instrucción individualizada) que han funcionado bien en los cen-
tros de desarrollo experimental no han funcionado tan bien en los sistemas esco-
lares ordinarios.
MONITOREO DE LA ENTREGA DE SERVICIOS 115
La distinción hecha aquí entre un tratamiento y su modo de entrega no siem-
pre está definida claramente; por ejemplo, la diferencia es bastante clara en los
programas de mantenimiento de ingresos, en los cuales el "tratamiento" es el dine-
ro que se otorga a los beneficiarios y los modos de entrega varían desde depósitos
automáticos en cuentas de ahorro o cheques, hasta la entrega personal del efectivo
a los receptores; la entrega del mismo por transferencia electrónica o manual ejer-
ce poco efecto en el tratamiento. En contraste, un programa orientador se puede
manejar mediante el reentrenamiento del personal existente, ya sea al contratar a
consejeros o emplear psicoterapeutas con título profesional. En este caso, la distin-
ción entre el modo de entrega y el tratamiento es poco clara, pues generalmente se
sabe que los tratamientos de orientación varían según el consejero.
Tratamiento no estandarizado
La categoría final de fallas en los programas se debe a la ejecución de un tra-
tamiento no estandarizado o no controlado, en algunos casos que implican
"variación planificada" por diserio. El problema es que la discreción en la ejecu-
ción del programa suele ser relegada al sistema de entrega, con el resultado de
que el tratamiento puede variar significativamente a través de cada sitio. Los pri-
meros programas de la Office Economic Opportunity (Oficina de Oportunidad
Económica) proporcionan ejernplos pertinentes. El Community Action Program
(Programa de Acción Comunitario) dejó considerable discreción a las comunida-
des locales para emplear una variedad de acciones que sólo requieren "la máxi-
ma participación factible" por parte de los pobres. En consecuencia, es casi
imposible documentar qué programas se completaron (Vanecko y Jacobs,
1970). Asimismo, el Project Head Start (Proyecto Head Start) financió a las
cornunidades locales con el fin de establecer proyectos de enserianza preescolar
para niños no privilegiados. Los centros diseminados por todos los Estados Uni-
dos variaban debido a las agencias patrocinadoras, a la cobertura, al contenido, a
las calificaciones del equipo, a los objetos y a un sinnúmero de otras característi-
cas (Cicirelli et a/., 1969).
Conceptos del sistema de entrega
Algunos programas son tan simples y directos que la evaluación de su pues-
ta en marcha requiere sólo un rnínimo de recursos; no obstante, otras son exce-
sivamente complejas. Una combinación de los métodos evaluativos se debe
emplear para valorar adecuadamente la puesta en marcha del proyecto. Antes
de analizar las diversas metodologías puede ser útil revisar un conjunto de con-
ceptos que se emplean en la valoración de la entrega del programa. Durante la
planificación del programa es necesario formular hipótesis acerca de esas
características del sistema de entrega. Como parte de la planificación, se acon-
seja efectuar pruebas de las decisiones para la puesta en marcha.
El sistema de entrega de un programa consiste frecuentemente en un núme-
ro de elementos separados. Como regla general; es prudente valorar todos los
elementos; sin embargo, en algunos ejemplos, las experiencias previas con cier-
 116 CAP. 4. MONITOREO DEL PROGRAMA
tos aspectos del sistema de entrega hacen poco necesaria la valoración de algu-
nos elementos. Se puede pensar en sistemas de entrega como una combinación
de patrones y acciones realizados de manera que se proporcione una interven-
ción (consúltese la obra de Wholey, 1977). En el anexo 4.4 se muestran los ele-
mentos de un programa público de servicios humanos.
Acceso
El acceso se refiere a los arreglos organizativos y estructurales que propor-
cionan oportunidades y que facilitan la participación en el programa. Todos los
Anexo 4.4. Un rnodelo simple del
sisterna de servicios hurnanos
Elementos del unc tón
, Publacián serVida tiupo de rniernbros comunitarios en un area
'eográfica reducida, que re¿ibe serviclos del
y tlene. sus necelciades e interees
...r:épresentacios por rnedio dék.gc„,biemo
n grupo '''de rniernbrial '; eohntinitarios que-
"t.:epreseratara las necesidadeS'yclós itítéresaés ciej.„
á p oblactdn. .servicla ción por las poblaciones objeto en forma diferente para los diversos grupos étni-
'
-EspecifICICt na, definiCión 'dé laS necesldáles ctela
oblación servida,• establecida
- en terminos
. -
.,:•• '
Meca ddhe •••:•Idn rnk_, dio de registrar la extensión en-que las
sijades neces,icladeS''de la poblacián por servir han sido
sansfecha. sisgema
Adrninistrador del sIstcma Al g ún Ihdividuo o g rupo contable respecto de -
los doctos 9,=c6s'tós'clelsiSterna
Evolución del chente tin'conjuntodé`-:-. ftíncióries del sisterna pór
rnedio cle las cuales el cliente pasa desde su
mgreso hasta su alta cuando ha sansfecho sus.
rieeesiciades'
Agerité••de fin punto sinLttilar de contablidad acerca del
• prbgreso clel cliente por rneclio delsisgema
Sh, terna:de infounación Un rneccausmo para proporcionar• datos al
, de las actividades y acciones que tienen lugar y/o en términos de los tipos de par-
personal de entrega y a drni nistración¡coni'et fin
de ayudar a los'clientes,fáCilltár.'laS'aeCiones
Earrectiyas que e deben ernprender_si . el
cliánte-:-Mene, clificultádes - Las unidades de servicio, o elementos del programa, se pueden definir en
' términos de tiempo, costos, procedimientos o productos; por ejemplo, los ele-
MONITOREO DE LA ENTREGA DE SERVICIOS 117
programas necesitan tener una estrategia para suministrar los servicios a la
población objeto adecuada. En algunos casos, el acceso más simple puede con-
sistir en abrir una oficina y trabajar bajo la presunción de que los participantes
designados llegarán "naturalmente" y usarán los servicios de intervención pro-
porcionados en el sitio. Sin embargo, en otros casos, el acceso puede incluir cam-
pañas activas de alcance para reclutar participantes, dar transportación de tal
manera que se traslade a las personas al sitio de la intervención, y en esforzarse
durante la intervención por minimizar las deserciones.
Numerosas interrogantes de la evaluación se originan en relación con el acce-
so, algunas de las cuales son relativas sólo a la entrega de servicios y algunas otras
están relacionadas directamente con (o tienen implicaciones) los problemas exa-
minados previamente acerca de la participación de la población objeto. Primero,
las operaciones de acceso establecidas ¿son congruentes con el programa y su
diseño? Segundo, ¿permanecen los participantes en el programa y terminan como
fue planeado? Cuando los rangos de abandono son excesivos, no sólo las poblacio-
nes objeto son alcanzadas mínimamente por la intervención, sino que los costos
por población objeto potencial pueden volverse excesivos.
Tercero, ¿existe acceso para las poblaciones objeto potenciales a los servi-
cios apropiados? Por ejemplo, se ha observado que los miembros de la comuni-
dad, que originalmente usaron los sistemas del cuidado médico de emergencia
para propósitos apropiados, pueden utilizarlos ulteriormente para el cuidado
médico general. Este mal uso de los servicios de emergencia puede ser muy cos-
toso y estorbar su disponibilidad a otros Miembros de la comunidad (National
Center for Health Services Research —Centro Nacional para la Investigación de
los ServiciOs de Salud—, 1977). Cuarto, la estrategia de acceso ¿adopta la utiliza-
cos, culturales y sociales o existe el acceso equilibrado para todas las poblaciones
objeto potenciales?
Finalmente, hay proyectos en los que es importante, como para el acceso, eva-
luar la satisfacción de la participación en el programa; por ejemplo, si un proyecto
preescolar es visto con poca satisfacción por las macires de los niños participantes,
puede fallar en seleccionar a otros niños de esas familias en años sucesivos, o de las
familias vecinas influidas por el informe de la madre.
Especialización de los servicios
Es crítico especificar en términos operacionales los servicios actuales que se
proporcionan. La primera tarea es definir cada género de servicios en términos
ticipación de los diversos proveedores. En el anexo 4.5 se investigan los linea-
mientos para examinar un programa educativo.
mentos del programa se pueden referir a las horas de tiempo de orientación
suministradas en un proyecto de entrenamiento vocacional, en un esfuerzo por
mejorar la vivienda; una unidad de servicio se puede definir en términos de la
cantidad de materiales de construcción proporcionados; en un proyecto de la in-


118
MONITOREO DE LA ENTREGA DE SERVICIOS 119

Anexo 4.5. Especificación de fos eleneentos dustria del queso, un elemento del programa se puede referir a una actividad,
' de un prdgrama edticátivo como entrenar a la gente para operar las máquinas cortadoras, y en un programa
_ educativo un elemento puede consistir en especificar los materiales curriculares
_El lcctor puede comenzar a clescial-nr el pro g ramaii'déltal manera que_ Çubraye utilizados en los salones de clase. En todos estos ejemplos lo importante es que
los eenle:no.
e'ns tbs del conte rto del proqra
arn -las caracten stic asangi
esc tbles ,es e9 s haya una definición explícita de lo que constituye un elemento o unidad.
Existe una negociación entre especificar un gran número de elementos del
....., •, '. programa simples y específicos y tener sólo algunos pero complejos; por ejem-
E:ip s salones de'c asps, esClié,/as;IO• distritos''dóéll
é' , elpr.ogranWse ha Instalado plo, si un proyecto que proporciona educación técnica para desertores escolares
Él personal del.prograrna. ihCluiddslcas.adrillnisfia"
, . ,deek:16s
, • . ....,... , , .,.., pi4eltios,,áwd
,.. incluye entrenamiento literario, tareas de carpintería y un periodo de por lo
1
liares los
, padres volüntarios
. y las- secretarias. ."'",111,,,i,. " - ••• : . ,., - : •• menos un trabajo como aprendiz del oficio, será deseable que se separen éstos en
i-. Lo§ recursos utilizados incluidos los rnatriales deTi
li's lifos o comprados, el tres conjuntos de servicios, en vez de una combinación de actividades. Para esti-
,equipo, particularmente aquel comprado para el,.prpgrapa.
.
. Los estudiantes ,
inclu idos las características par ti:dila:1_451i.11.:¿)s hieieró.lete. mar los costos de un programa mediante un análisis del costo por beneficio y una
.gibles'al programa, su número y us nivel decorn auditoría fiscal, es importante anexar los valores monetarios de los diferentes ele-
,•-:: - . ..... ' - '1ii- '''''' iniciadeill.'" mentos del programa o de las unidades del servicio. Esto es más importante
cuando se comparan los costos de varios programas y cuando los programas
reciben una reinversión con base en la unidad de servicios proporcionados.
` Dlchas'características del contexto tonstituyen el cii Simplemente, los elementos específicos son más fáciles de identificar y contar,
, erpo del programa y
deben IncluIrse en cualquier infornie resurnen:,, Listarló así como entrenar personal para registrarlos; sin ernbárgo, los elementos complejos
kgeneralMenteriorequie-
1 re Mucha captura dé datos, pues no son el g énelb'íle',dátás 'cju'iá"tínii-eSp suelen corresponder más estrechamente a los objetivos del programa. Por tanto, la
--cambien o se , veán cort escepticismo. A menos'_citieeljlector t .era" qu
,de la entreg adé,materlál èl„6. piense que el g riiTiOr engá ,duclas ,aCerc#14 cuestión estratégica es cómo se procura un balance, mediante el uso de los elemen-
'neo p articipará, no es rnuy neéesarlo contar con datos de' trabajo o estnálántes' tos del programa identificables y contados confiablemente, y al mismo tiempo ser
"su déscripción... antecedentesisju ea0y0i.'1-..:.1 significativos, tanto como las metas de los programas pertinentes.
ppn Especificar los elementos del programa o las unidades de servicio también
- Además de la descripcíán de
ener algti n,tlempo'para'examinarlasy características cieltontexto, el ledt -nece.sitará
reportar las activicláCle en las que los partici-
ayuda en la administración del programa. Un monitoreo minucioso de la actual
ntesi wel eqüipei de tratii)jo distribución del programa en cuanto a las unidades del servicio entregadas a los
irnplia contar con tornarán parte. Describir laS-acttvidades importántes¿.1.,: participantes puede ayudar a los integrantes del programa y a la administración a
, citestionarios formulados
. ,, y contestadOs
cutú;,11progr 1-11 éj51rj'Sé
mantener los programas más apegados y alineados con los intentos originales.
Por ejemplo, algunas unidades de servicios pueden parecer más atractivas al per-
• ¿Se utilizaron los rnateriales?-é, se emplearcm sonal del proyecto que otras, el simple provisionamiento de ingresos que apoyen
¿Qué pi-ocec-limientos prescribieron.los maestros,,pAta,,..legülis los pagos se puede intentar más fácilmente que entregar una variedad de servi-
ie,.:.g0Sii;.ertse cios sociales complementarios, y el personal del proyecto puede tender conscien-
ñanza y otras interacciones con los estuchantes.?,:,1.1.ggitiét_Omestós;151.4¿erlb
mientos? te o inconscientemente a favorecer las unidades de servicios más simples.
¿En qué aCtivtda1e4 se supOrla . ue los estudiáil Describir los elementos de servicio del proyecto en términos de las actividades
han? . lo hicieron7 lIdefPl. rantá. 4:rti011-
- y acciones es preferible a describir en términos de las características de los provee-
¿Qué actividacles fueron ' indiCadásv- Por los otrill;Váifícipliité§,: dores. En el anexo 4.6 se muestran los elementos del programa. Desde luego, el
padres y tutores?, ‹.. -se ájustarcini' a 7 e as r-auxillrési esquema mostrado en este anexo es congruente con cada incidente de la interac-
¿, Qué arreglos adrninistrativos incluyó el Progranía ción entre maestros y estudiantes. Por lo general, los elementos del pograma
9 , ,qué líneas de autori-
dad tuvieron que -emplearse_para tornaf decisiones imPoi rtantÇ,,s? ¿que cam- podrían no ser medidos con este grado de refinamiento. Se da el ejemplo en este
bios ocurrieron eiii- éItás ' á rregi_ors o libes.de'or momento para mostrar el grado en que se pueden describir los elementos de un
programa en circunstancias apropiadas. Evidentemente, si se puede ofrecer una
Decir detallado sIgiáifica que
extensión concisa y una descripción detallada de los elementos del programa, será
.1.)fid uir;una prescri 16 posible ampliar y duplicar los programas.
tcauriettelc eiets odfiirdclón lás
pec ica paranpertnitille4isé.gár)E1'
Aunque las descripciones de los elementos del programa en términos de activi-
,
dades concretas son preferibles, en muchos proyectos la naturaleza de la interven-
_FiiiisteAdÍptácki cie
ción permite una amplia opción acerca de lo que tiene lugar. En tales situaciones,
Gibbon HototQhf,lásuié
Progrdrn Eualuation f?ublicatx,ss„Bévelly':11
rtt Implernentüttóri ‘id por lo menos en el comienzo, se pueden describir los elementos sólo en térrninos de
las características generales de las actividades y de los entrenamientos y habilidades •
de los prestadores de servicios. Por ejemplo, los artesanos maestros se pueden ubi-

120
FAexu11.6 Medlción delo que,sucecie
en los salones de clase
- ticular, que influyen favorablemente en términos de las metas del proyecto. Al
j En'r un-eSfuerzo por relácIonar qué - sucede en los salones - de clase don él
arnenchzáje,delcis. alurnnos de:esctlelas elementales„19s InvestIgacfpres fílmori
1,1 IndíVldalles ,de salón cbarairi:SelmpattíaSésioneiFcte,
instruCC16.1é matemáticas y lectura. Las películas se cgiiiflcaron Para móstrar
lae;triCide'ri'eiajj ':-Ide'ciertos tipos de interacclones-ma'estrolalurnno que se creían
Inipottánies;Para,lograr un- aproVechamlento én dichas Materlas, A continua-
(5`ri'á'já_it4Ic'én algún6t7dé"161'cód1§11-dlléñado s' paí'a los evehtol'instruétivo§
a'C'elones féli'adáS -porelmae s VestiOnh n"
omésde los-estudiantes: - - ' '
Mandatos Inclividuales . dé rnanejo (establecidos1
los estuchantes para normar su comportamietilci R9r.éjlerhiip:
tórne,aslérítol"-),,
Manclátos cognoscittvos Indlvicluales (manclat , Anexo 4.7. Evalnaciones corninuas
rIal InstructIvo dirigido a un estudiante en
Mandatos cognoscItIvos a todo el salón (el
do a la clase por entero): "
El código esquernátIco total, contenía literalrherité'
que las pelfculasse codIficaron, fue necesário resumír las cIntas en.`'
y por cada'eltúdiante y relaeidnar los resultados en
resurrien resültante conta, Ontldájd, de aprendlzaje que tuvo lugar .en lal,elases
un totary con cáda estudiante.' , _ .
„ L por sus progre-iMas y, además, alcO acerca de lo que,sucede a eStos Clientes y
Fuente: Tomado de W, W ' CocIesi3. LeIrn hardt, iThetriitiiic1tc-1131.11riTimsíans Stuifyl;e1Ecilica-
tIonai EualuatIon and Polici; Analysls 2, Ainerkan Eduqgt19. 941{1.1110. Allpelation, 1.4110,1101,.. D C„
enero de 1980.: F',eirnp -reso con autorIzaci6n. _
: I .
. ,
car en una comunidad con bajos ingresos, con el fin de que instruyan a los miembros
de la misma acerca de los diversos métodos para mejorar sus unidades habitaciona-
les. Las actividades que pueden desarrollar los artesanos varían gradualmente de
una familia a otra. Así, aquéllos puederi asesorar a una familia acerca de cómo dise-
ñar y colocar las ventanas, y a otra darle instrucciones sobre cómo levantar los
cimientos de su casa. En tales casos, las actividades sólo se pueden describir en tér-
minos generales y con ejemplos; sin embargo, es posible describir las características
requeridas por los proveedores. De este modo, se puede establecer que las personas
seleccionadas para esta actividad tengan un mínimo de cinco años de experiencia en
la construcción y reparación de casas y que posean conocimientos sobre carpintería,
cableado eléctrico, cimientos y construcción exterior. Por supuesto, durante el pro-
yecto es importánte ser capaz de documentar las actividades actuales y tareas que
este asesor realice.
Como un lineamiento general, el monitoreo es más exitoso cuando los pro-
gramas se mantienen lo más simples posible. Los programas que ofrecen
muchos servicios diferentes y en los cuales existe una integración minuciosa de
MONITOREO DE LA ENTREGA DE SERVICIOS 121
las intervenciones para los individuos objetivo, pueden ser' difíciles de monito-
rear, dado el problema para desembrollar las modalidades de la intervención par-
mismo tiempo, es evidente que muchos programas ofrecen elementos de servi-
cio alternativos debido a los requerimientos de los individuos objetívo, a las con-
diciones en las que el programa se ofrece o a la competencía y experiencia de los
proveedores del programa. El monitoreo requiere que las alternativas se identifi-
quen y especifiquen tanto como sea posible.
La fase de planificación incluye la depuración de los conceptos del siste-
ma de entrega, el desarrollo de las especificaciones operativas y una anteprue-
ba del sistema de entrega. Durante la ejecución del programa, es aconsejable
para el administrador de éste efectuar un estudio periódico y continuo del pro-
ceso de ejecución (véase el anexo 4.7).
- versus evaluaciones rápiclas
Slos adrrunistradores- consIderan
- , a la evaluación. como una de sus responsabR.--
lidades principales están aptos para creér que la evaluación debería ser un
so constante y continuo. En laJpractica, esto ha permindo destacar-el ingreso y
procesó déeyaluación. En loS,P,regrarnas sociales, el desarrollo clk.?,s1 m ; emas estacIíS,f'
a Menü06-,..,bastantecorriPlérk :y.:Cle¡prnéháS:eStariclariz_aclas OnlóS:se_jernplo-l'
más sign'ifiCatiY6S.' Los siliernS - eStadístleOs'-riéflejah'irn'Cleseo y uría neéésidad
1 . parte del:adruinistrador para cohocer algo acerca de los:'clientes que son servIdo,:j-
'Ibs iniernbros del ecjinpO.gastan , su tien-Mo. Cüando tales sIstemas están razonab)le
mente bien dlSehadóSpropoicionanjbüenalnfOrmación detállada acercá de
' características cle.má:qráficas de
cliis, or 12- mcjnos alguna indicacIón de4 '.
. 'IOS`Clientes se turnan para p'artiClpar:cín el programa (Por ej.ernplo,
árit
c de'rrfer6ncia),
'cI una asignaeión categóricIde j por qué erelle,nte parhcipo p
grarria (por ejcInplo, cliagnosns) ei?"rno gdStd l Cquipó de tratiajo su tlenipo entre
- las • diversás aótiYidacles,(analls1S ,:de tiernpoithabajb) ,,y f_;rectr ratiee rsnent isn te citjtji
i tn adelberi e.9
fá
' ser el p¿lso' (disposieión);.1.̀.,:tenos frecuentcm.c.n . b
.;prj pbrcidnan infOrmación al _rastrear alellentc un sistema o.programa 7--_ servl:
' cios prOporcienaclos, en transferencias, , éte; jTípieamente, nu sistema estaclístIcc17i'
pro¡-,orclona algunos cie esos ,Upos deinforrhaeitáh,.lo ctial depende de las referen.::
cias de 105 idriiinistrador es y de la dispaibilidád cle rectirsos, y los sistemaS eStadís=, -
hcos prc4,bleniente son tosincj ores • c_1_1-1 l . S-15~ d0. 5 y OS
corno forma de evaltnción cüritlilua en' los pro,
_alilaci55,n,-,rapfda i,es HIrnas lí_iónea c9tno , respuesta a una:crisllyerelhíd a,--,
una-;declión,POlítiea partieülarrnente dIfícile o quizá la,perceP-eión
1 . - so. ' Por naturaleza, la. in\lestigación, evalqailv. a es de un Solp golpe, Porqu.e
_ plicar un estu,clio. Por cualquier razón, una evluación de un solo golpe' siri'e
responder una cuestión e c,pecífica ,acerca de LITI prograrna particular 0 et életnerd&r•
de un prograrna et-On n-lorne:nt ,o dado. Las fuéntes de criSls son íniiumerrableS:pero,
genen, men e resu lt' and e necess.(1_ snmechata-de contar con información acerca.
L1J-' Un .un Existe "¿Ina fúerte- tenáencia,- á menudo
fuera CH_conceprqdecc ifiabilid ida emplear evaluadores externrOs en situaciones "
de crisis, aultcuie - ró„"qué cc,r1Itittwe "fuoia - depencte--Cle-:i¿s

122
co4Initerell.netekintei'venir 'en..e `stdcasibá. V.las.CórnpañíaS .deitensul-
to'reli'llniiii;StratíVOYSIsbafflrn.
.,
....4.:S71e-vatnalCi.Orie'S'7.-P'ertókbea's .,,.100.:itn.ptirttwrkted(cirntiy.'..útif . en:tre las e y alua-
can-lbaan
otrós
son-. 1entos en
.cle§..4i;i:O11:0,,r.0:156.í:..16:iné.IOS.711.'efeCtO::eictirr./;IO'n.Ientitud.--1.:StO:' .eS'Particntarínenfe
adernás;-Muchos de los instru,
sens.itivoS sólo a can-Jblos
que requieren medición
ni la-evalnactOn rapida . ni .1a
monitóreo Perii5. dito:-es;faCtibIé y
descanso al evaluador
no nry coMpromete a el ni a la
etVi.
FulitteAda 1,_ FnralinyJ F1 T5 In4r !n JutIr to Pr,,grani
hirition, John Nor'j iork, 1979. 1. , ;/( 1 s, 26 29.
RECOPILACIÓN DE DATOS PARA EL MONITOREO
Una amplia variedad de técnicas se pueden utilizar singularmente y en com-
binación para recolectar datos de la ejecución del programa. En los enfoques par-
ticulares se deben tener en cuenta los recursos disponibles y la experiencia del
evaluador, como en todos los aspectos de la evaluación; sin embargo, existen res-
tricciones adicionales, una de las cuales concierne a los problemas de privacía y
confiabilidad. Los servicios del programa que dependen de los métodos de entrega
de persona a persona, sobre todo en áreas como las de salud mental, planificación
familiar y educación vocacional, no son rápidamente susceptibles a la observa-
ción directa de las actividades del programa sin violar la privacía. En otros con-
textos, los cuestionarios autoadministrados pueden ser un medio económico
para estudiar la ejecución del programa, aunque el analfabetismo funcional y
las normas culturales limiten su uso.
Cuatro fuentes de datos se deberían considerar al evaluar el monitoreo: la
observación directa efectuada por el evaluador, los registros de servicios, los
datos del equipo del programa que presta el servicio y la información de los parti-
cipantes del programa y de sus asociados. El enfoque utilizado en la colección
actual de datos y los procedimientos de análisis se sobreponen de una fuente de
datos a la siguiente. Una evaluación del monitoreo integrado debe incluir datos
de todas las fuentes.
Datos observacionales
En muchos programas, el enfoque preferido para recabar datos para propó-
sitos de monitoreo es la observación directa. Los métodos observacionales son
factibles siempre que la presencia del observador no resulta obstructiva.
RECOPILACIÓN DE DATOS 123
En algunos casos puede ser útil al observador convertirse, por lo menos
durante cierto tiempo, en participante parcial o total del programa; por ejemplo,
Reiss (1971) situó en los carros policiacos a observadores que Ilenaban reportes
sisternáticos de cada encuentro entre los policías y ciudadanos de una muestra de
rondas de guardia. Un enfoque similar se dio en el experimento de la policía pre-
ventiva de Kansas City (Kelling et al., 1974). En el anexo 4.8 se describe el uso de
observadores en ese estudio y algunos de los problemas encontrados.
Anexo 4.8. El programa del observador
participante en el experirnento de la patrulla
preventiva de Kansas City
. . -
LOS observadorcs enirenados , fueron asignados a vlajar en can-os patrulla con
los oficiales clurante, las- . tepéticlonesdel experimento.
. Se crefa que talc,s observado-
rm
r,1112cirían ser valiosps al.obsei-vw:y regittlar las consecuencias ine_speraclas de, tal
c:(perirnento; propOrCiOnarret.roalimentaCiÓnvallbsa refactonada Opri la-extensión
enque, había un eXPerirnento, régisaar dé -ifíangra segurayPropbrddriar datoS ton-
cernientes a las activiclecles rcalizadas por los oficiales mientras se encontrahan en
su Patrulleje preventiyo de rutina (Para la expediCión de análisis de tiempo no pac-
tados) y servir'conio'itecanisrno priricipal de recolección de datós en el tiernpo dé
restitieStayférvitis .gn¿úentros policía7cludadartos del experlmento.
ii . .-i'f;i-ig'Zá difícultad Sederivó de las objeciones acerca de la habilidad pa r a Utl-
lizer obsen r edores. Vatios miernbros expresaron miedo que los ofictales de policía
pudieran,modificar dutpnválicarnente su comportamiento con la presencla de
obsetVadores, de küje Plidieián :Igt,fiós.tiles allégr4no, de que hubiera constante
rnonitorep pqr Pártedg fos'iSartICibarrtesque nó son potiofas y deb105:a. que pudie-
sin_lentlrSe re.sponsableS dé iiiá'obleiVadores; lOS Ofictales de Olicía pódrían poner
ennligro SU propia seguidad erj situaclones de pe igro. La discusión eventualmen-
te'TeaMbi6:4e la habilidad 40 iáholtilidad ala precaúdón abierta y a la aprobación y
el intekés";aiinque'la babilidad:Se r'élervó el clereclio de suspender el uso de particl-
pantes ohservadores ellos: d ' eherían juzgar una descontinuaclón que este en el tnejor
it -iterC, s del experirnento. -
Uno cle los conflictos mayores cra el mCJtodo de_ colecclón de datos. El prirner
paÇo en el acopio..de-datos por parte dekpbservadgr , inclula la captura de cuentas
fenotn'endlógicas'IdefinidaicOino rma , de.S.Criti¿Idil Sitf1cíentemente - COrnpleta que
una defintda irnagen- de los eventos generados enla menti, det rleCtór qOlen eácapaz
de inferir ét humor de-los particmantes acerca del cornpOrtaraiento registrado) En
el curso del w_cperimento, el metcdo se camibló por un medio más altamente estruc-
turado de recolecciowde datos,
Una secJunclalál-ée cle conflicto incluyó la cooptatividad por el poltcía de
muchos k_le 10,, J ,bservedoreSjpartjc Mantes. Debe notarse que este problen-ra nunca
se l nrnitó á l'OSobserv¿I(lores, ni fue prerneditado por el departamento de ' policía. El
abajo delJposcs,a tlene r -nuchoá:,áspectos excitantes, atractivos y que deducen a
cluienel no••éltán i.direc tamerite 'relaÇionadosiCón:lei.:organWatiOnZ Pomo resplado,
: OS aboqados son fácllmnvnte convencidos'.1.111.'el`likint6;i:fg..11ista del P91111.álátmos
dé lo.s. ebsérliadlf1.1,fir4i. lighaládos Pa-ia. „-de' féñtili.,1:),,ii.:;15)ida SiC.CtrdiétiCidos de
' eilic lainfoirnh0511rICOlé` .'Sénoclijal!i:Ila - ,1*:..4..-e-',',rii 4. qelf,154
. 01.e—::: ,. :51-1, aV.P9r el
departarneñfó'<'ClklibliOál: ' ..fíltlidálitf,11.014;ae.1105,1'.14.1 t. 'bP15,4:elét écitlipo,
Aláiiiiollililiáin.ladólég 'Illlezari,:11..á irliátiperi.,<ie...énólsi..1.0.10 g .01:plitkiátsilécidrt
-e1 ,.ál,ado:...0e,,peiío.900,:ii-áriliocw:911teiálr.rielit • PittgetciteIdela-policia;., .
... „ d. e..:Cillit'dlié ",iiifiD,rineiúri clébéi41;i1Z-61édarWii
1.4,--..;;I:.1-.,14,41.1:;:ii.:,....„Li....,,,.. . .,:,;,..5,,--,.....s.
. . . ., ....--,...k„.:_.-.,-,.... . 2. .-
124
Pr7Ir i reSOIsiei : este . PrObleiria:Sé .ü
••• ••• • • • . nedadde roecoismos. Prirnero, un
oficial cie policYá
, g e délabílidn Iccióriá-t:10'páVal-evisar regularmen-
te láltifórrhación recotee„ . tádá , por lOs ObserVadóre.s
. y dicutir con ellos naturaleza
. -
y sülHihilided_de los,dátOs.'Segundo, se realizaron reuntones resi.ularrnente con los
ub-crv idores párá artalilaisis trábajo, sus hallazgos y problernas encontrados en el
carnpo. Tercerp, los observaclor,..s-del experirnento fueron puestos bajo la directa
supervisión'de un . mie.mbro del eginPo de tiernpo cornpletp para reforzar las funcio-
nes .5 !rntnistrativas yiprr orcioncir p apoyo acin-linitátiv0f-en curso.
Los obs,2rv¿)dores ro aL si on datos de grzin valor pai-a el ex- P:e'rirnento y hubo
mucha conficlencia en la calidad dÇoo .11,4c)s. En 4..spech9 de 14)roblernas expe-
rim j ntuclos LlurzInte las ctapas iniCtale§:de .: 111 programa y cle I At: ficultacks de la
investigaciónletriornetodológie0, ha habldó .Y . habra . tiri olio nivet se regresos en ter-
minos; de- rééolécción de. d - atds-y . lát forinw de usarl os .
Fltente: 5 t it con T :c. tnnso, cleG 1-1.'SIru et al The K,:lri&as Ctiv Patro F_9,v;inerit:
Police Er ,uncidl:Gn. W..35/ung[on, D. C., 1974, 1010. 60 62-
Los investigadores que deseen emplear los métodos de observación de los
participantes encontrarán que generalmente es posible explicar al personal del
programa y a los otros participantes los propósitos servidos por medio de la
observación; sin embargo, el grado en que la presencia del observador partici-
pante puede alterar el comportamiento del personal del programa, de los otros
participantes o del sistema de entrega, como una unidad, no es del todo claro. La
evidencia impresionista de los estudios en la policía indica que los observadores
no afectaron al sistema de entrega, pues la policía en los carros patrulla se acos-
tumbra fácilmente a ser observada. A pesar de todo, los métodos de observación
por un participante deben ser sensitivos a los problemas surgidos de los efectos
de observar.
Una parte esencial de cualquier esfuerzo observativo es un plan para regis-
trar sistemáticamente, la observa-Erdn, hecha (consúltense las obras de Schatz-
man y Strauss, 1973, y de , Patt , 980, para una guía de los métodos de la
investigación en este campo). Los observadores deben ser entrenados acerca de
cómo efectuar observaciones y cómo registrarlas uniformemente.
Las observaciones sistemáticas se pueden efectuar de tres maneras típicas.
El primer enfoque implica la última imposición de un esquema de conjuntos para
clasificar los eventos: el observador es requerido para que anote los eventos con
tanto detalle como sea posible y en el orden en que ocurren. Esto también se
conoce como método narratiuo. En su forma más extrema, no se dan guías al
observador acerca de cuáles eventos registrar y cuáles ignorar. Sin embargo, típi-
camente, se ha encontrado útil proporcionar al observador una lista de activida-
des importantes respecto de las cuales debe centrar su atención.
El segundo enfoque es proporcionar al observador una guía de datos, un
conjunto de preguntas para las cuales se requiere una respuesta del observador
acerca de sus observaciones. Una guía de datos puede semejar un instrumento de
investigación en el que existen espacios en blanco entre las interrogantes, los cua-
les deberá llenar el observador; por ejemplo, la guía de datos para observadores
que atienden clases de entrenamiento técnico puede incluir preguntas diversas,
RECOPILACIÓN DE DATOS 125
como: "¿cómo usó el instructor las ayudas disponibles para el entrenamiento?,
¿cuándo y dónde se usaron?". El empleo de un instrumento de registro como esta
guía simplifica considerablemente el análisis. Existe también mayor probabilidad
de congruencia en la información entre los observadores, que con el reporte
narrativo; sin embargo, supone más específicamente acerca del diseño del pro-
grama y es difícil de manejar si hay múltiples intervenciones alternativas para
aplicarlas a los participantes individualmente considerados.
El tercer enfoque consiste en usar alguna forma del esquerna de proporción
estructurada. Algunos de los porcentajes pueden ser puramente descriptivos,
como una lista que especifique el lapso dedicado a diferentes géneros de activida-
des. Otros esquemas de porcentaje son normativos o actitudinales, como un
esquema del porcentaje para medir la claridad de la presentación de un instruc-
tor o la escala para valorar la naturaleza del encuentro entre los participantes y el
sistema de entrega.
Aunque los métodos de observación directa parecen simplemente atracti-
vos, no debe suponerse que son fáciles para los observadores no entrenados; ade-
más, consumen mucho tiempo y producen datos difíciles de resumir y analizar.
Estos problemas son particularmente complejos cuanto menos estructurado es el
método de observación empleado y más complicado el programa de servicios.
Más aún, como ya se serialó, la observación puede cambiar el comportamiento
del personal del programa y de los participantes.
En algunas circunstancias es posible reducir los problemas de la observación y
desarrollar enfoques de muestreo apropiado, de tal manera que algunos observa-
dores puedan registrar las actividades del proyecto en forma más económica. Para
hacer este muestreo, algunas veces se selecciona al azar un número adecuado y
estadístico de periodos para observación. Otro enfoque para proyectos en los que
se incluye a individuos es muestrear a los participantes y luego observarlos confor-
me desempeñan las actividades del proyecto.
Algunas veces es práctico y aconsejable combinar la observación directa con
otros enfoques del monitoreo, pues la experiencia sugiere que la observación
directa es difícil de completar con un alto grado de confiabilidad y está sujeta a las
limitaciones descritas en párrafos anteriores.
Datos del registro de servicios
Los datos del registro se examinaron en la sección en que se medía la cobertu-
ra. De la misma manera que las características de las poblaciones objeto se pueden
valorar de los registros, la entrega de servicios proyectados puede ser monitoreada
por ellos (en el anexo 4.9 se describe cómo en una revista gráfica de medicina se
evaluó la entrega de servicios pediátricos).
El registro de servicios varía; puede ser equivalente a un informe narrativo o
una forma de datos- altarnente estructurada sobre la cual el personal del proyecto
revise silos servicios se prestan o no, cómo se recibieron y los resultados observa-
bles (Cernea y Tepping, 1977). Su nivel de detalle está relacionado con la com-
plejidad del proyecto y con el número de alternativas que se puedan identificar y
especificar por adelantado (véase el anexo 4.10 para un ejemplo de procedi-
miento simple en una evaluación de la nutrición). El registro de servicios también
126 CAP. 4. MONITOREO DEL PROGRAMA
varía en cuanto a la complejidad en el almacenamiento y acceso; por ejemplo,
dentro del contexto clínico, los sistemas de información computarizada se han
diseñado con base en los principios del manejo científico.
An exo 4.9. Uso cfr7efrosTara
— tos ,t1e , álta. s prctcírias del Institute for Nutrition.,,oWentrát,Arraldail'and-.Panarna
evaluar un sistema de entrega
El n,Vatts Health'C'éñter,(Centro de Salud !!,, atts),es ur-lt,e1itro de salud vecd,nal I colár. ,En cunpleinentos de calOríaS se pr'oporciónarón'clós yecis al
(_1e orsentaelón faMillár.e'ra•t.4 comuniclad prederninantemente défeolor
9
1.1 r s o '¿?Peráció.ri.09s09»,§7, -.0i0acg
sivos y arnbulat6rios y 'aProxirnadárin'éntéS100,0:1érsláriaá qúe viven en ét á'rea
tivo de 5 lilOtnetros Criadraclos y éuYos ingresoSsop Inferiores alos de lálínea féde-
En el'registró de paclentes Se mantenía una fila . perrhanente iniciada por el
'Oliente y por todós los miembros farniliares, Este Proeso de reglstro, aun cuando
facilithha el cuidado continuonOcomprornetía al reiStiante a utillZar el centro.
- En clklembre cle 1970, inia rmtéstra de 2":5%',(2 14'familias) de
i-.total registtada:de 11 721 famihasdue selecclonada;rrid)anteeu.so de,una.tabía
edacl cuando'- fue registrado la estudial,131.
• latrNylaj - --"yd -
una:forma resuMida.. ' • ' '
Él cuicládo "pedlatricd,rde altá calidad e_staba pre
,registraba en el hytorial_del ; pácieri té;:porií:i !nen9s uri*,servicio OtíPiltjii..11
; -
; Ftiertte: R n H E lát1456i
rican Acadeoy.. ,Of:Pediátries (Aeadernia estadounicienál.,:cle pecliatras), la atenCIOn
pres:'enta'd, la todós lolnforni de labo rátorio a'norrnale,lás visltas subsecuentes
'
apropladas'lPaia todás lasltondíciónes clínicas signIficativasdeíectaáas. "
Un'Ciiárto áe los niños esal <farnIlialreg¡stradás riunc a había sidó-Presehtádo
' 7
. '
para su ¿Uldadó„ n.el centrO.Ot ró'6% había silio llevado solarnente
- ' - Muchas veces, el sistema de registro de servicios es tan complejo que no se
habSa'recibido'¿uidadb médito, perO no dental..Érres.iante
- 22%"fiabi aMlitScIó abriiédicó y al,.dentista.
l •
Delds_339:niños ,qt..tc. 1-labíap redbiclo por lo me 110 S alq(in culdadólnedidofervel.9,:.
,
c.entrO. él:1131: 11-iábía,Preseritado ex¿lusivaniÇnte al clarto de'érnergencia. Otro..
- -
53% habfáyisi¡JzjO alguna oti a íiár-te,del c'entro de salud:a ineritid&adernás_de una
: • '
a SOlo.con üna base digresiva. Sóló el 24% se
eshmó qüe habl arecikido Uneí r ell+alúzición rriedica cOrnpleta, la cüal cOpsistían la
l
historia ékarneiT físiCri. y„, pru(4-; a_sde laboratodo (cornojó:ieciiinierídá I.á
, clínica,
. • - '
- el personal del programa, se limite la cooperación del equipo de trabajo y, por
Ainerican Acaderny of Pecliatrics), —
-'-De esa manera sólo el:17% del grupo Ibtáf de mnosli3tn
:
Ll.spélétós ..,'elecció-fijakiii.rderéUídado
Un ll ;)adiCional ful'ciéficiente sólo eri las innumiii Ción'es, Corno se registró" en la -
e -
carta. El rhayor grupb; 8`,. o:recibi a cuidado digrepéro todas las anornialida-
?. v -
des clínicas y de láhofatorló'habían sIdó notadas y Seguldas. En el restar-de 23%
babia oc<i:11-9 'dci ¡ior Idnierialtm
.<1 _ ejeri-TIO'de segUtmierito madecuado Ind clien -
.tementé'as1":',
127
Anexo 4.10. Ejecucilm de un programa
en un experunento nutricional
eic mplo de un_proyecto en el que cxi te una rnedicIón precisa de la
de un prograrnzl la'evaluación del fecto de la altas caloríasy:delt:5-1Cornplemen-.
para la biutries u de ArnIrieá,eéntralypa'n-arn0?e-n
rnientdfíSleó y,eld&.arrello de I ,s funcic,nes ci hgnóseitivasitle'ia ihos e'lledádi k
, p ' -
y -
día ldurante los misrnos periodos a toclos los ocupantes que lorécibteion.-E1Ingai.,
l
para la alitnehació cncontr,lba eer ca ele la ebcuela de la vi115.'F'it iaS otras
' : `
de control" se proporcionó un complernento menos integradd,
pero .
` beneflco.'
‘ 1.110 _ -
5.1"1.
Todas las personas--escogidas bahían siclo venficada.s érrilbsta dél eensó de los .'
miembros de la villa. Cada persona recibía su complemento, en una táza estandar
cdanclodo ilabían behIclo tanto cornd habían desé.9do, la taza.era devuelta' a
-
7. n • - -
miembrós quiLmes poLlían rnedir la .eánticlad ingerida, al sustraet
2
total de la cantidad que sobraba én la taza. Corñó se lt..;piérrnitta beber tántas tazaS'''
colno desc asen, no había razón para que hicieraritranipa'al pasarla taZa a otras
,
sonas, aunque fueron observados ctudadosamente. • „
, Esos registros diarios cl n-_ spués se enviaron al INCARy, por medió de trin sist&
,
rna computarizado, se integraron
participaba en el estudio.
tbil 1f I Ru 'r.-11 GIIMCI11.113 " . C/1 Artit,IC ,7r7 j eumul PubliSérgt/i7ilak.
.
puede usar para los propósitos del monitoreo (un problema, como ya se señaló,
que satura los registros de las poblaciones objeto). Esto ocurre debido a que los
sistemas primero se diseñan para satisfacer las necesidades admínistrativas y de
-
manejo del personal del programa. En tales casos, las formas del registro no se
llenan correcta o completamente o las partes que se cree no son adecuadas para
los miembros del proyecto se completan al azar. Por un lado, existe el riesgo de
que al reunir los componentes del monitoreo se tornen demasiado molestos para
tanto, se rinda un informe de datos resultantes incompleto y poco confiable para
los propósitos del monitoreo. Por otra parte, el registro de la información es
poco costoso y muy eficaz. Evidentemente, su uso depende del adecuado
entrenamiento del personal del programa para optimizar su confiabilidad al
proporcionar motivación a dicho personal, y controles de calidad para asegu-
rar su terminación oportuna y apropiada.
Como con el registro de poblaciones objeto, unas cuantas series de datos reca-
badas de manera congruente y confiable suelen ser mejores para propósitos de
monitoreo que una serie más comprensiva de información, pero de dudosa confia-
bilidad y de recolección incongruente.
Una segunda regla es que, siempre que sea posible, será útil estructurar las for-
mas de registro como listas, de tal manera que el programa y su equipo de trabajo
 128 CAP. 4. MONITOREO DEL PROGRAMA
puedan verificar varias series de datos en vez de proporcionarles una información
narratíva. Tal procedimiento no sólo reduce el tiempo de trabajo requerido por el
personal, sino también es más conveniente para el análisis ulterior.
La tercera regla consiste en revisar tan minuciosamente como sea posible los
registros completos para verificar su congruencia y exactítud, lo cual se debe rea-
lizar lo más pronto posible. La oportunidad para editar y los procedimientos del
control de calidad pueden señalar las omisiones y 'las congruencias.
Es importante destacar que existen riesgos al usar el registro de servicios
como única fuente de datos. El personal del programa, con o sin intención, pue-
de exagerar el grado en que los diferentes elementos del programa son entrega-
dos a las poblaciones objeto. Algunas veces, éste es el resultado de intereses
muy celosos para mantener las apariencias de eficiencia y responsabilidad;
otras, esto se puede deber al desencanto por parte del personal con respecto a
los procedimientos para proporcionar ciertos servicios proyectados, aunque
haya un requerimiento formal para que se apeguen a ello. Finalmente, en otras
ocasiones la interpretación"del personal del proyecto respecto de un servicio de
intervención particular diferente de aquella presentada por el diseñador del
programa o por el evaluador.
1 nario semiestructurado. Este enfoque es análogo al de la gula de datos estudia-
Datos del proveedor de servicios
1 En vez de confiar en la información anotada en los registros administrativos y
de servicíos, los administradores del programa pueden requerir del personal
a.,
información especial para propósitos del monitoreo (en el anexo 4.11 se muestra
di
ai
cómo el personal obtiene datos para el monitoreo de un programa de educación
familiar en la tribu Choctaw). Algunas veces, los reportes narrativos son requeri-
c
dos al personal del proyecto en forma de diarios, mientras que otras, el personal
n Prudente muestrear ya sea los periodos o los encuentros con las poblaciones ob-
puede requerir al evaluador que llene o codifique formas porcentuales de la infor-
mación diaria. Los diarios se usan generalmente sólo para información de apoyo.
711ii
et]
rii, A
—'nexo .s.-71';ítadó-res Caseros
fuente de iriforrnaCión para el monítoreo
proyecto de iriforrnación familiar
s<1
tcr El'F'royecto ‘ de educación tamul mu centrado'iyunt . iilciráo Linuliárje"li±p,Ct01;..
ái dernós,trO;. la existencta cie un rnocielo..de educación tei`npraiidfuncionai
po niral de una reervación..Elpecíficarrienté, pbjetívOftte ernplear:átin visitante:',1
tc cascro Choctaurpara que traba)ara con la madre o con sus sustttutos a fin de esta-
blecer 'un medto que esnroulara el desarrollo cognocitivc3/441:14tniñosChoetav, , des-
t
de su nacirn - i-ento ha-sta la edad de cuati- '6 años.
.La iita al hOgar in strucci o nal fue élcornponente princlpaluttlizadoparaman-
t tener contaao con los chentes faMiliarel EheEte enfoque, la intéración entre la
rfiadre y el niño fne el enfoque centiál, El visitador casero clemostraba _ las tecnicas.
instruccIonale_s; su comportarniento-,sirYró .i,cornp_ modelo de aquellas actitucle_s-y
práctIcas' que se'Comunicaban a las rnádres.-gl y lsitadOr casero y las madres fueron
ti etirnuladOs para'adaPtar la in-_--tru'cctón a los tiLiteriales cas.eros u al estilo
_
de la madte La . estimulación co g noscuiva propuesra ocumo como parte oei pro-
129
grama diseilady paraIpdos los , n1Dos: lenguaje, motor, sgn.sybIlidad, peLr'
social e r Mt7leCtual: LOs visltadores -caS- er6 -s'-dleion entrena-mlato'enlastaPas.
,secuencias de todas esas áreas _ de desarrollo, además de la dlnámlc `a dela conítin.Y
dad, instrucción e.n la infancia temprana, , admIntstracIón del coírlpprtémiento
aprendizaje:-Los visltadoreS caseros,planeáron, ejecntaron y evaluarorfl antervri ,
ción para cada`familia. Las visitas alas 'casas se planearon cop tina base Sernana! erv
un tiernpo corwenlente para las ' rnadres. '
Además de las funciones y los papeles del -litsltadoí, 'se'pldt6 lós '‘krisitzidór
Choctaw de_senlpeñar funcloneS de,evalua, ción del programa..Tarnbién se les p9111.
que graduaran b situación del hogár para su estimulactón potenclakpará probár:
Ios niñbs y para recahar cúálqiner infdirriaciffivadiclonatillerldkPor Tos éva,lu
,dore.s para documenta , r o valorar . el proyecto,,-;[.?./...,,:,,...,,,,¿.,,,,,,--',T.,;:i.,.-1 ,--1-7
F t .iente: Atado,
cin con permiso. de P. Quigley', L. Mor ns vG,arnrilJt
It i:Thii ..é-h'e,c.10-1.Htirrulr
.".,1: 9
4;4egn.tesred.Fo.7 ily Educatio,n atiorr ehavtor ARoctete3,,Tuczon:Alrzona,,i976,
z
,
Un compromiso entre una entrevista altamente estructurada o cuestionario
y una narración completa es algtina forrna dé entreVista 'semiairecta o cuestio-
da con el rubro de métodos observacionales; permite profundizar más en la
información, pero al mismo tiernpo acorta el tiernpo y el esfuerzo del personal
del prograrna.
El enfoque niás eficaz es el uso de un instrumento de investigación altarnen-
te estructurado que se pueda completar con una entrevista o por el personal
únicamente. Los instrumentos estructurados prestan ayuda por sí mismos para
la tabulación. Como en el caso de los esfuerzos observacionales,
- a menudo es
jeto, de tal rnanera que se reduzca el trabajo del personal. Al hacer ésto es impor-
tante emplear imé rnuestra representativa y dejar que el personal escoja entre los
periodos o las poblaciones objeto particulares para sujetos de investigación, ya que
de otra forma se corre el riesgo de estimular al personal para desviar intencional-
Mente la explicación'de la ejecución del .proyecto.
Datos de los partícipantes en el programa
El último enfoque para colectar inforrnación con fines de monitoreo es obte-
ner datos acerca de la entrega del programa de los participantes. Tal información
es valiosa no sólo debido a sus diferentes perspectivas desde las que se ofrece,
sino tarnbién, entre otras razones, porque puede ser el único medio para conocer
lo que actualmente se entrega. Los datos de los participantes pueden servir a los
proveedores para conocer lo que es importante para los clientes, incluidos su
satisfacción y aceptación de la intervención.
Puede haber disparidades en muchos programas entre los servicios y las
intervenciones proporcionadas y aquellas actualrnente recibidas o utilizadas,
como se ha demostrado en la bibliografía acerca de planificación familiar; por
ejemplo, como parte de un programa cle eclucación técnica, los participantes
130 CAP. 4. MONITOREO DEL PROGRAMA
pueden recibir guías de estudio, ejercicios, manuales y equipo para utilizarlos
fuera de clases. Mientras que el personal del proyecto puede creer que éstos se
emplean como se planeó, reahnente éste puede no ser el caso. Para tales proyec-
to "s, puede ser crítico inquirir a los participantes para conocer si ciertos servicios
se usaron o incluso si se recibieron. , Tales- datos de los participantes pueden tam-
bién ser generados por medidas que indirectamente prueben si los servicios se
recibieron, tales como asignaciones extraescolares consistentes en calcular las
distancias y convertirlas a los valores estándares. En ese caso, no sólo se podría
entrevistar a los párticipantes de modo que se considerara si usaron o no los
servicios de la manera asignada, sino también se podría probar si pueden o no
cumplir razonablemente con las tareas quienes al aprender tenían 1111 mejor
desempeño en los servicios en cuestión.
El análisis previo acerca del acceso destacó que a veces la satisfacción del
participante hacia un programa 'es un indicador clave para la ejecuCión del pro-
grama de monitoreo. Evidentemente, los participantes son la fuente de informa-
ción única y apropiada. En el anexo 4.12 se proporciona un ejerriplo de estudio
de la satisfacción del cliente con respecto a los servicios médicos, y en el anexo
4.13 se muestra cómo se empleó una investigación cornunitaria en el experimen-
to de Karisas City, cán el fin de examinar su efecto en una comunidad grande.
i1nexo 4 12. sátisfacción del' cónsumicior
con respecto a un grupo practicarite pagado
satIsfáCCión del paeienté con la""entrega
, prAttco gruPal.pagado, y los datos„.cortsparatiyOs,de_tírifiálanaltenOW.dese,guro
13 I u'e:Cross:(Clu
:2_,?Az3.11) ; , se obtuVieerOn,:iaediante,,lnV0.1gl'ciót111-4
:resaltadb.s- (seuiclos del -problerna ctiet'ionado) •se r'esumen
..t'411.1:,-,11111:415:11111,11filffiblás11:1-t111411!:1:'j11:210-1'ir,
e Y't
',11-f¿di-cji5h cusail acet
VS--r
Proporclbrrde,encUesta oS1-1191141,1111ilisb,11.111tio:1-14..áfíiti
,i pasacio
tPorcentaje maYrIattlféttidléfitre.jol'enuelta
1 ro—rt:sery- ic-los; el año pasádii'lrf',:-<1,1-,"."
Conaha cantSd,-.1d,cle pri yáCía é.thlay.;Oficjpg;... el:'.¿Ilopy:::.
-CO:iltierta cantidacl. de , tiempo .: 5.301.:,;'.4.),fillgOI:diillt
paciente
pon preocupacIót?4déktfoc >' tor por la sa- lud del pacite,
iCon.atención fina'y:persónal . interé en él paciente , :
,Con,,cderta cantidad -de información dada al paciente acerca,.'",''
. 1.,-cle su salud-:
león entrenaíniento .del doctor y.competencia técnica --, :-'•
Con la arnistad dél.-doctor - ' .... -,
Con atenclón arnistosa de recepclonistas, eaferméras,
131
„Con calidad del culdado rnéclicó recibid0"
-0óri T- S,. E:C-rótiaPláeériCia'',,deLdaetdr -para
PaCien'teáCerea'idé-sii,-Sálud
•
FuentTomackrde s,.titá¿t147-,
mparative w'ñd: Soc ia I Behai;Jor:ndlikl,16-; :e-4.1th
- ,
prgso cerks,autorizacsén. . 'Teas.2f..m
•
Anexo 4.13. InvestigaCión comunitaria
en Kansas City para determlnar los efectos
-de runalinte 'ención '
aleatoria de las familias se diseñó para exarninar sels
tos;génerale'clé.-19s posiblelt..etectdtall experimento sotgre té corpunIdad:„;
Percepción del cludadartO-a¿eica de la px-obab11144,de'ser:Mcttn-la de-'t
rapto, asaltb, robo de autO '',5ae'CrUnen V'solen't6Y.MP"-eé'tó'dé
yeaeral del yecsndarlo.
Grado'éri:qUé:los citidadanos'se Protegena_sl .9:_pledades
junto con. las rnedlclas protectoiallomadá . • .
3. Los ciudadanos
„ percibieron las neceslclades de-oficlales .d. e policra,.dg
- - -
rondas efectaadas por patrullas de policiay dé patrullas de policía agre,
- tatle
4; Las percepciones de los ciudadanos acerca de las reputacio ,neS de-ios
les de policta, de la efects yldad etó de 15s ciudadanos p"Cd-
,los pohcías '
5. Las pertepckinei'de los ciudáctIOS :ac-er4*. e a conducta'de
de la beindad"si tíatarniento hactalo ciudadanos-
Lás percepciones y satisfacciosils'.'
ólIcla
Finalmente, Nicholson y Wright (1977) han demostrado que en intervencio-
nes que implican tratamientos complejos es importante asegurar que los partici-
pantes comprenden tal tratamiento, las reglas operativas del programa, etc. En
70 resumen, es necesario establecer no sólo que los servicios diseñados han sido
67..' entregados, sino también que fueron recibidos, utilizados y comprendidos como
se intentó. La información proveniente de los participantes se debe obtener
64 mediante cuestionarios autoadministrativos o por medio de entrevistas. Los par-
ticipantes deben ser muestreados de alguna manera sistemática o definitivamen-
te realizar un censo completo.
.81
132 RETROALIMENTACIÓN DESDE EL MONITOREO 133

ANÁLISIS DE LOS QATOS DEL MONITOREO
En general, el análisis de los datos del monitoreo muestra los problemas
siguientes: la descripción del proyecto, la comparación entre los sitios y la con-
formidad del programa.
Descripción del proyecto
Una cuestión importante es en qué grado el programa puesto en marcha se
asemeja en los detalles cruciales al programa diseñado. Una descripción del actual
proyecto derivada de los datos del monitoreo podría abarcar los temas siguientes:
las estimaciones de la cobertura y desviación en la participación; los tipos de servi-
cios entregados y la intensidad de los servicios prestados a los participantes de
géneros significantes, y las reacciones de participantes a los servicios entrega-
dos. Las manifestaciones descriptivas podrían tornar la forma de explicaciones
narrativas, especialmente cuando los datos del monitoreo se derivan de fuen-
tes más cualitativas; sin embargo, los análisis cualitativos son más útiles. Además
los métodos y las medidas de análisis complejos se han diseñado más seguido
(consúltense Miley et al., 1978; Heumann, 1979).
datos del monitoreo proporcionan lineamientos acerca de la congruencia entre el
diseño del programa y su ejecución. A menudo se recomienda que sean recolec-
tados antes de la firma de un compromiso, para realizar un análisis de la repercu-
sión, aun cuando puede ser necesario que se realicen de forma paralela con el
análisis de la repercusión, pues un estudio del monitoreo llevado en avance no
puede proporcionar evidencias válidas de la conformidad del diseño una vez que
el proyecto se efectúa.
Las evaluaciones del monitoreo realizadas para proyectos administrativos y
de contabilidad suelen ser retroalimentadoras para los administradores del pro-
yecto y para el personal en una base continua. Para un proyecto establecido que
conlleva un conjunto continuo de evaluaciones emprendidas, la fluctuación y los
cambios en el tiempo pueden permitir rediseriar o depurar los programas y reva-
lorar la extensión en que el conjunto de objetivos y la ejecución del proyecto
necesitan una modificación. Sin embargo, el evaluador no puede asumir que el
mero hecho de proporcionar información asegura su uso. Así, como se verá en
el capítulo 9, se requiere estar relacionado con la máxima diseminación y el
empleo del monitoreo, cuestiones que por sí solas implican una evaluación.

Comparación entre los sitios

Cuando un programa incluye más de un sitio surge una segunda cuestión
concerniente con las díferencias de la ejecución del programa entre los sitios.
La comparación permite comprender la diversidad de las fuentes del proyecto,
como personal, administración y diferencias entre las poblaciones objeto o
entre el ambiente contextual del programa, y también puede facilitar los esfuer-
zos para lograr la estandarización. Además, las diferencias entre los sitios pueden
proporcionar pistas acerca de por qué los proyectos en algunos sitios pueden ser
más efectivos que los de otros.

Conformidad del programa

Desde luego, el tercer problema es el grado de conformidad y convergencia
entre. el diseño del programa y su puesta en marcha. Las discrepancias entre
ambos pueden conducir a especificar de nuevo al diseño del proyecto o a esfor-
zarse en centrar el inicio del proyecto más en su diseño. Tal análisis permite juz-
gar la adecuación de una evaluación de la repercusión y, si es necesario, optar
por una evaluación formativa, de manera que se desarrolle la convergencia
necesaria.

RETROALIMENTACIÓN DESDE EL MONITOREO

Como ya se mencionó, los datos del monitoreo tienen múltiples usos, lo cual
depende de quién ha financiado el monitoreo y del estado del desarrollo del prá-
grama. Cuando se realiza como parte de una evaluación más comprensible, los
Estrategias
para evaluar
la
repercusión
La evaluación de la repercusión tiene por objeto establecer, con tanta certeza como
sea posible, si una intervención produce p no los efectos intentados. Dada la naturaleza de
las actividades científicas, dicha estimaPión no se puede hacer con mucha certeza, sino
sólo dentro de los límites de error y con diferentes grados de factibilidad. Para reducir
dichos errores y aumentar la factibilidad de las estimaciones de efectividad, la evaluación
de la repercusión se debe emprender tan sistemática y rigurosamente como sea posible.
Sólo de esta manera el evaluador podrá identificar los efectos de una intervención.
Las consecuencias de los programas sociales son valoradas mediante la compara-
ción de la información disponible acerca de los participantes y de los que no participan,
antes y después de la intervención, o mediante otros diseños de investigación menos
eficaces. Sin embargo, las consideraciones esenciales implican el rechazo sistemático
de las alternativas, explicaciones competitivas para otros resultados observados que
no forman parte de la intervención.

CONCEPTOS PRINCIPALES

Factores de confusión: Variables extrañas que resultan en efectos significativos

que disimulan o exageran los "verdaderos" efectos de una
intervención.
Efectos resultantes brutos: Medidas totales de la repercusión encontrada en una eva-
luación, sólo parte de la cual se podría deber a la interven-
ción.
Efectos resultantes netos: Repercusión de una intervención, después que los efectos o
factores de confusión se han retirado.
Medida aproximada: Variable empleada para "sustituir" a otra difícil de medir
directamente.
Confia Grado en que las marcas son reproducibles en administra-
ciones repetidas, con el supuesto de que todos los .facto-
res adecuados son iguales.
Efectos estocásticos: Medidas de las fluctuaciones atribuibles al azar.
Medidas válidas: Medidas para las cuales existe la evidencia o presunción
que refleja el concepto que se intenta medir.

135
136 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN RELACIÓN DE LAS INTERVENCIONES 137
Los obstáculos para valorar la repercusión se originan en fuentes diversas, a sa-
ber: primero, el mundo social es complejo, y muchos fenómenos sociales tienen
múltiples orígenes y causas. Con tantas "partes cambiantes", la severidad de un
problema social puede estar influida por numerosas circunstancías, además de
aquellas que contiene el programa. Segundo, las teorías y las generalizaciones
empíricas de las ciencias sociales son débiles e incompletas. Es difícil diseñar mode-
los de los fenómenos sociales que sirvan adecuadamente corno marco dentro del
cual las valoraciones de la repercusión se puedan emprender. Tercero, no cabe
esperar que los programas sociales tengan más que una repercusión poco signífi-
cativa en el mundo social. Un programa de bienestar no se puede ver como la
solución para erradicar la pobreza, ni un programa de rehabilitación criminal
puede ser totalmente exitoso para cada caso. Más a menudo, cabe esperar que los
efectos sean pequeños y difíciles de medir o detectar. Por último, algunos programas
sociales son especialmente difíciles de -valorar, debido a que han funcionado
durante un periodo largo. Los programas actuales que abarcan a vastas poblacio-
nes objeto sólo se pueden valorar si se efectúan presunciones heroicas que fre-
cuentemente afectan la credibilidad de los contribuyentes.
Existen dos puntos en el proceso de evaluación total en los que es especial-
mente importante valorar la repercusión. El primero (y tal vez el más significativo)
está en la prueba de nuevos prograrnas propuestos o en los cambios propuestos a
los ya existentes. La cobertura en esos programas suele ser parcial, y a menudo es
imposible realizar experimentos que proporcionen estimaciones parciales definiti-
vas de los efectos del programa.
El segundo punto es la revisión de los progr.amas actuales. Aun cuando
parezca que un programa establecido funciona bien o por lo menos sin fallas
evidentes, los evaluados o el personal del programa generalmente desean esti-
maciones plausibles acerca de qué tan bien el programa cumple con los pro-
pósitos. Por otra parte, las cosas no son siempre conno aparentan ser: las
observaciones sistemáticas y objetivas frecuentemente contradicen la impre-
sión general. Los políticos quizá necesiten resultados de las evaluaciones de la
repercusión para justificar la expansión de lo que puede ser un recurso en
expansión, obligado por la competencia persistente en cuanto a fondos o por
las presiones políticas de los diversos grupos interesados. Los administrado-
res del programa necesitan contar con los resultados de la repercusión para
aprender a mejorar sus programas e incrementar su efícacia.
Como se destacó en el dapítulo 2, los requisitos previos para valorar la reper-
cusión de una intervención son los siguientes: primero, tanto el proyecto debería
tener sus objetivos lo suficientemente bien articulados para permítir identificar la
obtención de las metas, o el evaluador debería establecer sus objetivos; segundo,
la intervención debería haber sido lo suficientemente bien ejecutada para que no
quepa duda de que sus elementos críticos han sido entregados a las poblacíones
objeto apropiadas. Obviamente, esto podría ser una pérdida de tiempo, esfuerzo
y recursos para estimar un programa que carece de metas medibles y que no se
ha ejecutado propiarnente.
La tarea de elegir los objetivos o de alcanzar un consenso con ellos se puede
manejar con una o varias de las técnicas descritas en el capítulo 2. Díscemir acer-
ca de un conjunto de objetivos para un programa dado no es una tarea imposible,
aun cuando los evaluados no convengan en las metas o incluso níeguen que haya
cualquier meta. Todos los programas efectúan algo más que sólo dejar ingresos a
sus diseriadores y administradores. A menudo, como Chen y Rossi (1980) sugie-
ren, el científico social perceptivo, en su conocimiento general del trabajo de la
sociedad actual y de sus organizaciones, puede hacer deducciones razonables
acerca de cuáles efectos se pueden esperar y formular las presunciones de trabajo
del programa y el adecuado conocimiento de la ciencia social; sin embargo, el
principal serialamiento que cabe hacer aquí es que tales metas se deben especifi-
car antes de valorar la repercusión.
No se puede soslayar la dificultad de emprender evaluaciones de la repercu-
sión. Mientras las reglas fundamentales para realizarlas estén bien establecidas, el
evaluador deberá fomentar constantemente la cooperación del equipo de trabajo
y de los particípantes objetivo, además de presionar para obtener resultados
oportunos y no ambiguos.
RELACIÓN DE LAS INTERVENCIONES
CON LOS RESULTADOS
El problema de discernir la efectividad de un programa es semejante al de
establecer que el programa es la "causa" de algún efecto específico. Por tanto, al
determinar las cantidades esenciales de repercusión se establece la causalidad.
Muchos problemas espinosos y graves se relacionan con el concepto de causali-
dad. Aquí se aceptará que el rnundo es una entidad ordenada y llena de leyes, y
que "A es causa de B" como una regla válida.
En las ciencias sociales, las relaciones causales se establecen generalmente
de una manera probabilística; así, la regla de que "A es causa de B" suele signifi-
car que si se incluye A, B será más probablemente el resultado que sí no se hicie-
se de ese modo. La regla por sí misma no implica que B siempre resulte si se
incluye A, ni significa que B sólo ocurre después de incluir a A. La frase "es más
probable que ocurra" significa que la probabilidad de B, dada A, es más alta que
la probabilidad de B, con A ausente.
Considérese el ejemplo siguiente: la inclusión de proyectos de entrenamien-
to voluntario para el empleo, para adultos, puede reducir la cantidad de desem-
pleados entre la gente con pocas habilidades, por lo menos en un corto plazo; es
decir, es más probable que el desempleo decline con la presencia de tal programa
que con su ausencia. Sin embargo, ningún programa de entrenamiento, por más
bien diseñado que esté, erradicará por completo el desempleo. Algunos adultos
simplemente rechazarán aprovechar la oportunidad ofrecida; otros serán incapa-
ces de beneficiarse (debido a enfermedad, incapacidad, inhabilidad u otras obli-
gaciones) , aun pensando que están deseosos. Aún más, los niveles de desempleo
son influidos fuertemente por las vacantes. Desde luego, si no hay trabajos, los
desempleados no podrán ser abarcados por la fuerza laboral, no importa qué tan
bien entrenados estén.
Un programa de entrenamiento no es también la única manera de reducir
el desempleo de trabajadores poco habilidosos. Las oportunidades de entre-
namiento en el trabajo deben estar disponibles, los trabajos especiales de
"refugio" pueden ser creados para que los trabajadores capaces adquieran
experiencia mientras trabajan y aprenden, etc. Por ello, la valoración de si un
proyecto de entrenamiento para el empleo específico puede incrementar o no
 138 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSION
los empleos se complica porque las direcciones del empleo responden a
muchos factores, entre los cuales el programa de entrenamiento específico es
sólo uno.
De lo anterior se infiere que el problema crítico al evaluar la repercusión es si
el programa produce o no más de un efecto o resultado que podría haber ocurri-
do sin la intervención o con una intervención alterna.
RESULTADOS BRUTOS EN OPOSICIÓN
A RESULTADOS NETOS
El punto de partida para valorar la repercusión es la identificación de una o
más de las medidas de los resultados que representen a los objetivos del pro-
grama. Así, al estudiar un programa diseñado para incrementar la cultura en el
adulto, los objetivos del programa se pueden representar como aquellos que
aumentan las notas de lectura con base en una prueba estándar de habilidades
educativas. El programa se puede considerar exitoso si, después de aplicarlo,
las notas de los participantes son más altas de lo que cabría esperar en los que
no participaron en él (la manera de medir los resultados se estudiará más ade-
lante, en este capítulo).
Se debe efectuar una distinción entre resultados brutos y resultados netos.
Los resultados brutos son aquellos cambios en la medida de los resultados que se
observan después de que un programa ha estado funcionando. Así, los resulta-
dos brutos medidos en el programa de cultura para adultos son el incremento en
las notas de los participantes en su nivel de lectura, lo cual resulta del programa y
de cualquier número de otras influencias (por ejemplo, la introducción simultá-
nea de la televisión educativa en las comunidades en cuestión). Por otra parte,
los resultados netos son los que se atribuyen a la intervención, libres y claros
de los efectos de otras causas en el contexto del programa.
En términos simbólicos, la relación que existe entre los resultados brutos y
los resultados netos se puede expresar como sigue:
Efectos de la intervención Efectos de los factores de
Resultados brutos = (resultados netos) confusión
Así, un beneficio detectado en las medidas de la cultura en las observaciones
anteriores y ulteriores de un grupo de personas que hayan participado en un pro-
grama de cultura para adultos (resultados brutos), está constituido por dos par-
tes: por los efectos del programa (resultados netos) y por los efectos de los otros
eventos, experiencias, etc., que influyen en el aprovechamiento durante el perio-
do en cuestión (factores de confusión).
OBLIGACIONES AL VALORAR
RESULTADOS NETOS
Como los resultados brutos reflejan no sólo los efectos de una intervención,
sino también los de otros procesos que ocurren al misrno tiempo, al valorar la
repercusión se deben estimar los efectos netos de la intervención. Para realizar
OBLIGACIONES AL VALO1RAR RESULTADOS 139
esto, el evaluador deberá aclarar los efectos de los resultados brutos mediante la
depuración de los elementos contaminantes, conocidos como factores de confu-
sión o factores combinados. Éstas son las "causas" extrañas que se completan
con los esfuerzos de una intervención para explicar los cambios en la población
objeto o en el problema objeto después que el programa se ha puesto en marcha.
Factores combinados extrailos
Los factores de confusión varían de acuerdo con el fenómeno social en
cuestión. Así, cabría esperar que una intervención diseñada para mejorar los
hábitos nutricionales de las familias podría competir con procesos distintos de
aquellos que afectan al programa para mejorar las habilidades ocupacionales
de la gente joven. En despecho de las características idiosincrásicas de cada
programa y de las características especiales de la población objeto por abarcar,
ciertos procesos son lo bastante generales para ser identificados como competi-
dores potenciales en cualquier intervención (Campbell y Stanley, 1966; Cook y
Campbell, 1979). A continuación se describen varios de estos procesos.
Cambios endógenos
Los programas sociales funcionan en escenarios en los que las secuencias
ordinarias o "naturales" de eventos influyen en los resultados; por ejemplo,
muchas personas que se recobran de condiciones agudas lo hacen así "natural-
mente" , un cambio endógeno al que los médicos y los investigadores llaman
remisión espontánea. De este modo, los experimentos médicos que prueban la
validez de un tratamiento para algunas condiciones patológicas (por ejemplo,
la gripe) deben distínguir su efectividad del hecho de que numerosos pacientes
se recobran espontáneamente sin tratamiento.
Asimismo, al probar los efectos de una intervención social se debe tener en
cuenta que la condición para la cual la intervención se ve como un remedio pue-
de cambiar su propia espontaneidad. En consecuencia, un programa para entre-
nar a los jóvenes en habilidades ocupacionales específicas debe competir con el
hecho de que alguna gente obtendrá las mismas habilidades de maneras no con-
templadas por el programa. Igualmente, un programa para reducir la pobreza
tiene que considerar que algunas familias e individuos podrán mejorar su posi-
ción económica sin ayuda del proyecto.
Vertíente secular
Relativamente, las tendencias a largo plazo en la comunidad o el país en
cuestión pueden producir cambios que mejoren o enmascaren los efectos de
un programa. Por tanto, en un periodo en que el rango de nacimientos de una
comunidad declina, puede parecer que un programa diseñado con el fin de
reducir la fertilidad en esa comunidad es efectivo, pues la tendencia natural de la
fertilidad es hacia abajO. Otro programa diseñado para mejorar el grado de cali-
dad de la vivienda puede parecer adecuado, debido a que la tendencia nacional
140 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN OBLIGACIONES AL VALORAR RESULTADOS 141
respecto al ingreso real capacita a cualquiera para obtener más recursos en su
vivienda. Tal vertiente secular puede también enmascarar los efectos del progra-
ma; por ejemplo, un proyecto para incrementar la producción de la cosecha puede
parecer que falla, debido a que las condiciones del tiempo permiten desarrollar
condiciones de crecimiento pobres durante un periodo del programa. Asimismo,
un programa diseñado para proporcionar oportunídades de empleo a ex convictos
puede parecer que no es útil, debido a la coincídencia de un periodo de depresión
en el mercado laboral.
Euentos de interferencia
Al igual que las vertientes seculares a largo plazo, los eventos a corto plazo
pueden producir mejoramiento o enmascaramiento de los cambios. Un temblor
de tierra que interrumpe las comunicaciones y dificulta la entrega de productos
ali menticios puede interferir con un programa nutricional. El pacto de guerra con
otra nación puede hacer aparecer a un programa como mejorador de la comuni-
cación local y de la cooperación (o sea, efectivo) cuando la potencial crisis forta-
lece la unidad de los miembros de la comunidad.
Tendencias de moduración
Los programas diseñados para personas en vías de cambios durante su infan-
cia, niñez o adolescencia (de hecho, cualquier población objeto de cierta edad)
tienen que enfrentar el hecho de que, con el tiempo habrá cambios significativos
en las vidas de los individuos. En consecuencia, la evaluación de un programa
educativo diseñado para incrementar la capacidad de manejo del lenguaje de
niños pequerios tiene que estar compensada por el hecho de que tales capacida-
des se incrementan con la edad. Asimismo, la efectividad de una campaña para
incrementar el interés en los deportes entre jóvenes adultos se puede enmascarar
por una declinación en el interés que ocurre cuando los jóvenes adultos ingresan
en el mundo laboral. La tendencia a la maduración puede afectar también a los
adultos: un programa diseñado para mejorar las prácticas de salud preventiva
puede parecer ineficaz, debido a la declinación de la salud con la edad.
Autoselección
Tal vez la obstrucción más seria para valorar la repercusión de la interven-
ción es el hecho de que las porciones más fáciles de alcanzar de una población
suelen ser también las que cambian en la dirección deseada, debido al potencial
diferente del objetivo por cambiar. Desde luego, los proyectos basados en la
cooperación voluntaria de los individuos, familias u otras unidades probable-
mente son más afectados por los procesos de autoselección. Así, un proyecto
diseñado para mejorar las habil idades vocacionales parece más atractivo a perso-
nas interesadas en mejorar sus habilidades ocupacionales. Tales personas son,
probablemente, las que administran el mejoramiento de sus habilidades, sin
importar si se inscriben o no en el proyecto.
En algunos programas voluntarios, la autoselección puede ocurrir involunta-
riamente, desde el punto de vista de los participantes, como resultado de las
acciones políticas o administrativas. Considérese el caso de una comunidad que
por medio de su gobierno municipal busca "voluntarios" para un programa de
mejoramiento de la tubería de desecho, mediante la instalación de una infraes-
tructura apropiada y técnica. Aunque los miembros de la comunidad no partici-
pen voluntaria e involuntariamente, todas las personas que viven en el área serán
sujetos a "tratamiento" y por tanto, podrán beneficiarse con el programa. Asimis-
mo, en la adopción de una nueva (y presumiblemente no probada) versión del
libro de texto para los niveles elementales escolares, los alumnos individualmen-
te considerados no son voluntarios para usar el libro. En este caso, el "voluntaria-
do" lo efectúa la escuela o el sistema escolar.
Procesos similares en el trabajo, pero en dirección opuesta, llevan al abando-
no diferenciado. Así, rara vez se da el caso de que la participación en un tratamien-
to la realicen hasta el final todos los participantes. Los abandonos en su proporción
varían de proyecto a proyecto, pero casi siempre son inquietamente significativos.
Los sujetos que abandonan un programa pueden ser diferentes de aquellos que
permanecen hasta el fin. F'or una cosa, aquellos que se benefician en forma clara
de la intervención probablemente permanecen o son estimulados para quedarse,
mientras que quienes hallan poca recompensa o dificultades con el proyecto pro-
bablemente lo abandonen o se desanimen de seguir participando en el programa.
Aunque varios autores han identificado adicionales factores combinados
(consúltense especialmente Campbell y Stanley, 1966, y Cook y Campbell, 1979),
éstos se aplican primero a condiciones de laboratorio o se encuentran rara vez.
Los factores de confusión extraños que se acaban de mencionar son sólo aquellos
a los cuales un evaluador debe estar alerta, particularmente al diseñar la investi-
gación de la valoración de la repercusión.
Erv-or en la medida
Los factores combinados que se han examinada no están equivalente ni uni-
formemente distribuidos en todas las evaluaciones de la repercusión; están pre-
sentes o ausentes según el área implicada. Así, quizá no se tenga mucho que ver
con los efectos de maduración en un estudio de incipientes trabajos potenciales
por beneficios del desempleo, pues generalmente se dan a adultos que empiezan
su vida laboral durante periodos relativarnente cortos. Sin duda, los efectos de
rnaduración son más importantes para éstudiar la repercusión del desarrollo inte-
lectual de programas dirigidos a niños preescolares.
• POr otro lado, los errores en la medición están siempre presentes. Afortu-
nadamente, el conocimiento de esos "efectos del método" es más completo que
el conocimiento de los factores combinados. Por tanto, es posible estimar y
algunas veces compensar tales errores, mientras que la extensión de los efectos
cornbinados extraños siempre es problemática. En el apartado siguiente, el
énfasis se centrará en dos de los errores rnás prevalecientes en la medición: los
efectos estocásticos y la no confiabilidad.

142
Efectos estocásticos
En cualquier esfuerzo para medir, la fortuna o las fluctuaciones al azar deno-
minadas procesos estocásticos, pueden hacerlo difícil de estimar si un resultado
es lo bastante significativo para garantizar la atención. Estas variaciones resultan
del hecho de que cada serie de observaciones son una muestra de una población
objeto o de todos los posibles ensayos de ese proyecto. La teoría del muestreo
aplicada apropiadamente describe cuánta variación cabe esperar y cuán a menu-
do se debe esperar de una magnitud específica, dados numerosos muestreos
extraídos con métodos probabilísticos (Kish, 1965; Sudman, 1976). Al aplicar
los resultados de pruebas estadísticas apropiadas, se puede estimar cuán a menu-
do puede ocurrir un resultado dado sólo por azar, aun bajo el supuesto de que el
resultado verdadero es cero. De este modo, un efecto dado (por ejemplo, una di-
ferencia del 5% en la producción de una cosecha para granjeros que han adoptado
una nueva fórmula de fertilizante) se puede ver como un resultado improbable del
programa en el cual el "verdadero" efecto es cero. La significación estadística de
un resultado particular se estima al compararlo con lo que cabría esperar por azar,
cuando se muestrea de un conjunto hipotético de ensayos en los cuales el "verda-
dero" efecto es cero.
No confiabilidad
Los procedimientos de acopio de datos siempre están sujetos a cierto grado
de no confiabilidad. La confiabilidad de una medición está definida como el gra-
do en que marcadores idénticos o los valores se pueden obtener como medición
en colecciones repetidas de datos con los mismos sujetos. Una gran fuente de no
confiabilidad son los instrumentos de medición; por ejemplo, muchas medicio-
nes actitudinales revelan baja confiabilidad cuando se aplican al mismo sujeto o a
sujetos similares. La prueba o situación de medida, la confiabilidad en el entrevis-
tador u observador o aun el humor variable del sujeto también contribuyen a la
no confianza. No existen reglas precisas o rápidas de aplicar acerca de los níveles
aceptables de confiabilidad; sin embargo, las mediciones generalmente pierden
su utilidad cuando su reproducibilidad decae debajo de 75 u 85% (consúltese
Blalock y Blalock, 1968, con el fin de conocer los medios para estimar la no con-
fiabilidad). Nótese que la variación estocástica y la no confiabilidad están separa-
das y tienen distintos efectos en el diseño.
El empleo de mediciones no confiables de resultados disimulará cualquier
efecto real que un proyecto pueda tener. Cuanto más poco confiable sea una
medición, mayores serán las diferencias actuales para indicar un resultado signifi-
cativo. Como la confiabilidad es un problema constante al medir resultados, se
examinará con mayor detalle al final de este capítulo.
Fórmula para valorar la repercusión
Un resultado bruto es el derivado de todos los elementos estudiados con
anterioridad más los efectos netos o "puros" del proyecto; el resultado bruto está
siempre en función de los efectos netos del programa y de los elementos combi-
OBLIGACIONES AL VALORAR RESULTADOS 143
nados. Al obtener nula desviación y precisa estimación de los efectos netos del
proyecto, es necesario tener en cuenta a los elementos de confusión.
Otro rnedio para resumir los problemas examinados en esta sección es
mediante la fórmula siguiente:
-Cambios endógenos
Vertiente secular
Efectos netos = [Resultados brutos] — Eventos de interferencia + [Efectos
Tendencias de maduración — estocásticol
Autoselección
Efectos de no
confiabilidad
La valoración de la repercusión se delinea por esta fórmula; es necesario
mejorar las medidas de producción bruta, para lo cual se deben estimar la mag-
nitud y dirección de los procesos de confusión posibles. De hecho, cada efecto
de confusión puede ser positivo o negativo numéricamente. Por fortuna, no
siempre es necesario estimar la magnitud de cada uno de los siete factores de
confusión por separado. Más bien, mediante el uso de diseños de investigación
apropiados es posible desarrollar buenas y adecuadas estimaciones de ra reper-
cusión combinada de los efectos que la enmascaran.
Investigaciones relacionadas con factores enmascaradores
En este resumen del estudio de las necesidades para valorar la repercusión,
se considerwl algunos de los efectos enmascaradores que se podrían originar
fuera del esfuerzo evaluativo y en la medición de la repercusión misma. Espe-
cialmente en evaluaciones que requieren esa medición especial y que se lleve
más allá de lo que se genera comúnmente, existe el riesgo de que esos factores
enmascaradores adicionales sean una inquietud; no obstante, cabe señalar que
tales efectos son significativos.
Efecto Hawthorne
En un experimento famoso, un intento para determinar los efectos de la va-
riación en la intensidad de la luz sobre la productividad de mujeres que se dedican a
ensamblar pequeñas partes electrónicas (Roethlisberger y Dickson, 1939), se des-
cubrió que cualquier cambio en la intensidad de la luz, ya fuese positivo o ne-
gativo, incrementaba la productividad de las trabajadoras. El efecto Hawthorne
(nombrado así por el sitio donde se realizó el experimento) fue interpretado por
los experimentadores como resultado del experimento, lo cual incluía observa-
ciones continuas de los miembros trabajadores. Roethlisberger y Dixon razonaron
que los trabajadores tomaron el hecho de que habían sido señalados como un
grupo experimental y consíderaban a toda la atención mostrada por los experi-
mentadores como una serial de que la empresa estaba interesada en su bienestar
personal. Su respuesta fue desarrollar un alto nivel de trabajo grupal e incremen-
tar su productividad. El resultado medido por el experimento fue una combina-
ción de la intervención (iluminación incrementada), la entrega de la intervención

144 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
(concerniente, por una parte, a la administración y a la presencia de los experi-
mentadores en el sitío de trabajo) y la observación constante.
El efecto Hawthorne no es específico para experimentos sociales; también
puede estar presente en cualquier circunstancia en la que los sujetos a ella sean
humanos; por ejemplo, en los experimentos médicos, especialmente aquellos
que implican tratamientos farmacológicos, el efecto Hawthorne se conoce como
efecto del placebo. Los sujetos pueden ser afectados tanto por el hecho de saber
que reciben tratamiento como por el tratamiento mismo. Así, la evaluación de la
efectivídad de un nuevo analgésico (destructor del dolor) generalmente implica
tanto un control con placebos, consístente en un grupo de pacientes a quienes se
da esencíalmente medicación neutral (píldoras de azúcar), como cierto control de
píldoras "estándar" comúnmente prescritas. La efectividad del analgésico es medi-
da por cuanto más consumo se reporta para la nueva droga, en comparación con
el informado para aquellos que consumen el placebo o las píldoras estándar.
Una análisis reciente del experimento Hawthorne (Franke y Kaul, 1978)
despertó serias dudas acerca de si el trabajo efectivamente demostraba cualquier
efecto Hawthorne, un hallazgo que destacó el hecho de que el efecto es raro.
Contaminantes del sistema de entrega
Otro factor enmascarador es que el tratamiento rara vez se da en forma
"pura". De este modo, la terapia guía para jóvenes que han sido delincuentes
implica generalmente la participación no sólo del terapeuta, sino también la
presencia de otros factores (por ejemplo, el encargado de verificar las entra-
das), un escenario en el cual se realice la terapia, las reacciones de otros jóvenes
que conocen la terapia, etc. Por tanto, el sistema de entrega de la intervención,
incluidas la plantilla física, el personal, las reglas, los ordenamientos y la deno-
minación de las poblaciones objeto, afecta de tal manera los resultados de una
intervención planeada que el monitoreo de la entrega de las intervenciones casi
siempre se debe hacer junto con la valoración de la repercusión.
Cabe destacar que los efectos enmascaradores de la intervención y de la
medición están más relacionados cuando el programa es incompleto. Una inter-
vención eficaz que produce resultados significativos tiende a superar a aquellos
que provienen de los efectos de la entrega y medición. Así, cuando una interven-
ción es deficiente, uno debe preocuparse particularmente acerca de si los efectos
o su carencia son resultado de la suposición, de la confiabilidad y de otros errores
en la medición.
OPCIONES EN EL DISEÑO PARA
VALORAR LA REPERCUSIÓN
Otra vez, el problema estratégico al valorar la repercusión es cómo obtener
estimaciones acerca de cuál podría ser la diferencia entre dos condiciones: una en
la cual la intervención esté presente y otra en la cual esté ausente. En teoría, la
condición ausente debería ser idéntica en todos los aspectos a la condición pre-
sente, libre de intervenciones. Existen varios enfoques alternos que varían en
OPCIONES EN EL DISEÑO 145
efectividad, aun cuando todos implican establecer "controles". A continuación se
mencionan estos enfoques y se analizarán detalladamente en los dos capítulos
siguientes:
Controles aleatoríos. Las poblaciones objeto se dividen al azar en un gru-
po experímental, y se les administra la intervención y los "controles aleato-
rios", los cuales no están sujetos a la intervención.
Controles construídos. A las poblaciones objeto que se da intervención
son confrontadas con un grupo "equivalente", llamado de controles cons-
truidos, apartados de la intervención.
Controles estadísticos. Las poblaciones objeto partícipantes y no partici-
pantes son comparadas, y se asientan las constantes diferencias estadístí-
cas entre ambos grupos.
Controles reflexívos. Las poblaciones objeto que reciben la intervención se
comparan entre sí, medidas antes de la intervención.
Controles genérícos. Los efectós de la intervención entre las poblaciones
objeto se comparan con normas establecidas respecto de los carnbios típi-
cos que ocurren en la población objeto.
Controles espectro. Las poblaciones objeto que reciben la intervención se
comparan con los juicios de expertos, los administradores del programa
y/o los participantes en quienes los cambios de la población objeto son
"ordinariamente esperados".
Nótese que las alternativas señaladas no son excluyentes mutuamente. Los
controles aleatorios se pueden comparar con grupos experimentales, mlentras que
los controles estadístícos también se pueden emplear; a su vez, los controles cons-
truídos y los estadísticos, al margen, son difíciles de distinguir unos de otros en
la práctica.
Las altematívas no se mencionan en orden estricto de preferencia. Mientras se
usan los controles aleatorios como el rnejor método alternativo por seguir, los con-
troles reflexívos algunas veces son mejores que los construidos, y el uso de los
controles estadísticos puede ser inferior al de los controles genéricos. Las sutile-
zas de tales juicíos se describen con mayor detalle en los capítulos 6 y 7.
Cobertura parcial en oposición a cobertura total
La más severa restricción al escoger la estrategia es si la intervención en
cuestión se da o no a todos (o virtualmente a todos) los miembros de una pobla-
ción objeto. Para programas con cobertura total (como los programas total-
mente patrocínados, comunes y de largo alcance), generalmente no es posible
encontrar un grupo que no reciba la intervención, en el sentido esencial, com-
parable con los sujetos beneficiarios. En resumen, no es posible definir a un gru-
po control; en tales circunstancias, la principal estrategia disponilDle es usar
controles reflexívos y comparaciones antes y después. En contraste, las inter-
venciones que se deben probar con base en una demostración, generalmente no
se entregarán a todos en la población objeto. Por tanto, en la fase inicial, los
programas nuevos son, casi por definición, con cobertura parcial.


146 CAP. 5. ESTRATEGIAS PARA EVALOAR LA REPERCUSIÓN 147

Con toda probabilidad, ningún programa ha alcanzado nunca la cobertura

total de su población objeto intentada. Aun en el mejor de los programas, algunas
personas rehúyen participar, otras no son advertidas de que pueden participar y
aun otras son declaradas inelegibles técnicamente; sin embargo, muchos progra-
mas logran una cobertura casi total. La Social Security Administration (Adminis-
tración para la Seguridad Social), en sus pagos a los retirados, logró más del 85% 0O
.—
de las porciones elegibles de la población. sco

Como regla general, cuando los programas alcanzan cuatro o cinco unida- 0 z

C cr)
des elegibles (80% de cobertura) se dice que tienen "cobertura total" para propó- o Q)
0 ,":j.):
."-ES "C3 t) m-7„- -CS CS)
sitos del presente estudio. Cuanto rnenor sea la proporción de quienes no son cs w
E ,o) o C o
0 U
alcanzados, mayores serán las diferencias de estar entre aquellos que abarca el >
C1)
"10 8N 00)
0 9.
programa y aquellos que no la abarca. Para todos los intentos prácticos, casi o -oó> e
todos los nirios entre los seis y 14 años asisten a la escuela; aquellos que no lo o
hacen así sufren incapacidades permanentes o temporales, reciben enseñanza en o
cn
o 9.
casa de los padres o de un tutor privado o acomparian a sus familias migratorias 1.) Ci) 0
o
cle sitio en sitio. De esta nnanera, los niños que en cualquier momento no están orCi o
o us
inscritos en la escuela probablernente serán distintos de aquellos que sí lo hacen, us ps
o y«j
11> c
res o
de manera que ninguna comparación del empleo de controles estadísticos produ- -13 -C) 0 0
cls o
co)
cirá la misma sernejanza necesaria para el diseño mediante el uso de controles o o E 1 21
estadísticos, aleatorios o construidos.
s..
"e'
szs. o o. cn C--,
0
Afortunadamenté, bastantes programas con cobertura total no son uniformes s-.
0.1 (/)
1).
— -c
<ts
con el tiempo o en las localidades. Las políticas cambian y los programas con ellas. o
1.
Un administrador de la intervención también puede establecer modificaciones con o iii o
el fin de reunir nuevas condiciones o para hacer más fácil la adminístración. Así, de o o
0
1.)
o
cv
vez en vez, los beneficios de la seguridad social se han incrementado para tener en 0

cuenta las nuevas condiciones o para agregar servicios nuevos (por ejemplo, cui- 2
dados médicos). Asirnismo, se puecle dar suficiente autonomía local a los estados y .E w
a los gobiernos locales para que un programa (por ejemplo, el de ayuda a las fami-
0.)
lias con hijos depenclientes) varíe de lugar en lugar. Con las precauciones apropia- *0 tkl
das, tal "variación natural" puede proporcionar un punto de apoyo para estimar o fTf
los efectos del programa. o
Para programas con cobertura parcial, está disponible una serie de estrate-
gias. Si el programa se encuentra bajo el control del evaluador (como en progra- n7 0 0 O CIS
mas nuevos o prospectivos), la solución ideal es usar controles aleatorios: un 0 0)
u.
1-
o o
o cr,
.0
c o— C
conjunto de sujetos objetivo y potenciales se seleccionan de alguna manera y se -(3
o "co' 00 o
,o c cn .15. 0)
sortean al azar en grupos experimentales y de control. Este proceso aleatorio ase- (1)
c u /i c.
w o CO
gura la equivalencia probabilfstica de los beneficiarios que reciben la interven- > o C ‘13 o cr, > .1•••
1/1

ción, en oposición a los que no la reciben. Cuando un evaluador no puede .0 ?.; -11 co E 0.)
Cn sc"v
0 En" •s7) w w C 0
emplear el azar para formar los grupos experimental y de control o sus condicio- < < -cy < > 73 U

nes, los grupos de control construídos adecuadarnente pueden ser formados por "cs
o <o)
los sujetos objetivo no cubiertos, si se tornan las precauciones adecuadas. o
co

o
O
Tipología de los diseños -o o.
o
1. (0
para valorar la repercusión 1.0
o
cCI

o o ,
‹)

.0
El entrecruzarniento de las estrategias de recolección de datos y las caracte- ..c)

rísticas de la intervención producen una clasificación esquemática, rnostrada en o 0 0 o

o0

el cuadro 5.1, cuyos conceptos se estudiarán a continuación.


148
Experimentos aleatorios "yerdaderos"
Este tipo sólo se aplica a programas con cobertura parcial. La característi-
ca principal de los experimentos verdaderos es la asignación al azar de los tra-
tamientos a las poblaciones objeto y el manejo aleatorio de los que quedarán
fuera de ellos, constituyéndose en el grupo experimental y el grupo de con-
trol, respectivamente.
Los experimentos aleatorios verdaderos pueden variar en complejidad
como lo ilustran los ejemplos siguientes (consúltese también Boruch et al., 1978,
para una lista relativamente completa de experimentos sociales aleatorios).
1 Para medir la efectividad de las técnicas educativas de las películas de
entrenamiento usadas en la Segunda Guerra Mundial, se mostraron ver-
siones alternas de películas de entrenamiento para tomar al azar a las tro-
pas cuya comprensión de las /ecciones fue medida antes y después de la
exposición. Después se compararon las versiones (Hovland et al., 1949).
Para probar si la provisión de ayuda financiera limitada podría ayudar a
prisioneros liberados de las cárceles estatales a adaptarse a una vida civil,
400 prisioneros liberados de la prisión de Maryland fueron divididos al
azar en tres grupos experimentales: uno tuvo elegibilidad para tener 13
semanas de beneficio como desempleado; otro recibió 13 semanas de
beneficio y auxilio de trabajo, y otro más recibió ayuda de trabajo única-
mente. Un cuarto grupo no recibió nada. Los 400 ex convictos fueron
entrevistados periódicamente en los años siguientes a su liberación (Rossi
et al., 1980).
Para valorar si reducir la ansiedad de las madres en cuanto a la cirugía prac-
ticada a sus hijos resultaba, en una secuela posoperatoria, mejor para
éstos, aquéllas fueron separadas primero al azar en grupos de control y
experimental. El grupo de control recibió el cuidado "común", mientras
que el grupo experimental recibió asesoramiento y reaseguramiento cuan-
do se admitió a los niños (Skipper y Leonard, 1968).
Para probar cómo manejar mejor los casos de abuso de la esposa, la poli-
cía de Minneapolis convino en participar en un experimento al azar en el
que los casos de abuso a la esposa reportados fueron manejados al azar
en tres formas: el esposo abusivo fue arrestado y mantenido en la cárcel
toda la noche; se le solicitó abandonar el dornicilio y no regresar en 16
horas, o se intentó conciliar a los esposos (Sherman, 1980).
En el experirnento de la demanda de la vivienda disponible, una muestra
al azar de familias pobres en Pittsburgh y Phoenix se puso aleatoriamente
en uno de los 23 grupos experimentales o en el grupo control. A los gru-
pos experimentales se les ofreció una variedad de planes mediante los
cuales se subsidiaban los costos de la vivienda. Los planes variaban en
generosidad y en las condiciones bajo las cuales debían hacerse los pagos.
Cada familia participante fue estudiada durante cuatro años, con entre-
vistas periódicas e inspecciones de la vivienda (Kennedy, 1980).
De acuerdo con la complejidad, los costos de los experimentos descritos
varían ampliamente; el más costoso fue el último y el de menor costo fue el expe-
rimento realizado con los soldados de la Segunda Guerra Mundial.
149
Pormenores en el acopio de datos
Los diseños de la evaluación que se pueden aplicar a la valoración de la
repercusión también varían en los planes del acopio de datos que se emplean.
Esto se divide en dos categorías: los diseños longitudinales y los diseños de
obseryación posterior. Los primeros son aquellos en los que por lo menos se
hacen dos observaciones: una antes y otra después de poner la intervención en su
lugar. Idealmente, los datos de las observaciones adicionales en cuestión también
se usan. Los diseños de observación posterior son aquellos en los que se hace
sólo una observación después de tener lugar la intervención.
Los experimentos verdaderos más elaborados, así como los de otros dise-
ños (que se estudiarán en la sección siguiente), consisten en observaciones de
los grupos experimentales y control tomadas en distintos momentos. Muchos
de los experimentos de campo en gran escala emprendidos durante las dos déca-
das pasadas con el fin de probar los programas propuestos han sido experimen-
tos longitudinales aleatorios; por ejemplo, en los experimentos acerca de los
ingresos y su gravamen se han empleado los mismos diseños longitudinales bási-
cos, pero varían uno del otro en los géneros de tratamientos probadoss, en la lon-
gitud de tiernpo en que se dan los tratamientos de la intervención. El experimento
del mantenimiento del ingreso en Nueva Jersey (Kershaw y Fair, 1976; Rossí
y Lyall, 1976) se diseñó con ocho grupos experimentales, cada uno de los cua-
les fue ofrecido a planes de mantenimiento del ingreso ligeramente distintos,
y un grupo control. Las familias elegibles se designaron al azar a cada uno de
los nueve grupos. Cada familia participante fue estudiada durante un periodo
de tres años, tiempo durante el cual se ofrecieron beneficios a los grupos fami-
liares experimentales.
Experimentos de mayor aleatoriedad se diseñan con las medidas de resulta-
dos anteriores y ulteriores. La principal razón es mantener constantes los detalles
iniciales al principio en las poblaciones objeto en el análisis ulterior de los efectos
experimentales (la razón estadística de esto se explica con más detalle en el capí-
tulo 6). Sin embargo, en algunas circunstancias, las mediciones de las interven-
ciones previas suelen ser indefinibles; por ejemplo, los experimentos para la
rehabilitación de prisioneros, diseñados con el fin de evitar la reincidencia, se
pueden basar sólo en las mediciones de la intervención posterior, pues este fenó-
meno no se puede medir ni definir antes de abandonar la prisión. Asimismo, los
esfuerzos de la intervención hechos para reducir la incidencia de enfermedades o
accidentes tienen medidas de los resultados de la intervención previa indefinidos.
Varios ejemplos de experimentos de diseño exclusivamente posterior se dan en
el capítulo 6.
Experimentos no aleatorios con controles
construidos y/o controles estadísticos
Una gran clase de diseños para valorar la repercusión consiste en enfoques
no aleatorios, todos los cuales tienen como denominador común las compara-
ciones entre los grupos experimentales, creados de las poblaciones objeto
seleccionadas (de alguna manera) para participar en el programa (o selecciona-
das administrativamente como participantes) y de "controles construidos",

150 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
grupos de no participantes, que de alguna manera crítica son comparables con
los participantes. Tales comparaciones se pueden hacer mediante la construc-
ción de grupos de individuos objetivo no participantes (de aquí el término con-
troles construidos).
Relacionados estrechamente con los controles construidos están los contro-
les definidos mediante el análisis estadístico. Ambos son esfuerzos para aproxi-
mar a lo ideal a los controles aleatorios. Las personas que no han participado en
un programa son comparadas con las que lo han vivido, para lo cual se utilizan
técnicas estadísticas que manejan las diferencias constantes conocidas entre los
participantes y los no participantes. Por supuesto, los controles estadísticos se
pueden usar con medidas posteriores únicamente, en cuyo caso el diseño es en
realidad el de una investigación seccional cruzada, sin embargo, los controles
estadísticos se pueden utilizar con medidas anteriores y posteriores de los resulta-
dos en relación con los grupos control construidos. En resumen, la relación entre
los experimentos no aleatorios con controles construidos e investigaciones de
una tirada aún no está bien definida; sin embargo, el punto importante, es que el
razonamiento implicado en ambas es el mismo: ambas intentan estimar los efectos
netos mediante la creación de grupos control que presumiblemente representen a
los individuos objetivo potenciales que no están expuestos a la intervención. A con-
tinuación se exponen varios ejemplos de grupos control construidos.
Para estimar el efecto de la disponibilidad de viviendas en la oferta de
éstas hecha por los constructores y los terratenientes, se pusieron en mar-
cha programas diseñados con el fin de demostrar su disponibilidad en
Green Bay (Wisconsin) y South Bend (Indiana). Después de varios años
de demostración, los precios de las casas en ambas ciudades se compara-
ron con los de ciudades del Medio Oeste estadounidense (Struyk y Ben-
dick, 1981).
Los estudiantes que asistían a escuelas secundarias públicas, en una
muestra al azar de tales escuelas, fueron comparados con estudiantes que acu-
dían a escuelas privadas religiosas o seculares, para lo cual se manejaron
factores socioeconómicos constantes. La comparación se hizo para ver si
el tipo de escuelas al que se acudía tenía algún efecto en el nivel promedio
de calificaciones en áreas específicas y críticas (Coleman et al., 1981).
3. Las familias seleccionadas para admitirlas en la vivienda pública en Bal-
timore se compararon con familias que lo habían solicitado, pero que no
fueron admitidas en la unidad. Tanto las familias de la vivienda pública
como las de control construido fueron entrevistadas en un lapso de cin-
co años (Wilner et al., 1962).
¡ Algunos de estos diseños implican muchas medidas de los resultados obteni-
dos antes y después de las intervenciones; por ejemplo, un estudio reciente
mediante el cual se compararon los porcentajes mensuales de delitos en Boston,
antes y después de promulgada la ley sobre control de armas, con direcciones en
jurisdicciones comparables en los estados vecinos de Nueva Inglaterra, así como
en toda la región (Pierce y Bowers, 1979).
151
Investigaciones seccionales cruzadas
En la columna derecha del cuadro 5.1 se define a las investigaciones secciona-
les cruzadas, que son investigaciones de una muestra de las poblaciones objeto,
algunas de las cuales no han recibido tratamiento (o han recibido una variación de
éste). Las poblaciones objeto que han recibido el tratamiento se comparan con
aquellas que no lo han recibido en las medidas de los resultados de la intervención
posterior, para lo cual se utilizaron técnicas estadísticas con el fin de manejar las
constantes diferencias entre ambos grupos. Aunque los diserios seccionales cruza-
dos son de los menos costosos para estimar la repercusión, también son de los más
adecuados para completarlos rigurosamente. Por tanto, se deben emplear con
todas las precauciones que se examinarán en el capítulo siguiente.
Cuando las investigaciones seccionales cruzadas se emplean en programas
de cobertura parcial, se debe considerar una variante de los grupos control cons-
truidos; no obstante, su uso para medir la efectividad de programas de cobertura
amplia, que varían de lugar a lugar, constituye Sll única aplicación. Así, en varios
estudios se intenta medir la efectividad de la legislación sobre el control de armas,
mediante la comparación de los niveles de restricción para obtener licencias y el
uso de las armas en estados diferentes (Krug, 1967; Geisel et ai., 1969; Seitz,
1972). En este caso, el estado constituye la unidad, con las observaciones Ileva-
das a un porcentaje en varios tipos de delitos en un año específico. Nótese que
valorar la repercusión permite estimar cuántos de los efectos netos de una varia-
ción en el tratamiento se han comparado con otros. Por tanto, se puede valorar si
los planes de asistencia médica en diversos niveles de generosidad afectan o no el
uso del cuidado médico, pero no se puede decir si esta asistencia médica por sí
misma ejerce algún efecto en el consumo de cuidado médico.
Los grupos control constituidos con medidas posteriores son también muy
frecuentes. Una evaluación controversial del proyecto Head Start (Cicerelli et
ai., 1969) se basaba en la comparación de los niños en el primer grado que
habían participado en el programa a la edad preescolar con nirios de primer gra-
do con antecedentes comparables en la misma o en una escuela cercana, pero
que no habían participado. Al evaluar los efectos de las clínicas de planificación
familiar con apoyo del gobierno (Cutright y Jaffe, 1977) se siguió el mismo plan,
y contrastaron los porcentajes de nacimientos en los cOndados que tenían clíni-
cas muy activas con aquellos que presentaban clínicas menos activas.
Los problemas implicados en el diseño propio y en el análisis de investigacio-
nes de una sola vez acerca de programas existentes de cobertura total con trata-
mientos variables para cada sitio son complicados, por lo cual el tema se estudiará
con más detalle en el capítulo 6.
Análisis de series de tiempo
Los programas de cobertura total presentan problemas especialmente difíci-
les para valorar la repercusión, debido a que carecen de una población objeto no
cubierta que pudiese servir como control o producir observaciones control; no obs-
tante, si existen observaciones extensivas, extraordinarias o de contrato previo al
trabajo, acerca de las medidas de los resultados, se podrán emplear enteramente
las técnicas eficaces del análisis de series de tiempo. Con esto será posible estUdiar

152 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSICIN
el efecto de decretar la ley sobre control de armas en una jurisdicción particular,
pero sólo si el evaluador tiene tiempo suficiente para estudiar estadísticas de deli-
tos que permiten examinar aspectos relacionados con lesiones con armas. Desde
luego, para muchas intervenciones comunes tales medidas de términos largos no
existen; por ejemplo, no existen largos términos en series de tiempo detalladas con
respecto a la incidencia de ciertas enfermedades agudas, lo cual dificulta valorar el
efecto que ejerce el cuidado médico o la ayuda médica en ellas.
Aunque los procedimientos técnicos del análisis de series de tiempo es
bastante complicado, las ideas que lo sustentan son enteramente simples. La
tendencia es que el tratamiento se analice antes, de manera que se obtenga
una proyección de lo que podría haber sucedido sin la intervención. La ten-
dencia después de la intervención se cornpara luego con las proyecciones
resultantes y las pruebas estadísticas se emplean para determinar si las ten-
dencias observadas en la dirección a la intervención postertor son diferentes o
no de la proyección para inferir que el tratamiento tuvo efectos positivos; por
ejemplo, los efectos de cambiar la política de precios en el consumo de agua
se pueden estudtar rnediante el análisis de series de tiempo, al investigar la
dirección del consumo antes que la política del precio cambiara; al proyectar
la dirección del consumo del agua sobre esta base, y al comparar el consumo
actual con las proyecciones gráficas (Berk et al., 1981).
Algunas de las limitaciones del análisis de series de tíempo se detallarán en el
capítulo 7. La más seria limitación es que se necesitarán muchas observaciones
en intervenciones previas, de manera que se modele la dirección en el tiempo de
dichas intervenciones de un modo seguro (se recomiendan más de 30 puntos en
el tiempo). Por ello, el análisis de las series de tiempo generalmente se limita a lo
concerniente con los resultados, para lo cual el gobierno u otros grupos recaban
inforrnación rutinariamente y publican estadísticas.
Estudios previos y posteriores
de la cobertura tota/
Para muchos programas de cobertura total, las series de tiempo previos y
posteriores al programa o a su decreto pueden no estar disporales; en su lugar,
puede existir sólo una serie anterior al decreto. Con la adición de una medida
tomada después de que la intervención ha ocurrido (con las precauciones ade-
cuadas), aún se puede valorar la repercusión; por ejemplo, sí los oficiales del
gobierno estatal anticipan una limitación legislativa sobre el estado real de los
impuestos, pueden realizar una investigación acerca de la valoración por parte
de los residentes estatales de los servicios locales, quienes están afectados por
bajas tarifas estatales, las más de rentas públicas. Después de que la reforma ha
afectado o influido en los desembolsos para servicios locales y estatales, se
podría ernprender una seguncla investigación para medir los cambios en los nive-
les de satisfacción de los residentes.
Existen muchas dificultades con los diseños anterior y posterior, como se
verá con mayores detalles en los capítulos subsecuentes. El princípal problema es
obvio y parte de la posibilidad de confundir los factores que enmascaran la reper-
cusión del programa en cuestión.
153
Controles genéricos y controles espectro
Finalmente, en el cuadro 5.1 se muestran diseños en los que se pueden usar
controles genéricos y espectro, con el fin de desarrollar estimaciones de lo que
podría suceder sin la intervención. Debido a que no existen medidas de interven-
ción previa, no se pueden utilizar los controles reflexivos; y como todos están
cubiertos por el programa y éste es uniforme en cuanto a lugar y tiempo, no se
pueden usar los controles construidos ni los aleatorios.
Los controles genéricos consisten en estimaciones basadas en estudios de lo
que generalmente sucede en el tiempo; por elemplo, se sabe que el promedio de
edad para contraer matrimonio en Estados Unidos es de aproximadamente 22 años
para el hombre. Para evaluar un programa diseñado con el fin de cambiar los in-
centivos antinupciales de leyes sobre impuestos a los ingresos, se debe observar
cuántos cambios ocurren en el promedio de edad para contraer matrimonio por
parte del hombre después que las leyes han cambiado. Muchos constructores de
pruebas psicológicas publican "normas" que indican cuántos carnbios cabe "normal-
mente" esperar en, por ejemplo, el mejoramiento de la lectura cada año conforme
el niño aprueba los ciclos escolares elementales. Asimismo, en la Current Popula-
tion Survey (Investigación de población actual) de la U.S. I3ureau of the Census
(Oficina de censos de Estados Unidos) se podrían buscar datos acerca del prome-
dio de ingresos de las personas que desernpeñan trabajos partículares, de manera
que se estimaran los ingresos de aquellos que atienden a un programa de entre-
namiento, si no hubiesen participado en dicho programa.
El uso de grupos control genéricos está Ileno de peligros. Algunas de las nor-
mas publicadas por los diseñadores de pruebas no están basadas en investigacio-
nes realizadas cuidadosamente. Los reportes del censo publicados pueden no
ofrecer información suficiente para destacar a los individuos que serían compara-
bles con las poblaciones objeto que experimentan una intervención.
También se pueden usar los grupos control espectro, que consisten, a jui-
cio de los expertos, en los administradores del programa o en los participantes
y pueden producir estimaciones aún más frágiles acerca de si los resultados se
interpretarán como efectos netos. Mientras el juicio de los expertos puede ser
suficiente en algunos campos, el conocimiento preciso de un conjunto de nece-
sidades no está disponible para muchos programas sociales, aun para el más
experimentado de los expertos. De este modo, mientras por un lado puede
tener algún sentido confiar en la valoración de un ingeniero acerca de la seguri-
dad de diseño de un puente, puede tener poco sentido confiar en el juicio de un
penalista acerca de la efectividad de un programa de rehabilitación para un pri-
sionero en particular.
Los grupos control genérico y de espectro son los únicos disponibles para
programas uniformes de cobertura amplia, para los cuales no existen medidas de
la intervención previa. Esta clase de programas incluye programas establecidos
por muchos arios (por ejemplo, los pensionados bajo administración del Seguro
Social o la educación elemental coactiva). Por tanto, las estimaciones acerca de
lo que podrían ser los efectos de abolir tales programas se deben tratar con caute-
la, pues son grandemente especulativas.
Más aún, debido a, que los grupos control genérico y de espectro hacen estima-
ciones relativan-iente poco costosas y requieren poco tiempo, es muy tentador '
154 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
usarlos. Esto se puede hacer con relativamente poco riesgo en algunas valoracio-
nes de la repercusión: los grupos control genérico se pueden emplear para estimar
si un programa educativo es exitoso o no, para lo cual se comparan las calificacio-
nes de los aspirantes después del programa de lectura con las normas nacionales
para niños del mismo grado y que son publicadas por el diseñador de la prueba.
Asimismo, con el fin de valorar la eficacia de un programa de entrenamiento voca-
cional para adultos, se podría consultar a los expertos; sin embargo, los grupos
control genérico y de espectro se recomiendan sólo como último recurso. Las
razones para esta recomendación se dan en el capítulo 7.
TIPOS DE DATOS ÚTILES PARA
VALORAR LA REPERCUSIÓN
El análisis en la sección previa acerca de los diseños 'de la investigación ha
sido casi exclusivamente en términos de estudios cuantitativos. Si los datos reco-
lectados deben ser caulitativos o cuantitativos es un problema por separado. Los
datos cuantitativos se pueden definir como observaciones que rápidamente Ile-
van a sus representaciones numéricas por sí mismas: respuestas a cuestionarios
estructurados, registros de paga compilados por personal de oficina, cuentas de
las interacciones habladas entre los cotrabajadores, etc. En contraste, los datos
cualitativos, como los protocolos de las intervenciones no estructuradas y las
notas de las observaciones, generalmente se resumen con menor facilidad a la
forma numérica. Obviamente, estas distinciones no son rígidas ni firmes; la línea
divisoria entre ambos tipos de datos es imperceptible. Aún más, los datos cualita-
tivos se pueden transformar en datos citantitativos mediante un análisis del con-
tenido, mientras que los datos cuantitativos se pueden tratar como cualitativos
mediante la disgregación de los valores numéricos (por ejemplo, aquellos que
dan como respuestas a entrevistas estructuradas, y cada entrevista programada
se trata como una unidad).
Las ventajas y desventajas relativas de ambos tipos de datos se han debatido
extensamente en la bibliografía de la ciencia social (Cook y Reichardt, 1979). Las
críticas hechas a los datos cuantitativos desacreditan las tendencias deshumaniza-
doras de la representación numérica y afirman que se puede comprender mejor el
proceso causal mediante la familiarización estrecha con la gente y con sus proble-
mas y mediante las observaciones cualitativas resultantes. En respuesta, quienes
defienden los datos cuaniftativos replican que los datos cualitativos son costosos
para recabarlos, si se supone que deben tener una base extensiva; son objeto de
gran confusión, y por lo general contienen información que no está uniformemen-
te colectada a través de todos los casos y en todas las situaciones.
No se pueden solucionar aquí todos los debates acerca de la preferencia de
datos. Como se indicó en capítulos anteriores, las observaciones cualitativas
desempeñan papeles muy importantes en ciertos tipos de actividades evaluati-
vas, particularmente en el monitoreo de programas actuales. Sin embargo, es
verdad que los procedimientos cualitativos son difíciles y costosos de usar en
muchos de los diseños descritos en el cuadro 5.1. Sería imposible reunir un
experimento con alto rango aleatorio con observaciones cualitativas a un costo
razonable; asimismo, las investigaciones a gran escala o las series de tiempo
generalmente no se basan en tales observaciones cualitativas.
NOTAS TÉCNICAS 155
En resumen, mientras que la valoración de la repercusión de una variedad
estructurada como se muestra en el cuadro 5.1 se podría realizar cualitativa-
mente en principio, las consideraciones de los costos y el capital humano por lo
general desechan tales enfoques. Valorar la repercusión de tal manera que sea
científicamente plausible y que produzca estimaciones relativamente precisas
de los efectos netos, requiere datos que sean cuantificables y sistemática y uni-
formemente recolectados.
NOTAS TÉCNICAS ACERCA DE LAS
MEDIDAS DE LOS RESULTADOS
Tradicionalmente, la seguridad en la medición se considera como dos pro-
blemas separados: la confiabilidad y la validez (Bohmstedt, 1970). Para que ten-
ga alguna valía, la valoración de la repercusión debe reunir ambos requisitos.
Cómo seleccionar medidas
válidas de los resultados
Es difícil solucionar el problema de la validez. Una medida es válida en la
extensión en que mide lo que se intenta medir. Mientras que el concepto de vali-
dez es fácil de comprender, se dificulta probar si un instrumento particular es
válido, pues muchas variables sociales y de comportamiento no concuerdan
con las pruebas estándares existentes; por ejemplo, la validez dé una medida
que permita estimar el riesgo en los negocios, si se formula como escala de acti-
tud, podría requerir como prueba de validez alguna meclida del comportamien-
to en el grado en que un individuo eStá dispuesto a tomar acciones que podrían
ser lucrativas, pero que tarnt;ién implicarían gran riesgo.
En la práctica, hay muchas formas de medir tales actitudes; esto es, existen
muchas cuestiones diferentes que se podrían argumentar como relacionadas,
por lo menos conceptualmente, con la idea de correr un riesgo. Si hubiera una o
algunas maneras de aceptar los "mejores" métodos para medir los riesgos, las
medidas potenciales se podrían comparar con las "mejores" medidas; sin embargo,
en ausencia de esa medida ideal, la interrogante de si una medida particular o un con-
junto de medidas son válidas suele ser, materia de argumento caso tras caso.
Evidentemente, una medida válida también debe ser confiable, concepto que
se estudiará al final de esta sección; no obstante, la confiabilidad, si bien se requie-
re, es un criterio insuficiente de la validez. Una medida válida debe demostrar lo
que a menudo se nombra en la bibliografía acerca de la evaluación como cons-
trucción de la validez (Campbell y Stanley, 1966; Cook y Campbell, 1979). En
relación con la confiabilidad, ésta incluye los criterios siguientes:
1. Congruencia con el uso. Una medida válida de un concepto debe ser con-
gruente con el trabajo que ha emPleado este concepto. En consecuencia,
una medida de la "adopción de la innovación" no debe contradecir las
maneras usuales en que el término "adopción" se ha utilizado en los estu-
dios previos de innovación.
156 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
Congruencia con las medidas aitemas. Una medida válida debe ser con-
gruente con las medidas alternas empleadas efectivamente por otros
autores; debe producir aproximadamente los mismos resultados que
otras medidas propuestas o, si éstas son diferentes, deben tener buenas
razones conceptuales para ser de este modo.
Congruencia interna. Una medida válida debe ser congruente interna-
mente; es decir, si se utilizan varias cuestiones para medir un concepto,
las respuestas a ellas deben estar relacionadas unas con otras como si fue-
sen medidas alternas del mismo tema.
Decisión de medir
Es muy crítico y a menudo no fácil decidir qué tipo de medición usar de
modo que sea válida (Blalock y Blalock, 1968; Bohrnstedt, 1970); por ejemplo,
en un programa de planificación familiar se podrían considerar las alternativas
siguientes para medir los resultados, cada una de las cuales cumple con los crite-
rios señalados en líneas anteriores:
La proporción que adoptan las prácticas contraceptivas efectivas.
La proporción de niños deseada.
La proporción de niños nacidos para completar una familia.
Las actitudes hacia familias numerosas.
Estas cuatro posibilidades no agotan todas las medidas que se pueden revisar
razonablemente como adecuadas respecto de las metas para disminuir la fertili-
dad. Aún más, varían en términos de la facilidad para medir y en los costos para
su recolección de datos. Así, aunque la reducción en el promedio del número de
niños que nacen para "completar" una familia (esto es, los sobrepartos pasados)
pueda ser la mejor expresión de la meta eventual cle un prograrna de fertilidad, el
uso de esa medida para definir los resultados implica una evaluación a largo pla-
zo, lo cual representa mucho costo y complejidad. En contraste, parece más fácil
medir la actitud hacia las familias numerosas, para lo cual se supone que un pro-
grama efectivo diseñado con el fin de disminuir la fertilidad se refleja en una baja
aprobación hacia este tipo de familias.
Las medidas alternas de los resultados se pueden considerar como expresio-
nes más o menos directa-s de las metas del programa. Dado lo que se conoce acer-
ca de las pequeñas y erráticas magnitudes de las relaciones entre la actitud y el
comportamiento, una desviación hacia abajo en el promedio del deseo de tener
una familia numerosa probablemente es una medida remota de las metas del pro-
grama para disminuir la fertilidad. Los cambios en este tipo de actitudes suelen
ocurrir sin una variación correspondiente en cuanto a las prácticas de la fertilidad.
En otras palabras, una buena medida de los resultados es aquella que es facti-
ble de emplear, dadas las limitaciones de tiempo y dinero, y más o menos relacio-
nada directamente con las metas del programa y, por tanto, válida. De las cuatro
alternativas mencionadas para medir la disrninución, los cambios en las prácticas
contraceptivas pueden ser, en balance, la rnejor opción para una medida; se pue-
den estudiar durante periodos relativamente cortos; existen amplios anteceden-
tes para adecuar las medidas en la bibliografía acerca de la investigación previa,
NOTAS TÉCNICAS 157
y, en términos de lo que se sabe respecto del comportamiento de la fertilidad, los
cambios en las prácticas contraceptivas están relacionados directamente con la
fertilidad (consúltese el anexo 5.1 para estudiar cómo una variedad de medidas
de los resultados se han establecido para un programa diseñado con el objeto de
mejorar el uso de las clínicas de salud pública en cuanto a las prácticas de salud
preventiva en niños).
Medidas aproximadas
La medida de un resultado empleada como sustituto de una meta no medi-
da directamente se Ilama medida aproximada. La selección de una medida
aproximada es una decisión crítica. Idealmente, una medicia aproximada debe-
Anexo 5.1. Medición de los resultados
del programa
En an prognima para incaemlentar el uso de las clínicas de salud pública 'por
,.personas jóvenes para el ctuclado preventivo de la s alud en vez del cuidado episódt-
co en cpndiclones cle emef gencia, los resultados se inidieron de manerasdiversas, a
Sater:
1. Medidas clel xito clel programa cie inmunizzlción de la clínica:
Promcclio de edad en que el paciente recibió cada una cle las siete Mmu-
nizaciones distintas.
Porcentaje (le pacientes que recibieron su primera inmunización contra
la pollo antes de los tres meses de edad.
Porcentale de pacienteS qup recibieren sus inmunizaciones totallnente
antes de las - 30rnéses 'de iedád.
2. Mecficlas clel éxito clínico para reducir l incidencia de acc dentes y enferme-
dades:
Porcentaje cle incremento o disrninución en episodios aguclos.de acci-
dentes y enferineclades, descle el priniero hasta el segundo años de ins-
cripción en la clínica.
3 1\le,lidas en la continuidad ciel cui(L)do jaidico de la salud:
al Rango de citas cancelaclas por ef paciente con la clínica.
Rango de launtualidact. Y-
c) Eango de retorno del paciente para seguir con sus visitas después del
tratarniento inicial.
Eft..1,
Hu c iirteliCt n periiI,11e Sf. E. StnY, ns y O. Hicks "An E yii,itorl,f the
of el fdren 1 \'outh;EIrcij:
e0"' en Ekifith Serf q ,ns.f,:,,fort, ru 5 1 rut r fn 1973


158 CAP. 5. ESTRATEG1AS PARA EVALUAR LA REPERCUSICIN NOTAS TÉCN1CAS 159

ría estar relacionada estrechamente con una medida "directa" de la meta de un Detectar tal efectividad requiere una gran muestra, lo cual no sería el caso cuan-
proyecto, pero también debe ser más fácil de obtener. En la práctica, es frecuen- do se usan medidas más confiables.
te aceptar que las medidas aproximadas son menos que ideales. Mientras no El efecto de la no confiabilidad se indica en la tabla 5.1, en la que dos medi-
haya reglas firmes para seleccionar las medidas aproximadas pertinentes sólo das de diferente confiabilidad se comparan en una muestra hipotética de una
existirán lineamientos. intervención educativa diseñada para aumentar los niveles en los logros cognos-
Primero, para las metas y los objetivos medibles en principio pero muy citivos en nirios con un pasado desaventajoso. El resultado "verdadero" del pro-
costosos de medir, la investigación previa puede incluir estudios que prueben grama hipotético-se muestra en la parte I. En el grupo participante, 40 de los 50
la valía de las alternativas; por ejemplo, se puede estar preocupado con res- sujetos (80%) alcanzaron un aprovechamiento de nivel alto para el fin del pro-
pecto a si los trabajos obtenidos por personas que completaron programas de grama, pero sólo 25 de los 50 (50%) de los que no participaron alcanzaron esos
entrenamiento son mejores que aquellos que los entrenados pudiesen hallar niveles. Estos resultados "verdaderos" se podrían observar si se hubiese tenido
por otros medios. En principio se puede medir la calidad de los trabajos, una medida perfectamente confiable del aprovechamiento cognoscitivo.
mediante alguna combinación de ingresos, proporciones de salarios, estabili-
dad en el empleo, condiciones de trabajo u otros atributos medibles del traba-
jo. Varias medidas aproximadas razonables se pueden emplear en vez de este Tabla 5.1. Ejemplo hipotético de efectos de atenuación en las medidas desconfia-
procedimiento largo y costoso: los ingresos y el porcentaje de salarios son bles de los resultados de una intervención
buenas medidas aproximadas, pues investigaciones previas han demostrado
que tales atributos del trabajo están correlacionados altamente (esto es, los I. Resultados verdaderos sin la medición del error:

trabajos mejor remunerados tienden a tener mejores condiciones de trabajo, Participantes No participantes
Asimilador alto 40 (80%) 25 (50%)
más seguridad en el empleo, etc.). Asimilador bajo 10 (20%)
Segundo, las metas y los objetivos que se espera alcanzar en un futuro lejano 25 (50%)
Efecto verdadero del programa = 30%
se pueden representar por medidas aproximadas que constituyan pasos interme-
dios hacia esas metas; por ejemplo, mientras que el objetivo de un proyecto acer- Comparación de porcentajes correctamente clasificados sobre la medición de la asimi-
ca de la fertilidad familiar es disminuir la proporción del tamaño familiar, la meta lación que varía en confiabilidad:
se puede medir definitivamente sólo ddspués que las mujeres de esas familias han Medición observada Medición observada
pasado sus años con posibilidades de tener hijos. Las medidas aproximadas que para la medida A para la médida B
se centren en la adopción de prácticas que reduzcan la fertilidad completa son Alta Baja Alta Baja
razonables sustitutos (por ejemplo, la adopción de prácticas contraceptivas y los Asimilador alto 60% 40% 90% 10%
Asimilador bajo 40% 60% 10% 90%
cambios en el deseo expresádo hacia un tamario fanniliar).
La selección de variables aproximadas en primera instancia debería ser guia- III. Medición de resultados mediante las mediciones A y B:
da por el criterio de validez señalado en líneas anteriores; además, las variables Medición A Medición B
aproximadas y otras medidas deberían ser confiables; este tema se estudiará a No partici- No partici-
continuación. Participantes pantes Participantes pantes
28 (56%) Asimilador alto 25 (50%) 37 (74%) 25 (50%)
Asimilador bajo 22 (44%) 25 (50%) 13 (26%) 25 (50%)
Efectos de la medición = 6% 24%
Confiabilidad de las medidas
de los resultados

Una medida es confiable en el grado en que la aplicación de esa medida a una
situación determinada produce los misMos resultados repetidamente, si la situa-
ción en cuestión no cambia entre las medidas. Así, la medida de la altura y el peso
entre los adultos mediante el uso de aparatos estándares se considera más confia-
ble que la medida de la inteligencia. Esto es, el uso de aparatos de medición para
la altura y el peso, en manos de personas competentes, producirá menor variabi-
lidad en las medidas de una administración a otra, cornparada con la que resulta-
ría de la repetida aplicación de varias pruebas de inteligencia.
El efecto de la no confiabilidad en la medida oscurece las diferencias reales
cuando existen. Una intervención verdaderarnente efectiva cuyos resultados se
miden de manera poco confiable, parecerá ser menos efectiva de 16 que es.
La confiabilidad de dos medidas, A y B, se compara en la parte II: la medida
A es menos confiable que la medida B. Nótese que cuando un niño verdadera-
mente asirnila en un nivel alto, la medida A muestra al individuo correctamente
clasificado el 60% de las veces; cuando un niño asimila en un nivel bajo, la medi-
da A lo rnuestra como tal sólo el 60% de las veces. En contraste, la figura corres-
pondiente a la medida B, la medida más confiable, es de 90%. En resumen, la
medida A produce error en la clasificación en el 40% del tiempo, mientras que
la medida B lo hace sólo el 10% de las veces.
Los diferentes efectos de la aplicación de dos medidas no confiables de los resul-
tados de la intervención hipotética se muestran en la parte inferior de la tabla 5.1
(parte Ill). En la medida A, se encuentran 28 asimiladores con un nivel alto, 56% del
160 CAP. 5. ESTRATEGIAS PARA EVALUAR LA REPERCUSIÓN
grupo de participantes: (60% de 40 = 24) + (40% de 10 = 4) o 28. Con la medida B
se pueden obtener 37 asimiladores con nivel alto, o sea, 74% del grupo experimen-
tal: (90% de 40 = 36) + (10% de 10 = 1) o 37. Mediante el empleo de la medida A
se tiene un contraste entre los participantes y el grupo control de sólo 6% más de
asimiladores con nivel alto en el grupo participante, mientras que con la medida B el
contraste es de 24%. Evidentemente, la medida B es más confiable, pues se apega
más a demostrar la extensión en que el programa es n-iás efectivo.
Nótese que ni la medida A ni la B dan una estimación segura de los efectos del
programa hipotético; más bien, ambas subestiman los verdaderos efectos conside-
rablemente. Este problema se conoce como atenuación debida a la no confiabili-
dad y está bien documentado (Bohrnstedt, 1982; Nunnally y Durham, 1975). En
muchos casos, no es posible erradicar completamente el error en la medida, aun-
que se pueden efectuar ajustes en los resultados que tengan en cuenta tales errores,
si el grado de no confiabilidad se conoce. Con el ejemplo mostrado en la tabla 5.1
interesa destacar la importancia del cuidado tanto para la construcción como para
la aplicación de los instrumentos de medición.
ESTRATEGIA "CORRECTA" PARA
VALORAR LA REPERCUSIÓN
Aunque en este capítulo se ha destacado que los experimentos azarosos pro-
porcionan las mejores estimaciones de los efectos netos del programa, es necesario
insistir en que el enfoque preferido en una circunstancia particular depende de
múltiples factores contextuales. Para algunos programas, los experimentos alea-
torios son sencillamente inaplicables. En otras circunstancias, el tiempo, los fon-
dos y las habilidades harán imposible un enfoque experimental. Con el cuidado
apropiado, los otros diseños descritos en este capítulo se pueden usar con consi-
derable confianza. En los capítulos 6 y 7 se dan ejemplos de todos esos enfoques
y se detallan sus ventajas y sus limitaciones.
6
Diseños comparativos
para valorar
la
repercusión
Aunque los experimentos aleatorios y controlados se presentan en este capítulo
como los mejores diseños de investigación para valorar las repercusiones netas de las
intervenciones, también se reconoce que los controles estadísticos y construidos son fre-
cuentemente los diseños prácticos alternos que pueden producir estimaciones útiles si el
evaluador es cuidadoso en reconocer sus limitaciones. En este capítulo se dan muchos
ejemplos de los usos de los tres enfoques comparativos, las circunstancias específicas en
las cuales cada uno es más aplicable y se identifican algunos de los riesgos asociados con
cada uno; se pone especial atención al empleo de los controles estadísticos, un método
apropiado para valorar programas en curso recomendado en combinación con las evalua-
ciones en las que se emplean controles aleatorios o construidos.
CONCEPTOS PRINCIPALES
Grupos control: Grupo de individuos objetivo potenciales no tratados
que se comparan con los grupos experimentales en
cuanto a las medidas de los resultados al valorar la
repercusión.
Grupos control construidos: Grupos de individuos objetivo no tratados que se
seleccionan por métodos no aleatorios comparables
en aspectos cruciales a los individuos objetivo en los
grupos de intervención.
Estudios seccionales cruzados: Estudios en los que los datos se recaban en un punto
del hempo.
Grupo experimental: Grupo de individuos objetivo potenciales a quienes se
da una intervención y cuya medida de los resultados
se compara con la de los grupos control.
Igualación: Construcción de grupos control mediante el método
de hallar individuos que sean idénticos en ciertos
aspectos a los de las personas en los grupos experi-
mentales.
Coberturas parcial y total: Grado en que un programa abarca a alguno o a todos
los individuos objetivo intentados.
161
162 VALORACIÓN DE LA REPERCUSIÓN 163
Sorteo: Selección al azar en la asignación de individuos objeti-
vo potenciales para los grupos experimental y de
control.
Controles estadísticos: Uso de técnicas estadísticas para mantener constantes
las diferencias entre los grupos de tratamiento y de
control.
Los objetivos de este capítulo y el siguiente son describír de manera más
detallada los diseños para valorar la repercusión mencionados en el capítulo 5
y demostrar córno se usan en la valoración actual de la misma. Como el eva-
luador siempre trabaja con limitaciones de tiempo, presupuesto, contexto
dentro del cual el programa realiza y limitaciones técnicas, las soluciones
actuales alcanzadas en situaciones específicas siempre son cercanas a los
compromisos entre lo ideal y lo factible.
No se pueden escribir reglas rígidas y firmes acerca de cuándo y cómo com-
prometerse, aunque se pueden establecer algunos lineamientos generales: pri-
mero, cuanto más importante se considere un programa, mejor deberá ser el
diseño de la investigación. Por cierto, puede no tener ningún sentido evaluar
con cierto cuidado programas ideados con el fin de no tener la menor repercu-
sión o costos bajos relacionados con él (Cronbach et al., 1980; Rossi, 1979).
En contraste, los programas que se espera sean muy costosos y potencialmente
peligrosos a los grupos objetivo u otros se deberían evaluar con tanta precisión
como sea posible.
En el pasado, algunos comentaristas, incluido uno de los autores (Rossi,
1979), han establecido que la valoración de la repercusión no se debería hacer si
la información resultante probablen-iente no sea usada en la toma de decisiones
ulterior o en la administración del programa. Entonces, si cierto programa ha
sido ampliamente apoyado por quienes toman decisiones, lo cual hace muy
improbable que los hallazgos al valorar la repercusión puedan cambiar la magni-
tud o la dirección del apoyo, no se justifica la valoración de la repercusión, sólo
por el interés de conservar el recurso. Mientras que generalmente no se acepta por
completo esta posición, la posibilidad de conservar los recursos es bastante persua-
siva. Corno quiera que sea, el evaluador debe reconocer que el uso que se debe dar
a la valoración de la repercusión condiciona el cuidado y los recursos que deberían
dedicarse a la misma.
Cabe señalar un aspecto importante acerca de las unidades de análisis. El len-
guaje empleado en este capítulo permitirá al lector creer que las valoraciones de la
repercusión se realizan sólo con personas, como individuos objetivo de la interven-
ción intentada. No se desea dar tal impresión, como el lector pudo darse cuenta en
los capítulos anteriores. Es fácil escribir como si sólo los individuos fueran las
poblaciones objeto, pero, como se señaló en el capítulo 3, las intervenciones tam-
bién se pueden dirigir a las viviendas, familias, vecíndarios y comunidades,
empresas y otras organizaciones, condados, estados y aun naciones. La lógica de
la valoración de la repercusión en general, no cambia conforme uno actúa de un
género de unidades a otro, aunque las dificultades para realizar investígaciones
de campo pueden incrementarse con el tamario y complejidad de la unidad; por
ejemplo, los factores de confusión que afectan a los estudiantes individuales tam-
bién influyen en las clases, por tanto, el mismo diseño formal puede ser necesario
para eliminar las influencias de confusión en los resultados brutos. No obstante,
mientras el tamaño de la muestra en dos casos está constituida por estudiantes y
clases, respectivamente, la recolección de datos en una muestra de 200 estudian-
tes suele ser más fácil y considerablemente menos costosa que acumular datos
similares en 200 clases.
La selección de unidades de análisis no es arbitraria, sino determinada por la
naturaleza de la intervención implicada. Así, un programa diseñado para efectuar
a las comunidades (por ejemplo, mediante libretas de concesiones a las municipali-
dades locales) requiere que las unidades estudiadas sean las municipalidades. La
valoración de la repercusión de las libretas de concesiones realizada mediante la
cornparación de dos municipalidades tiene una muestra doble, completamente
inadecuada por muchos motivos, aun si se supone que las observaciones se pue-
den hacer en muestras muy grandes dentro de cada comunidad.
Al evaluador que intenta diseñar la valoración de una repercusión se le
advierte que comience por identificar las unidades designadas como objetivos de
la intervención al respecto, y que, por tanto, se especificarán como unidades
de análisis. En algunos casos, definir las unidades de análisis no presenta
ambigüedad; en otros, la decisión puede requerir evaluar cuidadosamente las
intenciones del programa y las de los diseñadores. En otros casos, las inter-
venciones pueden dirigirse a varios tipos de objetivos: un programa de subsi-
dio de la vivienda puede ser diseriado para aumentar el grado de la habitación
de familias pobres y el mercado de vivienda de las comunidades locales. Aquí,
el evaluador quizá desee diseñar la valoración de la repercusión de tal manera
que consista en muestras de casas individuales dentro de muestras de las
comunidades locales.
VALORACIÓN DE LA REPERCUSIÓN DE
PROGRAMAS CON COBERTURA PARCIAL
Por programas de cobertura parcial se entienden aquellos que deben pro-
barse con base en el juicio o que no abarcan (por cualquier motivo) a todos o
virtualmente a todos los miembros de la población que se intenta beneficiar.
Principalmente en estas circunstancias, es posible hacer comparaciones entre
los grupos de personas que reciben los servicios de la intervención y aquellas
que no lo reciben.
Grupos control y grupos experimentales
Se pueden conceptualizar los resultados netos como las diferencias entre las
personas que han participado en un proyecto y los individuos objetivo compara-
bles exactamente que no han participado. Como la misma confusión se podría
presentar en ambos grupos, los dos podrían estar sujetos a cambios endógenos, a
la deriva secular y a los otros factores de confusión mencionados en el capítulo 5.
La única diferencia entre los dos grupos se podría deber a la intervención y a los
efectos de suposición. Comúnmente, el grupo contrastante se Ilarna grupo con-
trol, mientras que aquellos que participan en la intervención se denominan gru-
pos experimentales.
164 CAP. 6. DISEÑOS COMPARATIVOS
Con base en la fórrdula descrita en el capítulo 5, la estimación de los efectos
netos de un proyecto en términos de los grupos control y experimentales se pue-
de demostrar como sigue:
Efectos netos = [Resultados brutos de un grupo experimental]
— [Resultados brutos de un grupo control]
+ [Efectos estocásticos]
Desde que los efectos del proceso estocástico se pueden estimar mediante el
empleo de pruebas estadísticas" apropiadas, utilizar los grupos control junto con
la estimación de los efectos estocásticos proporciona aproximaciones cercanas a
los efectos netos del proyecto.-
Un elemento crítico para estimar los resultados netos es la identificación y
selección de grupos control y experimentales comparables. La comparabilidad
entre los grupos control y experimentales significa, en términos ideales, que ambos
deben ser idénticos, excepto en lo que se refiere a su participación o no en el progra-
ma por evaluar. En términos más específicos, la comparabilidad requiere:
Composición idéntica: los grupos control y experimentales deben conte-
ner combinaciones similares de personas u otras unidades.
Experiencias idénticas: los grupos control y experimentales deben
experimentar sobre el periodo de observación el misrno próceso rela-
cionado con el tiempo: la maduración, los cambios o "derivaciones" en
el tiernpo, etcétera.
Predisposiciones idénticas: los grupos control y experimentales deben
estar equitativamente dispuestos hacia el proyecto; esto es, las tendencias
de autoselección deben ser idénticas en ambos grupos.
Ejecución de las evaluaciones
a los grupos control
Idealmente, la comparabilidad de la clase más precisa se podría lograr si se
comparara cada individuo objetivo en el grupo experimental con un individuo
objetivo idéntico en un grupo control, lo cual, desde luego, es imposible. No hay
dos individuos, familias u otras unidades que sean exactamente comparables en
todos los aspectos.
Afortunadamente, la comparación uno a uno no es necesaria. Sólo se requie-
re que los grupos experimental y de control sean idénticos en términos de agrega-
ción y en los aspectos pertinentes para los efectos intentados del programa que
se prueba. De esta manera, al valorar la repercusión no importa que los miem-
bros de los grupos control y experimental difieran en cuanto al lugar de nacimiento o
varíen ligeramente en edad, pues dichas diferencias no son estadística ni sustantiva-
mente significativas. Una de las implicaciones más importantes de exposición es que
la valoración de la repercusión requiere más que sólo unos cuantos casos. Cuan-
to mayor sea el número de unidades estudiadas (dado el método de selección se
estudiará en los párrafos siguientes), más probable será que los grupos control y
experimental sean estadísticamente equivalentes. En resumen, ios estudios en
VALORACIÓN DE LA REPERCUSIÓN 165
los que sólo una o pocas unidades están en los grupos control experimentales
rara vez, si no es que nunca, son suficientes para va/orar la repercusión.
Mientras que en el caso anterior los grupos control o de comparación están
constituidos por individuos objetivo que "no reciben tratamiento", no es éste
generalmente el caso. A menudo, los individuos objetivo en los grupos control
reciben programas de tratamiento existentes o tratamientos alternativos; por
ejemplo, una evaluación que prueba la efectividad de un programa de nutrición
puede tener un grupo control o de comparación constituido por personas que
sigan una amplia variedad de prácticas nutricionales, algunas de su propio pro-
yecto y otras dirigidas por su doctor. Todo esto significa que la efectividad del
programa bajo evaluación se estima en relación con si el tratamiento o la combi-
nación de tratamientos son experimentados por los individuos,objetivo control o
de comparación. Otra variación en el diseño consiste en comparar de manera
más sistemática dos o más programas. Puede haber varios grupos experimenta-
les, cada uno de los cuales siga un régimen nutricional particular, con los efectos
netbs de cada estimación relacionada con los otros que son probados.
Al respecto, cabe señalar lo siguiente: mientras una distinción útil entre los
grupos control y de comparación se hizo en párrafos anteriores, en muchos de
Ips"siguientes estudios la distinción no es pertinente. Por tanto, se empleará el
término grupo control para hacer referencia a los grupos control y de compara-
ción, excepto en los casos en que la distinción sea importante.
Existen varios enfoques para construir o identificar a los grupos control com-
parables y a los grupos experimentales, que varían en factibilidad, costo, claridad
y validez de los hallazgos. Desafortunadamente, los mejores enfoques, desde el
Punto de vista del criterio científico pueden ser los más difíciles de ejecutar. En
términos generales, tales enfoques siguen una de las cuatro estrategias o diseños
de investigación:
1 Hay varios diseños experimentales en los que las poblaciones objeto se
asignan por sorteo, ya sea los grupos experimentales que reciben la
intervención o a los grupos control a quienes se niega la intervención
—método de experimentación al azar (Mendenhall, 1968; Namboodiri
et al., 1975; Riecken y Boruch, 1974; Winer, 1971).
Los participantes en el programa pueden ser contrastados con los que no
participan que son seleccionados por comparación en aspectos impor-
tantes —método de comparación de grupos no aleatorios.
Los participantes pueden ser comparados con los que no lo son mediante
el control estadístico de las diferencias conocidas entre los participantes y
los que no lo son —método de cqntrol estadístico.
Se puede seguir una estrategia mixta en la que los grupos control aleato-
rios y los que no lo son y los grupos control estadístico se empleen juntos.
- En las secciones siguientes se estudiarán los diseños de la evaluación en
los que existe sólo una intervención que se pruebe en su repercusión. Como se
kridicó-en párrafos anteriores, esta restricción no es inherente al diseño, sino
slrnplemente se hace por conveniencia para la exposición. El diseño se puede
ampliar fácilmente para incluir simultáneamente la prueba de las diversas
intervenciones
- alternativas (o la combinación de intervenciones). En realidad,
166 CAP. 6. DISEÑOS COMPARATIVOS
hay mucho que ganar en cuanto a la manera de contar con información útil
para los políticos y administradores del proyecto si se emprenden evaluacio-
nes de las intervenciones comparativamente, de tal modo que una interven-
ción dada se compare no sólo con la condición en la que no se realiza una
intervención, sino también con intervenciones alternativas. La valoración de
la repercusión de intervenciones -múltiples proporciona más información en
problemas como de qué manera mejorar los tratamientos, solos o en combina-
ción, para maximizar los efectos en cierto nivel de fondos, lo cual se estudiará
con mayor detalle en la sección siguiente.
EL AZAR EN EL ESTABLECIMIENTO
DE LA COMPARABILIDAD
La comparabilidad entre los grupos experimentales y control se establece
mejor si se coloca por sorteo a los rniembros de la población objefivo a los grupos.
Si una persona (u otra unidad) se ofrece al tratamiento o se deja sin éste es una
cuestión que se decide al azar. Cabe señalar que "sorte,ar" no significa capricho; más
bien, el sorteo de colocación de las personas a los grupos experimental o control
requiere extremo cuidado para asegurar que cada unidad en una población obje-
tivo tenga la misma oportunidad que cualquiera otra de ser seleccionada, ya sea
para los grupos experimental o control (Fisher, 1935; Rieken y Boruch, 1974).
Como los grupos experimental y control resultantes sólo difieren de cual-
quier otro por fortuna, cualquier proceso puede competir con un tratamiento
para producir resultados que estén presentes en los grupos experimental y con-
trol en la misma extensión, excepto por las fluctuaciones de la fortuna. Por
ejemplo, las personas que más probablemente buscasen el tratamiento si se les
ofreciera con base en una elección libre quizá estarían equitativamente en los gru-
pos experimental y control. Por ende, el factor de confusión en la autoselección
tiende a estar presente tanto en un grupo como en otro, y no puede afectar si se
observan resultados diferentes entre ambos grupos.
De lo anterior se infiere que el sorteo es la manera más segura de obtener
comparablidad entre los grupos experimental y control. Por supuesto, aun si se
piensa que las personas sean colocadas al azar, los grupos experirnental y control
nunca serán exactamente comparables en cualquier hecho particular; por ejem-
plo, las fluctuaciones en la fortuna pueden ubicar a más mujeres en los grupos
control que en los experimentales; pero si la ubicación por sorteo se hiciera
varias veces, estas fluctuaciones podrían tener un promedio de cero. Además, la
proporción esperada de veces que una diferencia de cualquier tamaño se puede
encontrar en una gran serie de sorteos es factible de calcular de modelos estadísti-
cos apropiados. Cualquier diferencia en los resultados entre los grupos sorteados
experimental y control se puede comparar con lo que se espera con base en la for-
tuna (esto es, generada sólo rnediante el proceso de sortear). Así, se puede formar
un juicio acerca de si una diferencia específica se debe simplemente a la fortuna o
si podría representar los efectos del tratamiento. Como en el tratamiento de
experimentos bien conducidos la fortuna es. la única diferencia entre los gru-
pos experimental y control, tales juicios pueden Ilegar a ser la base para dis-
cernir la existencia de un efecto neto. Los procedimientos estadísticos para
EL AZAR EN EL ESTABLECIMIENTO 167
efectuar tal cálculo son muy accesibles y se pueden encontrar en cualquier tex-
to relacionado con la inferencia estadística (por ejemplo, Namboodiri et al.,
1975; Hanushek y Jackson, 1977). También se estudiarán en relación con los
controles espectro, reflexivos y genéricos en el capítulo siguiente.
Significado del sorteo
Es importante no confundir el sorteo, en el sentido que se le dio en el apar-
tado anterior, con el muestreo al azar. Sortear significa tomar un conjunto de
unidades y ubicarlas en un grupo experimental o control, mediante el empleo
de algún procedimiento fortuito. El muestreo al azar consiste en seleccionar
unidades de tal manera que no haya sesgos para formar la muestra de una
población (Sudman, 1976; Kish, 1965). Se puede usar el muestreo al azar para
seleccionar a un grupo de estudio de la población objetivo y luego, por sorteo,
ubicar cada miembro de la muestra resultante ante las condiciones experimenta-
les o de control, con base fortuita. Aunque el uso de muestras al azar para formar
un conjunto de individuos objetivo que luego se sortean para formar grupos
experimentales y control es un procedimiento altamente recomendado, en
muchos experimentos aleatorios se emplean grupos de individuos objetivo que
no son el resultado del muestreo azaroso (esto es, no representa necesariamente
una población determinada).
Procedimientos para sortear
El sorteo es técnicamente fácil de realizar. En muchos libros de texto elemen-
tales acerca de estadística o muestreo se incluyen tablas de números al azar.
Muchos paquetes de computadoras estadísticos pueden generar rápidamente
núnneros fortuitos. Incluso, algunas de las mejores marcas de computadoras pre-
sentan generadores de núrneros fortuitos incluidos en sus sistemas. Los clásicos
volados o los dados también pueden utilizar como medios fortuitos, siempre y
cuando no tengan sesgos (consúltese Riecken y Boruch, 1974, para un estudio
de cómo ejecutar el sorteo; para procedimientos alternativos, consúltense . Con-
ner, 1977; Goldman, 1977; Roos et al., 1977).
Un diseño típico de un experimento al azar se puede representar mediante la
siguiente modificación de la fórmula de valoración básica de la repercusión:
Efectos netos = Puntuaciones de los resultados y sus medidas después de efectuada la
intervención para grupos experirnentales sorteados
— Puntuaciones en las medidas de los résultados después de la Mterven-
cion en grupos control sorteados (no tratados)
+ Efectos estocásticos
Nótese que la fórrnula incluye sólo las medidas ulteriores o los resultados. En
otra sección de este capítulo se considerará lo que áe puede ganar o perder al
emplear sólo medidas ulteriores o por tener medidas múltiples antes y clespués
de la intervención.

168 CAP. 6. DISEÑOS COMPARATIVOS
En el cuadro 6.1 se muestra el diagrama de un experimento sencillo con
control al azar anterior y posterior, indicando la lógica que apoya la estima-
ción de efectos netos que se pueden calcular. Por supuesto, las diferencias
entre los grupos experimental y control, E — C (E menos C), contiene necesa-
riamente los efectos estocásticos descritos en el capítulo 5. Por ello, se
podrían aplicar pruebas de inferencia estadística con la finalidad de estimar si,
en un caso particular, E — C puede ser tan grande que probablemente no sea
un error estocástico, o sea, si E — C es mayor que uno, cabe esperar fluctua-
ciones en la fortuna cuando el verdadero valor de E — C es cero. Las pruebas
estadísticas convencionales para antes y después de los experimentos inclu-
yen el análisis de la varianza y las pruebas de t (por ejemplo, consúltense Nam-
boodiri et al., 1975; Hanushek y Jackson, 1977, y Winer, 1971, para detalles
acerca de la computación e interpretación de pruebas estadísticas estándar).
Cuadro 6.1. Representación esquemática de un expenmento aleatorio
MedicIón de los resultodos
Antes del Después def
programa prograrna Diferencta
Grupo experimental E2 E E2
Grupo control C I C2 C = C2 — C,
Efectos netos del programa = E — C
Donde:
= medidas de la meta de la intervención antes de instituir el
programa, de grupos experimental y control, respectivamente
E2,2
C = medidas de la meta de la intervención después de completar el
programa, de grupos experimental y control respectivamente
E, C = rnedidas del producto bruto para los grupos experimental y
control, respectivamente
Nota: El componente estocástico que representa al azar está siempre presente y puede incluir diferencias entre los
grupos experimental y control; es declr, E,— C pueden no ser cero, con base en el azar. La significación estadística
en forma de prueba valora si E — C es tan grande para ser generado por el azar cuando el valor verdadero de E — C
es cero.
Nótese que la presentación esquemática en el cuadro 6.1 define los efectos
corno las diferencias entre las medidas anteriores y posteriores de los resultados.
Mientras más experirnentos se diserien de esta manera en las ciencias sociales, no
será esencial obtener medidas anteriores y posteriores. Para algunos tipos de
resultados no es posible definir una "intervención previa", como se vio en otros
párrafos. Existen algunas ventajas estadísticas de obtener medidas anteriores y
posteriores; se puede tener mayor precisión al estimar el efecto cuando las medi-
das previas se usen para mantener constante a cada individuo objetivo y a su pun-
to de inicio antes de la intervención. Por supuesto, las medidas críticas son las
n-iedidas de los resultados de la intervención posterior para los grupos, los expe-
rimentos y control.
EL AZAR EN EL ESTABLECIMIENTO 169
Las diferencias estocásticas generadas entre los grupos experimental y con-
trol dependen casi enteramente del número de observaciones (esto es, de las
poblaciones objeto) en los dos ,grupos y de la variabilidad en los resultados entre
las unidades participantes. Esto significa que cuanto mayor sea el núrnero de uni-
dades en el experiniento, menor será el efecto estocástico y más probablemente
se detectará cualquier efecto verdadero de la intervención, así corno que cuanto
más uniformes sean los efectos entre todas las poblaciones objeto, más probable
será detectar tales efectos. Por tanto, para intervenciones que tienen pequeños
efectos probables, los grupos experimental y control deben ser lo suficientemen-
te gandes: por ejemplo, en los experimentos TARP, mediante los cuales se proba-
ba la repercusión de la elegibilidad para el seguro del desempleo sobre el hecho de
reincidir entre ex convictos, había cerca de 1 500 personas en los grupos experi-
mentales, mientras que en el grupo control casi 2 500 eran todos ex convictos
(Rossi et al., 1980) (véanse los textos estadísticos estándares para abundar en
detalles acerca de cómo planear el tamaño apropiado de los grupos experirnental y
control; por ejemplo, Namboodiri et al., 1975; Hanushek y Jackson, 1977).
En el anexo 6.1 se clescribe detalladarnente un experirnento al azar efec-
tuado con el fin de probar la efectiviclad de un programa educativo televisado
por niños mexicanos de edad preescolar. La atención del lector se dirige hacia
varias de las características del experirnento. Prirnero, nó' tese que se empleó
el número cle la producción total medida, de manera que se abarcaron los mul-
tiples objetivos del proyecto educativo. Segunclo, obsérvese el cuidado toma-
do para asegurar que el grupo control de niños no fuese expuesto al programa de
televisión. Tercero, las pruebas estadísticas se utilizaron para auxiliar el juicio de si
los resultados netos (en este caso, la superioridad observada para el aprendizaje
del grupo experimental) no eran sencillamente una diferencia de la fortuna. Nótese
tarnbién que la medida de los resultados se tornó antes, en el transcurso y después
del experimento.
Anexo 6.1. Experirnento de grupos control
aleatorios acerca del efecto de un programa
de televisión preescolar en México
En 1971. se _, disetiú en México un prograrna , completarriente nuevb de Sasame
Strcct, Ilarnado Piaza Sésarno, C tilj éCialileñtedOtljád0 para la cultura latInoame,
ricana.. F?artFiciparon edu c. adores, 2sicÓlOgIllsiqUiátráS y 'etros especiallstas en la:
y - realización de los . ? studlos de naturaleza formativa para
asis=tir a loS Producteres de l'1112:u el) el desarrollo del programa.
DichOl'experirnentós se realizarPn en niñós . preescolares en, centról; de cuida-
do diunió déialtiiidactd e Mexico Un iotal dé 221 niños (de 3, 4 y 5 atiol : cie edad) y
cle ti:. 4.C.éntros de cuidado diurno clisnittoss dividleron equitativamente por edady
sex(3.é,;'-s'e 3 ..signat' on 1 a ¿ar a gruPos expenmenfalA y control. Los ninos en los gru-
pos Xpet imentales sieron Pictza,SéSarnd ciurante periodos de 50 n-linutos, cinco
díás de lá sernana,'hasta • cjtie la serll de
un total de seis meses de verlo ContiOuamentelrim mismo tlempo los niños en el gru-
po connal eicron C ricatui as y etrc,s prolafiiáIti4"1001S.Owtio.;édu'éatii,os
c.nales de,, trasmisióruy en_quartos •, ePjradoS. .
C E n 11- 111 n lelativarnente nuevo, ninguno,de

170
_ • • --
TiiñÓS contrOVIO había visto ante.s. Se efoctuaron effuérzos Intenscis para prevenir a
loS niñbs Oontrol de que vieran SL's'arno.,ep.otrO canal ctiando era trasrmhdo
cada tade de las 18 . 00 a las 1900 . horas. In4Siigaciones- posteriores efectuadas
fin del experimentoirevelaron que sbi lo un pequeno nciméro de niños don-
trol vieron F7lazá,'. Sésamó_ctiaildó ,,sé-.enolitrabáfi ausente:s . detiiiii5 a étaferineducl.
Enirningún caso pareCió qUe„:"el:Cli652p:éinnental estuiviese cornpriát-nétidói de
cualquier maera. I_a ii,i percuSIÓVi` dé P1dib'S,_",c;rno en los ninos que lo 'edercindue
evahtádá mediante unS serieclepruebas ,acliniinistraclas fndlv-Itlualineñtezsí, a
i . los grupos experimcntly;contrpl en:tres etaPás:tar antesi de,la-,Pruebalrirnediáta-
mente:antes de la expb"sfCión aPlari Sésár'nuo a láS-pélicul-astiantról-; b) dárante el
tratarniento, .slete semanas despues de lnlciado el experimento, y c) después de la
prUeba, al finaddel experimento:
Las desercibnes fueron relatia . amente pocas. De los 221 niños que participa-
,
ron en la muestra inicial, 173'cómpletaron el experimento. No se puecle deduclr
una desviaciOn debicla , a las deSerciones. e •
.Con el firude medlt
. la .canildad del aprenclizaje para-wda n 'tño despties del
periodo cle sels rneses, se emplera'ron nueve pruebas, individuales. Tre's -de esas
bas;,C6nocIrnientos generales, Núme,ros y:Letras y pálabiras...constitáyén rriediclas
de criterlo de las habllidacics específicarnerite .aprenclidasdurapte. .19. S. Obár- arna's de
Pluza Sésamb:_CincO de las otiaS p ruebas,- .,Rél •aclories, ParieS de untodti; Flábilidad
para Separar, Clasificación de babilidades y Figuras sobrepüestas éátárt inclirecta-
menteirelacionadas .cOffPlázá 'gésamo, pero noson criterlds'de'rneditla'eSPecífIca.
La nátieria Pruebá,. Ccim`prensión . oral, no_. .tiene . réla-ción ton lás-rnetás eStablecidas
par-a F;lazá Séamo, aunque su medida tOristift.iYeurlatrnpbrtariti? habilidad cog-
noscitiva vinculada con la lectura escolar entre igs ñiños preescolares.
para cornprobar•st les niríos espectadorcls deflain-SéS'brno sabían rnas o no
que los niños que vieron-sólo caritatáras, se cmprendleron pruebas'estadísticas.-En
ge, rteral, los iliños en el-grupo e*perlmental rnostraron mayores-adelantos en
soltición cle la prueba despues clel periodo de seis meses que los del grupo control.
Lbs principales resultados se pueden resumir corno sigue:
IndependlenteMente de laedaddel'grupo; los niños que vieron Plqzcr.Sésa-
mo durante‘seis meses lo hitierbn niejor.Significativarnente en pOr ld trie'nos
cuatro d'e las innev re pruebas de criiteri g-70e,. ,Orno. lo hlcieron lps niños
.trol . que sOlo s,, ieron caricaturas-dúrante:éSte.perlodo.
,
Los mayores lnciernento'S de espectacloreSde •Plazo Sésamo..ocurt-terdn en
. las tres pruebaS relacionbdas estrecharinchté con las metas eS"ta6letidaS'Ia'ra
Plaia,'Sjsarno: . Conoci ñtientos :generales, NúmeroS.y' LetraSY JialabraS.
-
3-. La prueba de comprenSión oral, que rio estaba relaciónucla corii .Plazá-Sása-
, ttio, tarinhien reveló signifitativos adeiantos para pro•i
grarna que pará los niños del grupo cond .rol en los fres grupps
4. LoS- niños de euatro cinco años n-lestraron las Mayóres adclantoái'Ver
S mientras que los cle,tres de.1,.g'rt1P9 exPerirnetifál„'.f0aca-
P
1álíció2:'na sighificativamente„'de;losniños contreil'en'cinco . de losnueve
interrOgatoriois.-Las correlacionesde:pn_lebaltrepruchasidurart
ostra-rOn estabiliclad sátisfactoria para,cnatro4:sd ielaSp
vs-e
c - pisrrgup,1
Pl,..,e..rils.
111
-ConoCimientoS generales, Nñrrietbs,J.F.:iiguras.:sob.iitc..pucs
' bilidadi.érilá:Cinco)proebas iistant es
eSa.s einco pructiaS'.; lOS
positivos favorecen. a Plaza S,i'sürno SUS á' pectaclores. ,
;I:iNuriqueilipsiatlefai-dos maktppidos para losi:niños, é)CpjetitaientaleS set , re los
rápót-tOritrcil oeurrierorvenlas prinierassiete:séroiiás :Cté ver Plü ym SiJsa-
171
_
rtto brecha ontre los grupos e4ental control.chntinuáverecie:ndo
diarante los seis meses.
6 Derin o del grupo, eii.periMentalVonlbsna ej-grado de•atei4Ié i
,
S("jsurno se correlájCión¿iba idositivamente „ (0:59) -en seis 'de las nueve rnedi-
-:- das posprueba, lb ciíaliinniicñha citic> 16S níriOís.7. 411é regularMente atendíanal
prograrna cle Plaza'Sé:samo adelantaron n-15-1:qüe aqn-ellos cuya atención
era vaga
7.- Los niños . experimentales con muchas , ausera'cial'S respondieron rnenos bién
do pi nebas postratamiento que los niños que as- istían regularmente.
Fuente: Al pl el,. con pot mi,o L R Diar-Guorrero, Isabel Reyes - Lguncts, Donalcl B. WItzke y•
:Vliásrn01 .:'H or ltzrrian, SeS,I10 Jr1 N1. , siLO An JOL1/71Cli "nrnuntcutIon, ve,I 26, '
-
En el anexo 6.2 se describe otro experimento de control aleatorio median-
te el cual se probaba la efectividad de un grupo consejero como una rnedida de
rehabilitación en las prisiones de California. El grupo expetimentador aptove-
chó una prisión, que se establecería en breve tiempo, para asignar a todos los pri-
sioneros a uno de los dos programas o al grupo control. Las características ar-
quitectónic ras" de .1a prisión facilitarori el eMierimento; hubo-cuatto . unidades
autocontinuadas, cuyas comuñicaciones 'eStaban - debidametité controladás.
Por tanto, los prisioneros en cada cubículó cletedificio no podían comunicarse
con .los de los otros cubículos-respectO del Irátarnientó que habían recibido.
Nótese que los sujetos del experiinento te'Séletciónaton dentro de la prisión,
por lo cual se débía ejercer un gran contról sobre ellos'. Los experimentos de
campo con poblaciones no institucionaliiadáscennó-objetivo son más difíciles
de realizar, pues requiereri la cooperación -Voilúritaria-y el tnantenimiento de la
integridad experimental , durante tódo el tiempo; además, hay más exposición
a la interferencia por eventos externos.
Anexo 6.2. Experimento de grupos contro1
, aleattal ios rnediante la y aloracion de l a repercusio
que tiene la palabra de honor cle un grupo de,
intenent ión para conciliar en una prisión de C,alifornia
14
Dura-ntela décadriMe'lbs'7r.‘7rintibie lá (>1iforrlia--;iAdulti,Atitoiijky.,Ji-,Autoridia4.04
Ad i l California (la a;eneia de la prisfóñ)
I
nes estzitales un programia de un unipo cle alies'orarrfien-brivoitrUfrálo,Comel"ti.iál. Se"-'7"'
intent,A-Ga ayildar alos prisioneros a cornpreVidei.--,SUIS'iñO1itratiOner.S:pár'ala;áctiii'ir
dad crirnMal,-mediante su participación en•-gtitOpS'-d iáic.tallsejo sernanales. resu-
miblerne' nte, cornprencler las rnotivaciOnes .P-. .,
odría 'redUtir,lá ádherenÇia aszupos,
de. norMasi scmejantes dentro de 1 Prisión. y por tantiá'í•ittéjC^St.át'illihábtlidlidlpár..a
ackiptarse ciiicitoisarnente a la vicla de cíVil y asiténer é>tItoensitipliabra de
Los autores rec i1-1Cron permiso y apoyd.dela ai gen .cia delÑprls16n de'eálifor, •
nia para en-iprerider un e y perimiiiito i ecirirgittlibcbittrol aleatorios en lá nueya pri-
siOin Li carcel o Cl1 n2Stiói119, e --coritpi:ida --ép , 01:;fCtilos,rhás o : nienos aislados, lo
cuales e lialdana..stinado7Para-recibii'yárias<jforrn.0 aseSQrarniento, en gru-
., .. • - _

172
p.p•IpétlüseriOkygiargles;a1n:..tiC'ecjilciálii:Se..,a11.§nif,kgrjítíliSr".COhlr,11:,a.q1.11neS,ricy,'..
s á "dáría...asesoramiento y el 4(árt«Clibfc:U1O';fiie
ves pióbleinas nde
la'Prisión
razones d co;-1 , algún rniernbro obterlía cutilitner gananela, la familIa pocla reciblr la canticlad,
CuandOlos prisioneiol:ilelOS,InÁlds:.'éXperirnental::9,:controF-füétónliberadcis
t)Ijo palabras,2. exarninarojiliikOlistiol c.19: ¡ialabra'S anierloO:S.diíráríté...uri:periddo
do dc,s ark, 5 para
triton cliferencias entre los. gruPó.á'e>Irt n y elrupocí u se-
jero dr intervenci,5n se
Fuente; Ptstjri Trecit.n, nt arict
F'Grole NuM..-Vork, 1971..
- cárritirit. dad :dé,PenksyliVatifa`.S .e' eóf41 _
En el anexo 6.3 se describe un experimento para 1..terminar el trabajo del
efecto desestimulante de proporcionar pagos de apoyo a los ingresos a los
pobres, representados por familias íntegras (esto es, sólo los dos esposos). El
estudio fue el primero de una serie de cinco, cada uno de los cuales variaba lige-
ramente con respecto al otro, efectuado por la Office of Economic Opportunity
(Oficina de oportunidad económica) y el Department of Health, Education and
Welfare (Departamento de Salud. Educación y Bienestar. Social) para probar
varías formas de ingresos garantizados y sus efectos en el esfuerzo del trabajo
de los pobres y las personas que están por serlo. Todos los experimentos se rea-
lizaron durante periodos largos, el mayor de los cuales tarcló cerca de cinco
años; todos tuvieron dificultades para mantener la cooperación de los grupos
iniciadores o las familias involucradas; y todos encontraron que los pagos e ingre-
sos creaban una ligera pérdida de la motivación hacia el trabajo, sobre todo en
adolescentes y rnadres con niños, quienes representaron la fuerza laboral secun-
daria (Rossi y Lyall, 1976).
Anexo 6.3. Experimetito del rnanterMitiento
del ingreso de Pennsylvania-Nueva Jersey
- En detrimento de su eficacia para permitir conclusiones válidas acerca de los
los últimps arici 'delaidé,eada ,dé toh-lesenta, cuanclo los oficiales federales
preocupado,s por . la pobreza empezaron a considerar cambiarla polítiáá del bienes-
t¿Ir con el fin de prátítit:cii5ne .a,idún itillésti.ahUargatantizado para todas las
amilias;la Office of ..E O. ‘p'íj. in.il''OP15.151-1.iiii(ty,'S,.7.0.fi0i,-il::d ,p. pórtu.nidad econOtnica-
14,;5(9E0)':10o.0
mas triáIgrayes
de ityá.reiet-.7CC;n:tplété1-114::1141iiílfia p§li.re:s;j51.01.0:10.1'ü.rila154jeliVe
r est ara
reabió
do p IF,Matherna tica Inc e rh¡if dáa:.;:ide.;;Piiht0c"
investigaeión,,yspdrelInStlite.fori.Res.elith:Ori.P0V,ei'ty,(Institilió:c:le:ih<ie:stigació11
la 1:),,obreza) -de Unlyerst.dacti,41;,..,W.JscRnsrn.'1,,EI:exp,enrnento.,:se.dirigT..a.,.44
ljoblacion objáiyo'de farbilias
Arlázás., _
173
. -
cuyos rlau/tOs',vai'one'S`Aiiiérzlii .entre,11b8 años •. Los ocho tratarnientos
e-ercarlos.a lo•que entonce • era el
cle robreza cobitín y los runqos en los que los pagos eran ajiistados a fas per-
cepciones Tecibidá por lasfamilias por ejemplo para una familia en uno Cie
tratarnientos cón un ingreso caránti7iado'clé1251,Edétiiive1 de Pobreza común,
garantÍa. NO obstante,.i.4,11 , an tenia un rango.,i11impuesto del 50`,X, y algúrr
rniernbro de la farnilia re'cibfa el ..ingreso ganado-,- érti—á§li.".débiP:teducirse a u na Prc>
centavol'dé::.d610.',...10r:.Cád4ll•!ciálar ganado;:ihasta que ios pagós
9. Otro tratamiento consistia et3.:1.14gps déli .n. ip.uestos qüe varibban
de la línea de
p ron nrn,
:
a uffidacle4.,. 1,111;3¢isey y en una
tifieadás. a-laS éjé'jible.S.., Las familias iderififitacia„S fueron - 10"itadaS - 1. participar des-
pués , de lograr un conu sOlo las faritília::.11.dilii"-i.Stil_i.it.'4IrZá...c.:44'npói-experts
inéritals:y"repOrtaban sus ganancr4.9, • eStablecidas..,
• indlcaban leghilidad para transfercnCla cle pagos, se en yiába un cheque por correo
a la
Las familias fueron entrevistacias con gran detalle antes de su allstamiento-.
en el ptOg,rarnrflrfirlai decada trilülStie . :440'101, áflos dele':-.:perirnento. -
Estas entrcuistall4Iniaron- emPleó, las ganan
el . C.onsurno, la'salud y:Yarias mudidas ps1cológlc socialos Despti é- s se
10syciatcy.s jütito.cCin jos reportes.:.delnItes41:iiioiris" .uatés, corr el fin de
detertninaliMiquiene-S •reciljían pagos.cle. •C'.úáltlül0a0TICIVZ(..411iiii. huían . sus esfuer.
zosen trabajar .(rnechdo.e,rihoras por trabajo) . en relaciórrcon las faniilias compa-
ralles de los gruPos control. . ,
Atmque se ,seleccionaron inícialnlente cerca de 1 300 ,familias, para el finat
ciel expetünento.el 22 había dejado de cooperar Otros habían perdido una o _
mas entreviStas- 0,deser ta dó, del
de 700 purrnanecieron iSard rtic".ipantes continuos.
1,7J. f,n, The NeLL, Inceme Mairitcrwnce
v6I. 1, Aelde'ruie. u u Volk. 1976. • '
resultados netos de las intervenciones, los experimentos aleatorios aún cuentan
con una pequeña y relativa proporción para valorar la repercusión. Las conside-
raciones políticas y éticas pueden retardar la aleatonzación, sobre todo cuando la
intervención no puede ser manejada (aunque la idea de experimentar no excluye
la entrega de algún tratamiento alterno al grupo control). Independientemente
de los diversos obstáculos para evaluar el diserio del sorteo, existe un consenso
hácia su realización (Cook y Carnpbell,, 1979), una bibliografía creciente acerca
de córno mejorar las oportunidades de éxito (Bennett y Lumsdaine, 1975; Riec-
ken y Boruch, 1974) y una documentación en aurnento en cuanto a su factibili-
dad (Boruch, 1975; Campbell y Boruch, 1975; Boruch et a ., 1978). Algunas de
las condiciones que facilitan o impiden emplear expenmentos aleatorios para
valorar la repercusión se estudiarán en la última sección de este capítulo.

174
Sustitutos para la selección • aleatoria
.Aunque el azar Médio más segurdpara Seleccionar grupoS ,,control y
experimentalesequivalentes; . algunos métod. os.Iarnbiéniiiiieden satisfacer el cri-
terid de equiValériCia.-La:. SelééCióná iri sé sgd(rió . cónfundir con el SeSquqUe se
tratd len el capítuló 4) .réquiere lá PrObabilidád'de que Ciiálquter indiVidUaSelec-
ciónadó nara'él qrtiPd cóntrao bara él : eXPérirnentat térigai.ina" rneiribrekla . .
tica . paralódos los objetiVoS . én..el. estudio....CórrespOndientemeritei la s eleccion
con séágo.óciirre
. CUaliddalgilnoS individuos tienenúria.altl .d..un.a.m. enór próba-
bilidad de ser selecCipnadós .. pará lóS'd4rerités grápoS; • • . • •- • •
La asignación. , siStemátiCa,.:de una lista seriada suele cumplir los rniSmos
fines . que la . aSignáción'aleatória; cbn el. 'supúeáto. de .cffie la liSta.nó. esté ordena-
da dela misina Maneraqúe los restiltádds'del seSqp;' . por.- éjemplo,:al i ubitár': a los
estudiantes . dé .sectindaria
. . . . en .grüpós eXpérirnentalés iy cóntrol;rse podría:objetar
poner a todóSiós queteriganlétraS -,121:nones ,en .los.,. gruPós:exPerinientaleá y a
todos IOS que .tengan'IétraS.DI:par . enló S'qrup:OS contról. Desde luegó; tórno los
núineról- . nd:.sé .aSigriardri . óriginalinénte 'para . diférenCi. ár • . a...los. • estudiantes
"nón eS" de. IdS.. .eSindiantel'"¡Saiét" .;'él iéSnliadd. puédé ser el triís'i-nd.(átádística-
mente) qu. e para la-asignaCiónhécha.al a . zar; sln . embárgo, si pcir algún MotiVO la
esciielá. 'en CUeStión•
. . " 616. 1aS létraá'bIl
. did . ' n—és .'á.eátUdiantes• del . seXO fenienino,
. .:Vío.
resérvando las parespara1Os. v. aróries,.éStadeSviación sisterriáti .a.pédría relUltar
en . grUPós. eZ.Peritrientalé.S . y. ..Córittót de.diferente.CóMpósiCión.s-ekuals,Por:tárito,
antes de usattaleS ProCediinientos .deseleCciónlisternátiCa .es neeesatio entender
córrio. ta. .agenCia:qtieelaboró la lista llevo a cabo la seriación; • • •
.-kinenudó,11.staSeriórdén .derioblaCionés- objeid pUedengenerar .desviacio-
neS sutiles difíCileSI.de detectar;.p. or . ejempló, una .111ta-alfabetica . ptiede-tentar a
selécCiónar a tódás— las-.-beiS.dnat ::óuyol ,apellidos'Pa tertiOS'cOmieriC en cón D
paralóS . qrtipos. exPerimentalés y. ..a aqüellas. :CuyoS apellidós Seartéori H cómo
cOntrólf Eri'xina• ciUdáddel áté,.'esió . riódría ler'iiria'Serec—Ción'›desv'iada.
• rnenté:'mtióhOs . nómbres. franceSes . córnienian'cón : la létra . D (Pór ejernplo
Deneur) -; mientras,. qttecasi no existen.nombres hispanos. . que Comience.n con la
letrá H. Las lisiaS:nuinerada .S:revelan .frecüentemente desviationes réspecto de
la, edad: comalo.SgObiernós:federales aSignan • Secuencialipente los. números del
séguro social,'aquellos .,cón les niírnerOS rnektóre'sOn - génte de Más edad que
. quienes tienen los númerps inás altos (consúltese Sudman, 1976, para conocer
mayores precauctones.,por ,p?niAr ..en las .estrategias de ,selección, sistemática).
En algunas;,.ocasiones,'• la. lcasualidad'.ocurre: "naturalrnente"„jparaalqunas
intervenciones sin,planificacióniales situaciones se pueden considerar equiva-
lentes a un ,experimentp .aleatorici...Un.éjemplp .de .unéStUdio. proPUesto de :los
efectos.de ,laSinundációnéSinuestra úri "„verdadero" eXPerirnentóaleatório cau-
sal: Ips ingenieroS,en hidrOlogía,hábían . rnarcado • los„planos . ....... delntindaciórt
mayoría delos:ríos, en.reglones caracterizadas porel tierripo esperadoderetorno
de
„ una inundación,
. be.esta,.iorma, los. planos de.inundaCión_ para.,cada . . 10 arios
señalaban . aquellas? regióneseriel.cauCe..cle un :.rip,enlas-que Se.esperaba,que,éstas
ocurriesen. ,cada-10 . añosen prornedio„,Aunque,cáda,año lasáreas dentro del pla-
nd.de inundaciónde:Cada-:10. años . ..Ienían,urtay.oportunidad entre , 10..de eXperi-
mentar Una inundacion si oCurríaló nó unainupdación .:e.n..:.un,punto.dado..en un
añó espe.Cíficos. e. podría cónSiderar:u. neventO;de la.casualidad,,Los.vecindarios
EL AZAR EN EL ESTABLECIMIENTO 175
cercanos a los planos de inundación se pueden dividir en "experimentales'',
aquellos en los que las inundaciones ocurren, por ejemplo, cada dos arios, y en
‘`controles", aquellos en los que no ocurrían inundaciones. Lasdirecciones de
crecimiento en los dos grupos comparan luego para descubrir la influencia
de las inundaciones en el crecimiento de los índices de población y vivienda.
Por supuesto, las inundaciones son eventos quesepueden definir como origi-
nados por el proceso natural específico. Como-este proceso no "selecciona" un
: idén- plano de inundación más que otro, las inundaciones se consideran, para el propó-
sito de este libro, como eventos azarosos. La validezde este enfoque dependeprin-
cipalmente de si los ingenieros, marcaron de modo . correcto o no los planos para
cada 10 años. Tales mapas se basan; principalmente, en las direcciones históricas
y, , parcialmente, en el conocimiento de cómo los ríos fluyen en ciertos terrenos.
Con todo y esto, los planos de inundación están sujetos a algún error.
Si los eventos naturales o no planificados proporcionan o no los sustitutos
adecuados para los controles aleatorios, se debe estimar con un escrutinio mi-
nucioso acerca de las circunstancias de esos eventos. Si existe cualquier motivo
para sospechar que esos eventos probablemente afecten a algunas unidades (como
personas, comunidades, etc.) más que a otras, entonces las condiciones para un
"experimento natural" no existen. Por ejemplo, las comunidades que tienen
complementos de agua fluorados no se pueden considerar como un grupo expe-
, rimental para ser constrastadas con . los que no la tienen, pues las adopciones de
un sistema no se pueden estimar como eventos aleatorios en el sentido empleado
aquí. Asimismo, las familias que han.comprado vivienda en el pueblo no pueden
considerarse como controles apropiados.para quienes han comprado casas inde-
pendientes, pues el mero acto de efectuar tales compras es un indicador de las
diferencias potenciales entre ambos grupos.
Estrategias en la recolección de datos
para efectuar experimentos aleatorios
Aunque en ciertas condiciones se requieren las medidas posteriores de los
resultados (véase el anexo 6.2), las medidas de los resultados anteriores y pos-
teriores generalmente se consideran mejores. Dichas medidas incrementan la
confiabilidad de la medida y proporcionan más información acerca de la cual se
p3.1eden hacer estimaciones de los resultados netos. Las medidas tomadas antes
de que comience una intervención proporcionan estimaciones de los estados
preexperimentales de los sujetos al experimento, las cuales son útiles para ajustar
a los grupos experimental y control y para medir cuánta ganancia fue producto
de la intervención. Por ejemplo, las medidas de la intervención previa respec-
to;dé las ganancias de grupos experimental y control en un proyecto de reentre-
. , de la namiento vocacional, proporcionan mejores estimaciones acerca de cuánta
ganancia se obtendrá como resultado de entrenamiento y, al mismo tiempo, ofre-
cen una variable constante en el análisis de los resultados.
Las medidas periódicas tomadas durante el curso de una intervención también
son útiles; tales series permiten a los evaluadores ver cuánto de la intervención fun-
ciona. Por ejemplo, si un programa de reentrenamiento vocacional produce
muchos de sus efectos durante las primeras cuatro semanas de las seis de duración,
el acortamiento del periodo podría abatir loS costos sin alterar seriamente la efecti-

176 CAP. 6. DISENOS COMPARATIVOS
vidad del proyecto. Asimismo, las medidas múltiples y periódicas quizá permitan
comprender por completo cómo los grupos objetivo reaccionan a los tratamien-
tos. Algunas reacciones pueden ser lentas al princípio y aceleradas después,
mientras que otras pueden ser fuertes inicialmente y de pronto caer a niveles de
intervención previa; por ejemplo, la respuesta a los límites de velocidad de 90 km
por hora tuvo un inicio de disminuir la velocidad y su promedio en la rapidez,
seguida por un retorno gradual a los promedios de altas velocidades. Ser capaz
de trazar las reacciones a la intervención permite al evaluador mejorar los trata-
mientos para una efectividad más cornpleta.
Para algunos tipos de intervenciones, sólo están disponibles las medidas de
intervención posterior (como en el experimento de los consejales de la prisión
de California, descrito en el anexo 6.2). Asimismo, un programa diseriado para
ayudar a estudiantes pobres de secundaria a asistir al colegio sólo se puede estimar
definitivamente por el hecho de si el grupo experimental asiste a la escuela con
más frecuencia que el grupo control, una medida que sólo se puede tomar después
de la intervención. Sin en-lbargo, si se hacen a un lado estos casos, la regla general
establece que cuantas más medidas se puedan efectuar antes y después de la inter-
vención, la estimación de los efectos netos se medirá mucho mejor.
De lo anterior se infiere que existen dos razones para tomar muchas medidas
antes, durante y después de una intervención: a) cuantas más medidas se tomen,
menor será la no confiabiidad de las medidas compuestas y b) cabe esperar que
las intervenciones tengan su efecto después de terminadas: por tanto, las series
de tiempo (véanse los capítulos 5 y 7) puden permitir a los evaluadores recons-
truir las formas de actuar de la intervención.
Experimentos aleatorios complejos
Varios de los ejemplos dados en párrafos anteriores (véanse los anexos 6.2 y
6.3) son pruebas de diversos tratamientos considerados simultáneamente, una
estrategia que mejora de modo significativo el valor de los hallazgos. En el expe-
rimento de mantenimiento de los ingresos de Pennsylvania, Nueva Jersey se pro-
baron ocho tratamientos, cada uno diferente en la garantía del ingreso y en los
castigos en forma de impuestos sobre la ganancia de los miembros de la familia.
La variación entre cada tratamiento se incluyó en el experimento de manera que
se pudiera probar la sensibilidad del esfuerzo del trabajo en varios grados de
incentivos negativos resultantes de cada pago. Una interrogante de la evaluación
relativa fue si el trabajo respondía o no al pago y si podría variar con la cantidad
de pago ofrecida y en el grado en que los ingresos se redujesen con el pago ofreci-
do. Asimismo en el experimento de la demanda de la habitación disponible (Ken-
nedy, 1980) se emplearon 23 grupos experimentales. A cada grupo se le ofreció
un subsidio diferente. Algunos de ellos requerían a las familias que obtuviesen
casas que cumpliesen ciertos requisitos, mientras otras que simplemente fueron
rebajadas a las rentas condicionadas al pago de renta en los mercados de valores
actuales o más altas.
Los experimentos complejos junto con los anteriores son especialmente
apropiados para probar nuevas políticas, pues puede no ser evidente qué forrna
exacta de política nueva tomaría. Aquí, las pruebas a las variaciones pueden ofre-
cer información que perrnita guiar el programa hacia la efectividad económica,
EL AZAR EN EL ESTABLECIMIENTO 177
por ejemplo, en el experimento para la demanda de la vivienda disponible -se
demostró que cuando se relacionaba la disponibilidad con la ocupación de casas
en renta que cumplían ciertos requisitos se reducía considerablemente la partici-
pación; en consecuencia, sólo cerca de un tercio de familias elegibles recibleron
Ç. su pago. También, las simples disminuciones a las rentas (los pagos equivalen a
algún porcentaje de renta pagada) perjudicaban a aquellas familias que eran cui-
dadosas o afortunadas compradoras de casas y ocupaban domicilios "oferta".
En algunas circunstancias, cabría mostrar preocupación porque los métodos
considerados para administrar un programa nuevo pueden comprometer seria-
mente el tratamiento que se prueba; por ejemplo, en el experimento del grupo de
terapia de la prisión de California (anexo 6.2) un evaluador sería capaz de antici-
par que el uso de guardias de la prisión como líderes de los grupos de terapia
podría haber mínado el valor de la intervención. Esta posibilidad se podría pro-
bar mediante un tratamiento experimental en el que se empleara a terapeutas
entrenados ajenos al sistema de la prisión. De hecho, si en el diseño se hubiese
contemplado este componente, las críticas posteriores acerca de que el diseño no
ubicaba el problema de la efectividad de la terapia se pudieron evitar.
De la misma manera, los experimentos de impuestos a los ingresos tan nega-
tivos fueron criticados (Rossi y Lyall, 1976) por requerir informes de ingresos
mensuales para cada familia participante. Como el sistema de bienestar social no
requiere informes frecuentes de las familias que reciben los pagos, la estipulación
del experimento parecía contener criticas porque requería más que las regulacio-
nes del bienestar social cornunes, y se le catalogó como una "prueba" estricta y
potencialmente sin valor. De nuevo, si los evaluadores hubiesen proporcionado
un grupo experimental que actuara de acuerdo con las reglas del informe ordina-
rio de los ingresos, las críticas se pudieron haber evitado.
Por supuesto, no se pueden realizar indefinidamente tratamientos experimen-
tales para probar situacíones relacionadas con los programas propuestos, sin tener
un grado de restricciones. Algunos evaluadores han propuesto el concepto de
espacio político (Kershaw y Fair, 1976) como una regla para determinar las varia-
ciones del programa que podrían estar sujetas a investigación. El espacio políti-
co, como se señaló en otros párrafos, incluye las alternativas del programa que es
probable se acepten políticamente, si los propósitos son efectivos y luego los con-
sideran los políticos y administradores para ampliar la ejecución.
Los experímentos debe centrarse principalmente en las variaciones del pro-
grama que son claras para el espacio político definido por los políticos y adminis-
tradores, tal vez con más amplitud, pero no demasiada. En el experimento de
mantenimiento del ingreso, los requerimientos de elegibilidad no incluyeron a
farnilias de estudiantes de tiempo completo en los campus que el Congreso pro-
bablemente hubiese hecho inelegibles, aun si se estima que sus niveles de ingre-
, sos podrían ser inferiores a los del nivel de pobreza. Tampoco pareció probable
que los experimentadores en la demanda de vivienda hiciesen elegibles, median-
te la disposición de viviendas, a los propietarios de casas.
Limitaciones en el uso de los controles aleatorios
Independientemente de lo atractivo de las características técnicas de los
experimentos aleatorios, existen limitaciones para emplearlos en la evaluación
178 CAP. 6. DISEÑOS COMPARATIVOS
de programas sociales. Los diserios aleatorios se formularon inicialmente para
utilizarlos en el laboratorio o en el campo de la investigación agrícola, y se pue-
den adaptar a los programas sociales con sólo algunas dificultades.
Primero, los experimentos aleatorios no son muy fructíferos en las etapas ini-
ciales del desarrollo del programa. En tales circunstancias, frecuentemente es
necesario cambiar las características de un programa con el fin de perfeccionar el
tratamiento o su entrega. Aunque un experimento aleatorio se puede adaptar a
tales cambios, se pierde algún grado de precisión y se dificulta el análisis final
para saber cuál de todos los tratamientos o de sus combinaciones produjo los
efectos observados; por ejemplo, en un programa que comienza con un grupo
terapia y finaliza con consejeros individuales, es difícil decir si un tipo u otro de
tratamiento produjo los efectos observados. Por tanto, los experimentos de cam-
po, longitudinales y costosos se reservan para probar tratamientos diseñados fir-
memente. Una serie de experimentos aleatorios en pequeña escala se podría
recomendar para desarrollar las etapas de los programas sociales, como en los
esfuerzos ejemplares de Fairweath-jr y Tornatzky (1977) con respecto al diseño
de casas de media distancia para gente interna en hospitales para enfermos men-
tales dada de alta.
Segundo, algunas personas tienen escrúpulos éticos acerca de la aleatorie-
dad, y la ven como una manera privativa arbitraria y caprichosa para privar a
los grupos control de los beneficios. A menudo, el razonamiento de tales críti-
cas es como sigue: si resulta valioso experimentar con un programa (o sea, si es
probable que el proyecto ayude a las poblaciones objeto), constituye un perjuicio
positivo limitar los servicios a algunas unidades. Hacer esto no sería ético. El con-
traargumento también es obvio: por lo común no se sabe si un tratamiento es
efectivo; de hecho, por esta razón se desea experimentar.
Algunas veces, una intervención puede mostrar alguna posibilidad de per-
juicio positivo, y quienes toman decisiones deben ser parcos para autorizar el
sorteo sólo en esos grupos; por ejemplo, en algunos de los experimentos reali-
zados para valorar las utilidades hubo la oportunidad de que se incrementaran
los bonos utilitarios de los poseedores de casas en algunos de los grupos expe-
rimentales. Al calcular este argumento, los diseriadores del experimento pro-
metieron a los poseedores que sólo se reembolsaría el incremento después de
terminarse el experimento (desde luego, este reembolso cambió el carácter
del tratamiento y posiblemente alentó el uso irresponsable de las utilidades).
Tercero, en muchos-de los experimentos a gran escala se usan pagos de
dinero (por ejemplo, los experimentos de impuestos a los ingresos negativos y
los experimentos de la disponibilidad de vivienda). Con tales tratamientos
estandarizados y de fácil entrega, se puede estar relativamente seguro de que
la intervención experimental será similar a la de un programa totalmente
puesto en marcha, pues existe sólo un número limitado de modos de verificar
que se entregue; sin embargo, para intervenciones de labor más intensiva y
altas habilidades (servicios de acomodo de trabajo, consejeros, enseñanza y simi-
lares), los tratamientos dados en los experimentos de campo probablemente se
proporcionen con mayor fidelidad a las intenciones del diseñador que cuando
se ralizaron como programa. De hecho, el real peligro del deterioro en la pues-
ta en marcha es una de las razones para verificar los programas, como se vio en
el capítulo 4. Además, tal posibilidad es argüida por lo rnenos dos veces en los
ESTUDIOS NO ALEATORIOS 179
experimentos: en la primera, los tratamientos se prueban en su forma más pura,
y en la segunda, los métodos efectivos de la entrega de servicios se prueban y
comparan por medio de las agencias públicas.
Cuarto, los experimentos aleatorios son costosos y consumen mucho tiempo.
En general, no se deberían emprender para probar programas que nunca se analiza-
rán y que salen de cualquier espacio político concebible, ni deben realizarse cuando
se necesita información rápida. Para subrayar este último punto, cabría señalar
que el experimento de mantenimiento del ingreso de Nueva Jersey, Pensylvania,
costó 34 millones y tardó más de siete años para diseñar los hallazgos publicados
(Kershaw y Fair, 1976).
En resumen, los experimentos aleatorios de campo se reservan mejor para
probar servicios que se pueden estandarizar y transferir fácilmente a las agen-
cias operantes.
ESTUDIOS NO ALEATORIOS:
CONTROLES CONSTRUIDOS
Cuando los diseños experimentales verdaderos o aleatorios no se pueden
ejecutar, el evaluador debe escoger una o algunas de las combinaciones de los
procedimientos para aproximar la equivalencia de los grupos experimental y
control lograda al sortearlos. Estas alternativas se refieren, genéricamente, como
cuasiexperimentos (Campbell y Stanley, 1966; Cook y Campbell, 1979). Este
término no implica que los procedimientos descritos sean considerablemente in-
feriores a los experimentos aleatorios controlados y, de hecho, se,an inapropiados
para valorar la repercusión. Ciertamente, sin el hecho de sortear, la equivalencia,
como se describió en párrafos anteriores, no se puede establecer con tanta certeza.
Siempre permanece la posibilidad de que el resultado de un programa realmente
se deba a una variable o a un proceso que no se ha considerado explícitamente en
el diseño o análisis; sin embargo, los cuasiexperimentos efectuados de manera
apropiada pueden brindar información acerca de la repercusión que esté libre de
la mayoría (si no de todo) del proceso de confusión mencionado en el capítulo 5.
De hecho, los hallazgos de un cuasiexperimento bien ejecutado y de su diseño
pueden ser más válidos que los de un experimento aleatorio ejecutado deficiente-
mente. Más aún, los cuasiexperimentos pueden ser el único enfoque factible en
muchas circunstancias.
Grupos control construidos
En los enfoques de selección de los controles construidos, el evaluador
Intenta identificar y seleccionar un grupo de individuos objetivo potenciales,
comparables en los aspectos esenciales con aquéllos expuestos a tratamiento.
Varios ejemplos ilustran el uso de los grupos control construidos o grupos de
comparación:
En un intento por valorar los efectos que ejercen los complementos nutritivos en
el intelecto funcional de los niños, aquéllos se dieron a todos los niñós en algunas
villas, mientras que en otras villas donde no se administraron tales complementos
también se hicieron observaciones (Freeman et a/., 1977).

180 CAP. 6. DISEÑOS COMPARATIVOS
Para valorar la repercusión del entrenamiento de la mano de obra de desem-
pleados, las historias subsecuentes de trabajo de los participantes en el programa
fueron comparadas con las de los parientes y vecinos de los participantes que tam-
bién eran desempleados. La racionalización para utilizar a amigos desempleados de
los participantes fue que tales amigos probablemente eran de la misma edad, de la
misma localidad, tenían actitudes similares, tal vez motivaciones parecidas de sus
amigos participantes y, de hecho, eran similares a los participantes en muchos
aspectos pertinentes al programa de mano de obra (Main, 1968).
En un estudio de los efectos de asistir a escuelas relacionadas y subsidiadas por la
iglesia, los católicos que asistieron a tales escuelas fueron comparados con un grupo
control de católicos que habían asistido a escuelas subsidiadas por el gobierno (Gree-
ley y Rossi, 1966).
La fórmula básica para valorar la repercusión, mostrada en seguida, superfi-
cialmente se parece a la mostrada para experimentos aleatorios, sólo que esta
similitud superficial enmascara importantes diferencias:
Resultado neto = [Resultado del grupo en el programa]
— [Resultado del grupo de control construido]
+ [Error estocástico]
Si funciona o no esta fórmula depende sobre todo de cuán estrechamente el
grupo control construido se asemeje al grupo de la intervención en todos los
aspectos esenciales.
Un grupo control construido de distritos agrícolas, diseñado con el fin de
concordar un conjunto de participantes del distrito en un programa para incre-
mentar el uso de fertilizantes, puede diferir del distrito en el programa de una
variedad de formas difíciles de detectar. Aunque los grupos control construidos
de los distritos pueden concordar con respecto al promedio de lluvia, al tamaño
promedio de la familia en la granja, a la cosecha plantada y al promedio de capi-
tal invertido en equipo por familia, pueden existir otras diferencias (casi desco-
nocidas) relacionadas estrechamente con la producción de la cosecha. Algunos
distritos que participan en el proyecto pueden ser más "progresivos" en lo refe-
rente a las innovaciones (o que simplemente tienen mayor propensión a correr
riesgos). En el grado en que los voluntarios de los grupos proyecto (o que son
escogidos como voluntarios por los oficiales) estén en el grupo de intervención
del proyecto, el proceso de autoselección puede funcionar de manera que tienda
a encubrir o mejorar los efectos del proyecto, como resultaría al calcular median-
te la fórmula anterior. Como argumenta Cain (1975), es esencial que el proceso
de autoselección sea investigado e incorporado dentro del modelo de análisis
para asegurar los efectos del programa (consúltese también Heckman, 1980).
La autoselección no es el único elemento posible dédiferencia entre el grupo
de intervención y el grupo control construido. Los administradores encargados del
proyecto pueden hacer la selección y maximizar la oportunidad de mostrar los
efectos positivos del proyecto mediante la selección de distritos que, por su propia
experiencia, saben que más probablemente adoptarán con estusiasmo las nuevas
prácticas agrícolas. En tales casos, los efectos, como se calcularían mediante la
fórmula mostrada anteriormente, podrían sobreestimar los beneficios potencia-
les de la producción de la cosecha, del programa diseñado para incrementar el
uso del fertilizante.
ESTUDIOS NO ALEATORIOS 181
Proyectar un control construido apropiado no es una tarea mecánica
(Cook y Reichardt, 1976). La base para tal construcción es anterior a la com-
prensión teórica y al conocimiento del proceso social en cuestión. Tal conoci-
miento instruye el evaluado acerca de cuál es la manera específica en que un
grupo control construido debe tener semejanza con el grupo experimental; por
ejemplo, con base en el conocimiento anterior acerca de los factores que afec-
tan la producción de la cosecha, se podrían seleccionar los distritos agrícolas de
un grupo control construido al estucliar un proyecto diseñado para efectuar
tales producciones. Asimismo, si hay interés en estudiar los efectos de un pro-
grama para incrementar la competencia de estudiantes de secundaria, el cono-
cimiento anterior se relaciona con las características de los individuos y los
escenarios que afectan al aprendizaje y si se podrían ernplear para construir
grupos control apropiados (por ejemplo, la medida de la inteligencia, anteceso-
res, el sexo, la edad y la organización escolar).
El conocimiento necesario para construir los grupos control se puede
obtener si se lee la bibliografía publicada para áreas adecuadas y sustantivas.
Un evaluador en educación debería consultar la bibliografía acerca de lo que
afecta el aprendizaje en esas áreas sustantivas; la bibliografía acerca de la ferti-
lización se debería consultar para cliseñar un estudio de una campaña de plani-
ficación farniliar, etc.
Debe tenerse cierto cuidado al constituir grupos control mecliante el empleo
de cualquiera de los factores mencionados en la bibliografía científica apropiada.
Usar sólo algunas variables para seleccionar los grupos control construidos no
suele ser eficaz, ni necesario. En general, los candidatos para integrar grupos
control construidos y sus características tienden a estar interrelacionados estre-
chamente. Si se seleccionan grupos control para una intervención educativa con
base en las medidas de la inteligencia, también se deberá incluir un grupo control
sobre los antecesores, pues la inteligencia y el parentesco tienden a esár relacio-
nados estrecharnente.
Igualacion
El procedimiento empleado para seleccionar los grupos control construidos
se ha referido con-io el método de igualación o equiparación. La igualación se
puede complementar mediante la selección de grupos que se asemejen en sus
características apropiadas mayores con las del grupo expuesto al programa; por
ejemplo, si los niños de una escuela particular son la población objeto que partici-
pa, el grupo control construido deberá ser una o más de las escuelas cuyos perfi-
les demográficos de los estudiantes reflejen los de la escuela participante (véase
el anexo 6.4).
Una alternativa es seleccionar de una o más escuelas aquellos niños que sean
, imilares con los participantes objetivo. Las opciones son los individuos o la
igualación agregada. En la igualación individual, la idea es encontrar un "com-
pañero" para cada estudiante objetivo, del conjunto de estudiantes no expuestos;
por ejemplo, si la edad, el sexo, el número de parientes y la ocupación del padre
se estilnaran corno las variables adecuadas, la lista de niños no expuestos
podría ser motivo de escrutinio con el fin de localizar el más cercano equivalen-

182 CAP. 6. DISEÑOS COMPARATIVOS
te para efectuar el pareo. El criterio de cercanía se puede ajustar para hacer la
igualación posible; por ejemplovla igualación entre los niños expuestos y no
expuestos está dentro de los seis meses de edad, aun si se supone que una
pequeña diferencia en la selección de pares puede ser más deseable (para un
ejemplo de la igualación individual, consúltese el anexo 6.5).
AnexO 6.4..Uso'de controles conStruidos enla
demostráCión.„del- doáitneáto fiadár. de eduCae.164.
" .,c9ntrol:lOs dela vivienda pública estában Mas satIsfechos con su casa y querían
La'.-demostracion
, del documento ladeilde'ldriCactórise
ceptos de ia libre ernpresa .en, el picideS6,-edu¿aliVoBajó eICOnceptó déliió6urrient6 •'
fiadorf, LOs padres eligen lit4érriente una escuela pai-asus hijos'y reciben tin creditá o
dOcurtíá'to fianza euivaIente al costo de la -educación del niño qUe'es-Pagada-direc,
tarnente:áltaeScüela,bajo,liStadS:e suPtrso que esta fOrma de financiar la edúcáCióri --
pOdría alentati1IC-ornPetencia entre las , e§cuelálitriefórát- la Calidaddela'iedúearet6i0,.,
bacer_a I aS'eSctielals más respOnsables,r,esPICió de láS,necOdadll'de
tés. Sin -embargo, en una evalua jón eftenia hulciala la conclus1ón del •
-'escolar se ,encOntrOmna jaérdtdarelativa'cle(CapaCidad pará la lecturá ,en estudiánte
seis esCúelás . públiCasiclíe•Participaron cr( . 143cmostracIón:del:'clocumento fiaddr.
El pref;ósitó de'eSte -eSitUdio fué -reexarninar escis hallazgosl4de el primer anb de la
dembS'iracióndei'd&u«inento flador. ' , '
Se diseñó un grupo-controLeonstruiclo eorño stgire. : Las escuelas fu'eron
trés`JruLp-os: a) eScUelas fiadói-,cOn:="unár-orientIción.,4cadernica , „
nal brecuela's flador con una orientaCiÓn.ifirioVattsia,1:.1):0,teitélasnO',fladóraS,de
; comparación,'La escuelas de cOMparación se selecciónaron dkí:'10.rnisrhos
,toS y fueronicórnia'a'rábleS en terminoS de composición étnica si,sóCioeconórritcá,
' estatus 'del blénestar social; etc,Los . rnarcadOres d análiSTs de la-gánariela
anúlisis de l la vártánza se érnplearonpará.estudiar‘ loS datós.
-can que . eLdetérioro en lós efeetbs,de lecturá de la-demostraciOn.detdocurhento
fiadOr'elinnitabari ásólo unas pocas escuelas'Con Prograrnas de .caracteríStIcaS
_tradiCidnale4; -con.curtícu19npvad
-,
- rdlo -P-
Fuente: , Ada pta J.r., clv P titóit'llart.7 , Réle haidt 'y R- G . St , P terre' l l'he'fIrst Yeia' r of the EdilciblIr
Dc.n Vouciter D'en-lostratiori • A 5162inciarij'AitoiStütleiitWthléVélníiripT zesj,:én Ethaluati
tr, - Quurf• erty,- ,. ralm..2' . una'yo . d.e z 19711't '''',?''''
-.;. , - - c,.,:t1.1.,...:11:1-
...-_ ......
AneXti-6:5:-Tvaltiation de los efectos de la Vivienda
_Pub, lica medtan'te'„eV,etnple0 ,,dé ,,grupól:, control consfrilidp
te', Icu'41expertmenteG-se dlset para, vato-rar,„ :repWcirl
mtidarle . á":VIVIelidas'01511C:as de buena calidadde:barrióS1Tajos,
, . en:la familia,
salud„ellogro estudiantil,' las obten .ciones ocupaclonales,yja satisfaCción , de la-
Los,autores aproveeharon la aperturade un nueVo:proyecto cle vivienda en
Baltimbre.y , escogieron farniliáS-Y;qtré'i-fiUdiesen ser:-Confrontadas res- p)ecto de 26, -
¿aractelísticas y qué, fueron zldrhitida g,-efi-elmuevo próyeCto de vivienda, con fami--.
183
lias.,c-le la lista dgespera queno serían ad ltidás, En el progtama del proyecto de
vivienda sé adrniberon'396 famillas y 633 flieronhiPOá r dontro} construldos: en" et -,:
1
excedente se anticipabá un rango de desgaste alto entre laslamillas control, : - I-:,'
1,1 . To:clas.las farnillas - fueron entrevistadas 11 veCes entre 1955 y 1958',"Erila,11:17, ,,‘
F, , entrevistas se incluyeron inventarios de enfermedades expe.rimentadas por las famP..11,
lias,' SU ajuste sociopslcolágtcof y el desempetio en-la escuela de los nIllos eri eda . '
escolar. Además, con laslárnillaS
-, participantes
. y con las contiorsereallzó uná entre ;
„„Ita iniciaLantes de la adinisión_al proyecto de . viviencla pública,::,,,-,.',„;„ _
,S , Sólo Se'.encontraron
, ,. diferenclas men' ores entre los partIcIpantes t,ilos gru
-,kz-s.,..,,:.::::::,,ype .. ro habíatif. efectos dIscernibles., ,, a, un:7 .e.,, p7os, re ,spe
:c.t0 de
,lv.1,3,'
enfermedad . o la aetuaclón d los niños eri la escuela.'-', -':,, ' ''' -. ' - —
Fuete men, con autorización, de D "i Vuilrr R. P. ,
Hoilsiiih:pisiii-onment and Forffily Life, Je t ,n9ielikttl::,l105,t, érnty Pres, Baltimore, 19677;-,
El segundo enfoque es la igualación agregada. En este caso, los individitos no
son confrontados, sino que la distribución total :de-cada variable confrontada se
hace corresponder entre los grupos . experiMental y 'control. La misrña lpropor-
,
ción de niños por edad y sexo se podría encontrar en los grupos experimental
y
de comparación„pero para , obtener el resultado sé incluyeron a una niña de 12
traclicio - años y a un niño de ocho con el fin de balancear la distribución agregadadel gru-
po experimental, en la cual se incluyó a uriniño de 11 años y a una niña de nueve
(véanse,los anexos 6.6 y 6.7 para ejemplos de igualación agregada).
••••••:•.• •
'Anexo.6.6. Evaltiaci6n:dé,la
en El' Salvador mechante el empleo , de grupos , controt
construidosIde:, ,confrontación agregada
Como parte de un ProyeCto de la reforma e ducativa el sistema escolar ›eri
Salvador decidió incluir la televisión Instructiva effiros,grados séptlmo a noverip
_ - ,
, Para evaluar él efecto del'proy'ecto sobre el aprendlzaje, un tornité mixtcid
investiládofils:idk.E. I SalVadói.:.y,d,O,UniVerSIcla.etde Stanford admInistró prxt
bas acciVé.álálhálilldades ge6erálds Yi¿grós - enlaletura, asf.cornoCuestionarIO.4-
resurnidos (en los que se medían diversas variables, como las aspiraciones.ocu::4
paciOnales) a tres muestras de estudiantes, eorno se describe en.los párraf97,
siguientes. Los estudiantes fueron p ‘ robados e investigados iniervalos
res:.tiara raStrear los cambios en el tiempo. Los grupos -probados e Investlgado0
uct on.ciaiño:sigue: --
TOnjun to A: 902.esiddl`MrqiiVrinresaron:enetsep.tirno,giacloerk1969;,_
estudiantes (en 28 ClaSes) experimentartüri,:prbáráma cuffilt!WcfeiYetói
inclúlda la instrucciéri télevislva; 114 (en cilátr n;.tlales) fúeron
madel Programa currit-ular, pero sin las instrútclones té/évisadas:-Si 207 (érrnti
clases),recibieron el programa curricular tradltiori'át-(prerreforrna) , LOS doS
,rolgruji,ofuereerscogidos por e1 Ministerio delEdúcación, rnientraS que el tercerQ,
üri ' -'-"

184 ESTUDIOS NO ALEATOR1OS 185

(en.19.clases) que . in en j 1 a- La igualación individual generalmente se refiere a la agregada; sin embargo,

. cf:.éii..-.1970í6i111.¡1-,......,
.1.6áttlwlá-•éxp`éiWenfül. .11- 1-0:45giáml.
curiktilán. • Ireforrna;
la igualación individual tiene varios inconvenientes: es más costosa, consume
. ..........,.
.11.82Mil.:5;;Chsti,.>C1491):i e. leilkáéritarbn las .iii'sttúeciórieliáliiViladaÑi,shillntí.ás.'0.te más tiempo y es difícil de ejecutar para un gran número de variables. Otra posibi-
lOs no lo hIcieron. lidad es concordar las características individuales y agregadas, como ejemplifica
estigliántel,ery33:cles.',exporpoptarop.p1;pogrTona.:otirrio. el anexo 6.8. Los métodos empleados para concordar varían en complejidad. Al
e'r) respecto Sherwood y colaboradores (1975) documentaron una técnica de varia-
• ción múltiple y la equivalencia resultante de los grupos experimental y de control
confrontados. Las abreviaciones de los diseños de confrontación para evaluacio-
nes se han explicado cuidadosarnente (Campbell y Boruch, 1975; Campbell y
Erlebacher, 1970). En esencia, lás aplicaciones inapropiadas ocurren cuando la
,aélltlde p s. ,ca. • confrontación se realiza con base en mediciones previas de las variables de los
Los resultadósindicañ -.éti meiar
n .e refor,,' resultados empleadas para valorar la repercusión. Cuando tales medidas no son
iol... stüdlliit.el. áciitiii;11.5511.-. iii1.1,1.i.ábilidád :gene.ra qne -áque ps : que experi-r confiables y tienen fallas, los hallazgos de la evaluación se pueden desviar o care-
óri. n07.
ír) entlr
cer de validez, debido al traslado de las medidas no confiables obtenidas en dos
qntenes no las recibieron. Se hicleron
en el conjunto C y luego puntos (conocidas como regresión hacia la media). No obstante, el acto de con-
tresdlICileti--.1.0,thiiilii;i:+1,4:50,1i,s11.1 :-e.inlIidnp, los resultados para niechr las prue-,-,, cordar con base en otras varíables es factible y deseable (Sherwood et al., 1975).
fUeron rnetlOS fayorable.9-:-
fueron más positivas
' ptes.r.31.. inostrarei trones
611E.:
Anexo 6.8. Experimento no aleatorío con un
, grupo control construido y medidas anteriores
ente e COIS k y E G.McAnanY;EduccyttóryffiRcIonn y postertores a la investigación
El sahhudii'Ex"p.'ériehoe; ptInford_Pliversit3i. P TC59. Si,31-1190,,C,attfonila, 1976,
-
El expetimento de planificación farnsliar de DacCa fuetind evaluación
ranva de los prograrnas de planIficación familiar,dtrigidos a hombres y mujere_s, El
propósito principal fue analizar los cambios diferenclales en las prácticas de control.Ü
dess.i la nataltdpd resultantes de los tres entóqu'es- educativos para la
fámiliar Idáadón dijaá- á ips rnaridoS eSicliisivamente, educación 41recta a
esposas_exchisisiamente y educacián direOta a ambos, Para medir la efectivIdad
cada uno_de estos enfoques educativos, se tomparó cada uno de los cuatro
inetá.s :C1 Programación del• los c uaíe,s recibieron servicios de contrel natal pero no el prograrna e*.perimentar-;,':
pac tleron;.pr mercii,, me orát...liefec I v ., gleUrt;próg.tama educativó (el control).
plí qUiátriCO':Ii104éntel Internos por medio de una reti:O. Olítéritá0lbii régUlár I-á población estuchada se representó por indivIcluos que aún no usaban.
Cuente para , 100shijpósdé' Lti:040eiii1):,V1édOdei:‘ ririlpOitiOriát , , Irán Seáürldad, a rn,-Itodos cie contVol n,nal en extensión fija. Las poblactones estudiadas se seleccib=r1!::,
ca a personl para .q110. .en91,40.:P.O
': . grAT
. á áli11.81"It narori-de'éüatr, o_colonias de kOsíiendas rnantenlds por el Gob 'lerno Central
ramente estáblé0d1.5' . Pakiliá'n'para sus e npleados en .bacca;EftiPO 'cle sAvIenda proporclonado se baGb-is.
Con el fin de evaluar el IPP,elenfóquese c'entró:ely.n.ná —ünid.•;de..., pacientes en el Salario delos empleados, elasificaclos . en cInco categorías, Los grupós
Yktár: ñizi -s de un hospital psiquiátrico y én uná linidád.Slinlleeketniísr0.hospital - Se diados se defini6on como aqUellos ¿itte teníari niveles bajos en el goblerno (catef,:-
usó en un grúpo,contról Construldo. „ , . útildáCtélrfireipiiSirni‘laies:ert.tkrninos
: , : , gorías 111 y lv, de trab;ajadores que iban desde mozos hasta oficinistas cOn'nive).
de capacidacl, lugar-de orígén, tlpos de'Pa:c.terlies,e0,101:1'AinbOS.Si.(01;:perrodo )ó)y:que vivían en vivienda.s:separadas, pero s)rnilares a las colonias, Las
medlo de estancla .ritImerode grupos de estudio sefiltraron Para elimmar a los Inelegibles según tos
soclodemográfic4V-allaliVierites, Se analizaron tres varlables clependientes del cr te iio 1 Ui iii e un esPoso qüe , no o_sidiera en el nrea en el tiernpo anterlor
proceso (el repol,t1d-IVISIKábl.tos delRe.rs9,nal,10,,atruQsfer pabellón y la satis-. la inve..,t 1 ;ación; parejas_-que 11 0, :ppdran cnt,nder bengalí (el idiorna que se'usa4:,,
facción del cllente) y dos variábles déplrídtérit_e;S:c1,11:Vet.,: ü1.f. sde,descarga durante las ritrevist,ls); los QS , SOscon mjis de una esposa antes de la
I poster. 191:y ajustweotnunitart&;11.rántdp:':4-r.khaipítálízá-ci ción;-parejas . q4e. ,habían'estadli -aásadas durante menos de dos años; si
Los resültád§111d14n:1>titO,Iiá'iCiál',0.11p`rosrárii tenía Mas de 50 años de edad, y si c‹ iiaidiriera dé los cányuges. se había esterilizadó»..
plb11.101103satli:;pocyeriwi,iiiáítúliriris Los datos se recabaron por medio ,de Ids-estudios anterior y posterior
diante registros
, tanto-clínicos
. - corno de las
_ visitas -al hogar. Ambos esposos en _
Fuente; állunietaéks Poéiit tres'grupós experimentales füeron entrevistados antes y despus de
Evalun I on and F2eégSICIfjcii.1-1.11,im.Nittglitisr.;:ri ción.-..Elfgrupo contról sólo fue entrevistado de. spués cle ta'
557
nes. y desp ilil ".''¿Ontenían- Pregunfas acerc3'-'ellt,)s tern s-stitt entesin:_‘c'ara
e-s ticgtaecr:
186 187

fertilid10::fultira Estado socioeconómico (ganancias o ingresos familiares, riqueza, ocupación seguida,

ca..1.'dertí etc.)
mteritada.;:lscrdel.contr átátY 'a>cfliír-dialiSeakide'atirerider'.élbáli'.1.Itürin'Clétc 0 Arreglos familiares
Etnicidad
lian más efec-
,tivos que otros que reunir metas multiples entre muchos tipos dé •-poblaclones Características de las unidades organizadas (escuelas, clases, uniones, etc.
por muehd, una Diferencia de tamaño
Niveles de autoridad
idclos los cr,,te'i'le,tá¿ Niveles de subunidades
0)ptei'-clOpipláln;;iiielítiel0111 7.,14:joraniiento de Lis aCtitudes cjue consideran la Número de papeles distintivos y diferentes (ocupaciones)
aceptacióh de'Ciliáktíérs¿tiál . Paia Irriplear la planificaCión farroliat- Este entoqué Clase de industria
y cOnopmiento Rango de crecimiento
i.el.Wayores och crájl"superior y en honitwes " jóvénét Presupuesto
090 é,11PrIlárall4;01.1.11d¿vo :i.iri:10,10 sexp tírl Mayb.r • efecto (en este ejerriplo , los ítii'&
tuivjeron utl m yor efecto). Parece que los es• Características de las comunidades (unidades territoriales organizadas):
ue4151 -édire4tiypS:diiigid0; ..1'iirilás Sexos Pueden seinás efectívospara lograr el Mezcla industrial
másampll. gode ¿Ugritiktitivos, actitudiñalel y de Comportamiento en Organización gubernamental
Tamaño de la población
Tamaño del territorio
omia, of
de L W Gr..on Docca F(111111y, Ing Experlmoot, Rango de crecimiento
mw-rsIty o 1972.
Densidad de la población
Localización respecto de otras unidades territoriales (parte de un área metropolitana,
ciudad independiente, pueblo, etc.)

Selección de los grupos control construidos

Nótese que las características mostradas en la tabla son "conjuntadas"; es
Siempre que exista aunque sea el menor conocimiento a priori del área decir, las características de los individuos se pueden usar también para caracterizar
sustantiva de una intervención, se deben seguir algunas guías basadas en lo unidades mayores al formarlas en promedio, medidas de dispersión u otras medi-
que los científicos sociales han encontrado en las pasadas decadas para gene- das de descripción agregada. Un individuo puede ser caracterizado por su edad
ralizar las características de los individuos, las familias, las comunidades u cronológica; una familia, por el promedio cle edad de sus miembros; una fábrica,
otras unidades que afectan muchas áreas del comportarniento hurnano. En el por el prornedio de edad de sus empleados (o la proporción entre ciertas edades),
cuadro 6.2 se muestra un breve linearniento de tales variables del control. y una ciudad, por el promedio de edad de sus habitantes (o por la proporción de
personas que constituyen el grupo de edad económicarnente productiva).
Tal vez la mejor manera de usar las características mostradas en el cuadro
Cuadro 6.2. Características útiles para dividir grupos control construidos 6.2 es considerarla una lista diseñada y revisada para recordar al evaluador las
características de los que son probables candidatos para formar los grupos con-
1 Características de los individuos: trol. Para valorar la repercusión de una carnpaña educativa contra el tabaquismo
Edad dirigida a jóvenes escolares, se podría confrontar a un grupo experimental de
Sexo
Nivel educativo
escuelas con un grupo de escuelas de control construido, unas comparables en
Estado socioeconómico (ingresos, riqueza y propiedades) cuanto al estado socioeconómico de los padres, el desempeño intelectual de los
Tenencia (tierra y/o casa en propiedad) estudiantes, el tamaño de la cludad y el lugar de residencia.
Estado rnarital Sin embargo, las características mostradas en el cuadro 6.2 no son un susti-
Ocupación (prestigio ocupacional) tuto adecuado para tener un conocimiento previo apropiado al fenómeno que se
Etnicidad (raza, grupo cultural, lenguaje del grupo ,y origen nacional) estudia. Generalmente se ha encontrado que las características mostradas en esa
Funcionamiento intelectual (CI, habilidad congnoscitiva y conocimiento) tabla han sido útiles, pero no necesariamente apropiadas para todos los proble-
Fuerza laboral de pariicipación mas sociales; por ejemplo, un programa diseñado para disminuir el promedio de
fertilidad entre los adolescentes solteros se puede evaluar mejor si se emplean
II. Características de las familias (o casas): grupos control construidos cuya elección se basa en alguna comprensión teórica
Etapa del ciclo de vida
Número de miembros de las motivaciones de algunas adolescentes para aceptar quedar embarazadas,
Número de niños implicadas en un comportamiento sexual, etc.

188
Estrategias en la recolección de datos
para diseñar grupos control construidos
Las consideraciones estratégicas que entran en el acopio de datos y los dise-
ños con grupos control construidos no son esencialmente distintas a aquellas
estudiadas en relación con los experimentoS aleatorios. La recomendación gene-
ral es que cuantas más medidas -anteriores y posteriores a la intervención se
tomen, mejor será. Las razones de esta recomendación, en el caso de los grupos
control al azar, son: a) cuantas más medidas se tomen, más confiables serán las
lecturas que se hagan en los resultados previos y posteriores, y b) el proceso
mediante el cual la intervención puede funcionar probablemente se rastree con
más cuidado sobre el tiempo.
ESTUDIOS NO ALEATORIOS: GRUPOS
CONTROL ESTADISTICOS
Al valorar la repercusión mediante el empleo de grupos control aleatorios o
grupos control construidos, se sigue una estrategia en la que los participantes en
un programa son confrontados de uná manera designada con los no participan-
tes. Esto puecle irnplicar muchas medidas de los resultados, incluidas las anterio-
res y posteriores a la intervención, o ambas.
En esta sección se examinará la estrategia en la cual sólo se usan las medidas
posintervención, y se utiliza un enfoque diferente para comparar a los participan-
tes con los no participantes; se realizan investigaciones seccionales cruzadas, las
cuales perrniten - hacer comparaciones entre los participantes y los que no partici-
pan, y la comparabilidad entre ambos grupos se establece mediante el manejo de
los factores adecuados constantes estadísticamente.
Por ejemplo, para estimar los efectos de la asistencia de adultos a escuelas
católicas, el evaluador compara a aquellos que han asistido a escuelas parro-
quiales con los católicos que no lo han hecho así (Greeley y Rossi, 1966; Gree-
ley et a/., 1976). En este caso fue posible emplear grupos control construidos
debido a que existen muchas parroquias sin escuelas parroquiales y, por tanto,
algunos católicos no tienen oportunidad de asistir a tales escuelas. Dado que los
autores tenían interés en medir la accesibilidad ocupacional en - los adultos (en-
tre otros resultados), sólo las medidas de la intervención posterior (accesibili-
dad ocupacional medida en una muestra de la investigación de adultos católicos)
eran disponibles.
Por supuesto, habían muchas maneras adicionales en las que los asistentes a
escuelas parroquiales pcdían ser diferentes de sus contrapartes que asistieron
a escuelas seculares. La asistencia a escuelas parroquiales podría haber repre-
sentado una obligación más fuer-te hacia el catolicismo entre los parientes de
tales adultos, una obligación expresada : mediante el acto de inscribirlos en
parroquias que tuviesen escuelas parroqúiales. Los parientes de lbs asistentes
a escuelas parroquiales tarnbién deben haber sido afluentes, pues por lo gene-
ral sólo las parroquias con suficientes inscripciones pueden esforzarse por
establecer escuelas, y sólo los parientes relativamente ricos pueden esforzarse
en proporcionar los cargos de enseñanza que son exigibles. Después de efec-
tuar numerosos estudios, se sabe que el estatus económico está relacionado con
GRUPOS CONTROL ESTADISTICOS 189
el aprovechamiento escolar. Estas posibles diferencias en la riqueza familiar se
deben tener en cuenta para aplicar los controles estadísticos apropiados. En
esencia, la valoración de la repercusión seccional cruzada depende principal-
mente del uso de métodos estadísticos para puntualizar las diferencias entre las
personas que han experimentado una intervención y aquellas que no.
Un estudio seccional cruzado es aquel en el que las observaciones se hacen
desde un punto singular en el tiempo, de manera que se compara a los participan-
tes en el programa con los que no participaron (o aquellos que han participado en
varios grados). Generalmente, la población objeto es muestreada y se realiza una
investigación para recabar información acerca de un gran ,número de posibles
variables-de confusión. Las diferencias entre los niveles de exposición a una inter-
vención se observan de tal modo que se manejan costantes por medio del análisis
estadístico, y se observan también las otras diferencias apropiadas entre los partici-
pantes y los no participantes.
Debe notarse que la valoración de la repercusión con grupos control cons-
truidos y que usa grupos control estadísticos son idénticas conceptualmente. La
diferencia principal radica en la filtración de las poblaciones objeto no participan-
tes por medio de una selección deliberada (grupos control construidos) como
opuesta a la filtración de la población mediante técnicas estadísticas (grupos con-
trol estadísticos). Parece que mediante ambos métodos se obtiene comparabili-
dad entre los participantes y quienes no participan y que ambos dependen del
conocirniento anterior acerca de cuáles características podrían distinguir a los
dos grupos.
Si se hace una valoración de la repercusión con grupos control construidos o
con grupos control estadísticos, podrá centrarse en la distribución de los partici-
pantes objetivo y en los no participantes de la población por estudiar. Para citar
un ejemplo obvio, tiene poco sentido intentar usar una investigación de la pobla-
ción general para hallar participantes y no participantes que se encuentren en
programas de rehabilitación dentro de una prisión, porque aquellos que podrían
ser individuos objetivo serían relativamente raros en cualquier investigación de la
población. Por ello, las investigaciones no deberían ser un medio eficaz de esti-
mar la repercusión de cualquier programa .que sea apuntado a un conjunto estre-
cho y definido de -población.
Una consideración adicional es si resulta factible o no obtener mediciones
anteriores y posteriores. Si, por una razón u otra, no es posible obtener o reca-
bar mediclas anteriores sobre grupos control y experimental construidos, las
investigaciones serán un excelente medio de proceder; por ejemplo, para medir
los efectos de los programas GI del financiamiento y de la enseñanza sobre los
veteranos de la Guerra de Corea, es probable hacer sólo una investigación de
los veteranos sobrevivientes, con la esperanza de que será posible mantener
constantes las diferencias potenciales entre aquellos que usaron sus beneficios
y quienes no lo hicieron.
Ajustes estadísticos sucesivos
La lógica para mantener constantes a las variables se muestra en la tabla 6.1,
una valoración de la repercusión hipotética de un programa de entrenamiento
vocacional para desempleados entre las edades de 35 y 40 años. El programa se

190 CAP. 6. DISEÑOS COMPARATIVOS
diseñó para aumentar las habilidades del trabajo de los participantes, al permitir-
les obtener mejores (mayor salario) trabajos. Para evaluar el programa se tomó
una muestra de 1 000 participantes y se les estrevistó un año después de que
completaron su entrenamiento vocacional. Además, otros 1 000 hombres de la
misma edad fueron muestreados de la población general de la gran área metro-
politana en la que el programa funcionaba. Como el programa era pequeño, casi
todos los hombres enfocados a la entrevista en la muestra general no habían par-
ticipado en él. A ambas muestras se les pidió información acerca de sus ingresos,
y para ambos grupos se calculó una proporción de salario por hora.
En la parte I de la tabla 6.1 se muestra la comparación de estos promedios
de salario por hora. Aquellos que participaron en el programa ganaban, en
promedio, 3.75 dólares por hora, mientras que para quienes no participaron,
el promedio correspondiente fue de 4.20 dólares. Era evidente que quienes par-
Tabla 6.1. Ilustración de los ajustes estadísticos en una evaluación hipotética de un
proyecto de entrenamiento para el empleo
Medida del resultado = promedio de salarios por hora en un año después de completar el
programa de entrenamiento
I. Comparación bruta entre hombres de 35 a 40 años que completaron el programa de
entrenamiento con una muestra de hombres de 35 a 40 años que no tuvieron programa
de entrenamiento:
Participantes No participantes
Rango promedio
del salario $3.75 $4.20
(1000) (1000)
N=
Comparación después del ajuste para el nivel educativo:
Participantes No participantes
Con menos Con menos
de la Con de la Con
preparatoria preparatoria preparatoria preparatoria
Rango promedio
del salario $3.60 $4.10 $3.75 $4.50
(300) (400) (600)
N= (700) de las estimaciones de la repercusión
III. Comparación ajustada para el nivel educativo y empleo al inicio del programa de
entrenamiento (o datos equivalentes para no participantes):
Participantes No participantes
Con menos Con menos
de la Con de la Con
preparatoria preparatoria preparatoria preparatoria
Emplea- Desem- Emplea-
Todos desempleados Desem-
pleados dos pleados dos
Rango promedio I meales son especialmente apropiados (deben consultarse textos avanzados; por
del salario $3.60 $4.10 43.50 $3.83 $4.00 $4.60
N= (700) (300) (100) (300) (100) (500)
GRUPOS CONTROL ESTADISTICOS 191
ticiparon en el programa ganaban considerablemente menos que aquellos que
no lo hicieron (sólo 89% de la proporción de salarios de los no participantes);
sin embargo, estas comparaciones desajustadas son muy engañosas, pues los
participantes y los no participantes podrían ser diferentes en el número de
variables relacionadas con el salario, y otras que no son las de su participación
en el experimento.
En la parte II de la tabla 6.1 se muestra una de tales diferencias y se presen-
tan los promedios de salario separadamente para dos niveles educativos: quie-
nes no habían completado la secundaria y quienes sí lo hicieron. Adviértase que
el 70% de aquellos que participaban no habían completado la educación secun-
daria, en oposición al 40% de los que no participaron. Cuando se comparó el
rango de salario de las personas con logros educativos comparables, los salarios
por hora de participantes y no participantes se aproximó uno a otro, respectiva-
mente: 3.60 y 3.75 dólares para quienes no habían cornpletado la educación
secundaria, y 4.10 a 4.50 dólares para quienes sí lo hicieron. Obviamente, mane-
jar la constante de los logros educativos disminuye las diferencias entre los ran-
gos de salarios de participantes y no participantes.
En la parte III se muestra otra diferencia. Como todos los participantes eran
desempleados en el momento de participar en el programa de entrenarniento, es
apropiado comparar a los participantes con aquellos no participantes que tannbién
estaban desempleados. L.os no participantes se dividen en aquellos que esában
desempleados y aquellos ciue no lo estaban. Esta vez, quienes participaron en el
proyecto ganaron más en cada nivel educativo que quienes no participaron y que
estaban desempleados durante el MiSMO tiempo, respectivamente: 3.60 y 3.50
dólares para aquellos que no completaron la educación secundaria, y 4.10 y
4.00 dólares para quienes sí lo hicieron.
Nótese que la inclusión de ajustes estadísticos sucesivos (controles) no fue
mediante un proceso casual. Hubo justificación para incluir cada control, con
base en el conocimiento anterior acerca de las determinantes de lo ganado. Por
supuesto, en cualquier ejemplo real se podrían haber considerado grupos control
adicionales, tal vez la ocupación previa, el estado civil, el número de dependien-
tes y la raza, factores conocidos porque se relacionaban con los rangos de sala-
rios. Otra vez, la valía de ejecutar la valoración de la repercusión por medio del
control estadístico depende fuertemente de ese conocimiento a priori.
También debería señalarse que en tal diseño de la evaluación generalmente
no se pueden contar por completo los efectos de la autoselección y removerlos
neta del programa. En el ejernplo presen-
,
tado en la tabla 6.1, las personas desernpleadas que participaron eran, por este
hecho, diferenciadas de quienes no lo hacían, tal vez por niveles de nnotivación
más altos, una diferencia que no es posible medir retrospectivamente en un alto
grado de confiabilidad.
El ajuste hecho en la tabla 6.1 se realizó de un modo muy simple con el fin de
ilustrar la lógica de los controles estadísticos sucesivos. Métodos más complejos
v sensitivos estadísticamente están disponibles para realizar simultáneamente
diversos ajustes. Las técnicas de regresión múltiple y el análisis de la covarianza,
como múltiples funciones discriminantes de análisis y modelos de logaritmos
Hanushek y Jackson, 1977).
192 193

Métodos complejos multivariados

"15t=0 6.9. Reoresión del número de sernanas desde
la posliberación hasta el primer empleo, con selección Para ejemplificar el empleo de métodos multivariados complicados, en el
cie las características de preliberación y el estatus de anexo 6.9 se muestra el resultado de un análisis designado para estimar la reper-
la palabra de honor para prisioneros liberados cusión neta de la libertad bajo palabra en el empleo de liberados de una prisión de
de una prisión de Texas Texas durante los primeros seis meses de 1976. La ecuación mostrada en tal anexo
indica el número de semanas desde la fecha de liberación hasta la fecha del pri-
mer empleo durante el primer año de liberación del convicto, como una función
La uariable dependiente es el de la libertad provisional y un número de variables que se pueden estimar afecta-
rulmero de serapncis:ontes del doras del trabajo o de la palabra recibida.
primer trabajo en el GñO de El coeficiente mostrado en la columna b es el coeficiente de regresión no
' Var10:e. !riclependlente posliberackin estandarizado, que expresa el número neto de semanas para el primer empleo
para cada unidad de cada variable independiente. El coeficiente por haber
SE
Liberación bajo lialabra -3.45** 1.25 sido liberado bajo palabra es de - 3.45 semanas, lo cual significa que las per-
Edad (aflos) • 0.01 0.08 sonas liberadas bajo palabra encontraron su primer trabajo 3.45 semanas más
Masculino -- 14.45- 2.72 pronto que otras, y rnantuvieron constantes todas las otras variables en la
Negros 4.45" 1.53 ecuáción. En efecto, el coeficiente de regresión de la libertad provisional es un
Chicanos., 4.33" 2.07 efecto neto estimado para el estatus provisional, lo cual indica que las perso-
Educación (años) -0.16 0.34 nas liberadas bajo palabra trabajaron más rápido que aquellas que fueron libe-
Casados -0,01 1.89 radas incondicionalmente.
Núrnero de recluslones p 0.011 0.09 Las variables restantes en la ecuación fueron incluidas porque hubo buenas
:Dinero de entrada 0.00 0.00 razones para creer que las condiciones que representaban afectaban el empleo o
• Desventajas de la clasific 7.36" 2.25 el estatus de la libertad provisional. Así, la edad, el sexo, la raza, la educación, el
I...lberado a. . Hcustori - 4.67" 1.44 estado civil, ser un impedido físicarnente, haber arreglado un ernpleo antes de la
ración -0 20" 0.06
la liberación y haber regresado a Houston (un mercado de trabajo prirnario en ese
2.81*** 0.76 tiempo) fueron factores que se incluyeron en la ecuación. Todas fueron variables
C.0.111 isión -0.03 0.02 disponibles en un conjunto de datos y se esperaba que afectaran rápidamente la
16.68* 6.50 obtención de empleo por parte de los ex convictos. De hecho, se observó que
R2 - 0.25*" algunas de ellas fueron útiles: los varones trabajaron más rápidamente que las
N (397) mujeres (cerca de 14.5 semanas más rápido); a los irnpedidos físicamente les
tomó más tiernpo; quienes regresaron a Houston trabajaron más rápido en ese
' EstadistIcaínente sigracatIvo en 0.05 buen rnercado laboral, y quienes fueron contratados antes de su liberación traba-
'• Estadisticarnente signIficativo en 0.01 jaron todavía más rápido.
EstadísPcarnente sIgnificativo Cil Ü.001
Se incluyó otro tipo de variables, para mantener constante la tendencia de la
libertad bajo palabra dada y, de hecho, representar el proceso de selección utili-
Nntá: Ios re,sultartós'el 'iégiest¿rirriostrados en lfneas aMterlores se calculan del grupo control en uno de it3S zado por el tribunal de la palabra de Texas: el número de reclusiones previas y el
peririrentoá TARK,hiálese que . comtala tabla mostrada se refiere sOlo a los rniembros del grupn contrcl código de comportarniento en prisión (actualmente, una' especie de sistema de
InvestigacIón seecional cruzada y es eqüivalente átener una rriuestra al azar de todat, las
1, ,r gfilklá.510;er4dá:s de las prIálones estatales de Georgia en un pericadde sels meses en 1975. (Los detallas puntuación en el cual cada incidente o mal comportamiento en prisión lleva a un
de I natamierlto c,i crIn n cnt31 (1.1,1c, en ci,,crIben en ci unucrj b 14 ) incremento en el marcador).
La valía en el análisis presentado en el anexo 6.9 depende fundamental-
mente de cómo la variable utilizada (o modelo) captura completamente los
Fuente;I:lbulmione, mi"pi.4.1D11c,rfis del grupo control en los experimentos TAiilPenfcc (p,lra una factores de la no palabra implicada en ir a trabajar con rapidez y los géneros
1cs-nix1 n7n consübetc P. H. Ross1, R.- A. BerPey fu. J L rutan, 1980), de factores tomádos en cuenta al dar la libertad provisional.
,

Ejemplos del uso del control estadístico

En los anexos 6.10,6.11 y 6.12 se muestran los diversos niveles de comple-
jidad estadística en el análisis de datos seccionales cruzados para valorar la

194 CAP. 6. DISEÑOS COMPARAT1VOS
repercusión. El anexo 6.10 es principalmente de interés histórico, pues se ela-
boró al principio del desarrollo de la investigación social, antes que las compu-
tadoras hicieran posible efectuar los cálculos fácilmente ybaratos; es un estudio
de la repercusión de la disgregación en la Armada de Estados Unidos .durante ei
conflicto de Corea en la década de los cincuenta. Valorar la repercusión consis-
tió en comparar a los soldados en las unidades íntegradas con aquellos que ser-
vían en las unidades segregadas. Los controles elaborados estadísticamente no
fueron practicados, porque las técnicas estadísticas apropiadas difícilmente se
podían aplicar en ese periodo, y porque la autoselección se convirtió en un fac-
tor (la Armada puso soldados en sus unidades y el intercambio de unos a otros
era muy difícil).
• AneXo 6 ibÉfectos
unidad,e.s'de la adát.défÉ.,stádóá' PlActs
Los autóretliieron coniisiona os or a _ e tadOs . pn-
os e,n losn
éca'Cla de los cinCuenta pará vaiorar la repercu.siónridela integraCión
los ,negrós :enlaunidades preViamente formadas Sólo por blancos que ser-vían en
Corea dtirarite'et.": conflicto" coreano. El estudi6 estaba basado'en entrevistas cuall- -
nItIvas conjOs_oficiales.ylós hombres listados, asicorno en cuestionarios autoadmi-
ntstrados a una gran mu -eStra-de soldadoS ,,La repercusión • Seévaluó ppr?rnedip,clg.,'
respuéstas compáradas, dadas.Por cadauncide lOs,grt.ipol„siguientes ...bláncoSde las.
,unidadeS formadasSólo Por blariCO, negrdS enlaStinidadeStnIxtasrecién integradaS.:
Él análtsis se=preenta en la-tabia'Slguiente, en la 'atailóssei/lados en los cuerpos:
de del "caártelleneral son comparaclos en súSrespuestás á laS cues-
tt o d e ' qu éett.el' •dérfüttiti5;' dé . ,/al, rel ac I orieyraciales'Onliti
EstadnkUrildOs.7 : - -"
,
,
Cómo contestaron los soldados del cuartel general la pregunta: "Conforme el
tlempó tr.anscurre, ¿piensa que los blancos y la gente de 'color en EstadoS Unl-
dos tendrán mejores relaciones jttntos_ que las actuales, que no son tan buenas,
o serán bomo.,haáWáhoya
Ispliesias1
tarárn'rnejor
tarán . lgual hastaahor
1n1C¿s4arántan
ln repuesta
- enrEValuarten -Quarterly, núrn. 1, febrero cie 1977, pflgs. 159 171. -
1.
195
--En:generabr,-los'negrOs' 9' los blancOs cie'lla'S.Unidades mn<ta. .s erart'rnas „av.,ora.bles,
con los'rniembros dé la,ráza cOntraria;=19:.cuál ht.zolLegatiái:
ex- Periencias aciu ' aiessiiÇ' una'aPtittld.„,
, más faVorable. -
,
, Funtc TcrradodeL Bo.cfart, Socialnes.ea
175 con autoriza-clán
En el anexo 6.11 se describe un intento por discernir si los cambios de moneda
en Chicago perseguían diferentes políticas de precios en los barrios negros, en
oposición a los barrios blancos. Se usó el servicio de cambio de moneda como una
variable del resultado y datos del censo que caracterizaran las composiciones racia-
les y socioeconómicas de las pistas en las que el cambio se localizaba como control
estadístico, para detectar, mediante el análisis, las diferencias de precios indicati-
vas de una política discriminatoria de precios entre los cambios de moneda.
Anexo 6.11. Discriminación racial en los
mostradores de los bancos de Chicago
L
El principal objetivo de los camblosAimoneda en .16s, bancos, de -Chicago:
es servir a los residentes en área
— sde la cludád tan pobres que . no pueden interesar a
ios servictos de upSanco. En ü ingyoría, al efectuar camblos de rnoneda se
deli;a12%;s'Obre_iacantidacl de cheques en efectivo.y. órdenes escritas de d1nero,9
de 0".20 3á 0:30 ientávos de dólar,:tior repptir,pásos cle.utilídades. El Prapósito
extenstóií'y..„,:f_p- is m ' rdife/
- a :de: .11-sprecIóS -' eric" iales en
de mo'neda de Chicago, de actierdo con la co -rnposición ractary étnica de ias areas
la q q ue sirven
" . '
e n,krrniestra de-43 cambios 7ioneda:c1111 póginaS de la
- Se seleccionOlu
sección arharill jáérdirectorió telefónic011e escógió la déclya ,Parte)'. La corn-:»:
posición racial del'c'enso enque lbs cárñblósestabart übl¿adól.se - obtuvó pors
dicotomización del eenso en dos grupos: "3% o menós" "7% o tnás7.E1 anái113',.;
de regresión t-nültiple seernpleó para analizar los datos. El cargó on el servicio,
variable dependiente-, se regresó en la . cantidad de servicto,,el-porcentaje
negros en el censo yetporcentaie de personas de hablá hispana en el censo,'07'.1,
último tarnbién se analiz6COMOun término.c.t.tadrado- ..4 . 0.rs
ie cey ncan
tajj:
cle negros v cantidad de servicio, e interaCárlifillenin
tidad,(.1e sersicio
encontró que cada porcentaje cantbia
a'
su _
cos a negros, tual originaba un incremento en el cargo por servicio de
centavoS . de dOlár eAunque es ta cantidad es triviat e setra nsforma ''0 7a ' .
brecargo páracksítoda el áre-á negra. Los autóre'Oncluyeron
explotan la_ se.g"regáCIón resídencial racial'ep ChiCagO al»,.rglr,r90.94',¡?rICISS
los negros; aunq-tie aclaran-gue sus liálláz oS-sOn., ,eithIorttlpfioS.9 se-.débett\totnair;,-"
con precauci¿n,
Ftle.nte: ' R.-sUmen de W R e iyc J O p eSom Racial Discriminatio. n

196 CAP. 6. DISEÑOS COMPARATIVOS
En el anexo 6.12 se muestra un intento para discernir si los programas de
planificación familiar federales tenían alguna influencia de la fertilidad. Los
autores aprovecharon la existencia de la investigación de todas las clínicas de
planificación familiar en Estados Unidos que incluían medidas del servicio
entregado en cada unidad, con el fin de relacionar esa información con las esta-
dísticas vitales para la misma área. Los autores modelaron los rangos de fertili-
dad y agregaron la participación en las unidades de planificación familiar como
un elemento del modelo para encontrar una influencia significativa de las uni-
dades de planificación familiar en la fertilidad por condados. El efecto que
encontraron es proporcional al nivel de actividad de las unidades de planifica-
ción familiar en cuestión.
Nótese que este estudio de fertilidad fue una evaluación de un programa de
cobertura total. De acuerdo con la legislación federal vigente, todas las áreas del
país eran elegibles para sufragar fondos que podrían apoyar a las clínicas de pla-
nificación familiar. Por diversas razones, algunas áreas elegidas no participaron,
y hubo alguna variación en el esfuerzo entre el gobierno local participante y stis
unidades. Esta variación permitió discernir los efectos de los esfuerzos de tales
clínicas. Por supuesto, se debe suponer que los factores que se mantienen cons-
Anexo 6.12. Influencia de los programas de planificación
familiar en la fertilidad en Estados Unidos
El objetivdprincipal de I()s progr.anlas clrlicos cle plantficación familiar en Estados
l_Unidds en 19684969 fué.:`,`capacitar.;a lókestadounidenses para: qúe décidiéi-an libre-
- Wentéel:rálin ' de-Sús hi)OS:, élóiiPii)Orida-cipara servir a Persona'seóribajOS'Ingresos",
..Médiarité,Otééstudfci;se .elialüó'llcilchoS:Programas tuvieron_tiria inflitenela
7-va eli `lafe'ffiliclaacIfe'.7qüiénesPI;t1o'ire,iien ellcis. Las fuentesClé datOs se .fonWrOn del
ésiadístieas del National Center for Flealth'-.Statisties.4,Centró.
la y del Alan Guttrnacber Institute -Institato P`dan Gutt'rnaher-
_ (eStadíStiCaS dc.„, serylcio al,progmrna). Las urMdes, de apálisis se Ila níaron unid F?e/es de
ueullsls estuditié.07(VA:), las cuales fueron urrCpileía,dó o un númerb de cOrnúnidades
pequeñas..bltilio',7710AE,de:Ybjancos" (cada -únidaá . 114E luvo por Io,menos 20 000
uiujres,blnas) y 237. UAE ele ."nc_,grc>s" rnUje-
' res negras). algunas circunstancias, especialmente cuando los experimentos aleatorios o los
- -
La PrineiPáNa'riable d` elprogi'.4)-rlia. fdllserlpéln .én las clínicas de planifica-
ción-farniliár (de'lOS :.-serVielOS-. reglstraclOS):y la: .‘'ffariableresultante fue. el rango de fer-
nI n da (ciél censo, medido de mmieras,diferentes): Los grupos cpntrol estadrsticos
se inclbyerówpor déiísidad de 1.-)Oblaei5n,',.éducaef6tVírilgr8ción eStado rnárital,
estado escolar, raza, fuerza de trabajo, edad y paridad en modelos de regresión
Imerdes, addivos v multmles. .
-
. Los autores
_ encontraron que progdama tuvo marcados . efectos negativos
- en los rangos dé fetilidad en ambos trpos de múteres casadas negras y blancas
de todos los subCtr-tt-Pos defintdos por edad irstzlclo socioeconómico, despues de.
'controlar los' otros factorels , análisis del'eosto POr beneflcro del proglarna
produjo tangos favorables y se resume en cl anexo 8,
. Fi ele O u ri cc,r) rt-nP_o, de P. Cutl Ight y 1,-I11e,11x?p-act
, of Famlly Pinnifing F5-ogrurn e, on
1.1.er4/1/ty.
GRUPOS CONTROL ESTADISTICOS 197
tantes en el análisis estadístico también mantienen constantes las variaciones
locales acerca de la buena voluntad para comenzar con las clínicas de fertilidad
(esto es, el proceso de autoselección).
Todos los estudios mencionados requirieron a los investigadores buscar
el conocimiento a priori de la intervención en cuestión y el fenómeno concer-
niente. Para Bogart y sus colegas fue esencial conocer qué soldados tenían
poca posibilidad de seleccionar la unidad para la cual servían. Para Bridges y
Oppenheim fue importante concebir el cambio de moneda como una respues-
ta mayor a los niveles socioeconómicos de sus clientes; esto les permitió ajus-
tar tarifas de servicios de manera que discernieran si la composición racial de
su clientela era también un factor en las políticas de precios. Finalmente,
Cutright y Jaffe delinearon en su investigación cómo las variables demográfi-
cas y socioeconómicas influían en la fertilidad.
En resumen, el control estadístico es un procedimiento excelente por aplicar
cuando no se pueden incluir como controles las variables y condiciones que tie-
nen en cuenta las explicaciones competentes acerca de los resultados del progra-
ma. El procedimiento es especialmente importante para problemas en los que no
es posible emprender experimentos aleatorios, o aun para afrontarlos.
Nótese que Cutright y Jaffe (anexo 6.12) no usaron una investigación de la
muestra en el sentido tradicional, más bien, es seccional cruzada, ya que está
constituida por las medidas de la fertilidad y del programa de servicios; usa los
resultados de la investigación de las agencias de servicios, pero relaciona esa
investigación con los datos de los censos y con las estadísticas vitales.
Limitaciones en el uso de estudios
seccionales cruzados
Los enfoques seccionales cruzados para valorar la repercusión tienen algu-
nas ventajas y ciertas limitaciones. Por el lado positivo, estos estudios se pueden
completar rápidamente y, por tanto constituyen un método de costo efectivo
para estirnar los efectos netos del proyecto. El enfoque también es útil si se puede
tomar el tiempo necesario para efectuar medidas anteriores y posteriores. En
cuasiexperimentos son completados fuera de la cuestión, los estudios secciona-
les cruzados pueden ser el único enfoque por emplear al valorar la repercusión;
no obstante, se debería tener cuidado de que en los estudios seccionales cruzados
se confíe plenamente en el conocimiento a priori del proceso involucrado.
Por el lado negativo, los estudios seccionales cruzados son susceptibles a
los errores de especificación (para usar el término econométrico), que son
aquellos cometidos al especificar la estructura teórica apropiada que puede
desechar las explicaciones pertinentes; por ejemplo, en el análisis de los efectos
que ejerce la libertad bajo palabra en la reincidencia subsecuente (mostrada en
el anexo 6.19), si el analista ha fallado en considerar un factor importante acer-
ca de cómo el tribunal de la palabra juzga si un prisionero es o no elegible para la
libertad provisional, el análisis presentado en la tabla puede estar mal. Para ser
más específico, si el tribunal de la libertad provisional libera sólo a prisione-
ros que llevaron entrenamiento profesional vocacional en prisión, el efecto por el
que clama la libertad provisional en el anexo 6.9 puede simplemente reflejar que

198 CAP. 6. D1SEÑOS COMPARAT1VOS
los empeñadores de su palabra estaban mejor preparados para obtener empleos;
por tanto, los efectos de la libertad provisional simplemente enmascaran los efec-
tos del entrenamiento vocacional que nada tiene que ver con la palabra per se.
Tal vez el error de especificación más común en el análisis de secciones cru-
zadas es tener un modelo inadecuado del proceso de autoselección. El riesgo es
particularmente grande en cualquier estudio seccional cruzado cuyos beneficia-
rios hayan decidido participar o no en el programa.
Varios econometrónomos (Barnouw et al., 1980; Heckman, 1980) han
invocado recientemente el uso de datos seccionales cruzados al prevenir que el
proceso de autoselección se puede modelar apropiadamente. Dichos investiga-
dores sugieren que la investigación en el proceso de autoselección permite dise-
ñar modelos bien ejecutados de autoselección, y han trabajado en condiciones en
las que tales ajustes de autoselección se pueden hacer apropiadamente.
En algunas circunstancias poco comunes es posible modelar el proceso de
selección por medio del cual las personas (u otras poblaciones objeto) son
expuestas al tratamiento; por ejemplo, en la desmovilización que siguió a la
Segunda Guerra Mundial se pudo diseñar un estudio de los efectos del anticipado
fenómeno de liberación de la Armada, en oposición al tardío. Los soldados fue-
ron liberados de acuerdo con un sistema de puntos, en el cual se tenían en cuenta
la duración del servicio, el tiempo de estancia en el otro lado del mar, las conde-
coraciones y el número de dependientes. Como la orden de desmovilización fue
determinada principalmente por los puntos ganados por un soldado, se podría
usar la variable en un estudio de control estadístico para most f̀ar si ser o no libe-
rado antes o después de septiembre de 1945 ejercía cualquier efecto sobre qué
tan rápido y en qué nivel los soldados obtenian empleo. Realizado en forma ade-
cuada, este estudio hipotético podría ser tan eficaz como un experimento aleato-
rio en el hecho de proporcionar la base para hacer estimaciones sin sesgo de los
efectos de una demovilización anticipada o posterior (este enfoque también se cono-
ce como diseño de regresión discontinua; consúltese Cook y Campbell, 1979).
Aunque se pueden poner medidas que parezcan considerar tal autoselec-
ción, las medidas empleadas suelen ser inadecuadas o deficientes, de rnanera
que resulten en un ajuste bajo de la autoselección y, por ello, en una sobreesti-
mación de los efectos netos del programa. De hecho, la controversia acerca del
resultado de la evaluación del programa Heacl Start y sus centros (Campbell y
Erlebacher, 1970) radicó en el hecho de si los analistas de la Westinghouse
habían ajustado adecuadamente o no las diferencias entre los participantes en
este programa y los no participantes.
Los diseños seccionales cruzados se pueden emplear en los programas par-
ciales y en los programas totales en su cobertura, pero sólo en algunos de sus
tipos, particularmente donde el tratamiento ha variado de algún modo conocido.
La valoración del centro de planificación familiar realizada por Cutright y Jaffe
(anexo 6.12) es un buen ejemplo de un programa de cobertura total que variaba
de actividad en cada área, incluidas algunas regiones donde las actividades de las
clínicas de planificación familiar eran esencialmente nulas. Se estimaron los efec-
tos de cada nivel de la actividad clínica, de manera que el estudio pudo registrar
cuánto de esa actividad estaba relacionada con los nacimientos impedidos.
De la misma manera, se ha intentado estimar los efectos que ejerce la
legislación estatal sobre control de armas en los rangos de delitos relaciona-
GRUPOS CONTROL ESTADST1COS 199
dos con armas de fuego (por ejemplo, los asaltos con armas de fuego y los
homicidios con este mismo tipo de arma). Debido a que en los 50 estados de la
Unión Americana varía la legislación sobre armas, por medio de permisos y
registros, los investigadores intentaron relacionar el nivel de regulación con
los promedios de delitos graves (véase anexo 6.13).
Anexo 6.13; Úsd de estinfios seccionales cruzadós
las variaciones• intereStatales de la legislación acerca
control de armas, para discernir los efectoS de;lit restricción
en la posesión dé arrnaS sobre los tkilátIS
-
Debido a unavarleclad de razones histOrka,s; ítadot de Eltados
dos.vartan-arnpllamente en la extensión en que etdsten letieljacerca del registr'rini-)
de pó SeSiÓn de armas y erilál reltricelóries iffiluestas al prOpletarto y para usat,
ál. árma. Con-lo eStablecer st tales legIslaclones_afectan o nOttprOmedio de
tos'es máteria de, grancontroversla, se han efeetuado varlol anállsIs para estiraaeu j
los efectos netoS en la incidencia de chelltos déia.s'varlaciones-eri tales
nes,-tomo álguer, , , ,
CelSel y'sárs colaboradores 1969) intentarott refacionar un conjunto deltó
cidios, accidentes.y suicicitos, así como sus pórcentajes':que implicaran el ,üso
arMa$ de fuego con un índlceOrnbInado cp.teer .;presarar la eldeisióri-enStre:„cada-,.„
legislaCión estatal vIgente erí l ,19101-eStringiilaria posesIón 17 :"/é. . :ritáifel árrna l :,Sé ;
. =
r, señó iirtrnodelo de regresIón para tener en cuenta el promediri".estatai'ddirtgresos
Pér caP1ta, el nível educativo obteniclo por los residente_s adultds,ielreirigO'de.sexos,
totpolicías por cadá 1 000 residentes, la propOklón de negros eiléedaTestado,
derálldad
' de población, la edád mdd, tá y,los cizadores ¿ón Iltenediíeicapita en
-estado. La variable dependiente consistléren los rangos de hoíráldlacenpistolá,l,X'LrVi
incidenclade asaltos con dIchó-t1pó:'sle arrna, los t-angos-de accidentdconlpIstoky'
y los rangos de suicidío crin -arins e de'firego. El reguLa.
ciones acerca ddarmas inienta dernostrar que cuanto más estrictaS
lac ioneS, tuerdítmenores ios prontedios delos-incidentestieladonaddlebri'el
arrnas de :fuegó:PCiltérierrinente:
- •los autdie's,';é:Silínarori Tg:
r tal-se llevara a su mayor rigot. como lai ey„ e Iueva1 ita1yiflyarlOs.
cientos de muertes por año,
_ •.- ,
en.un estuaso que cuestiong los .1-/sIlita,414:-..,
Murray (1975) eXain1nról'el misnio proilerna, con los, mIsmos datos; sin embargo;
tisr5 una . especificaeión'alternativa del rnodelo cldregresión: la legIslacIón,estatalSe--,
mide mediante la presInpa o ausenciá de provls1dneS regulatortas
veZ de ITIC-diante la reStrietividad total.,Se usaróri, 161'datostlehcertso de 1970 1, YlOrt,5,
ringas del mismo año . . ¡-)árá;hornIcl
_ ,clios, accid0t0'wsitIcichos,
_ . y se érriplearon
,
c¿Iracterísticas estatahes,ádicionales, incluidO eVpóreentaje de desempleo, el porj
centr-rje de l;POblación ticir :debaj6, l de la línrra , de Pbbreza y el indlce de la población,&l
innálgrante„ El afi6li sWdélkilrelidili" -ilehlurra9 -HO:PrOdítja coeficlentes slgrtí
tiv o s 't5ar ala . le g islaciat'aCere,a:del:Cónirote..statardéárirálde Jo cual Murray
at t .
Mentó-rqueidícha legIslaCiórirnOlafe5i.a : á los homicisiin.51',: iitá ios
suicidlo-relailvosr
, Fuenté:_,1. D. 1,1411.4, 19,'Ff4.10:sj;T..
ric ü Se;c).:11 amd D JlcJr 1k Rl in Ii In,t,tut e
. Arnn

200 CAP. 6. DISEÑOS COMPARATIVOS
Si se concluye que los resultados son susceptibles de errores de especifica-
ción, en algunos estudios se encontró algún efecto y en otros ninguno. La dife-
rencia principal entre los estudios fue la característica de que los estados eran
manejados de modo constante en el análisis, lo cual muestra dramáticamente el
error de especificación inherente a los diseños seccionales cruzados.
Entre los estudios seccionales cruzados de programas de cobertura total
mejor conocidos está el Reporte Coleman (Coleman et al., 1966), en el cual las
variaciones entre un conjunto de escuelas en cuanto a los niveles del profesora-
do, finanzas, composición estudiantil y plantas físicas se valoran según su
repercusión en el aprendizaje estudiantil. La valoración original de Coleman
fue que las diferencias en esas variables entre las escuelas de Estados Unidos al
principio de la década de los sesenta no estaba relacionada estrechamente con
los logros del estudiante. Coleman manejó aspectos como las variables de los
antecedentes estudiantiles constantes, para encontrar que los estudiantes no
aprendían más en escuelas que gastaban gran cantidad per cápita en educación
pública que aquellas cuyos gastos eran considerablemente menores. Hubo
resultados similares al manejar los rangos de estudiantes a maestro, la adecua-
ci6n de las plantas físicas y el entrenamiento de los maestros.
A pesar de lo anterior, el reporte Coleman no fue reconocido universalmente
como una valoración definitiva. Muchos educadores e investigadores educativos
refutaron los hallazgos de Coleman; además se celebró un seminario de dos años
de duración, en el que se hizo un análisis y se probaron las especificaciones alter-
nas en los mismos datos. La vulnerabilidad de las investigaciones de una sola cap-
tura en la crítica de los errores de especificación se muestra de nuevo.
Por tanto, los estudios seccionales cruzados de la repercusión se relacionan
con los cuasiexperimentos para tener una invulnerabilidad contra las críticas.
Como puede haber sólo un caso persuasivo, no uno definitivo, para especificar
de modo correcto el análisis para contar con explicaciones adecuadas de los efec-
tos del programa, los estudios seccionales cruzados . están siempre abiertos a
la crítica, en el sentido de qué análisis alternativos podrían conducir a resulta-
dos diferentes.
Uso complementario de controles estadísticos
Aunque un experimento aleatorio o un cuasiexperimento en el que se em-
pleen grupos control se pueden analizar propiamente sólo por comparaciones
directas entre los grupos experimental y control, a menudo los evaluadores tam-
bién emplean los grupos control estadísticos en su análisis.
Algunos programas pueden ser más efectivos con algunos tipos de benefi-
ciarios y menos con otros. Por ello, al analizar separadamente a hombres y
mujeres se puede encontrar que el programa ha sido diferencialmente efectivo
con ambos sexos; por ejemplo, en el experimento TARP (Rossi et al., 1980), el
análisis separado se hizo para ex convictas de tal manera que se esperaba que
cada situación de ambos sexos (los hombres y las mujeres son recluidos típica-
mente por géneros de ofensas bastante separados y regresan a distintas circuns-
tancias en el hogar) permitiría apreciar repercusiones diferenciales desde la
intervención experimental de la elegibilidad para el seguro del desempleo sobre
los liberados de prisión. En este experimento se encontró que la elegibilidad del
GRUPOS CONTROL ESTADISTICOS 201
beneficiario tenía un gran efecto de desincentivizar el trabajo de las mujeres de
convictos, porque éstas eran más responsables del cuidado de los niños depen-
dientes y, aparentemente, preferían cuidar a sus hijos pequeños que trabajar
fuera de casa.
El uso de grupos control estadísticos en experimentos aleatorios también
ayuda a incrementar el poder estadístico de tales experimentos. Al mantener
constantes los factores de la intervención previa relacionados con los resultados
de interés, los efectos de la intervención se estiman con menor error en la medi-
ción. En términos estadísticos, la suma de error de los cuadrados disminuye, de
tal manera que resultan errores estándar más pequeños al estimar la interven-
ción; por ejemplo, mientras que la comparación de un grupo control directo con
un grupo experimental en el experimento LIFE (Rossi et a/., 1980) mostró que el
grupo experimental tuvo 8% menos arrestos que los que tuvo el grupo control, la
diferencia se cubrió en un 0.05 del nivel de significancia. Un análisis de regresión
en el cual un número de características preexperimentadas de los prisioneros
liberados que se emplearon hicieron disminuir tanto el error estándar de la inter-
vención como el nivel asociado de significancia a 0.02.
La ventaja final de usar grupos control estadísticos en experimentos aleato-
rios es el potencial para detectar los efectos de las interacciones; por ejemplo, al
analizar la intervención de la justicia se encontró que el programa produce
simultáneamente dos efectos que tienden a impedirse uno con otro, un hallazgo
completamente oscurecido en la comparación directa de una manera, entre los
grupos experimental y control (véase el anexo 6.14).
Alexo 6.14. Combinación de un experimerito aleator10.,y
un enfoque de grupos control est¿idístícos para anallízt-
una intervención de justicia criminal t
Dos experimentos aloatorios itiénticos se diseñaron para probar el efecto en la
reintidencia'de,elegirloS : pag. ds:deFg'éguro del deseinpleo a prisioneros iiberadOs.
En-16- eXpéritriéntos ,. - realizadoS- en;Georgia y Texas, parbeiparon c4verz 2 009,,,,
prlsiorici liberados. Cos prisignerokliberados de las PrIsiones — estiqes
alguppl.51kperimén(4011.
(qüe'ófreeían
,, p- leO) o a- grupos..conti. q1;_(los.eúales fueron.s.-equidos chlrante. un aiío despiles de su
níbIr¿Ción1 -.:- 14,rriedida'-réultáriteeóriktittóa'rrestos solurecarQos.relac1d.liádo..£911„,
la prOpiedad uri imo elespués-icle
Las-eOriiparaciones directglient.,11.2" grUpgs contrOl,TY'l.experimehtall,Pei.m ..:10
ron -COnClu'irqUe'el trala!-nientdrtió éjéttídefeefoS-discérnibles:enlósbaairoref t
de-caraos relaciolhlt-los con la propi,dad, no obstante, la inclusión
di
r ,<'1 ,;,';:ulp2, óss-.e
P c corit".12
- - n „ el,ta-elís=t, aclaró un „complejo,proce...594 tr
tuyierán n 2fectó ppltd)‘.. ,?'"d-YreCta, ai.tre—dUclad-Saiiá.tóS,'-0,triíefectO
el en:IpleerOgór tantO; • al Incrementar los árt.,,00.s.
.És`titig,TddIléfectose aancelaban',u-no—aótroVderiábali'a)OI'gr--upo;s.„te-xperimntáles'
con el IniSrrlo ntiinero de arrestos que 1c)s grupos•contrOlp'...
.
Latnalusión;Cle:un control, estaciísticco.:.ety este exp,erirnentb-laleatbríok?roé)
ultadds _ nnTitnPórtál:
. I té
_ délt161rni -
e '
ntO
- eaS'Clue Proporcionan áPOyo fiijaricierb modest i es prisioneros podrían reducir la
-.reincidenaia Si étOs nb:desarfbIlába'n'áítnissino nerrip un.tiabajo desincentivizado:
202

,
Como c beneficios por seguro de desempleo generalmente son sólo para quienes
están desernple4dós , tótho condición de elegibilidad, este prOcedimiento, si se
modifica, podrá
tos sobre el patrimonio.
prngrama cotiberieficios positivos e,n la'reducción de deli-
7
Fuente: Re, ulnei) de P. H, Russh, R. Belk K Lenihan. Mr;nee. Work and Cre-ne, Acdderrec,
Y,,rk. 1g:30
N1_112,:c1 Diseño de grupos
unitarios
EI uso de técnicas de control estadístico en estudios seccionales cruzados, en
cuasiexperimentos o en experimentos aleatorios requiere una comprensión pro- para valorar
funda del proceso sustantivo que subraya la intervención y su resultado presumi-
do, además de un método estadístico multivariado completamente maestro.
Mientras que una comprensión general de la lógica en que se basan los controles
la repercusión
estadísticos puede obtenerla casi cualquiera, el empleo apropiado de técnicas
implica un considerable entrenamiento técnico, un conocimiento sustantivo y el
acceso a computadoras de alta capacidad. En este capítulo se estudian los métodos para valorar la repercusión con diseños de
grupos unitarios; esto es especialmente adecuado para programas de cobertura total con
tratamientos constantes. En tales circunstancias no es posible usar controles aleatorios
DISEÑO DE INTERCAMBIOS construidos o estadísticos. El primer enfoque que se examinará es el uso de participan-
tes como sus propios controles, lo cual constituirá una opción si se ha observado a los
En este capítulo se han descrito tres enfoques de investigación para esti- participantes durante algún tiempo antes de la intervención. Un uso eficaz de controles
mar la repercusión neta de un programa. El más riguroso enfoque es el de los reflexivos es por medio del análisis de series de tiempo, de manera que antes de la inter-
vención se den instrucciones para el proyecto que podrían haber sucedido sin la interven-
experimentos con controles aleatorios, el cual se recomienda en circunstan- ción. Los dos enfoques restantes se basan primordialmente en el juicio: la comparación de
cias apropiadas; sin embargo, para muchos programas los diseños experi- resultados con estándares existentes o normas (controles genéricos), o mediante el juicio
mentales aleatorios son impracticables o inapropiados. De hecho, en muchas de expertos, administradores o participantes (controles espectro).
circunstancias los enfoques de control construidos o los controles estadísticos
utilizados en relación con las investigaciones seccionales cruzadas son preferi-
bles y más prácticos. CONCEPTOS PRINCIPALES
No se puede destacar la importancia del conocimiento a priori en cualquier
valoración de la repercusión. Sin el conocimiento válido del proceso social en
general y del proceso implicado en el programa particular, es fácil cometer erro- Controles genéricos: Medidas establecidas del proceso social, como normas de
res graves en los diseños del estudio de la repercusión especialmente aquellos pruebas publicadas utilizadas como comparaciones con
que involucran controles construidos o estadísticos. los resultados de la intervención.
Controles reflexivos: Medidas de los resultados tomadas antes de las interven-
ciones a las poblaciones objeto participantes como
observaciones control.
Controles espectro: Juicios de los expertos y de los participantes formulados
para establecer la repercusión neta.
Análisis de series de tiemPo: Series relativamente largas de mediciones sobre los resul-
tados utilizadas para predecir conjuntos de resultados
futuros.

Al evaluar programas establecidos existen muchos ejemplos de total o casi

total cobertura que impiden identificar y seleccionar grupos de comparación
para propósitos de control. Aun cuando es posible identificar tales grupos, a
veces el presupuesto del proyecto evita hacerlo. Aunque en las evaluaciones en
que se usan grupos únicos en sus diseños se dificulte estimar los efectos netos,

203
204 CAP. 7. DISEÑO DE GRUPOS UNITARIOS
con salvaguardas apropiadas, esto puede proporcionar un conocimiento útil de
la repercusión del programa. En algunos casos, tanto los datos suficientes y ade-
cuados como el análisis justo resultan en evaluaciones relativamente rigurosas.
CONTROLES REFLEXIVOS
Como se señaló en el capítulo 5, usar las medidas de los resultados anterio-
res y posteriores de las poblaciones objeto participantes, en sustitución de los
grupos de comparación, es un proceso conocido como acción de usar los con-
troles reflexiuos. Este término es simplemente una manera de describir el uso de
las poblaciones objeto como sus propios controles.
Estudios anteriores y posteriores
Para programas de cobertura total en los que es imposible describir o defi-
nir a los grupos control aleatorios o construidos, o localizar a la gente que no
participe en una investigación, usar controles reflexivos puede ser el único
enfoque disponible. Evaluar con controles reflexivos puede tarnbién ser un
paso económico, especialmente si no hay razón para creer que los datos obteni-
dos de las poblaciones objeto al medir los resultados podrían haber cambiado
sin la intervención; por ejemplo, cuando las poblaciones objeto corresponden
al salario mínimo o a un nivel superior, antes de la intervención para incrementar
los ingresos, la repercusión de un programa para aumentar los salarios se puede
estimar mediante un estudio de controles reflexivos, aunque quizá no se conocie-
ra con certeza si los cambios reflejan la repercusión neta: La razón primordial de
usar un diseño de grupos control reflexivos es que las poblaciones objeto permane-
cen idénticas en sus aspectos apropiados antes y después de la participación; en
otras palabras, los registros de resultados de las intervenciones previa y posterior
podrían ser los mismos sin la intervención (esto es, la repercusión neta podría equi-
valer al impacto bruto).
También debe ser obvio que los diseños de grupos control reflexivos son alta-
mente vulnerables a la subestimación de los efectos netos. El mayor problema
con las poblaciones objeto como grupos control propios es que, por definición,
los grupos reflexivos se obsetvan en momentos diferentes. Las observaciones de
la intervención previa se hacen sobre unidades más jóvenes de lo que serán cuan-
do la intervención se haya realizado. En la medida en que las variables de los
resultados sean influibles por la edad o por las experiencias de la intervención
extra que estas unidades acumulan después de su exposición al programa, no se
aconseja emplear grupos control reflexivos. Cuando se valoran los efectos de un
proyecto de reducción de la fertilidad diseñado para mujeres en edad de tener
hijos, el simple conocimiento de la conducta de la fertilidad en periodos anterio-
res es simplemente inadecuado. El comportamiento de la fertilidad en cualquier
momento no es independiente del comportamiento anterior a la fertilidad. Más
aún, muchas mujeres en las observaciones del grupo reflexivo podrían estar por
terminar su periodo de fertilidad y, por tanto, no esperar tener hijos en periodos
subsecuentes.
CONTROLES REFLEXIVOS 205
Sin embargo, pára muchos procesos, los efectos de la maduración no son
importantes, sobre todo en periodos cortos; por ejemplo, en una campaña edu-
cativa para cambiar las creencias de los adultos en cuanto a los componentes
nutritivos de ciertos alimentos, es probable que no se compita con el proceso de
maduración de la gente.
Un seguticlo problema con los grupos control reflexivos radica en las diferencias
potenciales de la dirección de la tendencia secular durante los dos periodos implica-
dos. Si se observa al grupo de control reflexivo durante un periodo de depresión en
la producción de la cosecha, una comparación con la producción de las cosechas
durante un periodo de producción más normal originará un engaño. Asimismo, un
programa diseñado para reducir el índice de delitos parecerá más efectivo si coinci-
de con otros esfuerzos para incrementar la protección, o un programa de entrena-
miento para el empleo será ineficaz si se acompaña por un periodo prolongado de
incremento del desempleo y de condiciones de depresión económica.
Un tercer problema resulta de las diferencias de los eventos de interferencia
entre ambos periodos. Un euento de interferencia, como se definió previamen-
te, representada una ocurrencia poco común que afecta la medición de los
resultados. Entre los ejemplos cabe citar los desastres naturales, la crisis políti-
ca y las epidemias endémicas. Cualquier evento que pueda afectar la medición
de los resultados interferirá con el uso apropiado de las observaciones de los
grupos control reflexivos.
Un ejemplo poco común del uso de los grupos control reflexivos se mues-
tra en el anexo 7.1. Shlay y Rossi (1981) obtuvieron datos acerca de una
muestra del tratado del censo en el área metropolitana de Chicago, con el fin
de valorar los efectos de las regulaciones zonales en la población y el creci-
miento de la vivienda en la región. Se aplicaron leyes y disposiciones por zona
vigentes en 1960 a cada región para formar una medida de cómo se limitó res-
trictivamente cada región. Mediante el empleo de las medidas adecuadas del
censo de población y vivienda de 1960 para predecir por análisis de regresión
cuál podría ser la existencia de población y vivienda de 1970, y al registrar las
medidas restrictivas de las zonas, los autores estimaron los efectos de las res-
tricciones en la división por zonas sobre el crecimiento de la población y
vivienda en las regiones del censo.
Nótese que el análisis mostrado en el anexo 7.1 depende principalmente de
las variaciones de las regiones del censo a las regiones del censo de 1960, con sus
regulaciones de la zona. Por ello, cada región sirve como su propio control para
predecir el crecimiento en los periodos intercensales, y las regiones se contrastan
de acuerdo con la cantidad de restricciones fijadas para el uso de la tierra en cada
una. Las direcciones maduracionales en el crecimiento de la región, como los
cambios relacionados con la edad de los individuos, se tienen en cuenta con el fin
de estimar tales direcciones para el conjunto total de regiones si se considera divi-
dir por zonas las causas de las desviaciones de tales direcciones maduracionales,
como lo representan los valores predichos para los haberes de población y
vivienda en 1970.
Los estudios previos y posteriores de las intervenciones de cobertura total
son relativamente raros, sobre todo porque las medidas anteriores a la interven-
ción en los programas de cobertura total, por desgracia, no están disponibles,
y porque su análisis apropiado depende fundamentalmente de la variación en


CONTROLES REFLEXIVOS 207

206
variaciones estacionales. También se puede aceptar lo anterior según el grado en
_ Anexo 7.1 - EstimaC.ión . . de loS efectos.delas-regulacíones
, _ , . que cualquier valor o anotación de una medida se relaciona necesariamente con
de zonificación-en , e1 crecimientó de la vivienda y,rde los, . las medidas previas (técnicamente referido como autocorrelación); sin embargo,
' niVeles de población en tin SM S ' A de:Chicagn 1-9.60,1979." '' también cabe señalar que lo implicado en el procedimiento es muy técnico y
requiere gran complejidad estadística.
, Shlay y Rossi usaron , muestrás del -censo de la ciudad
de la,MSA de Chicago para conocer, según los registrós niti-nicipales locales, las
o .. .
teI I c a g o y del resto Los anexos 7.2 y 7.3 muestran el uso de series de tiempo existentes en eva-
luaciones para valorar la repercusión de una ley sobre control de armas y de un
reguláaóries de zonificación Vigentes pará cada censo en 1960. S e cons ruy un proyecto para la conservación del agua, respectivamente. En ambos casos, la
conjiantb • clé Indicesipara,cáda se_ccl6n del censo i,elscuakreflejába,e1.grado en que evaluación es posible debido a la existencia de series de medidas relativamente
las'regálácibnel-ácereádé Iliioniflcaci¿n restrlágiál¿liilo réSIdéricial lie la nerra largas (con aproximadamente 120 puntos en el tiempo) sobre las variables de los
que variab-an desde el tmtrón de uSo exclus19O, en el que SEllo se perrnitieron casas .. J.
para familias, hasta-el urnenOs ,so exclusivo; en el que se perrnitía'-, ! resultados. Así, en el anexo 7.2 se muestra información recolectada durante
. , : indi ,... yidíliales
, ..
, cualquier unlización del suelo, Jncilidas ,. . las comerciales e industriales. , ,.-: d, varios años en cuanto a delitos cometidos con violencia reportados a la .policía
LOS valores de los censos de 19 : 1970'para-viviendal ycy,ácterístl.pas ,e (como homicidio, asalto y robo a mano armada), con el fin de establecer una
t;láctón se ernplearon con ei fin ,de e_taYbOrárUna ecuáci6n de'redieli¿n cj.1.1éT1ecl dirección esperada para tales delitos ante la ausencia de una ley sobre control de
Pcícá las Caractertsticas del censg, de,:1970, con bas'-e,'en los s:faloresd99,60sli_zelínCli s armas vigente en 1975. La comparación de los rangos experimentados después
1 dezonificación. Los invesugadt »,:encontraróri -e¡ue las regulacion es e„ ..nífi,,, del decreto con los rangos esperados ha proporcionado una medida del resul-
-Ç '-ii Válori los rangot'dO. recTmlento de lo que cabría esperar con .a.s.e,eri'in.,, tado neto. En el anexo 7.3 se muestran los mismos procedimientos, en los que se
' creeini6 a
cl rl
enio- normal, y afectar ' On la natura , leza - dis
Hlelás bIllá:tr lb..déSda, emplean los rangos del uso del agua antes y después del decreto sobre regulacio-
..,, ,
y SOc.ioeconómicas de lá,ligilación del cen14.;=='-'-' nes para disminuir el consumo del agua. También cabe señalar que en ambos
" ''.. 4,- - v,•.:-.-,.-...:1-.
_: estudios se usa un conocimiento anterior respecto de los factores que afectan las
Fuente: Tornado de A.. Shlay y 1; FURcissl, "Keep.Inghip ,the N ih6od Est1mati NetEfferts
'26 nin g " , en America7-1 S. o ciologicat Rei,teul, Dicie'n,hre^de:19_8-1;L res9. 0.,,olool apt4,1.;;Ii,.., - -
, . ,

Í , Anexo 7.2."Análísis de series de tiempo del efecto .- -.:_: :-."-_, -,'

el tratamiento (como se muestra en el anexo 7.1). Existe tendencia a valorar
los programas de cobertura total con tratamientos constantes mediante el em-
pleo de grupos control genéricos o espectro, como se verá en otras secciones
de este capítulo.
Análisis de series de tiempo de
programas de cobertura total
Para numerosos hechos de preocupación pública (por ejemplo, la fertilidad,
la mortalidad y el delito) o de preocupación administrativa (por ejemplo, la pro-
porción de estudiantes que desertan al final del primer grado) existen a menudo
series de tiempo, medidas de resultados tomadas semanal, mensual o trimestral-
mente, o en intervalos más largos. Tales series de tiempo proporcionan bases
relativamente firmes sobre las cuales hacer estimaciones de lo que podría suce-
der en ausencia de una intervención.
Cuando se utilizan series de tiempo relativamente largas de las observacio-
nes de la intervención previa es posible modelar las direcciones a largo plazo del
grupo de objetivos, proyectando tales direcciones mediante la intervención y
observando si el periodo de la intervención posterior muestra o no desviaciones
significativas para ellos. El uso de tales procedimientos de modelado de las direc-
ciones en el tiempo, como ARIMA (McCleary y Hay, 1980; Pyndyck y Rubinfeld,
1976; Cook y Campbell, 1979; Hibbs, 1977), permitió identificar las direcciones
que más se ajustaban, para lo cual se tuvieron en cuenta los patrones lineales y las
' --- .de" la ley acerea del control de armas' ..de Mass'achusetts'
. En abili:de 1975; el estado cle Massachusetts puso forrnáltriente en:vigor„b
ley r adercá"dél cofitrol de armas que:r disponía un año de,sentencia 'epitit±-mlill
para quienes resultaron responsables-de p ortat'arrnaSsinlleericia espiátNie-dr
: te este estudio se evaluó el efecO,di,süá,-Skú,zilde láley.11..ápfensasrelacionaclaS eodet,'"i''.1
- honlicidio corrie tidóéOriá r ma alíúé g. &:e1WWto--édt4'árrnasy el robo'a rrian6arrri•:,,-,---,'
cia", én lá ciud¿I ¿" t del.Bostón, fucron'exarninadóde acuerdo con lOs can-ibios en stillM
nlifigi es rcluranté :'el -. "Peri-OdO antertor, ac tuáVy Posrerior-Akti.ggretode'-dicla''..10É,
Los rribdelos esto-aSsticos enipíriC6á iriiiltip liOtiVOá'Oálin,láráffietro_,-. e.cálnW
..:. blo'SI:ernplea:rsiti : Pára'áhalizárI lás:Sgi-Igs dé t i eni'llii'Iri ;4iiiit111.1utos ine — es d
tlincidencia'de hbriiIddió, a'salto,9 r.bbo'á, rnano arinlélit'intáliTeÉliclad de B&.oh de-,•-•":1',''
-de enero de 1966 . hasta octutifejde , 1975., ' - '..---- . '•' . : - -., . 1 .-
:•' - ''--
Los autores,cncontraron nFitigIla;. jey acerca del ebntrof de . armas ha afectado:-."::'
haSta un nivel'eStadrstiCO:en clectéMento tanto los robos a mano armadil'coM6 et.:_. .
-asaltó con pistola eri.: el tiernpo de, su elgencia; Si n erniiárgo, en el rango derhomic.t-,,,l,.
1 dios se observaron'caint n tós poco signifiCativós, descW0p!„í, t*i-de.y.l.
, díst.0 _.,:."---
Los autpres atribuYeron la carencia de efectos sOlire_el:',hOrniOdlóléri, ',P.Op_.411.
",a-,
'[-' 5jci ón-e los,hornictclios cornetid ?S' gr-i 'taSas-habitád&ri:ai hh-,O, dg cjue la repel.
:, ;,...1Siárvfutur' a:elerciántrol de arrn aj s,p.tiré::01-lornicidió.4ri'..11,hergl puédé
M..)delcubi'l
lalliilários añoPii suclil' " "'''' -1''''' '''''''''''' ''''"...kl. '37,-,l: J3'
Fuente: Resumenrde'I.91D
ntt91
, 05, _
208 209

Anexo 7.3. Análisis de series - de tiempo acerca
de la repercusión de una canMaiia para ahorrar agua
En 1972, la Goleta Water Board de :Jgria de Goli_ta) declaró una
moratoria para las nueVas tomas de efo, ua, en 1111 r.bfueczo por mantener ,21 nivel de
demanda dcmtro de los Iírnites de surninistro hasta que se pildieran valorar fuentes
de agua alternativas. Además, se tomaron otras . medidas de cOnservación para
reducir ci consurno cle agua, incluido el decreto /de leyes locales qtae prolilbíán el
desper clicio y las campañas de educación. El Propósito de este estuclió fue valm ar la
efectividad del prograrna distrito de agua del condado de Goleta en cuanto a su
esfuerzo por reducir el consurno de agua.
La efectividad del plograrna sé rnidió rnécliante dos variables pendientes: las
ventas domésticas y comerciales y la producción. A fin de rnejorar la valoración de
la repercusión del programa, .7idernás de la ternporada de lluvias retrasada y la gen-
t e, éstas se tornaron comp vanables exógenas-en modeIci . de regresión:Los datos
mensuales de estas variables ettivieron2diSPonibles desde 1966 hastá 1976.
Los autores mantuvieron coristantes otras variables adecuadas para dernostrar
que la vigencia de la moratória tuvo una influencia estadísticamente significativa en -
el uso del agua. Los resultados mdican una reducción det 15% en el consumo
Anexo 7.4 nalisis del efecto en accidentes
de tráfico en las pruebas del analizador de
aliento para manejadores implicados en accidentes
,
En 1967, el gobierno ingles decretó una nueva•polítI4ulperypittlzillpglIct
obtencr pruebas del un iii 1 lel aliento en editigarldél:4041-11044.:;14161..:/soid
nb-dir la presencia del alcohol en la sangre del,SospecnOicI:Se'establééliórt-P
severas pára responsables de manejar
de la nueva ley, la crial entró en vigo t ..t ;; lerí'ejót4ij0 .4096 —
En la siglitente ,tigura se rnuestran164 :fp. Icil.41 - 40 4 . iltos9ehleu ,ares dit
varios periodos de la serriana anterlor y pOtterlót en:qüe
en vigor. En puede observ ar,;ilii:OsjiiIntiCilllii i'eti los accIdentes
dos después d lá leqlslación, lá Cual al5aí.¿6'1'nnti- ddfa:"I'de la serharra, pero
especialmente efectos dramáticos en el fin de semana.
o

agua durante los tres años siquientes a la ecución de lá rnoratoria.

Horas y ctlas tonf.
Fuente: Resumen cle J. E MI, D M H,f(TIlan sR.A. Berk, "A TlIne Setl, A uf the
ut a Water Conserv.mon
Irripact Quartt rle, num 2, t, brero 1 , 72 pflg,
107.1.18.

mediciones de los resultados, con el fin de reglamentar las posibles explicacio-

nes competentes.
Como en otros grupos control estadísticos, los análisis de series de tiempo
son susceptibles de errores de especificación; por ejemplo, el análisis presenta-
do en el anexo 7.2 ha sido cuestionado por Hay y McCleary (1979), quienes
argumentaron que el modelo ARIMA empleado por Deutsch y Alt era incorrec-
to. Hay y McCleary usaron un modelo ARIMA alternativo para encontrar que Noches de fin de semana
algunos de los efectos de la Ley sobre control de armas de Massachusetts, valo-
rada por Deutsch y Alt, desaparecían cuando se aplicaba un modelo "más
correcto" (consúltese también Deutsch, 1979, para conocer la continuación de
este debate). El punto que se debe tener en mente es un viejo refrán: los contro-
les estadísticos, ya sean los análisis seccionales cruzados o aquellos utilizados
para modelar las direcciones de las series de tiempo, no son mejores que el pen-
samiento a priori implicado en su construcción.
Métodos más simples para examinar los datos de series de tiempo, antes y
después de la intervención, pueden proporcionar pistas superficiales pero úti-
les de la repercusión. Si se conocen las influencias que confunden una interven- 1111111111111.111-1111- ÍL1 111-1111711111
FirIAHJJASONDE_FMA"MJJASON.DEGHAMJJA5G,C9
ción y hay certeza de que sus efectos son mínimos, las series de tiempo sirven 1 ck-rty
I h5 7
1539
para establecer los efectos netos del programa. La carta mostrada en el anexo
7.4 presenta los rangos de accidentes automovilísticos en Gran Bretaña antes y Fllent,nT,m3do H.E 11 D. T C ,,rnr 5,11 y G y
Gla ss,"DetermlnIng the Sotial Effectsof a Legal
torrn. The B n insh cf cn Americon BhaubDral ScientIst, nürn. 13, marzc.abrIl de
después de la promulgación y el reforzamiento de las leyes, cambiadas drástica- 1‘ , 70. atj 000
mente de acuerdo con el tratamiento de personas involucradas en accidentes y
210 CAP. 7. DISEISIO DE GRUPOS UNITARIOS
sancionadas por manejar en estado de ebriedad. La carta indica que la legisla-
ción tuvo un efecto discernible: los accidentes disminuyeron una vez que estuvo
en vigor y, sobre todo, la disminución fue más dramática para accidentes ocu-
rridos en fines de semana (el análisis estadístico verificó que los efectos eviden-
tes también fueron significativos).
Cuando hay series de tiempo para las intervencione,s, en tiempos y lugares di-
ferentes, se debe hacer un análisis más complejo. En el estudio de los distritos para
conservar el agua descritos en el anexo 7.3, Berk y sus colaboradores (1981)
emplearon múltiples series de tiempo sobre el consumo de agua, con el fin de
comparar la eficacia relativa de valorar las políticas contra las campañas educati-
vas para reducir el consumo de agua doméstico e industrial.
El análisis de series de tiempo es eficaz para diseñar las estimaciones de los
efectos de un tratamiento constantes, en programas de cobertura total. Se reco-
mienda dicho análisis para circunstancias en las que existen series estadísti-
cas apropiadas.
CONTROLES GENÉRICOS
Todos los enfoques hechos en el capítulo 6 y en la primera parte de este capí-
tulo, están basados en observaciones especialmente realizadas para estimar lo que
podría suceder sin la intervención que se prueba. Estos procedimientos se recal-
can porque en muchas situaciones se tiene un firme conocimiento acerca de lo que
sucede generalmente en el curso de una acción social. En contraste, en diversos
campos de las ciencias físicas (por ejemplo, la química) se publican grandes
manuales que proporcionan valores estandarizados para una amplia variedad de
procesos físicos; por ejemplo, no es necesario para el químico industrial especifi-
car el valor UTB novo típico para varios combustibles, pues existen múltiples
manuales en los que se listan tales valores, basados en la serie de experiencias que
pueden registrar los investigadores. No obstante, para el investígador social exis-
ten pocas complicaciones comparables; por ejemplo, no se conocen las experien-
cias típicas de personas en los mercados laborales urbanos; aún más, no se sabe
que tales experiencias "típicas" cambian de estación en estación y cada año, de
manera que fluctúan con el ciclo de negocios y con la participación de los trabaja-
dores en el mercado.
En despecho de la ausencia general de tales valores estandarizados, exis-
ten algunas áreas del comportamiento humano en que tales controles genéri-
cos están disponibles. Como se vio en el capítulo 5, los controles genéricos son
medidas del proceso humano y social reconocido generalmente como bien esta-
blecido. Los controles genéricos existentes incluyen medidas del proceso vital
(por ejemplo, rangos de muertes, nacimientos, sexos y proporción de perso-
nas en las varias categorías de las fuerzas laborales) y los derivados de esas
medidas; además existen estándares publicados o normas de las pruebas psico-
lógicas variadas (incluidas las de inteligencia, la asimilación de diversas habili-
dades, la personalidad, etc.). La información proporcionada mediante los
controles genéricos, con las excepciones propias, se puede usar para estimar
lo que habría sucedido sin la intervención.
Por ejemplo, para descubrir los efectos del agua fluorhidrada sobre la caries
dental, se notó que la incidencia de malestares dentales variaba entre la pobla-
CONTROLES GENÉR1COS 211
ción de cada localidad y que tal variación se correlacionaba con la cantidad de
flúor encontrado en el agua potable. Esta correlación se descubrió porque los epi-
demiologistas dentales tenían una firme noción de los rangos normales de la for-
mación de la caries. Asimismo, la detección de los restos epidemiológicos radica
principalmente en el conocimiento que tiene el epidemiologista sobre los rangos
de incidencia ordinaria para cada enfermedad; además, la eficacia de las medidas
de salud ocupacional se estima en comparación con los rangos de muertes espe-
radas en los diversos casos para la población general.
Al considerar las intervenciones educativas, suelen seducirnos las normas
publicadas de pruebas de aprovechamiento escolar como controles genéricos;
sin embargo, hacer esto puede originar errores serios; existe tanta variabilidad
entre la asimilación relacionada con un nivel socioeconómico, antecedentes étni-
cos y factores similares, que las normas publicadas suelen ser tan generales que
carecen de utilidad. Así, al evaluar si un nuevo programa de enseñanza educativa
es o no eficaz, lo más recomendable no es comparar lo benéfico de las pruebas de
aprovechamiento escolar de una muestra de niños citadinos con las normas
publicadas por el diseñador de la prueba. Los rangos comunes de aprendizaje
para tales niños probablemente difieren mucho de tales normas generales. Asi-
mismo, probablemente es un error comparar los ingresos de los hombres de 34
años de edad, como los reportó el Census Bureau's Current Population Survey
(Censo de la Oficina de Investigación de la Población Actual), con los de aquellos
de 34 años que sólo han completado el curso de entrenamiento vocacional. En
resumen, los controles genéricos están disponibles o no, por lo general, con el
suficiente detalle para que los evaluadores puedan confiar en que las normas en
cuestión son apropiadas para un uso particular.
Las normas son una forrna especial de control genérico, cuando son abso-
lutas, algunas veces aplicadas en circunstancias en que las metas son explícitas;
por ejemplo, una meta por alcanzar en un programa de mantenimiento del
ingreso se puede ver también para que cada persona con más de 18 años de
edad reciba un ingreso mínimo mensual de 500 dólares. Se puede pensar que
esta meta tan específica represente también un "control genérico", y un progra-
ma se puede valorar según se logre o no la meta. Del mismo modo, el objetivo
de un programa de rehabilitación de prisioneros puede ser reducir la reinciden-
cia a cero, lo cual también constituye un logro medible; sin embargo, pocos pro-
gramas son tan eficaces para alcanzar metas absolutas y tampoco es probable
que cualquier meta se especifique tan absolutamente que se pueda conseguir
mediante una intervención.
Cabe recalcar que los controles genéricos se deberían emplear sólo en cir-
cunstancias en que otros controles no estuvieran disponibles. Se puede conside-
rar su uso en otros contextos evaluativos. Ciertamente, los controles genéricos
no son costosos y no requiere mucho tiernpo recolectarlos, sobre todo en compa-
ración con los gastos hechos al usar controles aleatorios o construidos; sin
embargo, aun cuando los controles aleatorios construidos o estadísticos no se
puedan recolectar, se deberían usar los controles genéricos con la mayor precau-
ción, con un intenso escrutinio acerca de si los controles genéricos en cuestión
son comparables o no con los participantes de cada manera crítica.

212
CONTROLES ESPECTRO
Para muchos programas sociales es difícil encontrar observaciones acer-
ca de los controles genéricos. Simplemente no hay normas para el entrenamien-
to vocacional, para el mantenimiento de los ingresos o para los programas de
consejeros, por ejemplo; no obstante, existen personas con experiencia en varias
áreas de serviCios humanos, sobre cuyos juicios se pueden confiar cuando se
construyan estimaciones acerca de si un resultado bruto es o no prueba suficiente
de una repercusión significativa. Además, también es posible considerar a los
participantes para obtener valoraciones de si un programa ejerce o no efectos
significativos sobre ellos. Los juicios de los expertos, de los administradores de
los programas y de los participantes se llarnan controles espectro, nombre esco-
gido para reflejar su común carencia de evidencias sustanciales.
En despecho de que los controles espectro, por lo general, se pueden usar
sólo con precaución extrema, a veces su uso se justifica. Una de estas circuns-
tancias es el caso de un programa extremadamente exitoso, como se verá en
seguida. Un programa de entrenamiento vocacional de dos meses de duración
diseñado para contratar a choferes de camiones de uso pesado, fue selecciona-
do por el 90% de los candidatos (de entre las personas sin tales habilidades)
para obtener la licencia de manejo. Tales hallazgos sugieren que el programa
fue exitoso, pues se alcanzaron sus metas al impartir mayores habilidades voca-
cionales. Se puede emitir tal juicio porque parece improbable que tan alta pro-
porción de cualquier grupo de personas sin habilidades que desean convertirse
en choferes de camiones sea capaz de obtener tales licencias en menos de dos
meses. La valla de este juicio depende principalmente de conocer algo acerca
del manejo de camiones y de las habilidades especiales inherentes, así como de
tener algún conocimiento acerca del examen para obtener la licencia de mane-
jo. Un conocimiento a priori de su alta validez es importante en tales juicios.
Los resultados principales pueden permitir tarnbién reafirmar los juicios. Si
todos los participantes en el prograrna de manejo de camiones fallaran en el exa-
men para obtener la licencia, este hecho podría ser evidencia de la falla del pro-
grarna; aun así, tales juicios no se pueden hacer sin tener algún conocimiento
acerca del manejo de camiones y el examen de manejo. También puede ser que
todos los aspirantes se equivoquen en la primera prueba y que la prueba crucial
dependa de si obtienen o no éxito en el segundo intento.
Por supuesto, los restiltados pueden ser ambiguos: puede haber sólo un 30%
que aprueben el examen para obtener la licencia. La típica forrna de resultado
origina la cuestión de si un grupo comparable que no recibiese tratamiento habría
pasado la prueba también. Generalmente, la simple medición anterior y posterior
de los participantes objetivo sólo documenta el hecho de que un proyecto influye
en los participantes, de manera congruente con las metas del proyecto; sin
embargo, esto difícilmente puede ser una prueba definitiva de la repercusión
neta. Por ello, para resultados típicos de un programa es riesgoso usar los contro-
les espectro.
213
Juicio de los expertos
Si los juicios de los expertos se van a usar como controles espectro, su valía
dependerá de las habilidades y del conocimiento de los expertos en cuestión.
Quienes conocen el campo de la educación vocacional para adultos y los resulta-
dos típicos del proyecto de intervención en ese campo, pueden ser interrogados
en cuanto a su experiencia en lo siguiente: si el 30% descrito es mayor o menor de
lo que sería el resultado exitoso para un entrenamiento vocacional de adultos.
Desde luego, la utilidad y validez de tales juicios y, por tanto, la validez de las eva-
luaciones en que se formulan deperiden totalmente del juicio de los expertos y del
desarrollo de un conocimiento firme en el carnpo.
Si el juicio de los expertos (o cualquier control espectro) se va a emitir es
esencial que sea de modo explícito: es decir, las bases sobre las cuales los juicios
se formulan deben describirse tanto como sea posible. Si un experto emite un
juicio basado en su propia experiencia, la extensión de tales experiencias y la
variación de instancia en instancia se deben revelar. Cuando sea posible las
referencias explícitas para otros estudios evaluativos se deben dar para que se
compruebe si las circunstancias de otras investigaciones son comparables o no con
aquellas en las cuales se emite el juicio.
. Frecuentemente, el control espectro es una conclusión o construcción
basada en el conocimiento de los expertos acerca del proceso implicado Así
para un experimento en criminología puede ser "obvio a la razón" que una
intervención sea efectiva, pues se apega estrechamente a los paradigmas princi-
pales en el campo concernientes con la rahabilitación de ex prisioneros. Mien-
tras que el juicio de un ingeniero industrial concerniente cón la efectividad de un
proceso de producción puede basarse en el medio de acción, el de un criminólo-
go acerca de la rehabilitación no se apega al rnismo lineamiento. Desafortuna-
damente, la verdadera razón de emplear diseños rigurosos de valoración de la
repercusión en el área de progt-amas sociales es ciue el estado del conocimiento
en cada campo es inadecuado. Aunciue la "razón obvia" es que rnuchos progra-
mas serán exitosos, a menudo no pasan las pruebas más rigurosas de los mejo-
res diserios de valoración de la repercusión.
Los procedimientos que actualmente emplea un experto para llegar a con-
troles espectro pueden variar en alto grado. Típicamente, se contrata a un exper-
to bien conocido (o expertos) en el carnpo (con-to un consultor) y se le envía a
conocer el sitio del programa con el fin de examinar detalladamente si funciona y
para escribir un informe en el que resuma las experiencias y valoraciones (en los
anexos 7.5 y 7.6 se proporcionan ejemplos típicos de tales valoraciones y sus jui-
cios). La visita del experto puede servir para examinar los registros del proyecto,
observar el proyecto en operación, efectuar entrevistas con los participantes,
hablar con los administradores del proyeCto, con el equipo de trabajo y con otros
oficiales y realizar entrevistas con los primeros participantes. En resumen, se
pueden emplear todos los rnedios de la investigación social inforrnal.
La validez de la valoración mediante los juicios de un experto, depende de las
consideraciones siguientes: Primera, se debe considerar el estado de conocimien-
to del campo sustantivo. En un campo en que el conocimiento de cómo lograr un
resultado particular es avanzado, la apreciación de un experto será muy adecua-
da. Si se conoce poco en un área (como rehabilitar delincuentes), el juicio de un
214
CONTROLES ESPECTRO 215

Anekó' 7.5. Uso del julpio de los experto
H - par. a e -valuár lá inilúencía de la partiCipaCio
ctudadana en lá, 4 ieriovaéiónurbana
. _ .
; cimiento de que muchos estudios influyen en el tamaño del salón de clases con res-
autoreefectuárán:-,éni,illst " asrldlipatttIP y
ron--"dátós' Cle'la'S,11Stas de r -rnieOrp`i:cle; „1o, rgánlaciones citidadanas, a; fln de
' y alOráriá;efe'étividad deldS»ntentót,para?uSarun proceso oei jieltti c t pcy5n en el,_
cliseño de,tift:Oan de reribvactÓri'úrban -a`difigido al área deláthiiversidád de Chi.-
cago..1.17valoraeión tómó y arias formas: prIrhera, se snterregó a los planiflCado-
re's acer'ea-delascaracteríSticas del,pian terminado gue . fuesen afectadaS Por ef
- proCesó- deParit-CtlabiZn; segu' nda; l eeXarrit0i-ion los registios docuMentales
cimnio á lás relittlórie.entre planificadoiá y cládadanos;y terdera3e'-hteleroti'1-7‹
'estudlos detallado cleTlas característical-eSpectft d pIart;;,e0.trifitteritd,-
cliscerntr.cómo selormaron los planes final
Anexo úalaraCión- del
mediárrte-,e1,ernplewide : estadístic.as adrninistrativás.
anterlgrelj ,,,p:o,s t e!-,155'0.1s1,álf . .
•
- •-
-
' La e'dulact6rt a:;.kildáTfarn at:tntegráda, fue un prctijecto op cómd,_
;un Intento'.0árit,".séducar-a'lbs , adttlitiS ácerca i'dejas prácilbá apropladas en
nutrieión, agrIcultüra, Planifkaadit
sé úsaron clases cón nitittia.S - Mateilas intruetiYas'cUidadd4triénte'é.' stüi
anteprobadas, sóbre tódo'para la población
John Pet-tit, un éyalliadOrpdern0;htIO,IMktrts t tald1,93: TP9,4; i0s s s Oel.
yeetd -, -ditrunte tres semanas usó las eSiadí;1311.S:adiningliáleleri4elál'.,11ts
rnedidas ariterlores y posteriores de alfab;etismo, suscripción:a practicas
áProPteitias, etc., para dernbstrar güe los a y ances sIgnifleatiYos habían slclologracló,
poi loS,Participantés del programa. Se emprendieron entreyistas c,on
tes; con loSlíderes'.,cle lá cornimidad y con los-emple,gdos del egutpd dé trabajd, 12-1'
nledielas antetior4 -Y,'-ddSterlbreS: se hirCie-rOii = pará:Tbropioi.cfnnaiprnerdretrda
, familiares, sesiones de salón y presentaciones a los medios) deben obser-
limentación en for.1-a' " '.ide Irn forrnación a lostra adores del proyecto, yparajtç'
fueran útileS'en la éváittación; por ejeMplo, en Ur!a,pequeña villa, los participantes,"
gue realizaban praCticas'familiares apropiadas (r4.0'el „ „ comiléno del progi-a-'
ma . y 32% al final del ciclo de entrenaMierítilv;
-
Fuente: Re-surnen, con-11.1.0406n, Crone:
t . ....Edil,cation"Reportgrsir)Cnrn. 'ae 1977 i P 5 5. 1.13
L. -
experto acerca de la efectividad de un proyecto particular no será más valioso
que el de cualquier otra persona. Los expertos deben conocer también los hallaz-
gos de otras evaluaciones, incluidas las más sistemáticas, de programas simila-
res; por ejemplo, un experto a quien se interroga si un tratamiento comunitario
en un centro para prisioneros liberados ayuda o no a los enjuiciados a obtener
empleo, debería conocer a fondo los estudios acerca de rangos de empleo para ex
Convictos realizados durante los meses previos a la liberación. Asimismo, el cono-
pecto a la asimilación a pesar de los efectos positivos en los rangos de satisfacción
de los maestros, deben hacerlo a uno escéptico de que un programa basado princi-
palmente en tal estrategia contribuya a la asimilación de los estudiantes (aunque
puede complacer a los maestros).
Segunda, uno debe darse cuenta de que es natural-para el administrador del
proyecto intentar presentar éste de la mejor manera posible. Así, se debe espe-
rar que el estado del proyecto en el momento de la visita anunciada sea mejor
incluso que en otros periodos, de rnaneras proporcioriales, desde el aseo del
local hasta las posibles buenas referencias manifestadas de lbs participantes.
Debido a que en tales'Circunstancias las valoraciones mediante juicios émi-
tidos por los expertos son sólo géneros de valoraciones de la repercusión, es
importante que tales expertos sean seleccionados cuidadosamente de acuerdo
con su habilidad para analizar la comunicación y su conocirniento de la discipli-
na implicada. Como mínimo, los expertos deben Considerar las siguientes fuen-
tes de datos:
1. Registros administrativos. Los expertos deben recabar información de ta-
les registros administrativos (o tener tabulaciones hechas) acerca de
diversos temas, como:
Tamaño del proyecto.
Tipos de participantes seleccionados.
Experiencias en la deserción de los participantes.
Experiencias posproyecto con los participantes.
e) Costo en el proyecto por cada participante que completa el programa.
Medidas anteriores y posteriores de los cambios en los participantes
adecuados para las metas del proyecto.
Obseruaciones acerca de la operación del proyecto. Los proyectos que
requieren trabajo activo de parte de los participantes (por ejemplo, visitas
varlos directamente los expertos visitantes.
Entreuistas con los participantes. En las entrevistas informales con los par-
ticipantes y/o con los primeros participantes, por lo menos algunos de los
cuales son espontáneos, se pueden considerar problemas tales como:
La selección de, los particípantes.
La motivación de los participantes.
La satisfacción del participante con el proyecto.
El progreso del participante en las metas intentadas con el proyecto.
4. Entreuistas con los contextos adecuados. Las entrevistas informales con
los oficiales locales, con los administradores del programa competente,
con los administradores de instituciones locales importantes (por ejem-
plo, superintendentes escolares y jefes de policía) y con individuos de la

216 CAP. 7. DISE190 DE GRUPOS UNITARIOS 217

localidad poderosos o representantes de las instituciones locales influyen-
tes (por ejemplo, grandes terratenientes, banqueros y autoridades políti-
cas) deben abarcar los temas siguientes:
Validez del proyecto.
Extensión en que el proyecto es considerado como una ayuda o trata-
miento para la comunidad.
c) Interés en la continuación del proyecto cuando ha terminado el perio-
do de demostración
En compensación con la debilidad del juicio de los expertos, a veces este
enfoque puede ser el único por hacer, como en el caso de intervenciones de larga
duración, cobertura total y nivel constante. También, la urgencia de la necesidad
para valorar la repercusión puede forzar la confianza acerca del juicio de los
expertos; una carencia de recursos quizá impida hacer valoraciones relativamen-
te costosas y con amplia escala en las que se empleen grupos control o un enfo-
que seccional cruzado. Aún más, otros controles pueden ser factibles al principío,
pero tediosos para ponerlos en prácticas.
En el anexo 7.7 se muestra un estudio poco común en el que el tiempo
empleado desde que el programa se estableció fue de más de tres décadas. Sala-
mon (1974) valoró la eficacia de la política de reforma de la tierra de la década de
los treinta al examinar los títulos de propiedad para ver si la gente a la que se dio
originalmente la tierra aún tenía su posesión. Salamon encontró alguna continui-
dad en el tiempo, por lo cual concluyó que la política era eficaz para crear una
clase media entre los negros respecto de la tenencia de la tierra.
Por supuesto, tal conclusión es resultado de un juicio acerca de si la propor-
ción de colonos o de sus descendientes aún perrnanecía en poder de la tierra era
mayor o menor de lo que podría esperarse respecto de la tendencía general de
los poseedores de la tierra a cambiar de generación en generación. Ese cual-
quiera de los poseedores originales o de sus descendientes que aún permane-
cen es evidencia de alguna repercusión, pero el problema es sí esta repercusión
es diferente de aquella que cabría esperar en cualquier evento íntermedio en
tres décadas o más.
El caso de Salamon acerca de la repercusión de los programas de la ley de
reformas de nueva negociación se podría reforzar para demostrar que parcelas
similares de tierra en la misfna parte del sur de Estados Unidos no muestran un
cambio comparable de pertenecer a negros durante el periodo, y/o que el progra-
ma no ejecutado de la tenencia de la tierra entre negros tendía a variar a la tenen-
cia por blancos. Indudablemente, las dificultades para asegurar las razas de los
dueños de las parcelas hace 40 años obstruían el uso de esta estrategia.
Juicios de los administradores del programa
Los administradores del proyecto son rutinariamente interrogados con el fin
de valorar su progreso para alcanzar las metas del proyecto. En muchos casos se
duda que se dé mucha confianza a tales reportes como valoraciones de la reper-
cusión, por razones obvias. Primero, es difícil realizar un juicio de la valoracíón
de la repercusión en las mejores circunstancias. Es mucho esperar de los adminis-
Anexo 7.7. Analisis de los efectos de gran
proporción en un programa de reforma de la
tierrá de la nueva negociacion
En la década de los treinta, durante la nueva negociación, se decretó una serie
le rofcm:Mas'agricolas, rnuchas de las cu,des fucron (-1e corta duración. Una de
leformas irnplicaba la ,coinpra de til ra ' su venta a pequeños granjeros para
trulr hogares a bctenos piEclos y con ¿Ielecuados tórmmos financteros„ Algunos de
los proyectoS específicos cornenzaron ante protestas do los intereses de e.stableci-
mientes agrícolas y originaron la cancelación del programa.
Durante la década- de FoS setenta, e/ autor efectuó una evaluaciOn de la
de Reforma cle la Nueva Negociación y de su programa, al examinar a los propie,
trios de laS inicelAs. -que fueron vendidas a terratphtentes negros en ocho pro : , -
yeciOs de ieübkáCióh de la tierra en cinco eStadoáRtás regIstros de los terrate-:,..2
mentes o nsstigaron para.determinar si la tiorra en cuestión permanecía
manos ,cie las personas relativas o 'deScendientes de las famihas a quienes se ven-
Weron ' en la década cle los treinta. ' -
Satunon concluyó que el proyecto fue exitoso para crear una clase media:-
negra permanente, dadó que rriucha de la tierra estaba aún en manosde los asenta-In
Inientos unglnales y de sus descendientes,
- - ,
Fuente:ri 1 fe i con autc/izan6n, 2 iehn 1 and SID n s Iner, áe L M 5,,.lanlen, 'The Tsner.".."
Dinlen5ion . . .n . Th, Cas,
in Policy Evaluatio Nrw LzInd Reform Experlments", en PublIc Pohcy,
27, núm, 1979.
tradores y de sus responsabilidades diarias en la realización de un proyecto, ya
que suelen estar sujetos a la carencia de calificaciones técnicas apropiadas, para
-dedicar mucho tiempo y cuidado en la valoración de la repercusión.
Segundo, una valoración de la repercuslón realizada adecuadamente se basa
en la hipótesis de que el proyecto no tiene efectos, una situación exactamente
opuesta al principio que debería guiar la administración de un proyecto, sobre
todo que la intervención no ejerce efectos importantes en los particípan-
tes. Esperar que los mortales comunes crean en ambos tipos de hipótesis es
poco realista.
Tercero, existe una tendencia comprensible de los administradores a poner
sus proyectos en la mejor de las perspectivas, una motivación que puede supri-
mir activamente la información negativa o ineficaz.
Con todo, lo mejor que se puede esperar del juicio de valoracíón de un admi-
nistrador es una exposición descriptiva razonable y segura acerca de los procedi-
mientos operacionales. Por ello, los evaluadores deben buscar en el adminístrador
estadística confiable y exposiciones descriptivas acerca del proyecto, lo cual
requiere un buen conjunto de registros administrativos, Los géneros-de registros
necesarios se han descrito oportunamente en este capítulo y en el 4. En el cuadro
7.1 también se muestran los registros administrativos útiles para valoraciones de la
repercusión. Evidentemente, porciones de estos registros no son apropiadas a
todos .los proyectos, por lo cual el cuadro 7.1 se debería consíderar una lista verifi-
cada de registros sugeridos y no esenciales.

218
Cuadro 7.1. Registros administrativos útiles para describir proyectos y como ayuda en la
valoración de la repercusión
I. Registros de los participantes:
Datos socioécOnómicos de los participantes:
edad, sexo,localizacion cornposición de lá familia, ingresos, datos ocupacionales
-Dátos CrítiCósí
fecha:. de ingrelo én el proyecto, registro de asiStenCia fecha de Salida del
proyecto .
3." "Registros dél tratarnientó:
exposición de lol-participarites del proyecto,:áyuda dada, etc.
4. Dátóál"dé seguimiento
direCCión de lós partiCipanteS; incluidas direcciones futuras y los contaCtbs para
ayticlar al rastredIráS la pártiCipaCión,
5 Registros CkítiCos dél eyentó:"í
reSgiStio 'deíránnbrieS aptilos participanteS, ei;entds iinportantes enlat vidas de
1oS pártiCipánieS :,:. (Por ejernplb, náéimiento; rkinerté,. Cambics residenciales, de
tiabajó, .etc,
II. Registros del proyecto:
.1. Eventos críticoSíen la hiStoriá del proYecto:
feChas de inició de Partes limportantes del proyecto; encuentros con oficiales
ámables u hostiles,. partés importantes deíla:suspensión -del programa
2:: PerSoñal dél,:prOyecto:
datoS biográficos del personal, cambios en el peksOnál, ejernPlcis dé entrenamiento
: del personal
á. Úarribios en la ejectición del proyecto:
problemas encontrados para los cambios en la ejecución del proyecto establecidos
en las operaciones del ;proyecto (incluidas fechas)
III. Registros financieros:
No se intentará describir tales registros, pues se puede asumir que los procedimientos
fiscales locales típicos, requeridos por los financiadores del proyecto se podrían
aplicar. El problerna principal es que el registro financiero se clebería mantener de tal
rnanera que facilite la efectividad del costo o el análisis de costo-beneficio, como se
describe en el capítulo 8.
Juicios de los participantes
Debido a que los participantes en programas sociales son quienes reciben los
servicios del programa, se podría estar tentado a buscar los relatos de los partici-
pantes con respecto a qué tan bien fueron servidos por los prograrnas, como una
aproximación de la repercusión neta. Mientrás que los participantes pueden rela-
tar muchas cosas útiles, es bastante optimista esperar conseguir de ellos lo que
requeriría bastante esfuerzo a un hábil investigador social. El problema es que a
I
cualquier individuo se le dificulta valorar imaginativamente lo que cabría esperar
ríl'í de él si algún evento específico no ocurriera. Esto se debe a que los relatos de los
individuos acerca de CÓMO " es c og en a sus cónyuges o carreras generalmente
parecen ser resultado de eventos fortuitos. Los individuos no tienen las diversas
experiencias para ser capaces de disponer por sí rnismos las condiciones control
I .
CONTROLES ESPECTRO 219 '
apropiadas o para "mantener constantes" sus características particulares. Nóte-
se que ésta no es una imagen del ser humano como alguien ingenuo y deficiente,
sino un reconocimiento de que la valoración de la repercusión neta es una tarea
comparativa y que muchas personas no tienen ninguna experiencia para efec-
tuar tales comparaciones.
Sin embargo, el porcentaje de satisfacción de los participantes con un
programa o con sus servicios es interesante por sí mismo. En primer lugar,
algunos de los programas establecen la satisfacción de los participantes como
una de sus metas. El refinamiento generalmente se diseña para librar a los pro-
gramas de las deficiencias que irritan a los participantes: en los programas de
beneficio a jubilados se intenta entregar ingresos de jubilación de tal manera
que sean más satisfactorios para los beneficiarios, incluidos los depósitos banca-
rios automáticos o el goce de provísiones especiales. Los programas de servicio
público pueden preocupar al cliente o presentar un índice del funcionamiento
unitario. En el anexo 7.8 se muestra un resurnen de un estudio realizado por la
Kerner Commission on Urban Disorders (Comisión Kerner de desórdenes urba-
nos). Mediante el estudio se íntentó encontrar cómo los ghettos de negros en las
grandes ciudades se relacionaban con la policía y con los departamentos de bie-
nestar social de esas ciudades, conlo cualse demostraba'que estós niveles de
ns tisfacción
• ,•
'unciói de una agencia.,
, - • _
r , Como párte ce un estudio cle sistemas de entrega cle, servIcloS urbanós,en
á reas rne.tropolítanas, se tomáron ,MU9StraS cferesidentes, se les Inter,r96 Si elta
InscrítoS en el seguro social y sé les pyeáunt4:su Invel de sat nsfacci6n1Con lornahát
de ser tra' tados por trabajadore -Y'ófíCiales*:.-Ademas se entre"vistaron alçistrabaa","
dores sociales eq las agencias lbeáles del segtito 'social con respecto á sus actítudes,-,,,
hacia el `client'e y'-aciérca dela informaCIón obtérvIA—ren,sus:ganancias ,de.trabajci y
otros asPectos cle su empi o :y
Se encontró grán-variaCiókireritre,las -clUíztadel-ekptiarító a los.'niveles de,"¿
satis.accIón
f expresa_9,ppy c.lentes cl 1 .a segu .6'j s0 fl acI a'susd epá amen-' „,
tos locales de benefick'sácial.:-íFue xnuyjn ,l1rtsitilte:éj k411azgo
r- tes defleguro s octal eStaban inülátilféChOlc4"áiá"de¡ti-artamentb-1.:debénefit
sociáren cuanto„ a'tiue sus cárgas,eran mu¡altas y en `los caso's en que, los traba,::),:'
jádoreS tenían;11-6:–có- contacto c"Oki-el cllent La correlaciósi á lo targo de las 15'7,1
1 C tidá-14-0:fue d O .66, lo cual quíz'a- indíca 'qUe el cOntacto 'a menudo con los
baj ado're-s í,er.1.1;i:ina-:(uentecle el cliente
. Ervel;rrisinó-éstu'dici'íSé'ob'tuvierdii, Porcentajes de negios residentes con res-"t.:
pecto al rnaltrato político:,Un índíse de quejas por maltrató (Insultos, arrestoslnde
biClos,,etC.),tuip una coribilá6ri-álti:cpn lo aulorreportes de la pólicrá aceica
las accicaes- jpótérícialrnente agiesivas ernprendldaíCon filcuencla,
stigterel,fAúélli.¿Iénte„y.',10.ralcii-á-éión de los serViabs- puden ConVe`dirse-en
fuente
•
220 CAP. 7. DISEÑO DE GRUPOS UNITARIOS

satisfacción eran la razón de la existencia de los desórdenes sociales urbanos de la

década de los sesenta.
En segundo lugar, las investigaciones acerca de los participantes pueden
proporcionar una serie de pistas sobre cómo se incrementa la participación de
las poblaciones objeto, especialmente cuando participantes de programas
8
totales son comparados con las deserciones de un programa. Las valoracio-
nes de los participantes en un programa ofrecen información útil, pero no Medición
reemplazan la valoración de la repercusión realizada de acuerdo con los dise-
ños de investigación descritos en los capítulos 6 y presente.
En el presente capítulo se ha dedicado mucho espacio al uso de los controles
de
espectro en la valoración de la repercusión, debido principalmente a que este
enfoque se usa bastante bien y suele contener considerables precauciones. En
programas de evaluación social es difícil que los expertos efectúen más que los
la
resultados brutos establecidos. Las estimaciones de la repercusión neta hechas
por los expertos parecen ser frágiles y altamente sujetas a error. En resumen, no
se recomienda este enfoque, pues sólo es el segundo mejor.
eficacia
El conocimiento de la ejecución y de los resultados del programa es indispensable,
UNA NOTA ACERCA DE LA APLICABILIDAD pero en muchos casos es tan crítico como justo informar acerca de los resultados del
programa comparados con sus costos. Valorar la eficacia ,(análisis de costo-beneficio y
Los enfoques examinados en este capítulo varían ampliamente en su rigor. del costo-efectividad) de un marco de referencia para relacionar los costos con los resul-
tados del programa, los últimos medidos en términos monetarios o según resultados
Las valoraciones de la repercusión mediante el empleo de controles reflexivos, actuales. Un análisis útil se puede emprender para decidir la localización de los recursos
sobre todo en estudios de series de tiempo, pueden ser tan rigurosas como el y para influir en los encargados de la política, en los grupos planificadores y en las consti-
mejor de los enfoques descritos en el capítulo 6. En contraste, el uso de controles tuciones políticas que determinan el destino de los esfuerzos de la intervención social.
genéricos o espectro para estimar la repercusión neta está rodeado de incerti- Los estudios costo-beneficio y costo-efectividad se pueden realizar durante la fase de
dumbres. En realidad, los últimos controles mencionados sólo se deberían usar planificación del programa. Tales esfuerzos ex ante tienen gran utilidad, aunque la informa-
cuando otros enfoques resulten imposibles o tan impedidos por las demandas de ción empírica requerida y las estimaciones necesarias para emprenderlos no están disponi-
tiempo y presupuesto, que la elección realmente se haga entre casi nada o bles. Mientras que las oportunidades para realizar análisis ex ante están limitadas por consi-
mediante métodos de juicio. deraciones prácticas, se pueden emprender análisis costo-beneficio y costo-efectividad
como parte de la valoración de los resultados del proyecto. Estos análisis ex post son impor-
tantes y eficaces en la planificación y toma de decisiones.

CONCEPTOS PRINCIPALES

Perspectivas de contabilidad: Perspectivas que subrayan las decisiones para clasificar

los bienes y servicios con el fin de incluirlos como cos-
tos o beneficios en un análisis.
Beneficios: Resultados netos del proyecto, generalmente moneta-
rios. Pueden incluir efectos directos e indirectos.
Rango de costo-bene icios: Beneficios totales descontados divididos entre los cos-
tos totales descontados.
Costos: Ingresos, directos o indirectos, requeridos para .produ-
cir una intervención.
Ancílisis costo-bene icio: Eficacia económica de un programa, expresada como
una relación entre los costos y los resultados, general-
mente medida en -términos monetarios.

Nota de los autores: este capítulo fue escrito originalmente por Sonia Rosenbaum, con modificaciones subse-
cuentes para la segunda edición revisada por Peter H. Rossi y Howard E. Freeman.

221

222
Análisis costo-efectividad: Eficacia de un programa para lograr los resultados de
una intervención determinada en relación con los cos-
tos del programa.
Descuento: Tratamiento del tiempo al valuar costos y beneficios,
esto es, los ajustes de costos y beneficios a sus valores
presentes, que requieren efectuar un ajuste o rango de
descuento en el marco del tiempo.
Análisis ex ante: Análisis emprendido antes de la ejecución del programa
para estimar los resultados netos en relación con los
costos, generalmente como parte de la planificación
del programa.
Ancílisis ex post: Análisis que se realiza después de conocer los efectos de
los resultados netos.
Valor calculado del rango de descuento necesario
Rango interno de retorno:
para un programa de beneficios totales desconta-
dos, equivalente a los costos de un programa de des-
cuentos total.
Beneficios netos: BeneficIos totales descontados menos el costo total des-
contado (también Ilamado retorno neto).
Costos de las oportunidades: Valores de las oportunidades predeterminadas debido a
un proyecto de intervención.
Precios espectro: Costos atribuidos o estimados de bienes y servicios
cuando no se han valuado en el mercado actual.
Los encargados de la política deben decidir cuál variedad de programas
educativos destacarán: la educación primaria y básica para niños, la educa-
ción vocacional para adultos o la educación secundaria para adolescentes.
Todas éstas tienen y han demostrado tener un efecto sustancial neto al
completar las evaluaciones. ¿Cómo deben ubicarse los recursos de la
nación en cuanto a educación?
Una agencia gubernamental ha revisado los programas nacionales de con-
trol de enfermedades, que se encuentran en función. Si se desea invertir
fondos adicionales a un programa de control de enfermedades, ¿cuál pro-
grama dará la mejor retribución por los gastos?
Las evaluaciones en el campo del Derecho penal han establecido los efec-
tos de varios programas alternos para reducir la reincidencia. ¿Cuál pro-
grama es más efectivo según su costo para el sístema de justicia? Dadas las
políticas de elección, ¿cómo podría el patrón de gastos actual maximizar la
eficacia de alternativas correccionales?
Los miembros de un grupo de capital privado debatían si era conveniente
promover un programa de préstamos con interés bajo para construir casas
o iniciar un entrenamiento para mejorar las habilidades en mujeres casa-
das con el fin de incrementar el ingreso familiar. ¿Cómo decidir?
Estos ejernplos muestran los dilemas en cuanto a la ubicación de recursos
que afrontan algunos planificadores, grupos con capital y los encargados de polí-
tica, dondequiera. Estas personas deben escoger continuamente cómo ubicar los
recursos escasos, de manera que tengan un uso óptimo, aun en el caso afortuna-
do de que dos o tres proyectos piloto han demostrado ser efectivos para producir
los efectos netos deseados. Para decidir a cuál proyecto apoyar en una escala
PERSPECTIVÁS EN EL ANÁLIS1S DE LA UBICÁCIÓN 223
mayor, se necesita tener en cuenta las relaciones entre los costos y el resultado de
cada uno. Si bien intervienen otros factores, incluidas las consideraciones polí-
ticas, el programa preferido suele ser aquel que produce la mayor influencia en
más poblaciones objeto por el mismo gasto. En este principio tan simple se
basan los análisis costo por beneficio y costo-efectividad, técnicas que propor-
cionan enfoques sistemáticos para ubicar el recurso.
PERSPECTIVAS EN EL ANÁLISIS DE
LA UBICACIÓN DEL RECURSO
La aplicación de técnicas para ubicar el recurso según decisiones de progra-
mas sociales es comparativamente nueva. Los procedimientos básicos y los con-
ceptos que denotan el análisis de la ubicación del recurso se derivan de los trabajos
emprendidos en la década de los treinta con el fin de establecer criterios de deci-
sión para las actividades de inversión pública. En Estados Unidos, las primeras
aplicaciones fueron para el desarrollo del recurso hidráulico, y en Inglaterra para
las inversiones en transportación. Después de la Segunda Guerra Mundial, es-
timulado por el Banco Mundial, se aplicó el análisis de costo por beneficio a las
actividades específicas del proyecto y a los programas nacionales de países
menos desarrollados e industrializados. La idea de estimar los esfuerzos de inter-
vención y los programas sociales en términos de su eficacia (utilidades, en el sen-
tido de negocios) ha ganado arnplia aceptación.
A pesar de ello, en la aplicación de programas de desarrollo técnico e indus-
trial de ingeniería (por ejemplo, caminos, presas y redes de comunicación) y en
los esfuerzos económicos (por ejemplo, impuestos y leyes de importación-
exportación), el análisis del costo por beneficio es todavía un campo inexplora-
do. Los conceptos y las técnicas constantemente se revisan y mejoran, y existen
controversias no resueltas de las presunciones que destacan los diferentes marcos
del análisis del costo por beneficio. Los evaluadores encargados de analizar el cos-
to por beneficio o de estudiar la efectividad del costo de intervenciones sociales,
deben estar alertas de la etapa del desarrollo del campo sustantivo apropiado y
reconocer las limitaciones de ambos enfoques.
Eficacia del programa
Los análisis de costo por benefício o de efectividad del costo se pueden ver
como perspectivas conceptuales y como procedimientos técnicos complejos.
Esto mantiene el énfasis de que en muchas evaluaciones, el análisis formal y com-
pleto de la eficacia es impracticable o impertinente. Primero, los procedimientos
técnicos requeridos pueden apoyar los recursos del proyecto de evaluación,
requerir complejidad técnica no disponible entre los miembros del equipo o ser
innecesarios, dado su mínimo o extremadamente alto grado de eficacia en la in-
tervención. Segundo, las controversias políticas o morales que podrían resultar
de poner los valores económicos en medidas de resultados o en entradas particu-
lares podrían encubrir la pertinencia y minimizar el potencial del estudio que, de
otra manera, podría ser útil y riguroso; para algunas personas estas consideracio-
nes pueden negar la validez de emprender un estudio de la eficacia. Tercero, al
224 CAP. 8. MEDICIÓN DE LA EFICAC1A
expresar los resultados de los estudios evaluatorios en términos de eficacia se
pueden requerir diferentes costos y resultados que deben tenerse en cuenta,
según las perspectivas y los valores de los patrocinadores, de los evaluados y
de los evaluadores, en oposición al encubrimiento de la pertinencia y la utili-
dad de una evaluación. En resumen, no existe un análisis de la eficacia que sea
úníco, simple y "correcto". Las limitaciones de esos estudios son reconocidas
incluso por quienes defienden con vehemencia el análisis de costo por beneficio
(Thompson, 1980; Stokey y Zeckhauser, 1978).
Al mismo tiempo, es innegable la pertinencia del análisis de la eficacia. Los
programas sociales, casi sin excepción, se realizan con limitaciones del recurso.
Casi invariablemente funcionan en circunstancias tales que mantener la continui-
dad del apoyo requiere convencer a los políticos y a los beneficiadores que la
"línea base" (esto es, dólares por beneficio o su equivalente) justifica el progra-
ma. A menudo, las elecciones entre los programas competidores se basan, por lo
menos en parte, en los pagos relativos en términos económicos. Aunque n -o se
emprendan los estudios acerca de la eficacia, las decisiones del programa en el
que se tíenen en Cuenta los hallazgos dé aquélla generalmente se enmarcan en
términos de los resultados de entrada-salida.
Uso del análisis de eficacia
El empleo de técnicas de costo por beneficio o eficacia del costo puede ser
apropiado, debido a dos puntos básicos en los esfuerzos para ejecutar progra-
ma. En las fases de planificación y diseño, se puede hacer un análisis ex ante del
costo por benefício, con base en los costos anticipados y en los beneficios
del programa. Por supuesto, en tal análisis se supone que el programa será exito-
so en la entrega de las intervenciones implicadas y en el logro de resultados netos
positívos de magnitudes estirnables. Dichas estimaciones no tienen que tener una
base empírica.
En la fase de valoración de la repercusión, después de que un programa ha
demostrado tener una influencia significativa, se pueden emprender valoracio-
nes del costo por benefício y de la eficacia, ambas ex post, para apreciar si el
costo de la intervención se justifica por la magnitud de los resultados netos. En
el análisis ex post, los costos y los resultados se basan en estudios del tipo des-
crito en los capítulos previos de las evaluaciones de planificación, verificación y
repercusión.
Costo por beneficio
y eficacia del costo
Un análisis integrado del costo por beneficio requiere estimaciones de los bene-
ficios de un programa, ya sea tangibles o intangibles, y los costos de emprender el
programa, ya sean directos o indirectos. Una vez especifícados, los beneficios y los
costos se trasladan a medidas comunes, por lo general unidades monetarias. Obvia-
mente, muchos factores paralelos a la eficacia económica se consideran apoyos de la
política; la planificación y la - ejecución del programa,- pero las consideraciones de
dicha eficacia casi siempre son críticas, dada la universal escasez de recursos.
PERSPECTIVAS EN EL ANÁLISIS DE LA UBICACIÓN 225
El análisis del costo por beneficio requiere adoptar perspectivas económi-
cas particulares; además, se deben hacer ciertas presunciones, de manera que
los ingresos y egresos del programa se trasladen a figuras económicas. Como
ya se señaló, existe un desacuerdo en el campo acerca de cuál procedimiento
utilizar. Más aún, las presunciones apoyan definiciones y medidas de los cos-
tos y beneficios que afectan seriamente las conclusiones resultantes. Todos
los datos requeridos para calcular el costo por benefício están disponibles; por
ejemplo, Noble (1977) ha sido capaz de documentar, mediante nomerosos
estudios de rahabilitación, modelos inadecuados analíticos y conceptuales,
insuficiencia en el acopio de datos y una extrema susceptibilidad de resultados
del costo por beneficio para sus presunciones de apoyo, pero, por desgracia,
sin prueba. En consecuencia, las prioridades políticas sensibles no se pueden
basar en cálculos del costo por beneficio en el campo de la rehabilitación.'
Aunque las aplicaciones específicas y las conclusiones del enfoque se puedan
cuestionar, son irnportantes en la disciplina con que se fuez-za al evaluaclor, políti-
co, planificador y al administrador a formular consideraciones económicas que,
de otra manera, permanecerían implícitas o inestablecidas.
El análisis de costo-beneficio es menos controversial cuando se aplica a
proyectos técnicos o industriales, en los que es relativamente fácil establecer
un valor monetario a los beneficios y al costo. Los ejernplos incluirían proyec-
tos de ingeniería diseñados con el fin de reducir el costo de la electricidad para
los consumidores, autopistas para facilitar la transportación o programas de
iffigación para incrementar la producción de la cosecha. Sin embargo, esti-
mar los beneficios en términos monetarios suele ser más difícil en programas
sociales, en los que, en la mejor de las circunstancias, sólo una porción de los
egresos de los prograrnas conocidos se evaluará razonablemente; por ejem-
plo, es posible trasladar las ganancias ocupacionales futuras de un proyecto
educativo a valores monetarios. Los problemas son rnás complejos en inter-
venciones sociales como los programas de control de la fertilidad y los proyec-
tos de servicios de salud, pues se debe tasar un valor para la vida humana de
tal manera que se puedan calcular en diriero los beneficios del programa total-
mente (Zeckhauser, 1975).
Debido a lo anterior, el análisis de costo-efectividad, rnás que el análisis de
costo-beneficio, a n-tenudo se considera -una técnica más apropiada. El costo-
efectividad requiere calcular en dinero sólo los costos del programa, mientras
que los beneficios se expresan en unidades de resultados; por ejemplo, el costo-
efectividad de la distribución gratuita de libros para niños de escuelas primarias
rurales se podrí.a expresar como sigue: cada 1 000 dólares proyectados incre-
mentan los niveles de lectura en un promedio de un grado por nivel.
De ese modo, en el análisis de costo-efectividad, los egresos o beneficios se
expresan en térrninos de costos de los resültados actuales sustantiVos; esto es, la
eficacia de un programa para lograr sus metas se valora en relación con el valor
monetario de los recursos o costos incluidos en el programa. Considérese otro
ejernplo: para analizar las intervenciones de diversas opciones educativas se pue-
den medir las ganancias educativas, expresadas en marcadores de las pruebas, y
luego relacionarlas con los costos del programa. Un análisis de costo-efectividad
permite hacer comparaciones y graduación de opciones entre los programas
potenciales, de acuerdo con la magnitud de sus efectos referentes a sus costos.

226 CAP. 8. MEDICIÓN DE LA EFICAC1A
De manera diferente, la comparación se establece en términos de unidades de
efectividad para lograr resultados particulares. Las operaciones y la repercusión
de programas actuales, y de egresos e ingresos, reemplazan en un grado conside-
rable las estimaciones y presunciones. Aún más, el análisis restrospectivo puede
producir experiencias y discernimientos útiles o procedimientos metodológicos
aplicables a programas futuros.
El análisis de la eficacia, en su mayor parte, se puede considerar una exten-
sión de la evaluación de la repercusión, no una alternativa. Es imposible empren-
der cálculos de costo-beneficio o de la efectividad para programas cuyos efectos
se desconocen por completo o no se pueden estimar; es insensato realizarlos
para programas inefectivos, esto es, cuando evaluaciones de la repercusión no
descubren efectos netos significativos. Cuando se aplican a programas eficaces,
los análisis de eficacia son útiles en las decisiones de política, para proyectos con
planeación amplia y en revisiones de programas en mornentos diferentes. Más
aún, el análisis de costo-beneficio puede ser útil para determinar el grado en que
cada nivel de las intervenciones produce diferentes niveles de beneficios (Shor-
tell y Richardson, 1978).
COMPONENTES EN EL ANÁL1SIS COSTO-BENEFICIO
En términos simples, una intervención es eficaz si sus beneficios son mayores
que sus costos. Por tanto, un analista eficiente debe calcular esos beneficios y costos.
•
Beneficios
Los beneficios de un programa son sus resultados netos, ya sean tangibles o
intangibles. Por ejemplo, los beneficios de un proyecto de salud pública pueden in-
cluir la disminución de enfermedades y de mortalidad, e incrementar la producti-
vidad económica; los beneficios de un programa de entrenamiento vocacional
pueden incluir ganancias en lo futuro y productividad económica de los particí-
pantes, así como valorar el trabajo hecho por el entrenamiento y durante él, y los
beneficios de un proyecto de vivienda pueden incluir el incremento de su calidad
y cantidad y la disminución de los riesgos contra la salud.
Costos
Los costos son fáciles de calcular; constituyen los ingresos del programa,
directos o indirectos, o sea, los recursos requeridos para realizar el programa. Para
determinar los costos del proyecto es importante la noción de los economistas
acerca de los costos de oportunidad o el valor de las oportunidades perdidas. Des-
de el punto de vista de las obligaciones objeto, participar en un programa (por
ejemplo, el entrenamiento vocacional), significa contar con ingresos precedentes
regulares y, por tanto, se trata como un costo.
El concepto de costo de oportunidad refleja el problema de los recursos limita-
dos, ya sea dinero o tiempo, cuando los individuos o la comunidad deben escoger
sólo una de varias opciones. El costo de la elección se puede medir por la utilidad o
COMPONENTES EN EL ANÁLISIS COSTO-BENEFICIO 227
valía de las opciones determinadas previamente. La actual estimación de los costos
de oportunidad es muy compleja. Además de los costos de oportunidad, el costo del
programa incluye gastos para el personal, la administración, el equipo, las facilida-
des, la herramienta o los materiales y cualquier otra labor y costo operacional en que
se incurra; no obstante, conocer los componentes específicos que se induirán en los
cálculos y saber evaluarlos depende de las perspectivas de contabilidad que se consi-
deren. En otras palabras, la lista precedente de costos del proyecto es una sobresim-
plificación de los cálculos requeridos. Un resumen de los costos y beneficios de un
estudio, de límite superior se muestra en el anexo 8.1
Anexo 8.1. Lista de costos y beneficlos
para la evaluación del límite su erlor
..., ,
, Ellírnité
. ., . sup
... . , . . • . n,
rogram , etemedio
. ., •.. ...-. eciúeativro•" en el nislel aé esclá,,7-
.„, a,sectíndaria;"diselldó en la década de/ciSsésénta:E1 propósito fue identlfIcar zl.
IOSittlyénéS„Ciánirán, potenclalidad d- e desventaja para cir ulenes sen. 'a'posible rid
asIStli-Ilá,-ésétielá.:St proporcionarles eclucación preparatorla espec14 Los'dato4-
r, de una evaluación de estudiantes que se inscribleron en el pxograma en aPSOS dife,`.
,I rentes est aban dIsponibles. La eval .uación . _ incluy5 tambi-,
én Información acerca de
r consanguíneos rnáS ViejOs, de los reSpondentes qúé no particíparon. Desde el pun-
vís lpántes, los costos y beneficios se definleron como sigue; .
del Jrnpue,sto, medldo conbas-e.
de los partielpante,s corno
rante el p‘' rograrnar. ,
3. Ail:in'eiitát:141.11. te,ncIón del coleglo a los estudiantes clé
t _ s po TTi réquerida a los ., estudiantes . . de, Imit
.1Cn.,. légici.J,1 1'.débido
it. ti. O.,rp..0.i.,pOrt..,,,,11....0:) a los alto s, rangos.. de asistencla
astOS:adIcícitílIes.,;p0r:Parte‘de ro's estudiantes de Iírnite superiór mientra
1..tIvierakietl.:0-.¿,,,4019:; •-. . ,- ; ,_ i .„-: ,. .:. .T .,,,: - - ..,.--, - --
3 Ingreses predéféririkiadiAs . 1;1:42rEestudiantes de limite superior nlientra
,.otuv, ieran en'ét-crHg 0. . ..-,-,
,....lrigrOso transferido sobre el tiernpo de vida predeterrninado Por lós est,
diaiitekijr tte: stiperi.ttit ejéniPlo, deserripleo ,y blenestar socli.1):-':.-

228 229

Comparación de los costos y beneficios

Librus c[2, IPcfes por nacintiento euitadó
Después de listar exhaustivamente todos los beneficios y costos del progra-
ma, el problema siguiente es relacionar los valores monetarios con ellos. En el
de descuento 15% de descuento
análisis del costo por beneficio, el factor tiempo se debe tener en cuenta. La técnica
para efectuarlo se conoce como descuento, la cual se examinará más adelante. Bcrwficios
El cálculo final consiste en comparar los costos y beneficios totales, ya sea COnsumo 222 351 109-206
de-mOdo directo para asegurar los beneficios netos o, de manera más general, fecto de la ontla de productividad 16 21 9-14
como un rango de beneficios por costo. El resultado del análisis del costo por Ef&to ctel ahorro ptúttico 37 24 ,
beneficio se puede expresar en términos de rangos diferentes, lo cual depende Total 275 409 142-244
de los criterios implicados para tomar las decisiones de un programa y los
objetivos y valores de quienes las toman (consúltese Thompson, 1980, capítu- Costos
lo 5). Opcionalmente, se puede calcular el porcentaje de retorno en forma ,Doductividad 79-91 24-31
Servictos de planificación farniliar 4-20 4-20
anticipada. Una cornparación de los rangos de costo-beneficio (o de su resu- tótár'
men de medidas) mediante los programas diferentes proporciona los datos
83-111 - 28-51 -
1/ife' rencias entre los costos y los pefieficlos
necesarios acerca de la eficacia relativa de las opciones del proyecto. Véase el (hilera 4 menos hilera 7) 164-326 91-216
anexo 8.2 para un ejernplo de un estudio de costo por beneficio en un progra- Rangos de beneficíos costo
ma de planificación familiar. (lailera 2,5 2.8-8.7
Una vez revisados los marcos que subrayan el análisis de costos por benefi-
cios en particular y de eficacia económica en general, se examinarán ciertos pro- Fuerde: TC n 111,10 de G. C. Za slsfl, 170C:.-:ts and Benehts of Family Pl q nning Pro;2rarris, Werld
Idenk, n,,:adengten, 1971, ; rIcls 2 y 45. R mpreso ;:en p.erneso dci poseeder de los dereebos de
blemas técnicos•y la elaboración de los conceptos. autor ,

Anexo 8. 2. Costos y bene cios de un programa de

planificación familiar: porcentajes del costo-beneficio -
.:resúmenes4el:feto
Mediante un analls15 de,Costo;. benefícioTdetprógrarna deibknificación
en la República Árabe Linidá',,24'esttrtiai-onlais benefícias y edliés dela prevención
de nacimientos como sigue: - - ,
Beneficios
1. Efecto principal:Gastos de consumo que sepodrían requOr para un naci-
Intento evitado, que están ahora disponiblél a lá pablaei6n.
2 Efecto de la órida cle PrOductividad: Incremento en_prOducción resultante
de una ntejdr nutrición' en familias de tamaño reductdo.
3. Incremento en ahorro público total lesultante de la divsstún de recursos que
e-..13" . 0-.1a4ii'relüerjr ... pareducar acerca del controK11.1a natálida
METODOLOGÍA EN EL ANÁLISIS
DEL COSTO-BENEFICIO
,
Para realizar un análisis de costo-beneficio, primero se debe decidir cuá-
les perspectivas tomar para calcular los costos y los beneficios. ¿Qué punto de
vista debe ser la base para especificar, medir y calcular en dinero los benefi-
cios y los costos? En resumen, ¿costos para quién y beneficios para quién? Los
beneficios y los costos se deben definir desde una sola perspectiva, pues com-
binar puntos de vista causa especificaciones confusas y una sobreposición o
contabilidad doble. Esto no quiere decn- que el análisis de costo beneficio de
un programa único se pueda emprender desde varias perspectivas. El análisis
,eparado, basado en perspectivas distintas, frecuentemente proporciona
información acerca del costo-beneficio conforme influye en los evaluados.

Perspectivas de la contabilklad -
MágnItadde,13144áiltejkoducci ,5 p res1,1tante de una pequeña fuerza
Para analizar los proyectos sociales se pueden emplear tres perspectivás
' • a) las de los individuos objetivo, b) las de los patrocinadores del programá y c)
- ' las de los agregados comunales o las de la Socledad implicada; La perspecti-
• va de contabilidad indiuidual tonna su punto de Vista de la tinidad que es el ob-
.contiiinádisá0e'I'er uce arbl 3 a uán4O,
recen eír.uría:05. 11-.1. .rriP a • reflejan presltriCiáriesalte jeto del programa, esto es, la persona, el grupo o la organizáción que recibe
la intervención o el servicio. El análisis de costo-berieficio mediante la pers-

230 CAP. 8. MEDICIÓN DE LA EFICAC1A
pectiva individual del objeto suele producir mayores beneficios por rangos de
costo, que aquéllos en los que se usan otras perspectivas. Otro medio de esta-
blecer esto es que si el patrocinador o la sociedad sostienen el costo y subsi-
dian una intervención exitosa, los participantes individuales del programa se
beneficiarán más; por ejemplo, un programa educativo requiere relativamente
pocos costos por participante. El costo para los grupos objetivo es primordial-
mente un gasto de tiempo en el proyecto, pues los libros y materiales generalrnente
son donados. Los beneficios de los participantes pueden incluir mejoramiento
de los ingresos como resultado de una educación mejor, así como opciones
ocupacionales incrernentadas, mayores satisfacciones en el trabajo y pagos
transferidos rnientras se participa en el proyecto.
La perspectiva de contabilidad del patrocinador del programa toma el
punto de vista del recurso del fondo para valuar los beneficios y especificar los
factores del costo. El recurso del fondo puede ser de una agencia privada o fun-
dación-, de una agencia gubernamental o de una firma de beneficencia. En estas
perspectivas, el análisis de costo-beneficio puede semejar lo que frecuentemen-
te se ha denomidado análisis de beneficencia privada.
La perspectiva de contabilidad del patrocinador del programa es más apropia-
da cuando hay claras opciones políticas que incluyen los programas alternos que
un gobierno u otros patrocinados pueden apoyar, y en condiciones presupuesta-
rias fijas en las que rentas nuevas no apoyarán a proyectos adicionales.
Por ejemplo, delde el punto de vista del patrocinador del programa, los
beneficios de un proyecto educativo en términos de golDiernos federales, estata-
les y locales constituyen decrernentos en el gasto que ya no tendrán que hacer-
se, tales como asistencia pública u otras formas de gastos gubernamentales
directos. Otro beneficio mayor del patrocinador (gobierno) está representado
por las rentas incrementadas como resultado de los salarios mejorados de los
participantes subsecuentemente al entrenamiento (esto es, si el entrenado
obtiene mejores trabajos y gana rnás, tendrá que pagar impuestos más altos).
Los costos del goblerno son por la operación, la adrninistración, la instrucción,
los rnateriales, las facilidades y los subsidios adicionales o pagos transferidos a los
participantes durante el entrenarniento. En el anexo 8.3 se muestra un cálculo del
costo por beneficio en términos de beneficios resumidos para el gobierno, de
acuerdo con nacimientos evitados por los programas de planificación farniliar.
La perspectiva de contabilidad comunal toma el punto de vista de la comu-
.
. •
Anexo `.13,.:Ánálisis aljcp
,r9r
los prograrnas de planifica
-,..Uná...e'Valuaciónrpaelónátreciente de los p,, gramas-:
prolbrCiónádos,pgr.114.0.0111.15111iigicIpl;O:ffill
:de-g t.404:: po blIti<iiiél'egátájdOI,V10461;i,ftil .érlitifériiiíslájáaWV,a16i'ar,
tos de los nngo de fertilidad de 1970 a 1975 La evaluachi relaclonó datos aet.
cle.las a fi II a eí
cu 1cl ailbáb'10.1,10 :141.4-1bUbb:Una' 1.1.dú.00e3r5-41ditifiCaVYWoriTa fertilidnd'
'.,elélOá`árupps
idNéiS-41;d'‘
231
... -..--.1.---._---r-T7',t-.--
. ,. , . ..
lilliá›-Z, . didj¿ljá?l enefIcló se estImaron
- . .. , ....
de el . to-deliíst d b. r o 9 'éba‘,-..-arán en nacim entos evitados, Indeseables y'-.
trs iritdifaclós. Tódas las graficas de costos y beneficlos reflejaia gastos Y ahorrcís.
para el gobietno en te/minos de nacimientos evitados.--, .--, ,,,...... .
Los c¿ilculos utiltzados para establecer la repercusIón del prograrna sugIriero
gue durante los seis afiós eStudiados, la particIpación en las clínIcas de planlfIcaclóe
familiar originó Uh-total de . casi 1.1 rnillones de nacIrnientos evitados: es deCIrk
aumentó deSde:72 "000 en 19.70 hasta 324000 en 1975. Esto representa los efectcyl
directos del programa por mujer servida, y no Incluye los efectos secundarlos pos1,,('
bles para personás..no servidas que también podrían beneftclarse. ':. ". - -- - :-.',.'•• '3:". "'
Los datosdísponlbles se emplearon para medlr los siguientesbenefictospara etil t,
gobiemb,-loS cuále.s. se . lIstan como costos ahorradoS al gobierno mediarite el trnpe
dltnento denacírnientos Indeseados..a) el cuidado rnIcilco relácIonadd 'bón el emba:y
razo y el nacirniento, lo cual apoya toda clase de programas gubernamentales y el
todos los niyele,s para lapo .blación gan bajos I ngresos; b) la asIstencla pública durari-
te el prirner año de nacimiciito ddriblo para las mujeres triscritas en lá asisten-
publica, y c seleceionar los servictos sociales para receptores de asistencla públtcá y:"-;,1.;',
sus neonatos durante un ano. . . ,. ' .-- ,i -,-'--
. , .' !- - _
, '' . . .4
Los autores argumentan que estos costos subestiman sertamente los ahorrbá. t
en terminos de costosacorto'plazo denacimientosindeseados, así como tasforrnat.
adiclonalel-de asistencia públIca y serviclo Social y ytylenda p'úblIca, también.eorriCt;
costos de oportunIdad de pérclida del Ingreso, delDiclo a las ausenclas delempleo pox
paite,clekkakádredurantedi y ezsos moinetttos del embárazo y en lps prirneros perból
ddslido Ninfáficiá de É. hijo. EStascategorías , Se excluyeron porque'no había dat
.
IiiibillicífeiPara ei/Sc ificat las proporctone.s"cle mujeres con bajos tngresbs que se,„,,
bic.afárt‘eriestaicategorías Y los gastOs-resultantes por Parte del goblerno, En IS-5,..;:'
e.stimaciones de los costos nacionales por la asistencia pública para las tres categj
rías menctonadas en líneas anteriores se tuvo en cuenta el,hecho de que durante et
periodo en cuestión, del 16 al 19 % . de los pacientes en las clínlcas de plantficact
familiar bajo
- . ekialuación
, . recibían asistencia públIca. Así, el ahorro estimado ep los.
gastds det gobleino para estas categorías d4, _costos varlaba de_sde 639 dólares ert,*.
1970 hasta 1 238 dólares en 1975 por cadályiklmiento evitado. Estos ahorros estf.;;."
mados se rnultiplicznn por el número 'esfrn?aclo de nacImlentos ImpedicloS por.'
cacla ano, luego Itilizado para los seis años. Los ahorros estImados fueron d
milloneS. . de d(;lares, en una grafIca gue representa benefic(crs totales, : ._''
os costOS' fueron sln-Iplernente la conveniencla de;les ser ylclos de las clínIcas-
anificación farniliar, disponIble en los registrOs'.del goblerno, que totalizaba,_.__ XI
.. millones cle,dólare..T(que iba desde, 33 millonesIt 'asta 260 mIllcines de dólares'n
árante el pettriclo 'de Seís meses). .-•-= ' -.
El rango de costo beneficío de ahorro total estimado para los costos tota1eál-1;',
el progiama es cle 1.8 (1 07/584), Si se calculan separadarnente para cada aríO,,,V.-'
1 rango más bájo es de 1.3, y el más alto de,2,5 én 1915.:Zsto s. einterpreta comb'4'
tie:por cada . dókir invertido por el gebIerno feliql en la planificación famIltar en'Z'
n'ahtb, lbs-gobfernos locales, estatales y federales ahorran aprOxIrnadamente
.80 dólares un año después. Estos ahorros son además dé los ahorros a largo piar
p y.de IOS beneficios_demograficos; looales.y.de sálud páia el gobterno y losindw ‘$
Idimás -..con la ,Pt'évéíisfótv dsá : ilitirniérifólnd'deseidos o no intentados:, ' , ':' -,,,
^
. . ,
Of Fam uy Planning ProgrornsoL{4,
1
232 CAP. 8. MEDICIÓN DE LA EFICAC1A METODOLOGÍA EN EL ANÁLIS1S DEL COSTO-BENEFICIO 233
nidad o sociedad como un todo, generalmente en términos de ingresos totales; to. El costo comunal también incluye desembolsos para las facilidades, el equipo
por tanto, es el más completo, pero también el más difícil de aplicar. Desde el y el personal, por lo general valuado desde una perspectiva diferente de la de los
punto de vista de una sociedad, implica que se deben hacer esfuerzos especiales patrocinadores del programa. Por último, estos costos no incluyen pagos de
de contabilidad para contar con proyectos secundarios. Por lo general, un pro- transferencia, pues también se podrían ingresar como beneficios a la comunidad
grama ejerce efectos en un grupo que no interviene directamente, lo cual se y simplemente se cancelarían unos a otros.
deberá considerar al examinar la mayor economía. Aún más, en la bibliografía En el cuadro 8.1 se muestran algunos de los componentes básicos del análi-
actual, el análisis del costo por beneficio comunal se ha expandido para incluir sis del costo por beneficio para perspectivas de contabilidad díferentes (en el
consideraciones equitativas o el efecto distribucional de los programas entre ejemplo, el patrocinador del programa es una agencia gubernamental). La lista
cada subgrupo. Esas consideraciones implican que los cálculos del costo por no debe considerarse completa, sino sólo como un ejemplo. Los problemas espe-
beneficio son necesarios para ser distribuidos entre los subgrupos, o que algún cíficos incluyen un análisis de varianza real.
criterio o esquema de peso apropiado se emplee para asignar mayor o menor
valor a los beneficios, de acuerdo con quien los recibe (por ejemplo, consúltese Cuadro 8.1. Componentes del análisis de costo-beneficio para perspectivas diferentes
Squire y van der Tak, 1975). En el anexo 8.4 se muestran los costos comunales
y los beneficios de un límite superior, el cual se puede comparar con la lista del
Individual Patrocinador Comunaies
anexo 8.1, que contiene los costos y beneficios individuales.
Aunque los componentes de un análisis del costo por beneficio comunal Beneficios Incremento en las
Incremento en Incremento en
parecen incluir muchos de los costos y beneficios que también aparecen en los agencias (netas de retornos de impuestos ganancias (en bruto
cálculos en que se utilizan las perspectivas individuales y del patrocinador del impuestos) de impuestos)
Recibe beneficios
programa, las partidas se valoran y calculan en dinero de manera diferente; por Decremento en Incremento en otros
adicionales (por gastos de asistencta
ejemplo, el costo comunal de un proyecto incluye el costo de opotunidad en tér- ingresos (por
minos de inversiones alternas determinadas por la comunidad, de tal modo que ejemplo, pública y otros ejemplo, beneficios
transferencias
subsidios de franja, excluidas
se apoye al proyecto de cuestión. Obviamente, éste no es el costo de oportunidad directas, franjas y las transferencias
en que un individuo incurre como consecuencia de su participación en el proyec- beneficios no directas)
económicos)
Valoración del Decremento en
comunales
béMicioir trabajo ejecutado en gastos de proyectos
.-In1131 , 41ÁM el proyecto alternativos no
aplicables
BenefIclo Valor del trabajo
realizado
1, Incrementar los ingresos de por vIcla antes del irnpuesto para los par-tic,3pan-
Costos Costos de Pérdida de impuestos Costos de
tes del programa (los ingtesos de antes del in-ipuesto se utilizan para refIclar oportunidad oportunidad (brutos
la piOdtictividad socIal), (ganancias en impuestos)
„ predeterminadas
Costos libres de impuestos) Costo del proyecto
.(por ejemplo, capital
Los costos directos del programa del límite supetior para el gobiemo mclu- administrativo,
yen todoslos recurs,os gastados, excepto los ' gueldos de los estildiantes. instruccional y
Los costos directos del Prograrna para los colegios participantes. subsidios directos)
Pérdida de subsidios Costos del proyecto
El costo extra de la cducación ineurtida pur sodeclad debido al alto rango directos no más
de asIstencia al colegio porlos estudiantes ' del Iírnite superior. (excluidos los
aplicables (proyectos subsidios directos o
Los costos extras cle rnanutencIón requendos por la asistencia al coleglo alternativos) los pagos de
atribulble al programa. transferencia)
5 Las ganancias de antes del Impuesto adelantadas a lo. estudIantes del Costos
superlor rnlentras están aún en el colegio. extraordinarios
relacionados con la
Fuente: Ad71t-dado con perrrd,D, de W. I. Garms, A B,tnefe , Coet Anth,d, of the l iptkard Bound participación (por
Pre ,gram', en J,Jun,al of idw-retr. ResGurces, oCre 6, prn-n,,,,r,, do 1 971, 't2t. 206 220. ejemplo, cuotas y
materiales)
234 CAP. 8. MEDICIÓN DE LA EFICAC1A 235

En la tabla 8.1 se proporciona un ejemplo simplificado de los cálculos de Medición de los costos y los beneficios
costo-beneficio para un programa de entrenamiento desde las tres perspectivas
de contabilidad. Otra vez, las figuras monetarias son sobresimplificaciones bru- La especificación, medición y valoración de los costos y los beneficios son
tas, dado que un análisis real podría requerir un tratamiento más complejo de procedimientos fundamentales en el análisis de costo-beneficio que origina
los problemas de medición implicados. El ejemplo sirve para ilustrar el éstudio dos problemas distintos: a) identificar y medir todos los costos y beneficios del
previo. Nótese que los mismos componentes pueden ingresar a los cálculos programa y b) expresar todos los costos y beneficios en téminos de un deno-
como beneficios desde una perspectiva y como costos desde la otra, y que el minador común, esto es, trasladarlos a valores monetarios.
resultado del cálculo , (en este caso, el rango de beneficios por costo y las diferen- El problema de identificar y medir los costos y beneficios es más agudo para
cias entre beneficios y costos, o beneficios netos) variará de acuerdo con la pers- apreciaciones ex ante, en los que existen pocos o ningún dato para hacer esti-
pectiva de contabilidad utilizada. maciones; sin embargo, los datos.frecuentemente son limitados también en los
análisis ex post. Para muchas intervenciones sociales, la informacíón de una
evaluación (e incluso de una serie de evaluáciones) puede proporcionar insufi-
ciencias para lograr un análisis retrospectivo de costo-beneficio. Así, las evaluacio-
Tabla 8.1. Ejemplo hipotético de un proyecto de entrenamiento y sus cálculos de nes proporcionan frecuentemente sólo alguna de la información necesaria, y el
costo-beneficio desde diferentes perspectivas de contabilidad analista tendrá que usar recursos adicionales o juicios complementarios.
El segundo problema para muchos programas sociales es la dificultad de
Costo-Beneficío°
Mejoramiento de las ganancias de los entrenados (antes de los trasladar los beneficios y costos a unidades monetarias. Los programas sociales
impuestos) $100 000 frecuentemente no producen resultados que se puedan evaluar con seguridad
Mejoramiento de las ganancias de los entrenados (después de los por los precios del mercado; por ejemplo, muchos podrán argüir que los benefi-
impuestos) 80 000 cios de un proyecto de control de la fertilidad, de una campaña de alfabetización
3. Valor del trabajo ejecutado en el proyecto de entrenamiento 10 000 o del entrenamiento de prácticas de salud, no se pueden calcular en dinero de for-
4. Costos del proyecto en facilidades y personal $50 000 mas aceptables para cada evaluado. En el anexo 8.5 se ejemplifica el problema de
Costos del proyecto ,en equipo y provisiones 5 000 la medición de un programa de metadona; por ejemplo, ¿cuál valor debería darse
Sueldos de los entrenados (pagos de transferencía directa) 12 000 al miedo y la angustia (problema 1)? En tal caso, el análisis de la efectividad del cos-
7. Ganancias anticipadas por los entrenados (antes de los impuestos) 11 000 to podría ser una opción razonable, dado que los beneficios no tienen que ser valo-
8. Ganancias anticipadas por los entrenados (después de los impuestos) 9 000
9. Impuestos perdidos: (7) menos (8) 2 000 rados en términos de dinero, sino sólo cuantificados de acuerdo con medidas de
los resultados.
Individual Patrocinador Comunal Debido a la ventaja de expresar los beneficios en términos monetarios, se
han especificado diversos enfoques para calcular en dinero los resultados o bene-
Beneficios (2) 80 000 (1) - 20 000 (1) 100 000 ficios (Thompson, 1980; págs. 149-151).
(6) 12 000 10 000 (3) 10 000
92 000 30 000 110 000
Costos (8) 9 000 (4) 50 000 (4) 50 000 Anexo 8.5. Medición de lo
(5) 5 000 (5) 5 000 piodrán31á-del tratamiedki
(6) 12 000 (7) 11 000
(9) 2 000 13,-mc.fIctos directos del tratarniento con rnetadona
9 000 69 000 66 000
1. Berteficius a víctirnas
Rango B/C 92 000 = 10.22 30 000 = 0.44 110 000 = 1.67
9 000 69 000 66 000 Decrernento en los gastos de protección privada.
QlsrpinuciC,n del valor de los darlos a los recursos de las víctimas
Beneficios netos 83 000 — 39 000 44 000b cl::::1541erile'ras en el valor de las transferencias forzadas.
neg4 do y la angusllavental,
° Debe asumirse que estas figuras representan los valores presentes: véase la sección sub-
secuente.
b Nótese que el benefício social neto se puede partir en beneficio neto para entrenados,
más los beneficíos netos para el gobierno, el cual es negativo en este caso: 83 000 + (— 39
000) = 44 000. mos adictos a los narcóti- '
236
3. Benefielos a los pacientes de metadona
Decrernento en los eastos de
Increnlento en las eanancias legareViii ICTItnentó en las ganan-
cias
Medictdn ernpfrica clel benencio clirecto del tratarnIentp con unetadona
Disn-anución de los gastos de justicia critninal.
Decremento en los gastos méclicos para enferrnaa clativas a narcó-
,ticos.
DIsminución de los gastos en herorna.
Incrernento en las gananclas
Fuente: Trtrnsdn de T. Hanrttn, "The Bertefits ,Jrvi Costs of Methadone MaIntenttnce en Public
Poncy,111161. 24, Itninaveld 1 1976, tt•Sgs 200 201. R,..,impro con antortzaci6n.
Medición monetaria
El enfoque menos controversial es la estimación de los beneficios monetarios
directos; por ejemplo, si mantener abierto un centro de salud durante dos horas
después del trabajo reduce la ausencia de las poblaciones objeto de trabajo (por lo
cual no reciben salario), entonces, por un promedio de 10 horas por año, desde
una perspectiva individual, para calcular el beneficio anual se puede multiplicar el
promedio de salarios durante 10 horas por el número de empleados objetivo.
Valuaciones de mercado
Otro enfoque relativamente poco controversial consiste en calcular en dine-
ro las ganancias mediante su valoración en el mercado de precios. Si el delito se
reduce en 50% en una comunidad, se podrán estimar los beneficios en términos
de valores de las viviendas, para lo cual se ajustarán los valores actuales con base
en tales precios de comunidades que tengan índices de delincuencia más bajos y
con perfiles sociales similares.
Estimación econométrica
Un enfoque más problemático consiste en estimar el valor supuesto de
una ganancia en términos de rnercado; por ejemplo, el incremento en recep-
ciones de impuestos de los grandes negocios se debe al reducido temor a delin-
quir, que se podría determinar mediante el cálculo de rentas apropiadas de
comunidades similares con rangos de delincuencia más bajos, y luego estimar las
clevoluciones de impuestos que ocurrirán. La estimación puede requerir esfuer-
zos analíticos complejos y presunciones problemáticas para hacer óptimas tales
valoraciones tentativas.
237
Cuestiones hipotéticas
Un enfoque aún más problemático consiste en estimar el valor de los bene-
ficios no monetarios intrínsecos mediante el cuestionamiento directo de las
poblaciones objeto; por ejemplo, un programa para prevenir las enfermedades
dentales puede disminuir el índice de cavidades de los participantes en un pro-
medio de una a la edad de 40 años; así, se podría efectuar una investigación
acerca de cuánta gente piensa que es valioso tener un diente adicional intacto,
en oposición a tener dientes obturados. Tales estimaciones presumen que el
valor monetario obtenido relistamente expresa la valía de un diente intacto. Por
supuesto, los valores hopotéticos de este género son susceptibles de un gran
escepticismo.
Alternativas de observación política
El enfoque más tentador consiste en estimar los beneficios con base en
acciones políticas. Si los estados son congruentes y están dispuestos a ofrecer
fondos adecuados a programas con alto riesgo de medicina infantil a un rango
de 50 000 dólares por niño salvado, esta figura se podría usar como estima-
ción del beneficio monetario de tal programa; sin embargo, como las alternati-
vas políticas son complejas, transferibles e incongruentes, este enfoque suele
ser muy riesgoso.
En resumen, para que los resultados de un análisis de costo por beneficio
sean válidos y confiables y reflejen totalmente los efectos económicos de un
proyecto, se deben incluir todos los cornponentes adecuados. Cuando no se
consideran beneficios importantes, debido a que no se puedan medir o calcular
en dinero, el proyecto parecerá menos eficaz de lo que es; si se emiten ciertos
costos, el proyecto parecerá más eficaz. El resultado será engañoso si la estima-
ción de los costos o beneficios es muy conservadora o muy generosa.
Métodos de valoración
Los beneficios y costos se deben definir y considerar para valorarlos de
manera diferente, según la perspectiva de contabilidad utilizada. Cuando se
adopta la perspectiva comunal, los efectos del proyecto (y, por tanto, los benefi-
cios y costos) se deben valorar de acuerdo con la repercusión en la comunidad
entera, la región o el país. Para muchos programas, los egresos no tienen precios
en el mercado (por ejemplo, la reducción de la contaminación o el trabajo de una
ama de casa), pero debe estimarse su valor.
El procedimiento preferido es usar precios espectro, también conocidos
como precios contables, con el fin de reflejar mejor el mercado de precios actual,
el costo real y los beneficios para la sociedad. En otras palabras, los precios
espectro son derivados de bienes y servicios que reflejan los beneficios y costos
nacionales.

238
Consideraciones de distribución
Tradicionalmente, la efectividad de realizar intervenciones sociales se estima
en razón de que la realice por lo menos una persona mejor que otra, sin embargo,
éste puede no ser el caso; por ejemplo, disminuir el salario mínimo para adoles-
centes puede incrementar su empleo, pero reducir las oportunidades de trabajo
para los adultos.
El significado básico de incorporar equitativa y distribucionalmente las consi-
deraciones en el análisis de costo-beneficio implica la existencia de un sistema de
estímaciones en el que los beneficios se valoran más si producen el efecto positi-
vo anticipado. Si un salario mínimo disminuido incrementa los ingresos de fami-
lias con mayor desventaja, pero reduce los ingresos familiares de los desaventaja-
dos moderadamente, los dólares ganados y perdidos se podrán estimar de modo
diferente, según el grado de desventaja de las familias. Algunas realizaciones son
más valiosas para la comunidad, por razones equitativas y debido al incremento
del bienestar; por tanto, se deben examinar con más profundidad.
Las estimaciones por asignar pueden determinarlas los tomadores de deci-
siones apropiados, en cuyo caso tendrán que hacerse juicíos valiosos; sin embar-
go, también pueden derivarse de la aplicación de ciertos principios económicos y
presunciones. Existen múltiples enfoques formales (estudiados en el capítulo 3).
En cualquier caso, es obvio que las estimaciones no se pueden aplicar indiscrimi-
nadamente. Sin duda, los analistas diseñarán refinamlentos posterioies confor-
me continúen con los problemas de los efectos de distribución.
Una solución intermedia a las consideraciones de equidad en el análisis del
costo por beneficios consiste en efectuar cálculos de subgrupos separados de
sociedad, en vez de calcular una medida agregada única. Las disgregaciones se
han realizado para grupos de ingresos (por ejemplo, Hansen y Nelson, 1976) y
para los niveles de asimilación (por ejemplo, Wolfe, 1977). Tales problemas de
distribución en el análisis de los efectos en las escuelas se han examinado profun-
damente, sobre todo debido a que los costos de la educación subsidiada los sufra-
gan, en parte, quienes pagan sus impuestos y no tienen hijos en la escuela, y los
beneficios los reciben personas con grandes recursos económicos (Ribich y
Murphy, 1975). Finalmente, se ha sugerido tener en cuenta la equidad conside-
rada de los regresos en la educación (Conlisk, 1977).
Efectos secundarios (externos)
Los proyectos pueden tener efectos externos o de derrame, esto es, efectos
colaterales o consecuencias no intentadas que sean benéficas o perjudiciales.
Como tales efectos no son resultados deliberados, se pueden emitír de los cálcu-
los de costo-beneficio y si no se hicieron esfuerzos especiales por incluirlos.
Un efecto secundario del programa de entrenamiento es, por ejemplo, el entre-
namiento a parientes, vecinos y amigos de los participantes. Entre los más comunes
efectos externos negativos de proyectos técnicos o de la industria están la contami-
nación, el ruido, el tráfico y la destrucción de plantas y de la vida animal.
Para muchos proyectos son probables dos efectos: el de desplazamiento y el
de vacío; por ejemplo, en proyectos educativos o de entrenamiento, un grupo de
personas entrenadas que se incorporen al mercado de trabajo pueden competir
METODOLOGIA EN EL ANÁLISIS DEL COSTO-BENEFICIO 239
con los empleados que están trabajando y desplazarlos (esto es, que los obliguen
fuera de su puesto). Los participantes del proyecto pueden dejar vacantes sus
puestos, con lo cual dejarán un vacío que otros trabajadores llenarán.
Los efectos externos pueden ser difíciles de hallar o medir (consúltese Klar-
man, 1974, quien revisa las dificultades para especificar los beneficios índirectos
o intangibles de servicio de salud); sin embargo, una vez identificados, el análisis
de costo-beneficio podría intentar incorporarlos en los cálculos.
Descuento
El último elemento principal en la metodología del análisis de la eficacia se
refiere , a1 tratamiento del tiempo para valorar los costos y beneficios de progra-
mas. Esta técnica se conoce como descuento y consiste en reducir los costos y
beneficios dispersados a lo largo del tiempo en una base común monetaria, o
ajustarlos a sus valores presentes.
La intervención de un programa varía en duración, y los programas exitosos
en particular producen beneficios derivados en el futuro, algunas veces mucho
después que la intervención ha ocurrido. Se espera que el efecto de muchos pro-
gramas perdure para toda la vida del participante. A menudo, el evaluador tiene
que extrapolar el futuro para medir la repercusión y asegurar los beneficios, debi-
do especialmente a que los beneficios del programa se miden conforme el pro-
yectado ingreso cambia para los participantes; sin embargo, los costos son más
altos al principio de una intervención, cuando muchos de los recursos se deben
ampliar, y cesan o disminuyen cuando la intervención termína. Incluso un costo
fijo gastado en dos momentos diferentes o un beneficio constante derivado en
tiempos distintos no se pueden considerar equivalentes. El análisis de costo-
beneficio ex post, y no sólo las valoraciones ex ante, a menudo se extrapolan
hacia el futuro para lograr un análisis completo. De otra manera, la evaluación se
podría basar sólo en un periodo restringido, para el cual los datos del desempleo
actual del programa estaban disponibles.
Los costos y beneficios ocurren en momentos diferentes y deben someterse a
una medida común o hacerlos conmensurables. En otras palabras, los patrones
de tiempo por costos y beneficios de un programa se deben tener en cuenta. En
vez de preguntar "¿cuánto más valdrá mi inversión en el futuro?", la práctica eco-
nómica común es preguntar "¿cuánto menos valdrán los beneficios del futuro de
aquellos derivádos en el presente?". Lo mismo sucede con los costos. La respues-
ta depende de lo que presumamos que es el rango de interés o el rango de des-
cuento y del marco de tiempo escogido. En el anexo 8.6 se muestra un ejemplo
del descuento.
La elección del tiempo en que se base el análisis depende de la naturaleza
del programa y de si el análisis es ex ante o ex post. Todo lo demás es equiva-
lente: un programa parecerá más benéfico cuanto mayor sea el tiempo horizonte
escogido. La elección del rango de descuento se relaciona con la perspectiva
de contabilidad. No existe enfoque autoritario, aun cuando uno consiste en
establecer el rango con base en el costo de oportunidad del capital, esto es,
qué cantidad se debe esperar ganar si se invierte en el mercado privado o en el
sector público. Otro enfoque, bajo la perspectiva comunal, es usar el rango de
descuento social, que presumiblemente refleja una preferencia de la comuni-


240 ANÁLISIS DE COSTO-EFECTIVIDAD 241

17 .7 Los resultados de un estudio son así susceptibles de la elección de un ran-

114 Co stos y
ontados
go de descuento. Por tanto, en la práctica, para resolver este problema com-
ta:válórT csente plejo y controversial, generalmente se calcula el descuento con base en varios
porcentajes distintos. Finalmente, en vez de aplicar lo que parece ser un des-
El docuéilt1:1',U, .que es preferible tener cierto cuento arbitrarío, se puede calcular el rango interno de retorno o el valor que
pitplen . elpréSente qué...tenerloen'él:flitUrCt:sTatto:jo..cternás,elequtvalente:,..11.c.z el rango de descuento tendría que tener para hacer los beneficios del progra-
.se..pUléclé:,atiCirrar;eiüríi.lariCCI:liai,:a...a‘cUrn0far.:trite110éIa:Utilízársé.:.Par•-dalI
ma equivalentes a los costos del programa.
VerSibti›.Ytitárk:EStkirló'.:ViáráltrOgraiid.e'::éri.-e144.,trCi:IPUI:sfa'sdiferéigleiline
ftifurey:IárrienlaS:Vali64::4áelal'uOrria'¿aritjcIC1
s•
rétérité::
eIlr'évele.cltáritd.sé..débeilá.l:artaisparaptOdiliCiftitia'antlaáC1.:fija.-eít..é.Fft;. Cuándo efectuar los análisis de
el descuent . s- a í. .ca . ¿ci iiitorscompues o costo-beneficio ex post

Es importante considerar un número de factores para determinar si se

a tidad emprende o no un análisis de costo-beneficio. En los contextos de algunas evalua-
Áli + rr . ciones, la técnica es factible, útil y un componente lógico de una evaluación com-
3ii .oi:COfikáI de . d. és.00nto y t nluestra el nürnero de años. Por tark- prensiva; en otros, su aplicación puede recaer en presunciones dudosas y tener
,...:para:abténer.la Cat.'• rterite-lOtai : debeijeftCios (y colós) dé Un trograrna epreso.: una utilidad limitada. Los requisitos óptimos para efectuar un análisis de costo-
or,p0.,sgatesi
(s i..' lli,:v1 . se:
, agrecian oss. valores deWtdrItádoliSma c:ada anO. Uǹ beneficio ex post de un programa, incluye lo siguiente:
eintilti. 1-1416.116 -.ét'él:,siguiente: . , .
..... . iá. de entrenamlento .. . , incrementos
. : ., . . , produce , de 1 000 El programa tiene fondos independientes o separados.
é'.. :0 .0 glesiin, Pt.ldrIn ..„
mejoras e n las gananclas -
, .. - ,
.... yd1:13,cir , Oc, _ .40 garianct4s
„., para cad .ga
. ,.. . ,prtici anté:
.. Las . El programa rebasa el estado de desarrollo en cuanto a su certez.a de que
4é1C-tientaii a sitt,tialórel,. iireselitel 'en ui. .roporclon de descuento del 10%• los efectos netos son significativos.
riráhte Clácd'áñbs; .-"'' ,------:''' --:-::•----''"''', La repercusión del programa y la rnagnitud de la repercusión se conocen o
se pueden estimar en forma válicla.
Los beneficios se pueden reducir a términos monetarios.
Año Los tornadores de decisiones consideran la aplicacIón de programas alter-
nos, en vez de simplifícar si se continúa o no con el proyecto existente.
$1000 $1000 , $1000 $1000 $1000
-(1 + 10) 1 (1+ 10) (1 + 10) 3 '(. 1-t- 10) 1 (1 10)5
ANÁLISIS DE COSTO-EFECTIVIDAD
$909.09 iS'26 45 $751.32 $683.01 $620.92
El análísis de costo-beneficio permite comparar alternativas o prograrnas
alternos de eficacia económica, aun cuanclo las intervenciones no se dirijan a
Después de cmco años, los beneficlus descontacios a metas comunes. No obstante, después de los intentos iniciales a principios dé la
i $909.09 + $826 45 620.02 o $3
, 7.90.79.. Así, las mejorías de $1. • 000 tor década de los setenta, para usar el análisis de costo-beneficio en el campo social,
anono.v.aken, $5 000 , u o sólo 3 790.79. En un rango de descúeri.io algunos evaluadores pudieron, de forma no 'fácil, comparar directarnente los
presálte.jet¿Il pndria de $4 329.48. En general, henc,1,clocss cálculos costo-beneficío de, por ejen-iplo, la planificación familiar, la salud, la
eáltuladó-Snlediante el empleo bajos rangos de 'descuentos parecel,in iii vivienda o los proyectos educativos. Como se serialó, algunas veces no es fácil
c¡-tié-los-catáuládáS . ton a tos lanyos, todo_la demás es equivalente. obtener convenios, por ejemplo, acerca del valor monetario de la vida prevenida
por un proyecto de control de la fertilidad, o de una vida salvada por una.carnpa-
ña de salud, y luego comparar los resultados.
El análisis de costo-efectividad no requiere que los costos y beneficios se
dad en el tiempo. También, el patrocinador del programa, como un grupo reduzcan a un común denominador. En vez de ello, la efectividad de un progra-
gubernamental, podría decidir, administrativamente si un rango específico se ma para alcanzar las metas dadas se relaciona con el valor monetario de los
puede usar en los cálculos. Manuales recientes recomiendan que se calcule un recursos que se incluyen en el programa (Levin, 1975). En el análisis de costo-
rango de interés de la contabinclad más complejo, relacionado con el rango efectividad, los programas con objetivos similares se evalúan y los costos de pro-
de salarios espectro (Little y Mirrlees, 1974) o tener en cuenta el efecto distri- gramas alternos para lograr la misrna meta se comparan. Se pueden comparar
butivo (Squire y van der tak, 1975). programas diseñados para disrninuir el rango dé fertilidad con los diferentes


cr o. 3 0- 3
o c„ < 41.
. ,1 ) «, o 0
t.3
.6,, a, (0 ,..,, ifi 0 8 g .z , 2, -14m r -4 414;2

.... ,2 ;
>
0 1,1, 111 ca.
w .., --- , , fa. - > to' ,,,, ,
.6,3 -,,:grt_4
0,135.-cla,a_ Cv - 1 -n (9, Cv o
,-, --,--
3,F,,y,j,„oz: co
a-wr
.0,9F,,zi, 0 - .oo
uz
n 0 o 1), In) `1)
n-
a'l z, a. , á- 1 0 .(57 cz , cr, g ..-' " CC) .-: L-1 o u, r)
9 •• 0 0 (1)
3 ' 0..59,, C -rt ' 1,-2 9 '5,. , g > <;" cl.) rz)
n n cr
n•
w 0 1:3 5.
<C. u>
110 s , ..,,o.,.o F, , 0 :"élle "-Z 9 o — '
-1 T , • 8- 11'
.„:,t3,,,,:p,. - E l'i-S•f:(7,'z n. -o. , a ,g . IS)
2u ; ;C).:•,Wi-1.—
:af. o. c, ,-, -ald,--., n' 0. (9 1 wOMO
l 5 . 1.1- ''' c' ..:5,' 0 (1) 0 •-••
1n n
‘-‘
v, <c)
,", j-- , 51' cv F,,' —.• n E'o
P-1 <s)
cL cv
cL
ta'ee:1'....V(,(nr_.= c„, ..¿ , - Q.: C,
5, ....
,„,' '.2.: ': .0 -. ' o c.
r-, c -±' CL. wr)C-0 On•
n cv ' CZ n n "
L
t,
.1). -.r., r, 'fzi ,-,' ",,"„0 - ,
<",, a'r- .
(f)
g,' Ç•h- .,•,...,,,I• . j - c9"' o, g
cv
w o
1. 9 1 i' l' "z: `' 1 .„1-2:11.',2 cv 3 5.
n
o .. -:a•-•d n 'cr Fe-, o z o n cy„-
,,, tA ell'0,-..,..,.;r1) , , n-i nr , n.c 6-' v. 0 ;'.. - L 'ilk
„ , ,-., , _11.9.,
1,;_.-, 70'2.-,9-..,,..., 1-•-,. cs 14,
,-. ,2, . :., :,,.-,--.. ,,.. n g
,.• ,1_, g , A,321
1:',„ 1 u,-,9:,;.,:r,E7 2 ci.
.',,,,,..5-1: 1;•.‘,I.,i,P.;
z, ,2,,,.,,,,,:,,I, ‹,-„›,-17._.,,,,,,..8. L.:,',).,...,-_1..,:,
‘.:- - :.-- 0 0,
(x) =
-;..•
. ,V.,..,_ - -.0...to — z -0 ,n- . 15_ E:-, 3z
1 ''"-to.al n ro c
' '; '.'-' a 'c'i, g. --r1 3 '-` c . ,1.1-.17, , E ,,, _ cL
co
cr
,'" -, -4:,9....,..z.':'. 2 . 2, •
`°n-l'o'.-9.-',0 •n"5. 'ti-c 1-, 2, 0 9 w •
'1

m.‹,
g_
m o3 a' co
0 co
o tif co
1,1 oo o
.,12,i'.°•.ci <L -'.,1,-"' °
c
v.

244 CAP. 8. MEDICIÓN DE LA EFICACIA 245
de asegurar el valor o mérito de una intervención dada, ni comparar cuál de dos o
más programas en diferentes áreas producen mejores retornos. Sólo se pue- Gapancia de clascs 1.exp,efirnentales
TVÉ
de compararla eficacia relativa de las metas del programa unas con respecto de Ganancia dé gruposleólid
otras, en que la eficacia es una función del costo mínimo. En el anexo 8.8 (pág. mentales (reforma
243), se resume un análisis de costo-efectividad de programas reformados alter-
nos en términos de costo por reducción en la reincidencia. EstudIos soc".Iales
El costo-efectividad se puede ver como una extensión del análisis de (3anancias de clases tradIclonales.,
costo-beneficio para proyectos con metas múltiples y no conmensurables. El costo- (3ariancia de clases exPerinie"i-ltre's , • ,
efectividad se basa en los mismos principios y utiliza los mismos métodos de aná- IE
lisis de costo-beneficio y su análisis. Las presunciones en el campo del método, rjmianca de gruPos control experl-

así como los procedimientos requeridos para medir los costos y el descuento, por nriefitales (reforma.sin,IVE)
ejemplo, son los mismos para cualquier enfoque. Por tanto, los conceptos y la s , porcentaJes ciex-oltozelectOldad-pqra kcada sufeta son
metodología introducidos previamente en consideración del análisis de costo- slgu
beneficio se pueden tener en cuenta también como base para comprender el
orniO sola
enfoque del costo-efectividad.
En el anexo 8.9 se muestra el uso del análisis de costo-efectividad para com-
parar un programa de televisión experimental educativa con una reforma pro-
puesta para un sistema escolar existente. En términos sencillos, muestra el uso de
los rangos del costo-efectividad para comparar proyectos alternativos en térmi-
nos de costos para producir ganancias cognoscitivas medibles. Sóló'enTós estitcllo's sociales está el poreenta....:e
mayor qüe larefdima sola. Por ello, el autor argumerita que se InvestIgue el pr
granria eircular y las reformaS a la enseñanza, , y implaniar, la TVE: ".
Ane-xo. 8,9. AnaTsis 7delsle o-----1'
sto-- l' iia- cralproye
- 7 7e 7eCiáírl
de teforma, , educativa y television , : editCatIva
.., , , . - Ion-- en
1 ..-. - - - =. .1-;:.:1,,:l 0.
-Olátós de'utia evalua,ciórx. eXperImental'azIa-teleúlsiói-t
_ e-541" fry. E ) y de
.
"Iti n P ro ára tn-dé i"éfoiiii á ll¿li,icatIVa Irnplantados en El Salvador por AID Perrnitló
, . ,
comparar el costo - efectistidad de dos alternativas para ampliar la escolarldadbáslca
en esté casó,-, en,¿, I nlYel,,dersérátirnp:gradof Las'anántiaseelueativ á- „s semillieron ..,
pe.i:üleclid:rde Piruebas'de. astrilllaéiSiVeStándar ad,ffiirifstradai'al -e4rn-leirizó -Yral f i nít.l.
del,año esecilar dé---1972'.., Lás refóri-Nas ed{leativasifícItiíáíiiiipgrayi'válcurriallElres : RESUMEN DE UN CAMPO COMPLEJO
a-IMPIlós-,Y,.rna-tertar les y mar'es—,t' ros reentrenaclOs,.,c-On' y siti'tel,e, v_ isiáiVeducal‘V-a. Se
c.11:eitlat:Ori'lós'¿ostos actuaiá de la reforrna y clelól -Prograiiiás - 17,9E:'el cols4O'anual.
por,estucllánte_del,prograrna,de reforma sin33/Effile de 16.',51(51areS:sr el costo cle la . En este capítulo se ha examinado de modo general el análisis de costo-beneficio
IVEsolafikde 22.dólares. En la tabía sigulente -se'resuMe `el resultado del análisiv , - y estudiado su lógica, sus supuestos, sus conceptos y sus procedimientos. El análi-
dé,C.O11"6. .,:lie:c.i1Vid'a - - - -- ' ' ' . ..,-..- sis de costo-beneficio requiere que los costos del programa y los beneficios se
conozcan, cuantifiquen y transformen a una unidad de medida común; que se pro-
yecten hacia el futuro para reflejar la vigencia de un programa, y que los costos y
beneficios futuros sean descontados para reflejar sus valores presentes. El análisis
de costo-beneficio se ha sugerido como una altemativa factible en los múltiples
_ ejemplos en que los beneficios no se pueden estimar en unidades monetarias. Tam-
'1 . ternjtIcas- bién se ha recalcado que el análisis ex post es más apropiado que los estudios ex
Ganancia-,de cid kíha ante para evaluar los programas de prestación de servicios humanos.
Ganancia cias-¿s.--171;e7i' m—"entaTes... En términos de estimación de la eficacia ex post, los análisis de costo- beneficio
TVE - y de costo-efectividad se podrían ver como componentes de una evaluación inte-
-Ganancla de grupos control exp gral, pues la evidencia sólida de la repercusión neta es la base para formular los
Mentalcs. (refOrmá sin-TV.É). beneficios y la efectividad. El análisis competente puede proporcionar informa-
ción extremadamente valiosa acerca de la eficacia económica del programa,
Clencla importante no sólo en su planificación y ejecución, sino también en el proceso
-
Gananc1a de clasestti-aclibonales1
político. Como se muestra en el anexo 8.10 los análisis de costo-beneficio y de


246

Noexo 8.10.. Efectos y costos dé los seicio.

i:ile
cuicli-icto diurnó para CróniccisnIr'"'
- . .
Establecimicntos de cuiclado diurno para adultolisiryc9,
-se,csfudiardn eri un exí->erinientó aleatdrio'
rosultados,en,los pacleIrtes y los costos dé usar estos nuevós . senifcld1. : ÉllYrés-oterA, El contexto
.1i-tículirifiSi4riá'de los halla'zgos' del culdádo . ctiur'nó. Las fundones físicas, pslcosry
'Sáluctelel . pástente se valoraron.trnpestralinente y se obtuvieron los regls-.
trOS' .de..ré'nicl-ad6';inéditó. Los datos déaYtida„médica se obtlivieron en nurnerosós de la
pai; ientes,'Pe/ o pocos usaron lo incluido en la ayudáinédiC,áYjot,ervicios de cuidá,
El anólisis do ctapas:inUltiPléS sé -:r2liZ4:Pará'niitigar los eféctos''cle.,
partir dé! diseño aloatorio. Los pacierttesjiclé , cuidado,d).itrno: n o mostraron benefi-
ids en la 13abilidad funclonal físicá estudiii,lomparados con el grupo'
investigación
coCrtróL ,l,,Lá:pstitucionalización ' d e lai.s'.fC1114de41 l cuidados habilido'Sbsftiernas
baja párá el,árup-b exper-inkntal que pará el control, Pé' rO otros factorádiférentes.:;
cleláVAriáblé'del.Uatarniento piarcep,xplic.ar muchO déla varianz$. Hubo
evaluativa
qUeise: . Prulongara lá vidáCfe`algunoS 4C1entes dé Cuidado diurno. Los -..
nu 'évOs' ser .vidos prOjnediaron . 51,d4lárés:potydía'3 . 0 j 5 dólares por año. Cuando
los : cbstos ér o' gados Pára los seV)Clii-S"détilicllab'í'il- édiCCn é;:iciItentés sésumaban, el Las decisiones políticas y administración relacionadas con los programas ocurren
costo anual del -grUpo experimental fúe de 6 50,1 dólar&:, cornparado con lOs 3 809 con evaluaciones o sin ellas. Las evaluaciones pueden repercutir en el proceso de toma de
(dólares dcl - grujp o ccintrok›Tun incrernento de 11 2 dólares o 71%. decisiones sólo si resulta un conocimiento influyente respecto de las evaluaciones, y si
- „ éstas son oportunas y adecuadas al programa. Posteriormente, el contexto en el que
Fuctnte: tyl,ptado, con aukt rtzaci claWtlitam Wessert,'-ThornzisWanj3a irOi-á 1.1v-Wrát.,:11,911.t , las evaluaciones se realizan y los arreglos organizacionales con los cuales los grupos de las
otz, "Ettfects 'and of DaP.:C-3re Sertitt'e,-s for the CtiOrti-MIW"t1IP.Art'lliditplonylzedtExperinseriti,'„Irt
K evaluaciones hacen su trabajo influirán en la calidad y la utilidad de las evaluaciones.
Care, vol 18, núrrt 6. 1:-.)50, patis 567.584 Mientras las evaluaciones realicen contribuciones a largo plazo para conocer
cómo diseñar y ejecutar los esfuerzos de la intervención, sus contribuciones son relati-
vas, inmediatas y directas para poner en marcha el programa y los resultados que provo-
quen apoyo por la investigación evaluativa. Apropiadamente, continuará el escepticismo
costo-efectividad frecuentemente proporcionan importante información no dis- entre los tomadores de decisiones, los planificadores, el personal del programa y las
poblaciones objeto participantes en cuanto a las ventajas de las intervenciones sociales.
ponible a partir de valoraciones de la repercusión. Al mismo tiempo, este escepticismo se contrapone a nuestra aspiración de mejorar
Se ha proporcionado un enfoque general de la eficacia. Como parece evi- nuestra vida y las de nuestros hermanos en todo el mundo. El estado de la evaluación,
dente, la considerable complejidad técnica debe ser característica del múltiple como un arte, es uno de los medios de consumir esfuerzos para contribuir al progreso
trabajo que la rodea; no obstante, como un estilo de pensamiento en cuanto a los humano y social.
resultados del programa, tiene un gran valor en el campo de la evaluación.
CONCEPTOS PRINCIPALES

Validez extema: Extensión en que el diseño de un estudio permite que los

Validez intema:
Significación política:
Poder estadístico:
Significación estadística:
hallazgos se generalicen.
Extensión en que el diseño y la ejecución de un estudio per-
miten hacer declaraciones definitivas de los resultados.
Extensión en que los resultados son significativos en el
contexto de los costos del programa, las intervenciones
alternas disponibles y la presión de las acciones de la
intervención.
Estimación de la probabilidad de que un efecto neto se ob-
serve si existe, dando las propiedades estadísticas de las
medidas y los procedimientos estadísticos empleados.
Probabilidad de que un resultado se deba a la fortuna.

247

248 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
La evaluación, como repetidamente se destacó, es no sólo actividad técnica,
sino también una investigación diseriada para dirigir el proceso de formación
política, el diseño de programas y la ejecución y administración. Asimismo, es
una actividad política, en el sentido en que las evaluaciones siempre se realizan
en contextos en los que participan muchos partidos interesados en lo expues-
to en los resultados de los esfuerzos. Estos evaluados afectan la capacidad del eva-
luador para realizar efectivamente las evaluaciones y los medios en los que los
resultados de la evaluación son utilizados por los políticos, los planificadores,
los patrocinadores y los administradores. En este capítulo se examinarán algu-
nos de los problemas derivados del hecho de que las evaluaciones tengan lugar
en medios más o menos politizados, y que requieren relaciones con personas que
tienen sus propios puntos de vista e intereses profesionales y personales.
Las actividades de las evaluaciones también se realizan con un vasto rango
de organizaciones, incluidos universidades, corporaciones de beneficio y no be-
neficio y prestadores de servicios hurnanos. Estas organizaciones, de acuerdo
con sus actividades y las personas que las realizan, ejercen una influencia en el
tipo, la cualidad y la utilidad de las evaluaciones.
Desafortunadamente, los evaluadores aún tienen el conocimiento sistemáti-
co sobre sí mismos y sus esfuerzos --cómo otros usan sus trabajos y sus relaciones
con el contexto mayor político en el que se realizan-; sin ernbargo, ese conoci-
miento ha crecido, de modo que en años recientes se han realizado numerosos
estudios que permiten por lo menos hacer algunas generalizaciones.
051n10 INTERPRETAR pos RESULTADOS
DE LA EVALUACIÓN
Los procedimientos descritos en los capítulos anteriores proporcionaron
datos que intentaron ayudar en /a formulación de juicios acerca de la efectividad
de las intervenciones; tales hallazgos son no sólo consideraciones que podrían
formar parte de tales juicios. Los hallazgos de los esfuerzos por evaluar no son
autoevidencias tanto como a sus implicaciones prácticas concierne, de modo que
el evaluador debe tener en cuenta otros elementos más allá de lo estrictamen-
te metodológico, al hacer su estudio. En este sentido, la postura convencional de
los investigadores sociales requiere modificación (Cronbach et al., 1980). Algu-
nos de los elementos adicionales de la toma de decisiones se examinarán breve-
mente en este capítulo. Las preguntas que se originan son:
¿Qué tanto se necesita un efecto.positive?, ¿dónde debería establecerse un
nivel de significación parád-i-s-cernir si un programa da o no resultados
netos diferente-s-,-más allá de la posibilidad de no obtener ningún resultado?
¿Qué tangeneralizable es el resultado?, ¿se obtendrá el resultado positivo
en unaT1ói el programa continúa o se aplica en circunstancias
diferentes? \.
¿Cómo son los_hallazgos-errcuanto- a pertinencia, para la política y para los
intereses del programa?, ¿son las diferencias no sólo reales, sino también
con suficiente magnitud para garantizar la comisión de los recursos en una
base común y a largo plazo?
249
Establecimiento del nivel de
significación estadística
El resultado de valorar cuantitativamente la repercusión de un programa es
una estimación de los resultados netos del programa. ¿Qué tanto debe prolongar-
se una estimación antes de aceptar los resultados como factibles? Primero, se
debe deternr ri el resultado eto es diferente de cero. Como los hallazgos
generalmente son di in os e cero, se debe Caid-cértón algún grado de confian-
za si los resultados son o no diferentes de cero.
Para efectuar tales juicios, se considerará de nuevo la estadística teórica.
Mediante el empleo de un modelo estadístico apropiado, se puede determinar
cuán a menudo los resultados netos de tamaños dados en una serie de replicacio-
nes de un experimento aleatorio ocurrirán si el verdadero resultado de un experi-
mento es cero (o alguna otra magnitud especificada); por ejemplo, si en un expe-
rimento dado se puede aprender que un resultado neto de por lo menos cierto
tamaño podría ocurrir por fortuna en cinco de 100 ensayos cuando la interven-
ción actualmente no tiene efecto.
Si se acepta el resultado como un indicador de que el programa tiene efecto,
se admite que dicho experimento no es del 5% en el qué el verdadero efecto es
cero; esto es, se supone que el resultado no se debe simplemente al azar (esto es,
el resultado de un procedimiento aleatorio). Si se rechaza la hipótesis de que el
experimento tiene un efecto, se corre el riesgo de cometer el error opuesto de cla-
mar un resultado particular inducido por el programa como un resultado de la
fortuna (Crane, 1976).
En la investigación social tradicional, los niveles de significación estadística
generalmente se ubican entre 0.05 y 0.01. El nivel establecido puede ser porque
se considera el grado de riesgo de que los resultados se deben al azar. En otras
palabras, el modelo estadístico apropiado dicta que los hallazgos pueden ocurrir
por posibilidad cinco veces de cada 100 ensayos (0.05) o una vez de cada 100
ensayos (0.01) lo cual depende del nivel establecido. Mientras puede resultar
cómodo basarse en la tradición, este juicio en la investigación social aplicada se
debería hacer con precaución, lo cual reflejaría que incluir errores en los juicios
podría tener ciertas consecuencias. En su lugar, en algunos casos se podrían apli-
car niveles estrictos de significación estadística (por ejemplo, 0.0001) y aceptar
como un indicador el efecto estadísticamente significativo de sólo aquellos resul-
tados netos que ocurran por azar una vez en cada 10 000 ensayos. En otros
casos, se podrían aplicar límites benignos (por ejemplo, 0.20), en los cuales se
acepten los resultados netos que ocurran por azar una vez cada cinco ensayos
como evidencia razonable de un efecto real del programa.
Un enfoque complejo de la determinació aceptación-rechazo se incluye en
el concepto de poder estadístico, el cual se refiere a la probabilidad de que un
efecto neto sea observado si existe, dadas las propiedades estadísticas de la
medición y los procedimientos estadísticos empleados. Por ejemplo, dado un
valor estimado de la correlación entre la preprueba y la posprueba y de las
notas de los grupos experimental y control, y dada la estimación del tamaño de
la muestra, la probabilidad de advertir un resultado real de cierta magnitud se
puede calcular. Esto se conoce como poder del resultado de un análisis estadís-
tico. Recíprocamente, si se calcula la probabilidad estadística de los resultados,
250 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
se podrá estimar el tamaño apropiado de la muestra, dado el uso de un procedi-
miento estadístico determinado.
Establecer los niveles de significación estadística de -la evaluación de un
programa implica formular juicios acerca de la importancia relativa de dos
tipos de errores:
Error tipo 1 o positiuos falsos. Tomar una decisión positiva cuando la
correcta debería haber sido negativa; esto es, concluir que un programa
tiene un efecto cuando realmente no lo tiene.
Error tipo 2 o negativos falsos. Tomar una decisión negativa cuando la
correcta debería haber sido positiva; esto es, fallar al detectar el efecto real
de un programa.
La probabilidad de cometer un error de tipo 1 es equivalente al nivel de signi-
ficación establecido para la prueba. Se pueden minimizar los positivos falsos
mediante la ubicación de criterios muy estrictos de significación estadística, pero
eso sólo incrementa la probabilidad de cometer un error falso negativo. Los dos
tipos de errores están inversamente relacionados y es posible minimizarlos simul-
táneamente sólo mediante un enorme costo. En cada proyecto evaluativo se
debería decidir a priori cuál de los dos tipos de errores es más importante, de
manera que se diseñará coordinadamente el análisis estadístico particular. Deter-.
minar si un falso positivo o un falso negativo es más importante de minimizar
resulta, evidentemente, un juicio valioso y se basa en el área sustantiva de la eva-
luación, no en la teoría o la estadística.
Cabe ilustrar las circunstancias en que dominan un falso positivo y un f al-
so negativo. Al probar la seguridad de un equipo de un avión, es obvio que los
falsos positivos son más importantes que los falsos negativos. En resumen, es
más importante evitar certificar como seguro un avión que puede caer debido
a un sobreuso (esto es, evitar el falso positivo) que evitar rechazar como inse-
guro uno que podría no caer debido a un sobreúso. Se puede formular tal jui-
cio con base en el principio de que preservar la vida es más importante que
diseñar y manufacturar aviones con poco costo. Decisiones análogas tienen
lugar en las intervenciones médicas.
En contraste, la situación opuesta se puede obtener en un programa con
bajos costos relativos, como una intervención en la televisión educativa: como
los programas de educación efectivos son difíciles de diseñar y los efectos negati-
vos de adoptar un proyecto ine- ficaz no son muy marcados (especialmente ante la
ausencia de otras opciones), los positivos falsos resultan menos costosos que los
negativos falsos. Quizá sea mejor adoptar una serie de proyectos educativos que,
en términos estadístícos, son problemáticos en su efectividad ante la esperanza
de que por lo menos uno será efectivo.
En esfuerzos de intervenciones, puede ser útil aplicar los principios siguientes:
Para proyectos que tienen algún riesgo en los individuos, las familias o las
comunidades, puede ser más importante rninimizar los positivos falsos
que los negatívos falsos.
Para proyectos en los que existe poca probabilidad de dañar a los indivi-
duos, las familias o las comunidades y que existen unas cuantas inter-
venciones efectivas, los negativos falsos pueden dominar a los positivos
falsos.
CóMO 1NTERPRETAR LOS RESULTADOS 251
La noción de riesgo se debe interpretar ampliamente para incluir toda clase
de costos que se podrían aplicar si la intervención estuviera en efecto como un
programa estatutario. Los proyectos costosos, aquellos que podrían tener efec-
tos negativos colaterales y los que implican tratamientos que en algún sentido
son riesgosos para las poblaciones objeto son ejemplos de intervenciones poten-
cialmente peligrosas.
La primera implicación de esos principios es que los niveles de significación
estadística que se podrían aplicar a programas potencialmente peligrosos debe-
rían establecerse de modo más estricto que para los benignos o menos costosos.
Una segunda implicación es que al valorar un programa costoso o peligroso se
debería emplear la más completa de las investigaciones en sus diseños, los cuales
fueron examinados en los capítulos anteriores.
Si un proyecto pudiera tener algún riesgo, es muy importante estar seguro
de que es rechazado cuando, de hecho, es inefectivo. Un proyecto para curar a
pacientes mentales mediante un tratamiento peligroso (por ejemplo, psicociru-
gía o la aplicación extensiva de preparaciones psicofarmacológicas) debería pro-
barse más cuidadosamente que un proyecto para incrementar la aceptación
popular de complementos nutritivos.
No obstante, las pruebas de significación estadística proporcionan sólo una
base mínima para estimar la valía de modificar un sistema de entrega o defensa
de una estra tegia de intervención particular. Las pruebas de significación
dependen de muestras y de sus tamaños, distribuciones y pruebas utilizadas,
además de que diferencias muy pequeñas pueden ser significativas aun en un
nivel extremo (por ejemplo, 0.0001). En un sentido, las pruebas producen una
estimación de si las diferencias son reales o no, esto es, el grado en que es po-
sible que los resultados ocurran por azar. Los resultados se deben estimar
también por la magnitud de los efectos encontrados, un tema que se tratará
subsecuentemente bajo el título de significación política.
Generalización de los resultados
de la evaluación
La valoración de la repercusión típicamente se realiza mediante el empleo de
muestras" de las poblaciones objeto, subconjuntos de aquellas escogidas por
materia de conveniencia o, de alguna manera más estructurada, para maximizar
su representatividad. Un problema importante que se origina una vez que la eva-
luación se ha realizado es la extensión en que los resultados se pueden generali-
zar a la población objetivo total. El problema en la investigación evaluativa suele
ocurrir en términos de - intercambios o negociaciones entre la ualidez interna y la
externa (Campbell y Stanley, 1966; véase también el análisis hecho en el capítulo
5 de esta obra).
La ualidez interna de un diseño es su capacidad, por medio de los datos deri-
va dos, para efectuar declaraciones definitivas acerca de si el programa produce o
no resultados netos de la intervención. Cuando se realiza apropiadamente, el
experimento controlado aleatorio tiene una validez interna alta, porque tales
diseños capacitan a un investigador para asegurar si la intervención probada ejer-
ce un efecto apropiado. Debido a que los experimentos controlados ponen al
252 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
margen casos extraños de los efectos, tales diseños ofrecen mayor seguridad de
que la intervención fue la "causa" de la diferencia notada entre los grupos experi-
mental y control. Los otros diseños estudiados en el capítulo 5 muestran cantida-
des decrecientes de validez interna.
En contraste, la ualidez externa se refiere a la habilidad de un diseño de
investigación que permite hacer inferencias o generalizaciones acerca de los
efectos más allá de los grupos específicos y de los contextos que se prueban. Un
diseño de investigación particular tiene alta validez externa en la extensión en
que el diseño permite hacer generalizaciones para una población adecuada más
allá del grupo empleado en la evaluación. Por ello, una consideración impor-
tante al diseñar cualquier evaluación es si los grupos objetivo seleccionados de
la población forman una muestra sin sesgo de ésta. Un experimento bien dise-
ñado y ejecutado, controlado aleatoriamente en una escuela secundaria, puede
mostrar claramente que un proyecto de entrenamiento profesional es efectivo;
sin embargo, si los estudiantes que participan en el experimento son escogi-
dos sin considerar qué tan bien representan a los estudiantes de secundaria en
la población al respecto, será difícil generalizar que los proyectos de entrena-
miento paraprofesional resultarán efectivos en otras escuelas secundarias. En
resumen, la validez externa del experimento podría ser deficiente.
Asimismo, con el fin de probar un experimento diseñado para disminuir el
desempleo mediante la adopción de una lista de computadora más eficaz
sobre los trabajos en las agencias del gobierno, se pueden enviar agentes de
demostración específicamente entrenados a diversas oficinas de empleo. Si
las oficinas son escogidas de acuerdo con procedimientos de muestreo apro-
piados, se podrán efectuar generalizaciones acerca de su efectividad en el país
entero, dentro de los límites de la variación de la muestra. Si el muestreo se
hace sin sistema (por ejemplo, mediante la selección de las oficinas que volun-
tariamente se ofrecen para probar el nuevo sistema), la generalización de
todas las oficinas de empleo será problemática. Esto se debe a que las oficinas
pueden estar más predispuestas a usar el nuevo método tan asiduamente como
sea factible y, por tanto, proporcionar resultados que sobrestimen el potencial de
respuesta de todas las oficinas hacia los nuevos procedimientos.
Debido a que los experimentos aleatorios son difíciles de realizar en gran
escala y con buenas muestras de grupos objetivo, probablemente se realizan con
mayor atención de los problemas de validez interna y externa; por ejemplo, debido
al gasto que representa estudiar un número de comunidades adecuado, los seis
experimentos de apoyo al ingreso emprendidos en Estados Unidos y Canadá se
realizaron en un número pequeño de comunidades "típicas" urbanas y rurales;
con todo, no se intentó escoger sistemáticamente tales comunidades con base en
su representatividad de todas las comunidades urbanas y rurales en Estados Uni-
dos (Rossi y Lyall, 1976). En contraste, la valoración de la repercusión que usa
controles estadísticos generalmente se diseña con mayor atención en los proble-
mas de validez externa. Las muestras representativas de las poblaciones objetivo
se seleccionan frecuentemente, y los participantes se identifican con ellas.
Destacar o no la validez externa o interna al diseñar la valoración de la reper-
cusión es un problema que debe afrontarse pronto en la etapa de diseño de la in-
vestigación. Para un proyecto bastante innovador (y posiblemente costoso) puede
ser valioso destacar la validez interna. La ejecución de tal proyecto causaría una
COMO INTERPRETAR LOS RESULTADOS 253
gran pérdida de recursos si se convierte en inefectiva, aun en las circunstancias
más favorables. En contraste, para un proyecto efectivo para algunos grupos
objetivo, el problema principal puede ser si resultaría efectivo en un gran rango
de poblaciones objetivo; por ejemplo, en un programa de pago transferido del
ingreso que será muy costoso y valioso si se decreta en un alto nivel de pago, pue-
de ser conveniente realizar un experimento cuidadosamente diseñado de contro-
les aleatorios en una situación prototipo, antes de realizar-la valoración total de la
repercusión. Donde resulta menos probable la efectividad, pero el problema es
efectividad con todos los subgrupos de una población objetivo, se pueden
emplear diseños menos restrictivos con muestras más representativas.
Otra estimación importante (la cual, en un sentido, se puede considerar
materia de validez externa) es la extensión de la replicabilidad de un programa o
de su trasferibilidad. Una intervención prototipo o piloto, diseñada para probar
la aplicabilidad de un programa consejal corrido por consejeros dedicados y
hábiles, puede tener una validez externa deficiente, porque podría ser difícil esta-
blecer el programa en un amplia base; esto es, puede ser improbable encontrar
personas suficientemente dedicadas y hábiles para que pongan en marcha el pro-
grama en la nación entera al mismo nivel de la prueba.
En general, emprender una prueba piloto o prototipo puede ser diferente de
poner en marcha los programas diseñados para las masas, no porque los grupos
objetivo empleados no sean representativos, sino porque el tratamiento en,la
prueba piloto se da de manera que no puede aplicarse a grandes masas o escalas.
Existen muchos ejemplos acerca de las dificultades de generalizar desde los pro-
gramas piloto hasta los diseñados para las masas. En educación, muchas técnicas
de enseñanza funcionan bien en manos de sus defensores, pero fallan cuando se
someten a políticas escolares amplias. Este problema de validez externa destaca
fuertemente la importancia de monitorear, como se vio en el capítulo 4.
El problema de la significación política
Aunque el resultado de una evaluación puede producir hallazgos que con-
vendrían por ser estadísticamente significativos y generalizables, el resultado
neto puede no tener significación política; esto es, a veces los hallazgos pueden
pasar muchas de las pruebas estudiadas en este capítulo, pero ser muy pequeños
para tener relevancia política, administrativa o de planificación; por ejemplo, en
la evaluación de Sesame Street (Plaza Sésamo), examinada en el capítulo 6, se
encontró que los niños que observaban el programa eran estadísticamente distin-
tos de los que no lo veían, en sus conocimientos acerca del alfabeto. Sustantiva-
mente, la diferencia encontrada sólo abarca unas cuantas letras y, por tanto, tenía
poca significación política (Cook et al., 1976).
El problema de que la magnitud de la diferencia debía tener significación
política varía de campo en campo. En la educación, una importante ganancia se
define frecuentemente como aquella cuya magnitud es de por lo menos un
medio de la desviación estándar. Una manera formal de proporcionar datos
para juicios es realizar análisis de costo-beneficio y de la efectividad del costo,
como se vio en el capítulo anterior. Efectuar esto permite que los juicios se
hagan con base en si los recursos se gastan efectivamente, comparados con los
costos y beneficios de proyectos alternos.
254 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
Otro criterio más dificil es formular juicios del valor social del cambio en el
resultado. Pequeñas magnitudes de cambio tienen significación política cuando
la valoración social es alta, mientras que las grandes magnitudes tienen significa-
ción cuando la valoración social es baja. Así, un programa de educación nutricio-
nal que reduce clínicamente en 2% los casos observables de malnutrición en
niños, puede ser políticamente significativo, mientras que un proyecto de educa-
ción del consumidor que reduce en 10% las compras de aparatos innecesarios
pequerios para el hogar puede que no lo sea.
La disponibilidad de intervenciones alternas también se debe tener en cuen-
ta; por ejemplo, en un país con alta saturación de aparatos de televisión y un sis-
tema de educación formal que requiere recursos extensos y un largo periodo de
modificación, las pequeñas ganancias obtenidas mediante la televisión educativa
pueden ser políticamente significativas; a su vez, la misma magnitud de cambio
puede no verse positivamente si los cambios rápidos a un costo bajo fueran posi-
bles en el sistema de educación formal.
La significación política también surge como un problema en otros sentidos.
A menudo, un programa prospectivo se puede probar sin suficiente comprensión
de cómo ven los problemas políticos quienes toman las decisiones y deben apro-
bar el decreto del programa en los estatutos. Por ello, mientras la evaluación de
un programa en cuestión puede ser sin tacha, sus hallazgos pueden probar su
impertinencia. En el Experimento de apoyo al ingreso de Nueva Jersey, Pensilva-
nia, los diseñadores del experimento plantearon como su problema central la
pregunta siguiente: ¿qué tan grande es el efecto de desincentivar el trabajo de
un plan de mantenimiento del ingreso? Para el tiempo en que el experimento se
terminó y los comités de congresistas consideraban los diversos planes de mante-
nimiento del ingreso, el problema clave ya no era el efecto desincentivador del
trabajo, más bien, los miembros del congreso estaban preocupados con cuántas
diferentes formas de bienestar social se podrían consolidar en un paquete de peti-
ciones, sin ignorar las importantes necesidades de los pobres y sin crear muchas
inquietudes.
Debido a que los últimos probósitos de la valoración de la repercusión, como
con el enfoque evaluativo general .,‘ es ayudar a tomar decisiones y a quienes
lo hacen a formar y adoptar políticas públicas, la investigación debe servir a los
diversos problemas políticos implicados. Las metas de un proyecto deben seme-
jar aquellas planteadas por los políticos en sus deliberaciones de los problemas
concernientes. Un experimento aleatorio diseriado cuidadosamente mostró una
reducción en ciertos impuestos regresívos que permitirían mejorar la productivi
dad del trabajador, y ser inadecuadas si los tomadores de decisiones se interesan
más en motivar a los empleadores y en atraer las inversiones potenciales.
Los diserios para valorar la repercusión deben implicar, si es posible,
algún contacto con tomadores de decísiones adecuados, con el fin de asegurar
sus intereses en el proyecto que se prueba. Para un proyecto innovador no
analizado por los tomadores de decisiones, pero probado porque puede con-
vertirse en el tema del estudio futuro, los evaluadores y patrocinadores de la
prueba de la repercusión y sus efectividad deben contar con sus conjeturas
informadas acerca de la política que podrían originar. Para otros proyectos, el
proceso de obtener opiniones de los tomadores de decisiones es bastante ínte-
gro. Se pueden consultar los procedimientos de los cuerpos deliberativos (por
CóMO REDUCIR LOS CONFLICTOS 255
ejemplo, comités auditores del gobierno o debates legislativos), entrevistar a
los miembros de los equipos de tomadores de decisiones o consultarlos direc-
tamente. De hecho, es justo el problema que Ilevó a diseñar la valoración de la
evaluabilidad, examinado en el capítulo 2.
Aunque el estudio se ha centrado en las evaluaciones de la repercusión, pre-
valece el mismo problema en los sistemas de entrega y sus evaluaciones (proceso
y contabilidad); por ejemplo, a fin de mejorar un prograrna acerca de los requeri-
mientos en la elegibilidad de las poblaciones objetivo, para incrementar la cober-
tura y reducir la desviación, se deben examinar la significación estadística y la
magnitud de la diferencia, así como estimar qué resultado se debe al cambio de
criterio de la población objeto cubierta y desviada o al azar.
Interpretar los resultados de la evaluación requíere hacer consideraciones
que van más allá de la metodología. Que las evaluaciones se realicen de acuerdo
con los cánones de la investigación social pueden hacerlas superiores a otras for-
mas de estimar los programas sociales, pero las evaluaciones proporcionan sólo
información superflua, a menos que se diseñen para evidenciar los valores y las
preferencias implicados en la política, la planificación de programas y la adminis-
tración. Según esta consideración, sus deficiencias tienden a centrarse en cómo
establecer las interrogantes de la investigación y en cómo interpretar sus resulta-
dos (Datta, 1980). Para maximizar los resultados de la evaluación, el evaluador
debe poder apreciar ambos niveles de consideraciones políticas.
Primero, los programas que ubican problemas percibidos como requeri-
mientos críticos (esto es, más rigurosos), en vez de valoraciones relativas a pro-
blemas triviales. Las decisiones técnicas, como establecer niveles de significación
estadística o de magnitud, se deben informar por la naturaleza de la política y las
consideraciones del programa. Esto es siempre materia de juicio y sensibilidad.
Aun cuando se emprenda análisis más formal de eficacia (capítulo 8), el proble-
ma permanecerá; por ejemplo, la decisión para usar un programa individual o
una perspectiva de contabilidad comunitaria está determinada por la política y
por consideraciones de los benefactores.
Segundo, los resultados de la evaluación se deben valorar de acuerdo con su
generabilidad, si los hallazgos son significativos políticamente o sólo para el pro-
grama, y si el programa satisface de manera clara las necesidades (como se
expresó por los múltiples factores que intervienen en el proceso político).
CÓMO REDUCIR LOS CONFLICTOS ENTRE
EL EVALUADOR Y LOS EVALUADOS
Evaluar es formar juicios. Para efectuar una evaluación se deben proporcio-
nar resultados que puedan utilizarse para formar juicios. La distinción entre for-
mar juicios y proporcionar información acerca de la cual se basarán los juicios es
útil y clara en la teoría, pero a menudo dificil de delinear en la práctica. Algunos
evaluados pueden percibir los resultados de una evaluación como muy críticos y
reaccionar de acuerdo con ello.
¿Quiénes son las partes típicamente implicadas en el uso de los resultados de
una evaluación? En seguida se presenta una lista de algunos evaluados, grupos
que pueden participar directamente o Ilegar a estar interesados en el proceso de
la evaluación o en sus resultados:

256 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA
Polítícos o tomadores de decisiones: son las personas responsables de
decidir si se debe establecer, continuar, suspender, ampliar o reducir un
programa.
Patrocinador del programa: es la organización que inicia y proporciona
fondos para el prograrna que se evalúa.
Patrocinador de la evaluación: es la organización que inicia y proporciona
fondos para la evaluación (algunas veces, los patrocinadores de la evalua-
ción y del programa son idénticos).
Participantes objetivo: son personas, familias u otras unidades que partici-
pan en el programa o que reciben los servicios de la intervención sometida
a evaluación.
Administradores del prograrna: es el grupo responsable de supervisar y
coordinar la intervención y su programa.
Personal del programa: es el personal responsable de entregar la interven-
ción (por ejemplo, los maestros).
Evaluadores: es el grupo de individuos responsables del diserio y/o la reali-
zación de la evaluacíón.
Competidores del programa: son las organizaciones o los grupos que
compiten por los recursos disponibles.
Evaluados contextuales: son las organizaciones, los grupos, los individuos
y otras unidades en el ambiente inmediato de un programa (por ejemplo,
oficiales del gobierno local o influyentes situados cerca o sobre el sitio del
programa).
Aunque estos nueve grupos no comprenden exhaustivamente a todas las per-
sonas interesadas y/o implicadas en las "políticas de la evaluación", son los evalua-
dos que típicamente participan de una manera u otra para efectuar una evaluación
y obtener sus resultados. No está completamente claro cómo se afectan los inte-
reses de cada uno y cómo actúan en ellos para dar el resultado de una evaluación.
En una situación particular, los políticos y los tomadores de decisiones pueden
estar satisfechos con una evaluación positiva y frustrados con una negativa; otras
veces, sus reacciones pueden ser inversas.
Casi la única predicción confiable que se puede hacer es la de que los patroci-
nadores del programa, los administradores y el equipo de trabajo probablemente
efectúen evaluaciones favorables con positivismo y reaccionen con honestidad a
las negativas. Tales reacciones son bastante incomprensibles, pues esos grupos
suelen tener al evaluado en la continuación del programa y su actividad es la que
más claramente se juzga por el informe de la evaluación.
También a menudo, el evaluador novato, una vez que ha completado un repor-
te y anunciado prudentemente los resultados, es abrumado por un torrente de críti-
cas y de reacciones negativas para los resultados. Por tanto, es útil concientizar a los
evaluadores novatos acerca de que sus hallazgos se recibirán con escepticismo, sos-
pecha y hostilidad (aunque conocer esto no puede atenuar el grado de desilución del
novato). Un evaluador puede ser el centro de grandes controversias. En anticipo a
tales reacciones se pueden tomar medidas para reducir la cantidad e intensidad del
conflicto potencial.
Cabe señalar que existen críticas que rechazan evaluaciones, y aquí se aboga
por ellas, como típicamente se emprenden ahora. La ideología y desconfianza de
COMO REDUCIR LOS CONFLICTOS 257
los métodos cuantitativos justifican en mayor grado estas actitudes; sin embargo,
el punto de vista de los autores es que se justifica la crítica de una evaluación par-
ticular, debido a que esto, la política adecuada y los problemas burocráticos se
han manejado mal, y no debido a que el enfoque fundamental de la investigación
halla fallado.
Participación en la comprensión
del diseño total
Es importante que el mayor interés que se podría tener en una evaluación
íncluya los supuestos y las límitaciones de la evaluación y de la metodología
empleada. Esto es particularmente importante respecto de los patrocInadores,
administradores y el equipo del programa.
El evaluador debería hacer algún consenso con esos grupos en cuanto a las
direcciones del proyecto por evaluar, los métodos por emplear y la Idea de que la
evaluación se pueda reflejar negativamente en ellos (véase el capítulo 2). Como
observan Berk y Rossí (1976), los datos y su efectividad en la evaluación pueden
aumentar mediante la particípación de los grupos en las actividades de diseño de la
evaluación (véase el anexo 9.1). Este proceso de construcción de consenso y obli-
gaciones debería comenzar antes de emprender la evaluación (Wholey, 1977).
Anexo 9.1. Contribuciones de los
partidarios d el disebo
=
Lá efectividad de los datos de la ,QuáluacIón,suele me)O'rar posterlorment4
cuando los participantes del programas 01 . 1- 1Otlyado* a particIpar en el diseño de
nvesfigación yi .¿ii.anclo las jnedidas aciectElás -están engrádas...queloypolíticos con-,
clián'011dós; poiefeltip;e 9 un estüdbn a¿éicá dela pal4tila.de:fiObbr,hecho por
liebau m, Warcl diseños dellg>liíát i ñ'éiaktabltistos que
resultaba casi írnpckitle éscaPar a t2n!itá.infénto con.
sistía en diferentes géneros de teraplas de grupo con las que se pretendia maxlmlzár
lo que los abogados Ilarnan cornunicied t,e,rop é u t Ic.<4.,Slus0 ,3410pOtlyriOnlo aleat51.-
rio para probár los programas terapItitilltque fiálliiltáiié.:sttéthátnépte cóirid
fuera posible, laserpecificaclones óptimas deseadas por los patrocInadói:esderpro.':
granta. El otra4Válnbras, los tr y1.4..:09adores buscan 19.que i9kclefensorel.derprOgret,
ma pc>drían querer en el inejor nutndo posible, ol.c1¿!fiaddrii114ece:shlades,
luesoyaloran e_ste prograrna ideal, AdenApdelaIllechdaVS,::- - ntelsIsejncluyert
r esultados ( por tj emplo, rearré. St0s) .qt,te"W:iltütnrldád: de
- -AduitOs
„, tOmó como vá l idól:Pét:tantá;:tunc16 .115S1.14i1:ázi efec-
0,fue ,mas difícil -Cambh5
itiediátáinente, proceso
ué.5110.6::-aH aIterac mes étílá,.pólí ..„. tatal: -
Research Politicalty
on autorizadón dela
258 CAP. 9. CONTEXTO DE LA INVESTIGACIóN EVALUATIVA
A los grupos que han sido importantes en los resultados de la evaluación se
les debería advertir que los resultados de la evaluación y sus formas de empleo
pueden ser útiles para ellos; por ejemplo, una evaluación de monitoreo puede
proporcionar información a los administradores del proyecto que permita super-
visar el equipo y modificar el proyecto. Puesta diferencialmente, la evaluación se
emprende debido a que existen evaluados que desean y necesitan información
acerca de las operaciones del proyecto y de sus efectos. Por ello, el evaluador
también necesita comprender y obligarse a informar a los grupos adecuados
acerca de las formas de probar una evaluación (véase el capítulo 2 acerca de la
valoración de la evaluabilidad).
Especificación de las metas
de la intervención
Un punto de conflicto mayor y común es si los términos de la evaluación se
escogieron adecuadamente, sobre todo si las metas se especificaron o no de
modo correcto. En este sentido, como se serialó en los capítulos 2 y 3, es impor-
tante reconocer que un programa no necesita tener una meta o un pequeño con-
junto de metas para poder evaluarlo. Aquí, cabe reconsiderar el criterio señalado
en los primeros capítulos en el sentido de que las metas sean claras y medibles.
En compensación de las complejidades implicadas, al evaluar un programa algu-
nas veces es prudente señalar los diferentes puntos de vista de los polítieos, de los
administradores del programa, de los clientes y de los otros miembros de la
comunidad. El grado en que esta valía incrementa la complejidad del diseño de
una evaluación al medir las metas múltiples de esos grupos diferentes debe resol-
verse en una base individual de evaluación por evaluación. Vale la pena volver a
mencionar que el proceso de toma de decisión en términos de la evaluación y de
servicio en un rango de puntos de vista dentro de la evaluación, es un acto que
debe emprenderse consultando a los evaluados que intervienen, antes de empe-
zar la evaluación.
Posteriormente, como se se. rialó, algunos autores han recalcado la impor-
tancia de usar el conocimiento teórico de campos específicos, de tal manera
que se diseñe un conjunto de objetivos (Chen y Rossi, 1980). Se arguye que la
teoría de manejar conjuntos de criterio pueden minimizar la oportunidad de
que las evaluaciones sean negativas o fallar en contribuir al conocimiento
acerca de la ejecución y repercusión de los programas. Otros autores han
defendido el uso de procedimientos formales de decisión analítica, y otros
más han aceptado enfoques como la escala de logro de metas (véase el capí-
tulo 2). El punto tratado debe ser evidente: especificar las metas es esencial,
por lo menos para asegurar la adecuación del diseño.
Divulgación
Los resultados de la evaluación y los informes internos se deben presentar
en una secuencia oportuna, lo bastante rápida para asegurar que los proce-
dimientos empleados en el proyecto se puedan modificar de acuerdo con el
programa. Esta observación se aplica particularmente al monitoreo de la evalua-
CóMO REDUCIR LOS CONFLICTOS 259
ción: en particular, los planes para monitorear deberían permitir una retroali-
mentación a las partes pertinentes.
Los resultados de la evaluación se deben presentar de una manera com-
prensible, incluida una combinación de simplicidad y seguridad, lo cual es difí-
cil de alcanzar para algunos evaluadores. Para evaluaciones de la repercusión
especialmente complicadas que deben realizar científicos sociales altamente
entrenados, se aconseja contar con autores profesionales, con revisores de edi-
ción o escribir informes dirigidos a quienes toman las decisiones y a los adminis-
tradores del proyecto.
La divulgación es materia no sólo de comunicación clara de los resultados de
la evaluación, sino también de comprensión de por qué difieren las metas priori-
tarias de los evaluados. El estudio que aparece en el anexo 9.2 relaciona este pun-
to con las agencias de tratamiento de drogas, y refuerza la importancia de la
comunicación verbal.
Nótese también que una valoración de "qué es" resulta más útil cuando refuer-
za el punto de lo "que podría ser mejor". Una evaluación que concluye en un juicio
negativo sin sugerir acciones que podrían remediar las deficiencias, probablemen-
te se vea con hostilidad que aquella que ofrezca sugerencias positivas.
1YC r
Anexo 9.2. Los juicios de quienes tortiaiL-
decisiones y difusión
Si 1 .,Iriforrnabiójr-ievaltratiya'fieine por, objeto Influir,en una-toma de decislc5n,
los carnbio-s maybre's , én'lós,actbres
, _ prióritariós dé clertos papeles y varios criteries
que puedan requerir las agenc14.parajOrinular sus juicios y tratamientos; por ejem- .
plo. parecé 'que los planificadorá en este sistema tendran quepreocuParse más por
la eficlencia del Manejo, la competen-cia (111,e,quipo de tbbájayla filosofía del.trata-
nnento, con n-layor préocupación ,por el c1ient si los;datoS tesultantes ,cle éste son
poncipalmente pará influir su'S julclOS; en 16's qrtfe'se'ei-i -gteii- ,Cuenta a las ,agencias
quelOS estudlan-. S1 tales caniblos enla :Pricirldad deltrIteti&e-mpleado paia la to-rna
cle cletlsión ocurrirán cuando'ii?s datos res' illtantes cues-
lien rn pí rica. Si tales canibios no o 'eurren, la información-de la evainación nó la
C
emplearan considerablemente Fos planificadores,
Lo zrntetior sugiere que los evaluadores Interesados en'tener,losres'uliados'de
su traty¿Ijo cleberían enfocar snajención en ,los diversos criterios de decisión emplea-
dos por los'actOres en lol.ienSaYOS aMbientalesldel
miento delps criterios de'deiSión unlizados por,Cada -audiljitl-ánte4'-aUSencla de •
'infot mación de la evaluacIón cle1PrOgrarria, deb 'ería ser
,
clon que reúna las preferencias de'inft?rinar:.,ión del slsterna detgiiiáctpkés:d. decisio-
nes Durdnte la'retrOalimentatiá cle lóSireSiiitadOl de la
Cle;dét1.5iánpetitálmenté utilizael6s_en-éVtidterná 'clebed,an - Srudar a
guiI111-11ni 0 ,
cla por la e\„aluaC16n.:-"Adernás, provéera una línea déjaárti'da para valcilar posterior-
rnente
• cl 'efecto aetüntde tós resUltadoS de lá evaluación enla tórna cle deelsitines. -
Una segunda implicacIón considera-el'ernpleo'de lainfor-rnación evaltiátiva
derivada-del
- - „ que suel e' n 'obtener los practicántes ''su IMPOrtante Informa r
Ción cv i luativa ..tabré las agéncias por rnedto de contáctos personales o retroalimen-
: taciones or¿les, Los hallazges
, de otros estudios sugleren que esta conftablIdad'en
, _ ,
.lás iiirorrnIcioneyeruatsljneopante contactos,personates-,es,colnup;eittre•,quienes
'tolnan decisiones DIchopatrón no cambiará tréceSáriattientél-Inda5.1j_inforrna-
260
cit5n cle la evaluación este dispornble. Estosresubados elildenclan la importancia de
hallar rnedtos de retrcalin-lent,ícIón de la inforn-lación evaluatIva que incluyan ta-mto
' los contactos chrectos y personales corno las presentaciones ornles. Aun-si esto se
.redliza es posíble que las presentaCiones orale_s por los evaluadores noseánsufícIen-
tes para darles la utilización descada, a menos que aquéllos senn conSiderados por
los tornadores dé decisione.s corno importatates v vallosos co -ntactos personales y
.:corno fuentes cle inforrnación.
Fuelit'éT,m2,10 de1 a Ha- wItIns, R:A:Roffman y Osborne; ectsion-
: 11,11u, nce Ppfkle Evaluative Crítéria, and infoUnatiodite¿ess74-'én'agiúátiort. Qi
cie 1978, págs. 490-451.
, Dada la creciente competencia en el equipo y la visibilidad y el escrutinio de
Arreglos de la evaltiación de programas
Los evaluadores son mejores cuando su posición es segura e independiente
de las influencias de la administración del proyecto y del equipo de trabajo. En el
pasado, algunos evaluadores experimentados establecieron categóricamente
que las evaluaciones nunca se deberían emprender dentro de la misma organiza-
ción resposable de la administración de un proyecto, pero debería realizarlas un
grupo externo.
Una razón para efectuar las evaluaciones "externas" pudo ser el deseo o las
opciones deseadas de que existían diferencias en los niveles de entrenamiento y
una competencia presumible de los equipos internos y externos de evaluación.
Estas diferencias se han estrechado. La carrera del investigador en evaluaciones
tiene, típicamente, una de tres formas. Hasta la década de los sesenta, un gran
porcentaje de investigación evaluativa se hizo en los servicios de salud, sociales,
rehabilitación, educación y bienestar social por investigadores afiliados a univer-
sidades o firmas de investigadores. Después de esa década, las agencias de servi-
cios públicos en las áreas de esos programas han contratado investigadores para
las posiciones en los equipos con el fin de realizar evaluaciones más domésticas.
También, la proporción de evaluaciones hechas por grupos privados o de benefi-
cio se ha incrementado marcadamente. Como los puestos de investigación en
ambos tipos de organizaciones han aumentado y el mercado académico de traba-
jo ha declinado, muchas personas bien entrenadas en los campos sociales y de
conducta buscan trabajos de investigación en las agencias públicas y con las fir-
mas de beneficencia (Polivka y Steg, 1978).
La evidencia actual está lejos de ser clara. En un estudio que correlaciona la
calidad de la evaluación, Bernstein y Freeman (1975) encontraron que existía
mayor probabilidad de que las evaluaciones internas fueran de mayor calidad que
las externas. Este hallazgo se atribuyó a la mayor habilidad de los contratantes en
influir en la conducta de los evaluadores externos, mientras que no podían influir
en la de los evaluadores internos.
En el capítulo 2 se señaló la probabilidad de que la contabilidad tenga mayor
utilidad si se lleva en forma interna. En Holanda, estudios recientes de evaluacio-
nes externas e internas sugieren por qué las evaluaciones internas pueden tener
mayor repercusión en las decisiones organizativas. De acuerdo con van de Vall y
Bolas (1981, pág. 479), las variables responsables de la mayor tasa de utilización
de los hallazgos logrados por los investigadores internos, son de mayor impor-
CóMO REDUCIR LOS CONFLICTOS 261
tancia que la superación de la formación social política por parte de la categoría
de investigadores externos. La respuesta, sugieren, radica parcialmente en el alto
rango de comunicación entre los investigadores y los políticos, acompañada por
consensos mayores, y parcialmente en el balance entre las normas de validez
epistemológica y de ejecución: "En términos operacionales, esto significa que los
investigadores en política social deberían buscar el equilibrio entre el tieMpo
dedicado a la perfección metodológica y el traslado de los resultados hacia medi-
das políticas". Los datos de van de Vall y Bolas sugieren que los investigadores
sociales de casa están en una posición más favorable para lograr esas metas ins-
trumentales que los investigadores externos.
la empresa evaluativa, no hay razón para favorecer un arreglo organizativo en
vez de otro; sin embargo, aún quedan puntos críticos durante una evaluación
cuando existen condiciones para que el trabajo sea mal empleado o mal dirigido
(Cook et ai., 1980).
Se insta a todos los evaluadores para que continúen fomentando la compren-
sión clara de sus papeles con los patrocinadores y el equipo de trabajo. La total
comprensión de sus papeles por parte de los evaluadores, así como de sus res-
ponsabilidades es uno de los factores que más contribuyen al éxito en la realiza-
ción de un esfuerzo evaluativo (véase el anexo 9.3).
Anexo 9.3. Cói.no méjorar, las evatuacionesw
ar—•
Lo investigadores de la- evalnáción pueden ayudar a arrnbrilzar:la' productivi-
dad de la investigaeión evaluativa en los intereses de lOs blenes públIc6s, los bienes
gubeínamentales y el bierr privado: si se e_sfuerzan en desatiállar las áreals siguien-
tes: Primero; obtener un,:arnplio- :consenso de invest1OCIón l é' Orriunitaria ncerca de
uná. ,je-rj-áff'ej, uía de dseñod irni esti q adón'preferldáS:-Y ,.'riiátódós de inVestigación
evaluati jiáJtípicó,«, eornunes y a rne.nudo repetidás, y prorrtular leyes de procura-
ción rc. fórrnadáS.-, acerca de la investigación social, de taL,rnanera.qutpdos- los
patrocina-d(ireS -1Utiernarnentales y rovisores Puedart,desarrolíá-r.lá-.011dad.ffiiiiii-na
.y 1O -S- IMeaMientOS ':-flexiblesttantripaira los diseñoS'.déj--ini-JeSti.ááCi&íj-.,;'-'11tdOS,Cfrcío
para,sti;adtriinistaci6n.',AinboS--átirnentarán la calidad;totall appyárári'de mOdo
externo a los investigadores en evaluaciones que puedán réSUliár..conflictivas p,ara
los revisOres gubernameMales o pára los patrociriaciOteSSeOde lá elección del -
primercJeo segundo mejOr djseñoS, y quienes a rn'enud&PierdenT.,
Una . segunda área en los nv iesti g. adores evaluativospuedeM'prOpOr-Cio-
nar'-dija—n nyuda es en recoleetárjjvalorar, filtrár4 ampliar ejernplos exitóijsosdejeya-
luatiány sn investigación e -fectiva qtie sean válidoS, Políticamente aprorMós'Y.'Oue
teng' ári . una influencia.sociaLpositiva, aciernás dé ejernplos-acére.a-de córn. Se,P0e-
den . cOinPágIriar.:-.eféCtiyaniénte con las lirnií'a:CiOne
• Uná:teicera áréa deac'elán prOdu'ctiva s trahajr para .1á'reformá.rácional
procuración investigatiVf ajgubernamerital y de las regulaciones acIministiativasdise-
f- iadas específicaménte para la Mvestigación jsocial, p-or imiestigadoreS socíale_s y
.fuéra det Conocimientó de la iniíesilgación social.' . .
Fi enie T r 1 d;'C. FLIÉ;lic Good, the
tu E,31, 1,311Dn f 5,i,c;•111 Pco-er ,Irns ::- 11ow Enept. Cepvernr'cic-nt
- Que o 'ly 'cern 2, nos, ihi de 1978: pe83s. 620 630.
262

TIEMPO DE POLÍTICA Y TIEMPO DE EVALUACIÓN

Las evaluaciones requieren tiempo, especialmente si repercutirán. Cuanto

más justo y detallado sea el diseño del estudio, mayor será el tiempo que llevará.
Los experimentos sociales a gran escala que miden los efectos de programas
innovadores mayores pueden requerir de cuatro a ocho años para terminarse y
documentarse. Los mundos políticos y del programa avanzan en una marcha
más rápida. Los políticos y los patrocinadores de proyectos quieren saber en
pocas semanas si un programa logra o no sus metas. Esta disparidad en el tiempo
es otro problema para los evaluadores.
Los evaluadores suelen sentirse presionados para completar sus valora-
ciones más rápido que lo que el mejor de los métodos permite, así como liberar
resultados primarios antes de que estén completamente firmes. A veces, los
evaluadores son interrogados acerca de sus "impresiones" de la efectividad,
aun cuando hayan recalcado que aquéllas son inefectivas en ausencia de resul-
tados firmes.
También, los procedimientos de planificación y procuración con las organi-
zaciones que apoyan la realización de evaluaciones dificultan emprender estu-
dios oportunos. En muchos casos, los procedimientos deben ser aprobados en
varios niveles y por cierto número de evaluados. Como se muestra en el anexo
9.4, la evaluación típica hecha bajo contrato del U.S. Department of Education
(Departamento de Educación de Estados Unidos) requirió tres años desde su
concepción hasta su terminación. Mientras que los patrocinadores de los secto-
res gubernamental y privado han tratado de diseñar mecanismos para acelerar
los procesos de planificación y procuración, la deficiencia de su burocracia, los
requisitos legales relacionados con la contratación y la necesidad de establecer
convenios respecto de los diseños y cuestiones de la evaluación, los han retrasado. CV
rC1
'-'
1-.
M1
^- ---.

No está claro qué puede hacerse para reducir el grado de presión que se ori- E
gina de los calendarios de la evaluación y toma de decisiones. Es evidente que un a
estudio a largo plazo podría no ernprenderse si la información se necesita antes co . £t
1...
de termínar la evaluación. En tales circunstancias, puede ser mejor contar con la ca, 1
opinión de los expertos o de otros acerca de los métodos de juicio de la evalua- 1:, ¿
ción examinados en el capítulo 7. Podría ser mejor tener alguna información tan "J"...1 c'T)'
buena en calidad técnica como sea posible, dadas las limitaciones de tiempo, que a) c ü)
,.
z.
= ‘,2 ,....) ,o ›,
carecer de información alguna. w-
Un enfoque más estratégico es limitar evaluaciones técnicas y complejas a ,....
E. E 2 ,,
+
,. cc 2

proyectos prototipo o piloto de intervenciones que probablemente se ejecu- o

c.) c,) co ai ,a,., -tcl
cl_.
ten a mayor escala en el futuro. Así, los experimentos aleatorios pueden ser
más apropiados para evaluar la validez de nuevos programas (inicialmente
ejecutados en pequeria escala) antes que tales programas aparezcan en las
agendas de corporaciones tomadoras de decisiones. Los análisis extensivos
seccionales y cruzados se pueden aplicar a programas que tienen una historia
de apoyo estable.
Una estrategia final para los evaluadores es anticipar la dirección del progra-
ma y de las actividades políticas, en vez de estar forzado, dentro de las limitacio-
nes de tiempo, a satisfacer las demandas de otras partes. Un propósito que ha
atraído gran atención es establecer institutos de evaluacíón independientes, dedi-
cados a examinar con una base prototipo o piloto las intervenciones que podrían
264 CAP. 9. CONTEXTO DE 1-A INVESTIGACIÓN EVALUAT1VA
tener gran demanda. Un centro de evaluación nacional podría tener que valorar
la validez de programas sociales alternos dirigidos a los problemas políticos que
prevean ser importantes durante una década o más tiempo. Mientras que este
proyecto tiene algunas características atractivas, especialmente para los evalua-
dores profesionales, no está claro si es posible predecir los problemas sociales
de la década siguiente. Como están las cosas la tensión causada por las dispa-
ridades entre el tiempo político y el de investigación continuará siendo un pro-
blema para emplear las evaluaciones como un instrumento para políticos y
administradores de proyectos.
PAPEL QUE DESEMPEÑAN LAS EVALUACIONES
En cada punto de un programa, los resultados de la evaluación pueden ser
útiles en el proceso de toma de decisiones. En algunos casos, los patrocinadores
de proyectos pueden convenir para hacer una evaluación con bastante anticipa-
ción, lo cual influirá críticamente en la continuación, el cambio o la terminacíón
de un proyecto. En esos casos, el evaluador puede estar presionado para produ-
cir información rápidamente, a fin de que las decisiones se tomen expeditamente.
En resumen, los evaluadores pueden tener una audiencia receptiva.
En otras situaciones, el evaluador puede completar la valoración de una evalua-
ción sólo para descubrir que los tomadores de decisiones reaccionan lentamente a
sus hallazgos (Cox, 1977). Todavía más desconcertantes son las ocasiones en que
un programa es continuado, modificado o terminado sin consíderar la valoración de
la evaluación ni la información costosa.
Aunque en tales circunstancias los evaluadores pueden pensar que sus
esfuerzos han sido vanos, en el proceso de toma de decisión se verá más comple-
jo. Como se señaló en párrafos anteriores, cabe esperar que los resultados de una
evaluación serán sólo uno de los elementos de la toma de decisiones. Esto se
advierte claramente en la controversia de 1915 acerca de la evaluación del plan
Gary en la ciudad de Nueva York (véase el anexo 9.5).
Existen muchas partes que intervienen en un programa de servicios huma-
nos, como se apuntó en líneas anteriores. Los patrocinadores de un programa,
los administradores y operadores, y algunas veces los participantes suelen correr
grandes riesgos en la continuación de un programa, y sus insoportables pero
Anexo 9.5. Evaluación y políticas
Ei plan Gary InIcialrnente se instauró (2111as 2scuelas de Nueva York en forma
piloto, y el plan Ettinger en'Otras escuelas. El superintendente Maxwell, resentido
la.lpterférencia en su dotninio profesional y sospectroso:deltiterito de la adrni-
tWhistrácIón.'de Mitchel, ha 'exPresado strs'sentirnientólacercáaelplan Gary como
funclonabj enfláé1"cüelángelo Ctia escuela el otro día, y lo
único qué Obsery0 füéuna turbadlchiquIllos quetaliaban un lote". En respuesta de
la opinión deVsüPérIntendentel-1131fterriá ' Garyha pdó difundido a 12 escuelas en el
Bronx y había planes para
Lanecesídad de ,contar Cori-ritIS inves-tigación antes de difundir el plan fue
léháláda .0t:úti,Mieml)ro de la junta escolar. En J vetano de 1915, el superinten-
265
. _
dente MaxWell
. , el, cual cOrnefl, ert
escudás . de:NueVá .'04c.-E.1 ..trabajo fue ótórgacb a B. R. Buckirigharn, - psteófolo.
edriCatiiro en el dePartárneritp . .detnvátigación de las eseuelas de la chiclad de Nue-
va . York . ..y .picmero . en el déSatrollo de . prirebas académiéaS : dé cohOcirnientos.
Bli -ckinghám • usó su recien'disenado conjunto
- • • . .. • ..; de•Pruebas
• . academicas
• de cono-
• •....
cirnientos para•Cárfiraarar dos escuelas'organiz .aroas bajo el plari Gary, seis escuelas
- , bajo el.plah Éttinger y ocho.prganiZádáS . trádiérOnalMente.-EstaS',últirnas tuvierán
. 'rnéjái•Prórnedio, rnientras qu'e las .de1Plan ...Garii.Promedtaron'de forma-Mát.défij
ciéntel'Él infórrne.Inckingháni füe. 'altamente'ériticadó.pOilds mas fielés segárdores.
dél. SiSterna ParY; qiiéperMitió,haéér Pi-emattir. as. 'declár-aei¿ines . con respee4O
superioridad sObre otras escuelas.
Ericuanto ap.atectó el i.nforyne Buclüngh.am;.se deSató una:torrnentá de tefuta.:.
prehsa dárinq, : én lás. réviStal..estiecializadaí:'Howátd.W:.19üdd,
clitéCiOr ejecutivo de la Publiá• ÉdtiCation AssoClatiOn (AsOetación: dé edUcaárón
pública), escribió una cy1tica : detallada'del infórme Buckingharn, Publica , O . en .e ,
Globe:dé . Nueva York, en . The igelú Yói* Times, en Scholl arid Soctety y en.'el.Jo.ur'-
, • . .Ntidd•cointraatacó n el camp. 9 tecnIco. 1.)rünero, clernostró que n el tiempo en -
que 13u. é.kingham realizi5 Str Prüeba; eli5lan : Gary— habja estado 'en operaCión . en.iiná.
. • eScuélá- sólo . durante "caatier..meses y en la oti-á.dürante-menos de tres.;terrianas.
udd sostuvo que mucho del equipo requeridópo — r. : Witt . no sehabía própcirCip—riadó
y quel él trabajá: de 'Iás escuéla.s • Gary'iliab1a sidá distoiStoriadó..serianietité..pe
cdhátante afluencia . de.visitantes. qüe caraéreiísticarnenté descienden . éri ün.ptcráta:,
loárá • PubliOidad..En una ...ébrirparación detallada de . eséuela
Nudct demástr&qtre : en. : •una . de láS esCuelas cqn .órganización Gary;:iel.90cli.de los-
aluirrinos:prOv.énfa de.fárnilias . inriiiárántes en qüe el italianá . era Si.1.1énátrá:rnateina.;
mientras que algunas . dé. .las:elctielás- cortiparadás,fueroil jirthcipaltrierité . Poliladas -
cod.nities,de.clase.rne.dia.:nativás..de
las es. cttelás':Gársi:tenían eXcéléntes:califiCactenieCuandO .. lal.calificactOneide éla.s
éscuelas Se compárarán . cOn . las.. de-átras escuelas, se vio que la,pósick5h . 'étá fltnne
párá . las eséuelas Gary, Perá diandó le.. promédiáron eg.uncla escrieia Gary;
. el
resultacto tótal..clejó:
. . . . . el . plan Gary..
Buckináliarn . no . tuvb respuéStá a la satislacó poi los.controles inadecuados,
pero ar. guitentóque él éstimaba la relación rio .COn . dos, seistr ocho escueláS; . isin Con
las . ineditiones'dé Cerca . de 11 000 portanto, su estudio representó una prue-
ba sustancial d., e1 é..squ. e. á. 'd. e. : Gáry. ijustifiCó . habef.:. emPrendido su'eStridiát.ántés
z . én el campo que el plan Ga0,. eri . lal. 12 esc.uelas . del; tiroriX; ya..que fue..impulsa o
• precipitadamérite : p.ára lás ésétielás :de N.uevá . VOrk. pcit. él . SuperintenClerite: . COrrt9
se:Piitó; trubo présión desde : l.a. .áficina del mayor para difundir el plan fuer.-á de lás
eáCuelas de . Nueirá.Y.Ork Y:,efectuar cuaiyuier.inCrernéntc, en.el
adopción de„ofei-já del .siste.ma:Ganj.'lluddriáhain concluyó„queel-
suPerintendente . MaXwell ftie bbligádo. a érnprender él éstudio de las escuelás, a fin,
d' e . .deterrninar su éxito eni 'dar . instrtiéCión r..én.loS."aSpecti-ss funchriuustnles"
térrhiriosde otros valores o metas del
EVOreSidénte
. dé lá Junta : de . Eclúcación . . encontró ventajOso
„ citar lá interpieta-
ción dé Nádd aeeréádel infoirrne Buckinghárn en debate aríte lá reúnión de dtéhá
Junta..'El
„ . . :SuPerintenelenté.MáxWell
. . . continuó en citar estudio Bückinghani como
una cita nPVIdericial efectiliidad dél Plan Gary,'aún n añó y rnedio después.'
Contexióf Ev.-11utIVC
-
'", n 11(1 ,éti.EviilUati6 núm:;•1, 50S23
266 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUATIVA 1 PAPEL QUE DESEMPEÑAN LAS EVALUACIONES 267
entusiastas clamores pueden contar más que los resultados de una evaluación.
Los resultados de un proceso político se pueden ver como equilibradores de una
variedad de intereses; los resultados de una evaluación son simplemente un argu-
mento hacia un lado u otro.
De otra manera, imaginar sería postular que los evaluadores ocupen un
lugar en el proceso de toma de decisiones políticas que comanda el poder del
veto, un papel que podría despojar de sus prerrogativas a los tomadores de deci-
siones. En tales circunstancias, los evaluadores podrían convertirse en filósofos
cuyos pronunciamientos respecto de programas particulares podrían pasar
sobre todos aquellos de las partes implicadas.
En cualquier sistema político susceptible de valoración, estimación y equili-
brio de las peticiones científicas y los intereses de un número de constituyentes,
cabe esperar que una evaluación desernperie el papel de testigo, al testificar el
grado de efectividad de un programa. Un jurado de tomadores de decisiones y
otros evaluados puede dar tal testimonio de manera más decisiva que una opi-
nión uniforme o un testigo sagaz, pero son ellos, no los testigos, quienes formu-
lan un veredicto.
Estudios de utilización
El crecimiento de las empresas evaluadoras ha sido acompariado por un
número de esfuerzos para comprender cómo y cuándo se utilizan evaluaciones.
En parte, esta actividad se relaciona con las decepciones entre los evaluadores y
defensores de la evaluación y su utilidad acerca de la ligera influencia de evalua-
ciones que parecen tener en las actividades y la política de los programas. En el
capítulo 2 se sugirió que los resultados de una evaluación pueden ser valiosos de
formas diferentes: pueden influir en las decisiones tecnicoadministrativas y con-
tribuir al conocimiento general de los problemas sociales.
Tipos de utilización
De acuerdo con Leviton y Hughes (1979, 1981), los resultados de una eva-
luación puede influir en la planificación del programa y en su ejecución en tér-
minos de uso instrumental, conceptual o persuasivo. El uso• instrumental se
refiere a las acciones documentadas y específicas de decisión efectuadas por los
tomadores de decisiones y solucionadores de problemas (Rich, 1977); por
ejemplo, los datos de la evaluación que muestran que los pacientes de institu-
ciones de conservación de la salud requieren menos días de hospitalización que
los que necesitan los pacientes ambulatorios de hospital, han sido utilizados por
abogados para fundamentar su enfoque ante comités de congresistas. De acuer-
do con Rich (1977), el uso conceptual, es el empleo de evaluaciones para
influir en el pensamiento de los problemas, sin comprometer la información en
cualquier propósito específico documentable. Un ejemplo es el esfuerzo actual
para controlar los costos de entrega de servicios de la salud y el bienestar social,
estimulado, por lo menos en parte, por evaluaciones de su eficacia y costo por
beneficio. Los usos persuasiuos se refieren a los resultados listados de evalua-
ciones con esfuerzos, ya sea para defender o para atacar posiciones políticas,
en otras palabras, para apoyar o refutar el statu quo.
Las desilusiones acerca del empleo delas evaluaciones se relacionan principal-
mente con la limitada evidencia de que tienen un uso instrumental. Desde luego,
muchas evaluaciones se inician porque son factibles para el uso instrumental, y el
campo continúa prósperamente, lo cual depende de la optimización de ese uso.
Ciertamente, estas evaluaciones pueden ser importantes por su uso conceptual y,
más adelante, tal uso puede hacer más que sólo justificar los costos y esfuerzos
requeridos para los estudios; sin embargo, permanece el hecho de que la vasta
mayoría de las evaluaciones son apoyadas y financiadas por organizaciones cuyos
fines, por lo regular, no están orientados a proporcionar recursos y oportunidades
de evaluar sin esperar algún razonable, y de relativo corto plazo, uso instrumental.
De ahí se infiere el interés que existe en centros evaluadores de estudios en maximi-
zar este tipo de uso.
Variables que afectan la utilización
En estudios acerca del uso de la investigación social en general, y de las eva-
luaciones en particular, cinco condiciones parecen influir consistentemente en la
utilización (Leviton y Huges, 1981):
La pertinencia.
La comunicación entre los evaluadores y los usuarios.
El proceso de información por los usuarios.
La factibilidad de los resultados de la evaluación.
e) La participación del usuario o defensor.
La importancia de estas condiciones y sus contribuciones relativas para la
utilización han sido estudiadas cuidadosamente por Weiss y Bucuvalas (1980).
Estos autores examinaron a 150 tomadores de decisiones en el campo de la
salud mental y sus reacciones a 50 informes de investigaciones actuales. Los
tomadores de decisiones aplicaron las pruebas de ueracidad y utilidad para fil-
trar los reportes de las investigaciones. La veracidad se estimó con base en dos
aspectos: la capacidad de la investigación y la conformidad con el conocimiento
a priori y con las expectativas. La utilidad se refiere a la factibilidad y al grado de
cambio de la corriente política. El estudio de Weiss y Bucuvalas proporciona
evidencia convincente de la complejidad del proceso de utilización (véase el
anexo 9.6).
Anexo 9.6. Piuebas verdadéras y
pruebas utilitarias _
Información,:los.tqLnadores de decislones inclu
n-larcdSSáliCbs derefeeca a)la".Pertinéri'Cla del Conte -nido del estudio para su
esfera cle re s borisabiliááci;,b) la confiabilidad del estudio, 'y c}la.clirección -gue piry
1-yarciona Los clos rriarcOs ver a ergsyprue
pwehasverda éiO.sYueb0 Su s u tl
esdn ceilstituidos, cacl,a,l1110;_por"dos cornponentes inde .ente,51.,
268
' —
Pnichas lierdaderas: ¿es confiáble'la investi .gaci¿n?, .puedo-confiar en ella?,
podrl. s ostenerse al someterla a crítica? Los cornpo»entes especificos.son:
• CaliáádIcle la invé_stigación: ¿se realizó la inveStigación mediante métodos,
Cientíhcbs aproplados?
ConfOr̀ miclad con las expectativas de los usuarlos- son losrresultados
comiSafibles con ml expericncla, conocimiento y .valor
PlIjeDUS ÚtliitariaSt . proporciona dirección la investi§áción?,
, gui o, iyasea para las acciones‘mmediatas o para las cOnslúenciones de ent'°'
altérrtivos para los problernas? Los cornponentes > específicos son:
OrientaCión de la acé ,'¿muestra la investigkiáh'Cólno reáll"iár cam
posibles en aspectos faetIbles ., de camblar? 1,1141.0:„'
Desafíos afsta tu q uo: , ¿ciesa fía 1 a Investi§ációti:10:
a"-la'.s áigtleTa actua1e17 --ofrece- nuevas;.¡SerSpiltilids'?:1'.
entre el tenlál'Ilé:IáinVestigaet6n,
,Jüntd -, • elé-v anha que
- .e`ónia - - -
las'responsabílidades del trabajcidé la persona), los citatro'compOnerites consti-
tüYen,loOnárCOS -de. référeiteia po-timédici delos'cualesquie'ííes'fon:OYdeeisiones
válOran.la- iinieSti¡eíción'SóCial cie'nfífica, Lá'Caiidad Cilláinvesti -gá_s ti¿n y'la cont
fOrrnidaCl dé.ias - espectativas del usuarlo forman una Prueba verdadera en la que,
sus„etéctos sóbcontingentes unos a otros: la calidad de la investigaciánes menos'
irracirInted_ a t o ta 1'deu n- es tudio cuando los resultados-sOn"con-
gruentes- coplos-cohodrnientos'OfiClalcs an_tertóres,i.qPeÇI9isóri
cOntrarios..d,l,a, Intulción. LáTorient,ación,,„de,=,la'-4-Ción-iy;lbá!desaffoalltitatu
qtió tePresentan," , ffinciones
, alterrítíyáS''á qué.nn estüdin, - pue e.serv̀
,
:c2nStituven uoa prueba que gl ero e dirección práctiCa , y Sen-,
Cillez - capturadaS-Iiór el marcp de orientaéión dé la accián es Más fin- Pditante
cte:CM . estuc111,:cuarido . este proporcioriálaikas.crítiegs` .'o reprien-
, ta-eVón fdeSa'fIciaiktatu quoq .u7e`Cu' Mido el de.safío ealtó.ReCfPrde"arrienté-,"las
críticw a los programas y las,nuevas perspectivas sruplicadás"enieLdeSafíct'a -1 sta-
ttrquo agregan'rnásala:utilialcl .cuando ,unestudio carece'clétti-VsCtiptcitines'lac-
- ,.
;:tibles ,para su eje'ettetán mecanismos para optimizar su utilidad. En particular, si las evaluaciones influyen
and Uti
,„ Fuente:Ao-otat1.--
toz uto satisfagan las necesidades de los usuarios potenciales. De un estudio realizado por
11ty
-15 abrIl dejpágS 3O31
Lineamientos para una utilización máxima
Fuera de la investigación sobre la utilización y de las experiencias reales del
campo de los evaluadores, se han creado múltiples lineamientos para incremen-
tar la utilización, los cuales han resumido Solomon y Shortell (1981) y se anotan
aquí como referencia:
1. El eualuador debe comprender los estilos congnoscitiuos de los tomado-
res de decisiones; por ejemplo, al presentar una pieza compleja de análisis a un
político, no hay punto que no pueda consumir ese material. Así, los informes y la
PAPEL QUE DESEMPEÑAN LAS EVALUACIONES 269
presentación verbal presentada a una audiencia determinada previamente puede
ser más apropiada para artículos en revistas académicas.
Los resultados de la eualuación deben ser oportunos y estar disponibles
cuando se necesiten; por tanto, los resultados de la evaluación deben balancear
la oportunidad y accesibilidad de los hallazgos con la totalidad y terminación del
análisis. Los evaluadores deben arriesgar críticas para sus colegas académicos,
cuyos conceptos de la escolaridad no se puedan compartir debido a la necesidad
de obtener informes recientes y con resultados rápidos.
Las eualuaciones deben respetar las obligaciones de los interesados en el
programa. Las evaluaciones se hacen para conjuntos específicos de individuos u
organizaciones, y su utilidad requiere una amplia participación en el diseño de la
evaluación, para asegurar la sensibilidad de los intereses de los evaluados. Las
diferencias de valor y observaciones entre los clientes y el evaluador se deberían
explicar al margen del estudio y ser una determinante de si una evaluación particu-
lar es llevada o no por un equipo particular.
Los planes de uso y diseminación deben ser parte del diseño de eualua-
ción. Los resultados de una evaluación probablemente se usarán si el esfuerzo
de evaluar incluye "enseñanzas" para los usuarios potenciales de los alcances y
las limitaciones del esfuerzo, el grado en que se pueden esperar resultados defi-
nitivos, cómo la información de la evaluación puede ser definitivamente efecti-
va para los tomadores de decisiones y qué críticas y otras reacciones se pueden
anticipar.
La eualuación debe incluir la ualoración del uso. Los evaluadores y los
tomadores de decisiones no sólo deben compartir los conocimientos de los propó-
sitos para los cuales se emprende un estudio, sino también convenir en los criterios
para los cuales un uso exitoso puede ser estimado. En tales condiciones, es necesa-
rio contar con mucha informalidad; se debe efectuar un esfuerzo para considerar la
extensión en que los usos de los resultados llenan estas expectativas.
Debe ser evidente que mientras estos lineamientos son adecuados para la utili-
zación de los programas evaluativos, los papeles de los consumidores de evalua-
ciones difieren y afectan los usos que se dan a la información y los consecuentes
en la legislación y las políticas trascendentales, deberán realizarse de manera que
un equipo de congresistas con responsabilidades mayores para diseñar la legisla-
ción educativa, Florio y sus colaboradores (1979) compilaron un resumen total de
requerimientos, los cuales se presentan en el anexo 9.7.
„
Anexo 9.7. La ave4iguación e.ducativa: .
el potencial sin retmir
Los entre \,1 ,-,iados m2ncionaron cercá de 90 pasos que podrían darse para
rnejorar el uso de e q tudios educatis. os en la formación polític,o legislatnía.
Los t,rnas més comunes, que reflPjan las barteras Corritsdetal uso, son las
rn,meras de pr, soiltar los inforrnes de saloración ylnveStIlá'ció ,n,: a' Sícomo las
f ,Ilas para iuzfcr la ne4.eIdácics 1it-rnáid(4 11,s..po'r̀. 19,s: con
,I,Comireso
270 271

•
En d cuadro que aparece al final det anexo se mue tren las respuestas a las
cuestiones.'. Meloramiento del uso de estudló&e.ducativos
Los riliájyrias':del í...Pérlónai):iéY',..em .:±11 - cornún de trabajo y de ,..-
Fortriato de. presentación.(41)) Pertinencio para necesIclades
sobrecarjI:cle'-irsfórm 'álión",ielacii5liik10_11":éPh" a bál6:' Ell -OS-rára- v ez- tienen tiem- del Congreso (25)
po de los :VOlunilhosos Informes que ,
llenan suje:letitiiiiókjj.átd. -lpziáljj11571at tl'élétícías 11 arnadal.párá restiménés ejecútl- Usar un resumen ejecuti y o (13) Reunión del tiernpo del cíclo Icgislatt.
vos comq:.iriaterla-,friárila .1,130:10'. .infOrmés¡.-A> .:1'5Ual podríaperrnittrles juzgar . la per- ,
vo y del proceso (9)
tinencia de los contenidos y determinar las lecturas én , buSca ,de su fundarnento. Aclarar el lenguajefeliminar c1erta
de . sobré-earta de terminología (7) Terter infornlación poltica'aclecuada (9)
fórZaWligene- De mos tt ar gran-comprensiOn del area
rar sus propios datos apropiados en las cuestiones de politica Como clIjo un m iem- Usar cartas y diaposIt1vas (6) política én el CongreSp . (4) •
bro, Sintetizar hallazgos disponibles (4)
Cuestio nes y los Presentar datos ' en forma correcta (4)
;.:. V. ó1011? a n*.eras rnenciónadas repétida- Hacer disponsiile la información
rnersté -pictj.1. 10 :pil 0- 0,9n511:driáte:s1.1til; analisra de . pOlítica pára Usar ejemplos de resultados (4) apropiada mediante el proceso
lá AsSistártt Sedrétaky..lif-edulatibii'
. ,.(lIclItarría . :d ‘ 1:édueaCión asistida) y una de las legislativo (3). ' "- ,
füerites de información politica más importantes comparo el prociesopolífto con Hacer recomendaclones concretas (3)
un:treti en movimiento 0 Ella sugiere que quienes proporcionan información ile-
nen la - o1;, !ígájCiilirl046i¡deov 7éttici0 político yreunirlo ensus prOplos térrnirioSi, Proporcionar referencias a mayor
deaveriguaélón.l.o.éial. información (3)
Bertarti. .,CárP:.cliplitad6. ..'t4dirédfót:'dé. 114 ::p-Olíti .4:doti.11stíCa . Cle . la Casa Blanca y éx
ayudante clel+iké . PréSiderité..: 14 .0411-:,:oáido Isté erá senadór,--01,0,;qtrie...`-tódás;las índice de datos (1)
in.cOnfiahley no , adecitada PoIllicarnéh-
te7„5.4s coriientailOs.lqw .réfiéjarpir iir' arl-plde los miemhros -entrevistados, por CredIbilidad (22)
definitivas1; O "de-cada
hallazgo exIste:únó . hlbativ.' o;lá invéstigad6n -edúcatíVa rará.vez se puedé Desarrollar relaciones directas con los miembros antes y durante la rílización
car y existen pocos lineamientos que puedan aplicarse Para valorar jos Productos del estudio..(13) •
,
de la lías proYectos evaluatiV&I-"mien- Tener fue'nieá-eon uría reputación fuerte (5)
ten"-;perkégriZrecOrí,lidér.4:19......óbtill6.1.1: Tener información rnás segura y sm sesgo (3)
tákamti .o.d 1 ño.entré Cádátlpo No tener resultados sobrecautelosos (1)
rara : vez se hacán:Pót..1Os
si las eValnacióneS del proyecto se Nota: menclonan los tlempos entre paréntis.
te.en la .Corhuniclad entera de -
vén cornO.fabrida . " '
guación--edittátl Fuente: Adat t do con ant,nzación, de H. Florto, Michci M. Viel-urnann y Nane
Aurs cy4p4:0;.: ,4::Ipliellgációki:: .0q:19 .410 . ádécuadá se PréSente a tiérnpo para Vhat Do Pollcy. Makers Think of Evahiation Reseárch EVahlat/0/1 9 OT Do Thet?, en Eduwtional Epa-
sé quejan de,:tener."deinastada luatIon cand PólicjiAnalysts, VOL 1, eriérp. . 0 , 1979 j. . págs. 61-87.
reUnirse, •al
es-tán - empacadós deficienterneti-
te 7 ,contienen mucha terminología ...j.4V.;1111yspp "autósIrvients"..VariOs tniembrps
dijerólvquellis írni.ls .trgádo,rél-és.c .libeh'150.0:liós InvestigadO r és y rata, Vez, exdéPlo
en 1 6 s. . es. f.engUajé las audi.enclalde
qüienes tornan.las. 4eilioél'éri:el . PrOC4O. ..19gISrati. vo..Unfénia que cléstaca niuChas
de estas OljáérV4ictines: •es. :et 11:490 .. .1#7:cOrtighldad . Investigadota y la . de eValuación EPÍLOGO
tienen 'el conocimient necesario y la infoihiación disponible Esto indica qué exiSte
menos "qUel"Clatnprendlirilentó.: dare, ;: d e - ';la limitacióii en las _ cOntilbisciones
. s que se
de la averiguación comunitaria educatil-ra. Existen muchas razones para esperar que continúe el apoyo a las actividades
Pueden - kácet;p0
- evaluativas. Primera, los tomadores de decisiones, los planificadores, los equipos
de trabajo y los grupos objetivo participantes han aumentado con un sentido
común escéptico y una sabiduría convencional, así como con suficientes bases
sobre las cuales diseñar los programas sociales con que se lograrán sus metas
intentadas. Múltiples esfuerzos para resolver los problemas presentados por el
crecimiento explosivo de la población, la mala distribución de los recursos en las
sociedades y entre ellas, el descontento popular, el incremento de delitos, las conti-
272 CAP. 9. CONTEXTO DE LA INVESTIGACIÓN EVALUAT1VA
nuas deficiencias educativas entre adultos y niños, los índices tan altos de alcoholis-
mo y drogadicción, y la aparente debilitación de instituciones tradicionales como la
familia, han permitido el enfrentamiento de estos problemas difíciles y obstinados.
A su vez, este escepticismo ha permitido a los políticos y tomadores de decisiones
aprender más y rápido respecto de sus problemas y errores, y a capitalizar más
rápidamente las medidas efectivas. Encontrar una evaluación es expresar que el
escepticismo, o por lo menos el estado que implica que un programa propuesto,
puede no ser tan efectivo en su respuesta como se esperaba.
Una razón principal secundaria en el crecimiento de la investigación evalua-
tiva ha sido el desarrollo del conocimiento y de procedimientos técnicos en las
cienCias sociales. La depuración de los procedimientos de las investigaciones de
,muestras ha proporcionado un método importante de acopio de información.
' üando se ajus-ten a métodos_ más tradicionales en forma de experimentos de
C
campo, tales procedimientós- se -convertirámecTios eficaces de probar los
prograt—ai -s-sociale-17Los avances en la medición, la teoría estadística y el conoci-
miento sustantivo de las ciencias sociales se ha acoplado también con el fin de
habilitar a los científicos sociales para adquirir habilidades especiales en la inves-
tigación evaluativa.
Finalmente, existen cambios en el clima social y político en la actualidad. Cabe
insistir en que los problemas comunales, sociales y personales no son característi-
cas fijas de la condición humana, sino que están sujetos a cambio y disminución
mediante la reconstrucción de las instituciones sociales. Creemos, más que nues-
tros antecesores, que las sociedades pueden mejorar y que muchas personas
podrán progresar si desaparecen las desventajas y privaciones existentes. Al mis-
mo tiempo, casi mundialmente, se afrontan recursos muy limitados de salud, bie-
nestar social y otros problemas sociales. Se intenta alejar la inflación, argumentos
contra la violencia doméstica e internacional, y se cree en la "reconstrucción
moral" que diminuirá las necesidades de programas comunales, aunque sería
catastrófico creer que estas "acciones" resolverán todos los problemas.
Los pronósticos son difíciles, a corto plazo por lo menos, cuando se contem-
plan las variedades y el número de intereses que requieren acción urgente, y los
niveles de recursos que se pueden enfocar para disminuirlos y contratarlos. Será
muy difícil saber cuáles problemas afrontar primero y cuáles programas ejecutar
para resolverlos. Nuestra posición es clara: las evaluaciones sistemáticas son inva-
luables en los esfuerzos actuales y futuros por mejorar a toda la humanidad.
Bibliografía
Abt Associates, An Overview of the Experimental Housing Allowance Program Demand
Experiments, Abt Associates, Cambridge, Massachusetts, 1977.
Abt, C. C., "The Public Good, the Private Good, and the Government Good in the Evalua-
tion of Social Programs: How Inept Gobernment Requierements Increase Costs and
Reduce Effectiveness," en Evaluation Quarterly, núm. 2, noviembre de 1978, págs.
620-630.
Adams, B. y B. Sherman, "Sunset Implementation: A Positive Partnership to Make
Government Work,' en Public Administration Review, núm. 36, enero-febrero de
1978, págs, 78-81.
Armor, D. J J. M. Pouch, y H. B. Stambul, Alcoholism and Treatment, Rand Corpora-
tion, Santa Monica, California, 1976.
Augustin, M. S., E. Stevens, y D. Hicks, "An Evaluation of the Effectiveness of a Children
and Youth Project." en Health Services Report, núm. 88, diciembre de 1973, págs.
942-946.
Barnouw, B. S. y G. G. Cain, "A Reanalysis of the Effect of Head Start on Cognitive Deve-
lopment: Methodology and Empirical Findings," en Journal of Human Resource,
núm. 12, primavera de 1977, págs. 177-197.
Barnouw, B. S., G. G. Cain, y A. Goldberger, "Issues in the Analysis of Selectivity Bias,"
en E. W. Stromsdorfer y G. Farkas (dirs.) Evaluation Studies Review Annual, vol. 5,
Sage Publications, Beverly Hills, California, 1980.
Bennett, C. A. y A. A. Lumsdaine, Evaluation and Experiment, Academic, Nueva York,
1975.
Berk, R. A., T. Cooley, C.J. La Civita, y K. Sredl, Saving Water: Lessons in Conservation
from the Great California Drought, 1976-1977, Abt Books, Cambridge, Massachu-
setts, 1981.
Berk, R. A., y P. H. Rossi, "Doing Good or Worse: Evaluation Research Politically Re-
Examined," en Social Problems, núm. 23, febrero de 1976, págs. 337-349.
Bernstein, I. N. y H. E. Freeman, Academic and Entrepreneurial Research, Russell Sage,
Nueva York, 1975.
Blalock, H. M., Jr. y A. Blalock (dirs.), Methodology in Social Research, McGraw-Hill,
Nueva York, 1968.
Bogart, L. (dir.), Social Research and the Desegregation of the United States Army,
Markham, Chicago, 1969.
Bohrnstedt, G. W., "Reliability and Validity Assessment in Attitude Measurement," en G.
273
 índice analítico
Academia Nacional de Ciencia, 6
Acceso, 116-117
a los indicadores, 93-94
a los porcentajes, 92
al foro comunitario, 91
al informante clave, 88-90
definición, 116
estrategia de, 99
Acción
fundamentación para la, 36-37
hipótesis de, 50-51
Aceptación por parte del objeto, 53
Acopio de datos, 149
Actividades de evaluación, 69-70 c
Administración para la Seguridad Social,
146
Administrador del Sistema, 116
Adopción de la innovación, 156
Agencia(s)
de Desarrollo Internacional, 6
de salud mental, 79-80
secundarias relacionadas, 79-80
Agente del sistema, 116
Ajustes estadísticos sucesivos, 189-192
Alternativas de observación política, 237
Análisis
costo-beneficio, 12, 31, 221, 224-226
componentes, 226-227
ex ante, 222, 235
ex post, 222, 235, 241
metodología, 229-241
costo-efectividad, 12, 31, 222, 224-
226, 241-245
de beneficencia privada, 230
de eficacia, 224-226
de la ubicación del recurso, 223-229
de series de tiempo, 151-152, 203
de programas de cobertura total, 206
político, 21
origen, 22-23
y conceptualización del diseño, 11-12
Aplicabilidad, 220
Aplicación, sistema de, 12
Áreas estadísticas estándares metropolita-
nas (AEEM), 93-94
Atenuación debida a la no confiabilidad,
160
Autoselección, 140, 180
Azar, muestreo al, 167
Behavioral Research and Evaluation Cor-
poration (BREC), 81
Beneficio(s), 221, 226
costo, análisis, 12, 31, 221-222, 224-
227, 229-241
costo por, 224
medición de los, 235-237
netos, 222
y costos, comparación, 228-229
Cambios endógenos, 139
Capital, costos del, 239
Causalidad, 137
Censo(s), 93-94
decenal, 93
definición, 95
e investigaciones, 95
287
288 INDICE ANALtrico
INDICEANALITICO 289

Centro Nacional de Investigación y Servi- construidos, 145, 149-150, 179-181 Diagnóstico

espectro, 145, 153-154, 203, 212-220 de utilización, 266
cios para la Salud, 6, 117 de las evaluaciones, 97-98
estadístico(s), 145, 162 del proceso, 99
Centros de Control de Enfermedades, 6 procedimientos de, 71-98
uso del, 193-197 explicativos, 64-66
Ciencia política, 21 Direcciones maduracionales, 205
complementario, 200-202 formativos, 54-56
Cliente, evolución del, 116 Diseño(s)
genéricos, 145, 153-154, 203, 210-211 no aleatorios, 179
Cobertura conceptualización y análisis del, 11-12
grupos, 161, 163, 179-181, 186-188 seccionales cruzados, 161, 197-200
baja, 105 de intercambios, 202
reflexivos, 145, 204-210 Evaluabilidad, valoración de la, 61-63
contabilidad de la, 101 de observación, 149
Costo(s), 221, 226 Evaluación(es), 11-40. Véase también
definición, 99, 103 de regresión discontinua, 198
beneficio, análisis, 12, 31, 221-222, Investigación evaluativa
del programa, 100 longitudinales, 149
224-227, 229-241 actividades de, 69-70 c
eficacia de la, 105 y desarrollo del programa, 49-53
de oportunidad, 222, 226 consideraciones, 2433
excesiva, 105 Distribución, 238
del capital, 239 de la repercusión, 12
medición de la, 105 Divulgación, 258-260
efectividad, análisis, 12, 31, 222, 224- estrategias para la, 135
parcial, 145-146, 161
226, 241-245 de la utilidad del programa, 12
total, 145-146, 161 Efectividad-costo, análisis, 12, 31, 222,
estudios de la eficacia del, 224 de programas establecidos, 35, 58-66
224-226, 241-245 del refinamiento, 34
posteriores, 152 medición de los, 235-237 Efecto(s)
por beneficio, 224 diagnóstico de las, 97-98
previos, 152 de desplazamiento, 238
y beneficios, comparación, 228-229 e intervenciones, 72-73
programas de, 206 de vacío, 238
Costumbres sociales, 20-21 elementos, 25-33
y desviación, 103-105 del método, 141
"Cumplimiento ritual", 114 entrecruzadas, 65
Comparabilidad, 166-179 del placebo. Véase Efecto Hawthorne externas, 65
Comparación estocásticos, 135, 142
Children's Television liVorkshop, 110 integración de las, 41-70
entre los sitios, 132 neto, 166 integral, 11, 25
grupos de, 165 estimado, 193 internas, 65
Comprehensive Employment Training Act Datos resultantes
acopio de, 149 objetivo, 15
(CETA), 13 brutos, 135
cualitativos, 154 políticas, 38-39
Computadora, 49 netos, 135
cuantitativos, 154 programas de, 13-14
Comunicación de masas, experimentos en, Efecto Hawthorne, 15, 143
de los participantes en el programa, 129 resultados de la, 248
17-18 Eficacia
Comunidad, investigación de la, 110 del proveedor de servicios, 128-129 generalización de los, 251-253
de la cobertura, 105 sistemáticas, 15
Conceptualización y análisis del diseño, del registro de servicios, 125-128 del costo, 224
guía de, 124 uso de las, 35-39
11-12 medición de la, 221-246
Decisión de continuar o no continuar, 36 valoración de la, 41
Confiabilidad, 135, 142 valoración de la, 31-33
Conformidad del programa, 132 Demanda y población con necesidades, y programas, 69-70
Enfermedad de Tay Sacs, 54 Evaluation Research Society, 19
Confusión, factores de, 135, 138 71, 88 Entrega, servicios de, 99
Departamento Eventos de interferencia, 140, 205
Congruencia Equiparación. Véase Igualación
ilitación y Desarrollo Urbano, 6 Evolución del cliente, 116
con el uso, 155 Equivalencia probabilística, 146
con las medidas alternas, 156 de Justicia, 12, 92 Experimental Housing Allowance Proyect,
Error(es) 78
interna, 156 de Rehabilitación, 6 de especificación, 197-198 Experimentos
Construcción de la validez, 155 de Salud, Educación y Bienestar Social, en la medida, 141-142 aleatorios, 175-176
Contabilidad 172 Esfuerzo de modificación, 34
de Salud y Servicios Humanos, 44 complejos, 176
comunal, 230-233 Espacio político, 52, 177
de Trabajo, 6, 13, 111 "verdaderos", 148
de la cobertura, 101 Especialización de los servicios, 117
del patrocinador del programa, 230 Depuración de programas establecidos, en-comunicación de masas, 17-18
Especificación no aleatorios, 149-150
del programa, 101-102 66-69 de objetivos, 46-47
del servicio de entrega, 101 Desarrollo y diseño del programa, 49-53 Expertos, juicios de los, 213-216
de poblaciones objeto, 75-81 Exploración del programa, 61
fiscal, 101 Descripción del proyecto, 132 errores de, 197-198
individual, 229 Descuento, 222, 228, 239-241 Esquema de proporción estructurada, 125
legal. 102 rango de, 239 Establecimiento de objetivos, 47-48
perspectivas de la, 221, 229-234 Desplazamiento, efecto de, 238 Factibilidad del modelo de repercusión,
Estadística bayesiana, 48 51-52
y monitoreo del programa, 99-133 Desviación, 99 Estimación econométrica, 236 Factores
Control(es) definición, 103 Estudios combinados, 138
aleatorios, 145, 177-179 y cobertura, 103-105 de la cobertura total, 152 extraños, 138-141

290 INDICE ANALÍTICO INDICE ANAUTICO 291

de confusión, 135, 138 Interés, rango de, 239-240 Mercado, valuaciones de, 236 Oficina de la Secretaría de Salud y Servi-
enmascarados, 143 Interferencia, eventos de, 140, 205 Metas de la intervención, 258 cios Humanos, 6
Federal Bureau of Investigation (FBI), 92 Intervención(es), 12 Método(s) Oficina de Oportunidad Económica, 115,
Federal Freedom of Information Act, 21 hopótesis de, 50 complejos multivariados, 193 172
Feeling Good, 110 metas de, 258 de valoración, 237 Oficina Federal de Investigación, 92
Formas de las tomas de decisiones, 36 necesarias, 73-81 efectos del, 141 Operacionalidad, procesos de, 50
Fórmula para valorar la repercusión, social, programas de, 11 narrativo, 124 Oportunidad, costos de, 222, 226
142-143 y evaluaciones, 72-73 Modelo(s) de repercusión, 41, 49 Organización Panamericana para la Salud, 6
Fuentes de hipótesis, 51 y resultados, 137-138 definición, 49
Fundación Investigación(es) elementos, 49-51 Perspectiva(s)
Ford, 6 de la comunidad, 110 factibilidad del, 51-52 de la contabilidad, 221, 229-234
Nacional de Ciencia, 6 de la muestra, 95-97 manipulabilidad del, 51-52 de la evaluabilidad, 60-61
Robert Wood Johnson, 6, 39 definición, 95 Modificación Planeación, 41-44
Russell Sage, 6 definición, 71 de objetivos, 46 Plática(s), 11-41
Fundamentación para la acción, 36-37 formativa, 12 esfuerzo de, 34 Plaza Sésamo, 12, 38, 104, 110, 169-
en Plaza Sésamo, 55 Monitoreo, 12, 122-132 171, 253
Gobierno, 116 seccionales cruzadas, 151, 188 de la puesta en marcha, 100 investigación formativa en, 55
Grupos social, 15-17 de los servicios de entrega, 112-122 Población(es)
cívicos, 79-80 "reglas" de la, 15 de(1) programa(s) con necesidades, 71, 88
comunitarios, 79-80 y censos, 95 de alimentación gratuita, 27-28 y demanda, 82-84
control, 161, 163 Investigación evaluativa, 13-40. Véase y contabilidad, 99-133 objeto, 12, 82, 88, 93-94
construidos, 161, 179-181 también Evaluación retroalimentación desde el, 132-133 definición, 74
selección de, 186-188 clases, 25 usos, 100-101 directas, 74,75
estadísticos, 188-202 contexto de la, 247-272 Muestra, investigación de la, 95-97 especificación de las, 75-81
de comparación, 165 definición, 11, 14 Muestreo al azar, 167 indirectas, 74-75
experimentales, 161, 163 estado actual, 24 límites de la, 77
Guía de datos, 124 historia, 15-24 Necesidad(es) selección de, 52, 103
mecanismo de revisión de, 116 y cobertura del programa, 102-112
Hipótesis Juicios de los expertos, 213-216 medición de, 71 servida, 116
valoración de la, 74, 79-81 Poder
causal, 49-50 del resultado, 247
de acción, 50-51 Legitimidad, 37-38 New Deal, 16
de intervención, 50 Leyes sunset, 23 No confiabilidad, 142 estadístico, 247
fuentes de, 51 "Línea base", 224 atenuación debida a la, 160 Porcentaje. Véase Rango
Línea de pobreza, 75-77 "Positivos falsos", 87
Precios
Identificación de objetivos, 44 Objetivo(s), 41 contables, 237
Igualación, 161, 181 Maduración, tendencias de, 140 absoluto, 45
agregada, 181-186 Manipulabilidad del modelo de repercu- espectro, 222, 237
especificación de, 46-47 Predominio, 71, 84
individual, 181-186 sión, 51-52 establecimiento de, 47-48
Incidencia, 71, 84 Masas, experimentos en comunicación de, Prestigio, valoración del, 68
identificación de, 44 Problema
Inclusión 17-18 modificación de, 46
deficiente, 87-88 Mayoría comunitaria, 79-80 por resolver, 12
relativos, 45 social, 25
excesiva, 87 Mecanismo de revisión de necesidades, 116 y resultados, 67
Indicadores, 71 Medición Procedimientos de diagnóstico, 71-98
Objeto ejemplos de, 72-73
Individuos con riesgos altos, 79 de la cobertura, 105 aceptación por parte del, 53
Información, sistemas de, 116 de la eficacia, 221-246 Proceso(s)
directo, 52 de operacionalidad, 50
Iniciativa, 66 de los costos y los beneficios, 235-237 indirecto, 52
Innovación de necesidades, 71 estocásticos, 142
Observación estudios del, 99
adopción de la, 156 monetaria, 236 diseños de, 149
programas de, 11 Medida(s) Programa(s), 11-41
política, 237 cobertura del, 100
Instituto Nacional de Justicia, 6 alternas, congruencia con las, 156 sistemática, 122-125
Instituto Nacional de Salud Mental, 6 aproximadas, 135, 157-158 y población objeto, 102-112
formas de, 124-125 con cobertura parcial, 163
Integración de las evaluaciones, 41-70 de los resultados, 155, 158 Oficina de Información de Guerra, 16
Intercambios, diseño de, 202 error en la, 141-142 conformidad del, 132

292 ÍNDICE ANALÍTICO INDICE ANALITICO 293

contabilidad del, 101-102 Reglas de la investigación social, 15 nivel de, 249-251 Uso
de cobertura total, análisis de series de Regresión política, 247, 251 conceptual, 266
tiempo de, 206 discontinua, diseños de, 198 problema de la, 253-255 congruencia con el, 155
de evaluación, 13-14 hacia la media, 185 Simulaciones del programa, 56-58 de registro de servicios, 126
de innovación, 11 Remisión espontánea, 139 Sistema del control estadístico, 193-197
de intervención social, 11 Renovación urbana, programa de, 81 administrador del, 116 complementario, 200-202
de renovación urbana, 81 Repercusión agente del, 116 del monitoreo, 100-101
descripción del, 61 evaluación de la, 12, 135 de aplicación, 12 Utilización
diseño y desarrollo del, 49-53 fórmulas para valorar la, 142-143 de entrega estudios de, 266
efectividad del, 29, 223-224 modelos de, 41, 49 - conceptos del, 115 máxima, 268-271
elementos del, 99, 117-122 Replanificación del programa y rediseño, contaminantes del, 144 tipos de, 266-267
establecidos 68-69 definición, 116 variables de la, 267-268
depuración de, 66-69 Reporte Coleman, 200 diseño del, 53 Utilizadores del programa, 111
evaluación de, 35, 58-66 Responsabilidad elementos, 53
evaluable, 61 fiscal, 64 de información, 116 Vacío, efecto de, 238
exploración del, 61 legal, 64 de manejo de información (SMI), 41 Validez
innovadores Resultado(s) elementos, 116 construcción de la, 15
características, 33-34 brutos, 138, 142 Sitios, comparación entre los, 132 externa, 247, 251-252
evaluación de, 33, 43 valoración de los, 138-144 Sociedad de investigación evaluativa, 19 interna, 247, 251-252
monitoreo del, y contabilidad, 99-133 de la evaluación, 248, 251-253 Sociedad del Hospital Luterano del Sur de Valoración(es)
objetivos del, 82-85 e intervención, 137-138 California, 6 de la eficacia, 31-33
participantes en el, datos de los, 129 netos, 138, 226 Sorteo, 162, 166 de la evaluabilidad, 61-63
personal del, 61 poder del, 247 procedimientos, 167-173 de la evaluación, 41
proceso del, 100 y objetivos, 67 significado del, 167 de la(s) necesidad(es)
producción del, 100 Retorno de la juventud, 81
repercusión del, 29 neto. Véase Beneficios netos "Tablas falsas", 57-58 de salud mental voluntaria, 79-80
replanificación del, y rediseño, 68-69 rango interno de, 222, 241 Técnica de la repercusión, 29-30, 104, 144-154,
selección de los, 85-88 Retroalimentación desde el monitoreo, del foro, 91 161-200, 203-220
simulaciones del, 56-58 132-133 pantalla, 82 de la utilidad del programa, 29
utilidad del Revisión de necesidades, mecanismo de, 116 Tendencias de maduración, 140 de los resultados brutos, 138-144
evaluación de la, 12 Riesgos altos, individuos con, 79 Tiempo, series de, 94 del prestigio, 68
valoración de la, 29 Tomas de decisiones, formas de las, 36 métodos de, 237
utilizadores del, 111 Sage Publications, 6 Tratamiento previa. Véase Evaluabilidad
y evaluaciones, 69 Salud mental, agencias de, 79-80 incorrecto, 114 Valuaciones de mercado, 236
Programa de Acción Comunitario, 115 Selección no estandarizado, 115 Variables de la utilización, 267-268
Proporción estructurada, esquema de, 125 con sesgo, 174 Variación natural, 146
Proposición 13 de California, 23 de poblaciones objeto, 52, 103 Ubicación del recurso, análisis de la, 223- Verbo "fuerte", 46
Proyecto, descripción del, 132 sin sesgo, 174 229 Verificación. Véase Monitoreo
Proyecto Head Start, 115, 151 Series de tiempo, 94 UNESCO, 5 Vertiente secular, 139
Prueba de Tay Sacs, 54 Servicio(s) Unidades de Servicio, 117
Puesta en marcha, monitoreo de la, 100 de entrega, 99 U. S. Department of Labor, 13 Western Electric, 15
contabilidad del, 101
Rango, 71, 85, 221 monitoreo de los, 112-122
de descuento, 239 especialización de los, 117
de interés, 239-240 humanitarios, 20-21
interno de retorno, 222-241 proveedor de, datos del, 128-129
Recurso, análisis de la ubicación del, 223-229 registro de,
Rediseño y replanificación del programa, datos del, 125-128
68-69 uso de, 126
Refinamiento, evaluación del, 34 unidad de, 117
Registro de servicios Sesame Street. Véase Plaza Sésamo
datos del, 125-128 Significación
uso de, 126 estadística, 247