Ballart - CÓMO EVALUAR PROGRAMAS Y SERVICIOS PÚBLICOS

Ministerio
para las
Administraciones
Pblicas
Coleccin
E s t u d i o s
COMO EVALUAR PROGRAMAS Y
SERVICIOS PUBLICaS? Aproximacin
sistemtica y estudios de caso es un
escaln ms en la labor emprendida por
el INAP para facil itar al lector espaol un
conjunto de textos que posi bi l i t en la
mejora de la gestin pblica.
La obra permi ti r adentrarnos en el
mundo de la evaluacin, de larga
t r adi ci n en otros contextos, de manera
sencilla y con vol untad de convertir sus
pginas en un valioso i nst rument o de
consulta.
o
o
Q- S
C m o evaluar program as y
servi c i os pbli c os?
A prox i m ac i n si stem ti c a y e s t u d i os de caso
II
c
i_ O
re u
-2 i
-o
o
o
X avier Ballart
Serie
Administracin
Ministerio para las Administraciones Pblicas
Instituto Nacional de Administracin Pblica
P .V.P . 2.300
(IVA INC
COMO EVALUAR PROGRAMAS y
SERVICIOS PUBLICaS?
Aproximacin sistemtica y estudios de caso
Xavier Ballart
SERVICIOS PUBLICaS?
Aproximacin sistemtica y estudios de caso
MINISTERIO PARA LAS ADMINISTRACIONES PUBLICAS
MADRID
1992
Coleccin: ESTUDIOS
Primera edicin: Mayo 1992
Edita:
MINISTERIO PARA LAS ADMINISTRACIONES PUBLICAS
Secretara General Tcnica
NIPO: 329-92-007-9
ISBN: 84-7088-623-1
Depsito Legal: M. 17274-1992
Fotocomposicin e Impresin: Grficas Banelly, S.A.
INDICE
. Prlogo........................................................................................................ 21
Introduccin......................................................................... ......... ....... ...... 25
PRIMERA PARTE
CAPITULO 1
MARCO TEORICO. ADMINISTRACION PUBLICA,
ANALISIS y EVALUACION DE POLITICAS PUBLICAS................ 35
1. INTRODUCCION 37
2. ADMINISTRACION PUBLICA E INVESTIGACION 37
A. EL ESTUDIO DE LA ADMINISTRACION PUBLICA:
SINTESIS DE ORIENTACIONES 37
a. La tradicin norteamericana.. 37
b. La tradicin europea 42
B. EL ANALISIS DE POLITICAS PUBLICAS COMO
MARCO TEORICO DE REFERENCIA 43
a. Conceptos bsicos 43
b. Diferencias entre anlisis y evaluacin 46
c. El carcter amenazante de la evaluacin........................... 46
CAPITULO 11
GENESIS y ESTRUCTURA DE LA EVALUACION EN UNA
PERSPECTIVA COMPARADA.............................................................. 51
1. INTRODUCCION 53
2. ORIGENES y SISTEMATIZACION DE LA EVALUACION
EN LOS ESTADOS UNIDOS 53
A. CRECIMIENTO DE LOS PROGRAMAS SOCIALES 53
7
COMO EVALUAR PROGRAMAS y SERVICIOS PUBLICaS?
B. REFORMA PRESUPUESTARIA............................................ 54
C. SISTEMATIZACION DE LA EVALUACION........................ 55
3. DESARROLLO DE LA EVALUACION EN OTROS PAISES.. 57
A. FACTORES DETERMINANTES 58
B. PAUTAS DE INSTITUCIONALIZACION 59
a. A Nivel Parlamentario 59
b. A Nivel Ejecutivo 60
c. Centralizacin-Descentralizacin 61
4. CONDICIONANTES Y TENDENCIAS EN EL CASO
ESPAOL 63
A. CRECIMIENTO Y REFORMAS TARDIAS........................... 63
B. CONSTATACION DE UNA DEMANDA EFECTIVA 65
CAPITULO 111
CONCEPTO, CLASES, PROPOSITOS, INTERESES y
CRITERIOS DE EVALUACION 69
1. CONCEPTO.................................................................................. 71
A. AMPLIACION PROGRESIVA DEL AMBITO DE LA
EVALUACION......................................................................... 71
B. CONCEPTO AMPLIO DE EVALUACION DE
PROGRAMAS.......................................................................... 73
C. DIFERENCIAS ENTRE EVALUACION DE
PROGRAMAS Y CONTROL ADMINISTRATIVO............... 74
2. CLASES DE EVALUACION....................................................... 75
A. CLASIFICACION POR FASES............................................... 76
a. Evaluacin de la Conceptualizacin y del Diseo de
los Programas 76
b. Evaluacin de la Implementacin de los Programas 76
c. Evaluacin de la Eficacia o Impacto de los Programas 77
d. Evaluacin de la Eficiencia de los Programas 77
B. OTRAS CLASIFICACIONES 79
a. Evaluacin Formativa - Evaluacin Conclusiva................ 79
b. Evaluacin Descriptiva - Evaluacin Analtica 80
c. Evaluacin Interna - Evaluacin Externa 80
d. Metaevaluacin........................................ ........................... 81
3. PROPOSITOS............................................................................... 82
A. PROPOSITOS ABIERTOS 82
B. PROPOSITOS ENCUBIERTOS 83
8
INmCE
4. INTERESES Y CRITERIOS 84
A. MULTIPLICIDAD DE INTERESES 84
B. EVALUACION, CONFORME A QUE CRITERIOS? 85
a. Los Valores e Intereses de los Actores 85
b. Los Objetivos del Programa 86
c. Los Objetivos Tericos de la Intervencin Pblica 87
C. OTROS CRITERIOS ALTERNATIVOS 88
SEGUNDA PARTE
CAPITULO IV
LA EVALUACION CLASICA POR OBJETIVOS 93
1. INTRODUCCION 95
2. IDENTIFICACION, ESPECIFICACION y MEDIDA DE
OBJETIVOS.................................................................................. 95
A. OBJETIVOS GENERALES, ABSTRACTOS,
CONFUSOS Y RETORICOS................................................... 96
B. ESPECIFICACION DE OBJETIVOS...................................... 97
a. Ordenacin de los Objetivos............................................... 98
b. Multiplicidad de Objetivos 101
c. Consecuencias y Efectos No Anticipados 101
C. INDICADORES DE RESULTADOS 101
a. Seleccin de Variables 101
b. Fuentes de Datos 103
3. DESCRIPCION DEL PROGRAMA:
EVALUACION DE LA IMPLEMENTACION.......................... 106
A. INPUTS, ACTIVIDADES y ORGANIZACION
DEL PROGRAMA.. 107
B. EVALUACION DE LA IMPLEMENTACION 107
a. Poblacin Servida............................................................... 108
b. Problemas Generados por la Propia Organizacin 110
c. Servicios Prestados 111
4. MEDIDA DE RESULTADOS:
EVALUACION DE IMPACTO 112
A. INTRODUCCION 112
B. LA CUESTION DE LA VALIDEZ 113
9
a. Causalidad y Validez 113
b. Amenazas a la Validez Interna............................................ 114
c. Amenazas a la Validez Externa........................................... 117
C. DISEOS DE INVESTIGACION 118
a. Diseos Experimentales...................................................... 118
b. Diseos Cuasiexperimentales 119
c. Diseos No Experimentales 124
ANEXO AL CAPITULO IV
EJEMPLOS DE EVALUACIONES DE ACUERDO CON EL
PARADIGMA CIENTIFICO-CLASICO 127
1. EXPERIMENTOS 129
A. EL MAYOR EXPERIMENTO DE RENTAS MINIMAS E
IMPUESTO NEGATIVO: EL SEATTLE-DENVER
INCOME MAINTENANCE EXPERIMENT 129
B. EL EXPERIMENTO DE LOS BONOS DE VIVIENDA 132
2. CUASIEXPERIMENTOS 135
A. UN CASO DE SERIES TEMPORALES MULTIPLES:
LA EVALUACION DEL SUPPLEMENTAL SECURITY
INCOME................................................................................. 135
B. UN CASO DE PRE-TEST/pOST-TEST CON GRUPO DE
COMPARACION: LA EVALUACION DE
PROGRAMAS DE AHORRO ENERGETICO 137
C. UN CASO DE DISEO DE DISCONTINUIDAD EN
LA REGRESION: LA EVALUACION DE LOS
CERTIFICATES OF MERIT 140
3. NO EXPERIMENTALES 142
A. UN CASO DE EVALUACION NO EXPERIMENTAL:
LA EVALUACION DE PROGRAMAS DE AHORRO
ENERGETICO 142
CAPITULO V
LA EVALUACION PLURALISTA 143
1. INTRODUCCION 147
2. PROBLEMAS CON LA EVALUACION CLASICA POR
OBJETIVOS ,......................................... 147
10
INDICE
A. PROBLEMAS DE APLICACION 147
B. PROBLEMAS DE UTILIZACION.......................................... 149
3. EVALUACION PLURALISTA 151
A. DIMENSION POLITICA DE LA EVALUACION 151
B. NUEVAS DEMANDAS SOBRE LA EVALUACION 153
C. DESARROLLO DE UN MODELO PLURALISTA................ 153
a. Evaluacin Mltiple 153
b. Evaluacin Util.................................................. ................. 154
c. Evaluador-Mediador ;...... 155
D. MODELOS ESPECIFICOS QUE FUNDAMENTAN EL
ENFOQUE PLURALISTA....................................................... 155
a. Evaluacin Libre de Objetivos 156
b. Evaluacin Naturalista 157
c. Evaluacin Orientada a la Utilizacin............................... 158
4. LIMITACIONES DE LA EVALUACION PLURALISTA....... 160
TERCERA PARTE
PRESENTACION DE LOS ESTUDIOS DE CASO 165
CAPITULO VI
EL CASO DEL PLAN INTEGRAL DE ROQUETES 169
1. INTRODUCCION 171
2. DESCRIPCION DEL CASO 172
A. ANTECEDENTES: LOS ACTORES 172
a. Entidades y Asociaciones de Vecinos 172
b. El Consejo Municipal del Distrito de Nou Barris 173
c. El Area de Desarrollo Econmico-Social........................... 173
d. El Centro de Estudios y Documentacin Nou Barris 175
B. LA NEGOCIACION 176
a. Restriccin del Ambito del Programa: de Nou Barris
a Roquetes 176
b. Primeros Conflictos con los Vecinos 177
c. Eleccin de los Directores 178
C. DELIMITACION PROGRESIVA DEL PROGRAMA............ 179
a. La Rehabilitacin de un Edificio como Carta de
Presentacin 179
11
b. Formacin de Grupos de Trabajo con los Vecinos 179
c. Adopcin de un Programa Amplio de Objetivos
Generales............................................................................ 180
D. ESTRUCTURA ORGANIZACIONAL y SERVICIOS 181
a. Capacidad de Decisin de los Directores 181
b. Estructura Organizacional del PIR 182
c. Contratacin de Colaboradores Tcnicos por Areas 184
d. Resumen de los Proyectos Realizados 186
3. DISCUSION DE LA EVALUACION 188
A. CUESTIONES PLANTEADAS POR LOS DECISORES 188
B. EL MODELO DE PROGRAMA 188
a. Ambivalencia Respecto al Concepto de IntegraL 188
b. Posiciones de los Actores y Criterios de Evaluacin 189
c. Ideas Bsicas en las que se Fundamenta el Consenso 191
C. EL MODELO DE EVALUACION 191
a. Inadecuacin del Paradigma Clsico al Programa
Evaluado 191
b. Adopcin de un Enfoque Pluralista y Centrado en el
Proceso............................................................................... 193
4. IMPLICACIONES DEL ESTUDIO DE CASO PARA LA
EVALUACION 196
A. EVALUACION DE PROGRAMAS DE OBJETIVOS
AMPLIOS Y ABIERTOS 196
B. EVALUACION EN FUNCION DEL PROGRAMA
C. IMPORTANCIA DEL ANALISIS PREVIO DE 197
EVALUABILIDAD 200
CAPITULO VII
EL CASO DE LA POLICIA LOCAL 203
1. INTRODUCCION 205
2. PROBLEMAS CON LA EVALUACION POR OBJETIVOS 205
3. LA LITERATURA SOBRE EVALUACION DE
SERVICIOS POLICIALES 207
A. DISTRIBUCION DE LOS RECURSOS POLICIALES 207
a. Criterios 207
b. Mtodos 209
B. DISTRIBUCION EQUITATIVA DE LOS SERVICIOS 210
C. DISCRECIONALIDAD DE LOS AGENTES 213
12
INmCE
4. ESCALA Y ORGANIZACION DE LA POLICIA LOCAL
DE L'HOSPITALET 216
A. ALGUNAS MEDIDAS DE INPUT 216
B. ESTRUCTURA ORGANICA DEL SERVICIO 217
C. OPERACIONES DE PATRULLA Y SECTORES
POLICIALES 218
D. RESPONSABILIDAD OPERATIVA:
LA SALA DE MANDO 220
a. Informacin sobre Servicios Individuales 221
b. Memoria Anual de Actividades 222
5. FUENTES DE DATOS 223
6. ANALISIS DE LA DEMANDA DE SERVICIOS
POLICIALES 224
A. TRAFICO Y ACCIDENTES DE CIRCULACION 226
B. SERVICIOS SOCIALES 227
C. DELITOS y FALTAS 228
D. POLICIA ADMINISTRATIVA 229
E. DISTRIBUCION DE LAS DEMANDAS EN EL ESPACIO
Y EN EL TIEMPO................................................................... 230
7. EVALUACION DE LA DISTRmUCION DE LOS AGENTES .. 239
A. POR TURNOS 239
B. POR DISTRITOS 241
8. EVALUACION DE LA EFICACIA POLICIAL 242
A. PLANTEAMIENTO DEL PROBLEMA 242
B. TIEMPO DE RESPUESTA 243
a. En Funcin del Tipo de Incidente 243
b. En Funcin del Volumen de Demandas 245
c. En Funcin de la Prioridad Asignada................................ 246
C. TIEMPO DE SERVICIO 248
a. En Funcin del Tipo de Incidente 248
b. En Funcin del Volumen de Demandas 249
9. EVALUACION DE LA DISTRIBUCION DE LOS
SERVICIOS EN TERMINOS DE EQUIDAD 250
EVALUACION 251
A. EVALUACION DE SERVICIOS DE POLICIA LOCAL
CON DATOS DE LA ADMINISTRACION 251
B. EVALUACION EN FUNCION DE LA INFORMACION 252
C. UTILIDAD RELATIVA DE LAS MEDIDAS OBJETIVAS '" 253
13
14
Pg.
CONCLUSIONES 257
BIBLIOGRAFIA 265
INDICE DE FIGURAS, CUADROS YTABLAS
CUADRO 1. COLEMAN REPORT
CUADRO 2. PRINCIPALES CUESTIONES PARA CADA TIPO DE
EVALUACION
CUADRO 3. IDENTIFICACION DE OBJETIVOS: DIMENSIONES A
TENER EN CUENTA
FIGURA 1. RELACIONES ENTRE ANALISIS, EVALUACION E
INVESTIGACION BASICA
FIGURA 2. MODELO TEORICO PARA LA EVALUACION DE
PROGRAMAS
FIGURA 3. TIPOS DE EVALUACION DE PROGRAMAS
FIGURA 4. DISEO DE SERIES TEMPORALES CON GRUPO DE
COMPARACION
FIGURA 5. DISEO DE GRUPOS DE COMPARACION NO
EQUIVALENTES
FIGURA 6. DISEO DE DISCONTINUIDAD EN LA REGRESION
FIGURA 7. PLANES DE IMPUESTO NEGATIVO PROBADOS EN EL
SDIME
FIGURA 8. NUMERO DE CASOS SSI, AFDC
FIGURA 9. BENEFICIOS MENSUALES POR PARTICIPANTE SSI,
AFDC
FIGURA 10. AHORRO ENERGETICO PARA GRUPOS
EXPERIMENTALES
15
FIGURA 11. ESTUDIANTES QUE OBTIENEN BECAS
FIGURA 12. ESTUDIANTES QUE PIENSAN CONTINUAR
ESTUDIANDO
FIGURA 13. ACTITUDES RESPECTO A INTELECTUALISMO
FIGURA 14. RESULTADOS DEL ANALISIS DE REGRESION
FIGURA 15. ORGANIZACION DEL PROCESO EVALUADOR SEGUN
PATTON
PRIMER ESTUDIO DE CASO
FIGURA 1. ESTRUCTURA ORGANIZACIONAL DEL PIR
FIGURA 2. PROYECTOS REALIZADOS ENTRE 1988 Y 1990
FIGURA 3. RELACIONES ENTRE TIPO DE PROGRAMA Y
TIPO DE EVALUACION
SEGUNDO ESTUDIO DE CASO
FIGURA 1. VOLUMEN DE SERVICIOS POR HORA DEL DIA
FIGURA 2. TIEMPO DE RESPUESTA POR HORA DEL DIA
FIGURA 3. TIEMPO DE SERVICIO POR HORA DEL DIA
FIGURA 4. RELACION ENTRE NIVEL DE CONOCIMIENTO Y
TIPO DE EVALUACION
TABLA 1. BARCELONA Y L'HOSPITALET. RESUMEN DE
MEDIDAS DE INPUTS PARA 1989.
TABLA 2. ORIGEN DE LAS DEMANDAS DE SERVICIOS
TABLA 3. FRECUENCIA Y DISTRIBUCION DE LOS SERVICIOS
POR CATEGORIAS DE INCIDENTES
16
INmCE
TABLA 4. DEMANDAS POR DISTRITOS
TABLA 5. DISTRIBUCION DE LA DEMANDA GLOBAL POR
HORA DEL DIA Y DISTRITO
TABLA 6. TIEMPO DE RESPUESTA POR DISTRITO Y POR TIPO
DE DEMANDA
TABLA 7. TIEMPO DE SERVICIO POR DISTRITO Y POR TIPO DE
DEMANDA
TABLA 8. DISTRIBUCION DE AGENTES Y SERVICIOS POR
TURNOS
TABLA 9. DISTRIBUCION DE AGENTES Y SERVICIOS POR
DISTRITO
TABLA 10. TIEMPO MEDIO DE RESPUESTA POR CATEGORIAS
DE INCIDENTES
TABLA 11. TIEMPO MEDIO DE RESPUESTA POR TIPO DE
PRIORIDAD
TABLA 12. TIEMPO MEDIO DE SERVICIO POR CATEGORIAS DE
INCIDENTES
TABLA 13. CORRELACIONES DE VARIABLES DEMOGRAFICAS y
TIEMPOS DE RESPUESTA Y DE SERVICIO
17
PRINCIPALES ABREVIATURAS
ADES Area de Desarrollo Econmico-Social
AFDC Aid to Families with Dependent Children
CD9B Centro de Estudios y Documentacin Nou Barris
EEUU Estados Unidos
EHAP Experimental Housing Allowance Program
FSE Fondo Social Europeo
GAO General Accounting Office
GUH Guardia Urbana de 1'Hospitalet de Llobregat
Ibid. Ibdem
INEM Instituto Nacional de Empleo
INSS Instituto Nacional de la Seguridad Social
NJGWIE New Jersey Graduated Work Incentive Experiment
OMB
PERI
PIB
PIR
PPBS
Office of Management and Budget
Plan Especial de Reforma Interior
Producto Interior Bruto
Plan Integral Roquetes
Programming, Planning, and Budgeting System
19
RFA Repblica Federal de Alemania
RU Reino Unido
SDIME Seattle-Denver Income Maintenance Experiment
SSI Supplemental Security Income
Vid. Ver
20
PROLOGO
Todo el mundo habla de lo mal que funcionan los servicios y los progra-
mas de actuacin de las administraciones pblicas, pero nadie parece saber
muy bien lo que debera ser un buen servicio pblico. Tenemos Constitu-
cin, Estatutos y leyes que nos dicen como deberan ser las cosas, pero parece
claro que en la mayora de los casos las indicaciones normativas de esos tex-
tos son excesivamente genricas para servir de gua a la accin concreta y
tampoco sirven automticamente como vara de medir de lo ya hecho.
Este es el gran acierto de este libro: tratar de mostrar que entre ese gran
desacuerdo general sobre el modo de proceder de unos servicios pblicos pre-
vistos en las leyes y la labor diaria y abnegada de muchos servidores pblicos
que tratan de conseguir hacer realidad aquello que slo era la voluntad escrita
del legislador, es posible construir evidencias y criterios que nos indiquen qu
se ha hecho, para qu sirve y hasta qu punto se acerca o no a lo que estaba
previsto.
Evaluar implica preocuparse por los resultados, saber si se han obtenido o
no los objetivos planteados. Pero la administracin pblica, en su modelo ms
extendido (racional-burocrtico), no est pensada para preocuparse por los re-
sultados, sino por la legalidad de su actuacin. Se trata de un sistema concebi-
do ms como expresin de dominacin legal, que como productor de servi-
cios, o de intermediacin entre partes, y por ello los mecanismos de control se
dirigen ms a certificar la conformidad de la actuacin administrativa con lo
previsto normativamente que a encontrar indicadores de gestin y volumen de
resultados e impactos.
La nuevas exigencias sociales plantean la necesidad de saber qu se hace
con nuestro dinero gestionado por los poderes pblicos, para qu sirve la ac-
cin de gobierno, cmo recibir seales que nos indiquen si estamos acertando
o no. Desde este punto de vista, evaluar polticas implica conocer opiniones,
relacionar criterios de valor con resultados. Ello tiene evidentes implicaciones
para una administracin como la espaola que quiere cambiar y modernizarse:
dar a conocer grados de apoyo, modificar conductas, conocer puntos dbiles o
potencialidades, aprender del propio examen de lo realizado.
El libro de Xavier Ballart tiene el mrito de permitir adentramos en el
mundo de la evaluacin, de larga tradicin de otros contextos, de manera sen-
cilla y con voluntad de convertir sus pginas en material de consulta para
21
estudiosos, estudiantes y gestores. Tiene tambin el acierto de mostrar dos po-
sibles aplicaciones de diversos mtodos de evaluacin. Uno ms centrado en
la mejora de los procesos de implementacin de un servicio como el de la po-
lica municipal, el otro (un fruto ms del trabajo colectivo de una parte del
Equipo de Anlisis Poltico del Departamento de Ciencia Poltica y Derecho
Pblico de la Universidad Autnoma de Barcelona), de especial inters al en-
frentarse al siempre complicado mundo de las polticas sociales y hacerlo a
travs de un planteamiento evaluador de tipo pluralista que creo resulta espe-
cialmente atrayente.
Cada da que pasa esperamos ms y ms de nuestros gobernantes, pero
nuestros deseos son a menudo inconcretos y difciles de satisfacer aisladamen-
te. Al mismo tiempo, los cambios se suceden a un ritmo infrecuente, lo que
dificulta an ms el establecimiento de criterios claros de comparacin entre
aquello previsto y lo finalmente acontecido. Por todo ello, son cada vez ms
los especialistas en polticas y gestin pblica que afrontan el anlisis de los
problemas y de los programas de actuacin con afn de aprender de lo hecho
para mejorar el diseo y puesta en prctica de las diversas polticas.
No es tarea de los analistas el decir qu est bien o qu est mal. En una
sociedad democrtica ello es competencia de las normas y de su constante
aplicacin por los polticos elegidos para ello. Pero los analistas s pueden
contribuir a que entre todos aprendamos a valorar lo ya hecho o en vas de
ejecucin a partir no slo de meras opiniones, sino a partir de datos, estudios y
sistematizacin de resultados, que permitan una mayor sofisticacin de esa
constante evaluacin que los ciudadanos consciente o inconscientemente
van realizando de la actuacin de los poderes pblicos.
El libro de Ballart se sita en esa lnea. Es un libro de universitario, hecho
desde la Universidad, con criterios de calidad universitaria, pero que expresa
esa renovada voluntad de servicio de la Universidad a una sociedad que exige
respuesta a sus problemas. Para m constituye un especial orgullo el realizar
hoy este prlogo, como ya lo fue en su da dirigir la tesis doctoral que le sirve
de base. Y lo es porque confirma que el camino emprendido en su da por Jo-
sep M. Valls al introducir en la entonces nueva Facultad de Ciencias Polticas
de la Universidad Autnoma de Barcelona, materias inditas en los planes de
estudio anteriores como Anlisis de Polticas Pblicas, o crear un entonces
tambin inslito Master de Gestin Pblica, ha empezado a dar frutos. Lo
demuestra este libro, lo demuestra el conjunto de tesis en curso, o lo demues-
tra el conjunto de profesionales de la administracin pblica formados en
nuestra Facultad.
Como es notorio, este no es un texto aislado. Se trata de un escaln ms
en la labor que desde el INAP se viene realizando para facilitar al lector es-
paol un conjunto de textos que permitan la mejora de la gestin pblica y
22
PROLOGO
faciliten el dilogo entre los diversos actores sociales. Un sntoma ms, en
definitiva, de la labor de normalizacin del pas.
lOAN SUBIRATS
Catedrtico de Ciencia Poltica y de la Administracin
Universidad Autnoma de Barcelona
Bellaterra, abril 1992
23
INTRODUCCION
A. LA TESIS
La tesis que se defiende en este libro es que la evaluacin de progra-
mas y servicios pblicos -entendida en sentido estricto, y por tanto co-
mo especialidad dentro del Anlisis de Polticas Pblicas- puede adop-
tar formas muy diversas y puede ser llevada a cabo de acuerdo con
metodologas muy diferentes. El mrito no est tanto en la naturaleza de
la investigacin como en la relevancia de la informacin producida en
cada caso concreto.
Nuestra intuicin es que el desarrollo de nuevas polticas y programas p-
blicos en la Espaa democrticamente consolidada e integrada en la Europa
de los doce requiere una comprensin ms amplia de los procesos con el obje-
to de aprender de cara a acciones futuras. En este sentido, el anlisis de los
procesos y la intermediacin entre los defensores de criterios de valoracin
diversos puede contribuir a producir informacin que sera ms til para la
discusin y negociacin de nuevas polticas pblicas que no el desarrollo de
indicadores objetivos de resultados.
A su vez, sin embargo, entendemos que los analistas polticos pueden con-
tribuir en este proceso de aprendizaje y de mejora en los servicios prestados a
travs del refinamiento de las medidas, tanto de los inputs, como de la gestin
y de los resultados. En este sentido, y ms en relacin con servicios especfi-
cos consolidados (como es el caso de la Polica estudiado) que en relacin con
nuevas polticas pblicas, creemos que es importante producir informacin
que sirva a los gestores pblicos para tener alguna idea sobre la calidad de los
servicios que estn produciendo, en funcin de lo que se estime constituye va-
lor en cada caso concreto.
La forma en que se desarrolla este argumento parte del estudio comprensi-
vo de la literatura, predominantemente norteamericana, sobre evaluacin de
polticas, programas y servicios pblicos, pero tambien ha sido influida, en
buena parte, por las experiencias empricas de los estudios de caso que se pre-
sentan en los captulos 6 y 7. Estudios de caso que si bien presentan proble-
mas al objeto de probar determinadas hiptesis o verificar determinadas afir-
maciones, s que resultan tiles al objeto de contrastar los diversos modelos de
evaluacin con aplicaciones concretas y derivar algunas implicaciones.
25
Independientemente de la tesis defendida, este libro puede servir como
sntesis crtica de las diversas aproximaciones sobre cmo abordar la evalua-
cin de polticas, programas y servicios pblicos. Desde este punto de vista,
esperamos que pueda ser til a aqullos que, ya sea dentro de la Administra-
cin, o a travs de contratos externos, reciban el encargo de evaluar polticas,
programas o servicios pblicos especficos.
B. RELEVANCIA DEL TEMA
En los diez primeros aos de gobierno democrtico el gasto pblico pas
en Espaa de un 25% de participacin en el Producto Interior Bruto (PIB) a
un 42,1%. En la actualidad, cerca de dos millones de personas trabajan para la
Administracin pblica espaola, y en general, se nos hace difcil pensar en
algn mbito de la actividad en el que no intervenga alguna burocracia pbli-
ca (1).
Hay quienes defienden que la intervencin pblica en la economa y en la
sociedad es excesiva, que las burocracias pblicas son demasiado grandes y
por lo general ineficaces y que el gobierno debera desregular la actividad
privada. Otros, por el contrario, defienden que las instituciones pblicas de-
beran tener una presencia ms activa en la sociedad, produciendo y distribu-
yendo bienes y servicios, especialmente para aquellos sectores ms necesita-
dos y desamparados de la sociedad. Unos y otros, sin embargo, mantienen
una preocupacin creciente por el funcionamiento de las instituciones de go-
bierno y proclaman la necesidad de reformar, racionalizar y modernizar las
administraciones pblicas.
La toma de decisiones polticas en relacin con propuestas de reforma re-
sulta, sin embargo, difcil ya que no existe unanimidad sobre los pasos que
hay que adoptar o sobre las estrategias que podran resultar ms eficaces. Las
resistencias a los cambios son fuertes y la complejidad de las estructuras y de
los procedimientos administrativos imponen frenos a la voluntad poltica que
quisiera tener instituciones de gobierno mejor adaptadas a las necesidades de
la sociedad.
Por otra parte, la extensin de la intervencin pblica no se ha visto acom-
paada de una ampliacin de las formas de control poltico. Al contrario, los
Parlamentos estn cada vez menos asistidos frente a la Administracin que
detenta el monopolio de la informacin y de la inteligencia que precisa el
anlisis de las opciones polticas fundamentales. El juego del sistema de parti-
dos tampoco ha servido para invertir esta tendencia en una poca de mayoras
(1) Los datos sobre gasto pblico son para 1975 y 1987. (Alcaide Inchausti, 1988: 3). En cuanto al n-
mero de funcionarios, en 1986 eran 1.841.000, segn Junquera Gonzlez (1988: 311).
26
INTRODUCCION
parlamentarias absolutas. En este sentido, tambin es preciso encontrar meca-
nismos que contribuyan a hacer efectivo el control poltico y a ampliar el de-
bate democrtico entre el gobierno y la oposicin.
Si bien existe un amplio consenso sobre la necesidad de evaluar la actua-
cin de,los poderes pblicos y de determinar los resultados de su actuacin,
no est claro en cambio, primero, en funcin de qu criterios se puede deter-
minar si una intervencin pblica ha sido un xito o unfracaso; segundo, qu
polticas, programas o servicios hay que evaluar; y tercero, cmo se debe
evaluar la actuacin de los poderes pblicos, y por tanto de acuerdo con qu
formas y metodologas.
En el campo de los estudios de Administracin Pblica, y ms concreta-
mente en el del Anlisis de las Polticas Pblicas surge la evaluacin como
una tcnica ms que busca producir informacin que sirva a las Administra-
ciones Pblicas para mejorar, primero, los procesos de decisin y planifica-
cin; segundo, el funcionamiento y la gestin de las operaciones diarias; y
tercero, los resultados finales de la Administracin en relacin con los recur-
sos invertidos y por tanto su eficacia y eficiencia.
La evaluacin es percibida igualmente como una actividad que puede ser-
vir a la Administracin para incrementar su capacidad de pasar cuentas de
su actuacin ante los ciudadanos, o desde la perspectiva de stos, para ganar
acceso a la 'actividad de una Administracin cada vez ms compleja.
Parece pues que esta nueva va de reforma de las Administraciones Pbli-
cas podra constituir una herramienta til para dar respuesta a las demandas
de mayor eficacia y calidad democrtica de las instituciones pblicas. As lo
deba entender el Primer Ministro francs, Michel Rocard, cuando encarg
en julio de 1988 a Patrick Viveret del Observatorio de la Decisin Pblica
francs, la definicin de las mejores formas y mtodos de la evaluacin de
las polticas pblicas, inspirndose, igualmente, en las tentativas extranjeras
en este campo. (Viveret, 1989:2)
Ciertamente, en pases con una tradicin poltico-administrativa tendente
a legitimar toda actuacin pblica en trminos de inters general, sin necesi-
dad de exponer los resultados obtenidos, la evaluacin de programas puede
servir a la Administracin para, como decamos, incrementar su capacidad de
rendir cuentas a los administrados, y para que stos puedan ganar acceso a una
burocracia que, a menudo, escapa de su control.
Se trata, por tanto, de un tema que, primero, puede tener una cierta re-
levancia en el futuro y en relacin con las demandas de reforma de las Ad-
ministraciones Pblicas. A diferencia de otras reformas propuestas ltima-
mente como la reforma del proceso presupuestario, la evaluacin de
programas no requiere cambios estructurales significativos. Como afirma
Nioche (1982a:51), su carcter flexible, en la medida que se adapta a cada
27
poltica, y respetuoso con la forma de pensar de los hombres polticos, en
cuanto nicamente pretende una mejor informacin, la hacen enteramente
posible. Segundo, se trata de un tema de Ciencia de la Administracin que
admite el desarrollo de investigaciones aplicadas en base a datos reales.
Este es un tipo de investigacin que resulta sumamente atractivo para in-
vestigadores con un sesgo a favor de los trabajos empricos. Finalmente,
se trata de un tema poco desarrollado en nuestro pas y que ofrece por tan-
to, un amplio campo de investigacin. Ello supone algunas ventajas pero
tambin algunos inconvenientes, ya que casi no existe literatura cientfica
en castellano y muy pocas evaluaciones especficas de programas o servi-
cios pblicos.
C. PROPOSITOS DE LA INVESTIGACION y ESTRUCTURA DEL
TRABAJO
De acuerdo con loan Subirats, bajo cuya direccin se ha realizado este es-
tudio, consideramos que haca falta realizar una investigacin en profundidad
que sirviera los siguientes propsitos:
Primero, clarificar el concepto de evaluacin de programas, en qu consis-
te, su relacin con el anlisis de las polticas pblicas y las modalidades que
suele adoptar.
Segundo, contribuir, con la presentacin y crtica de modelos y ejemplos
concretos, a la reflexin sobre las opciones metodolgicas presentes ante la
evaluacin de una poltica, programa o servicio concretos.
y tercero, contrastar los modelos de evaluacin discutidos, con aplicacio-
nes o estudios de caso concretos, con el objeto de extraer algunas implicacio-
nes que pueden tener alguna relevancia para la evaluacin en general, y ms
especificamente, en nuestro pas.
En funcin de estos propsitos, el trabajo se divide en tres partes: una pri-
mera parte conceptual, una segunda parte metodolgica y una tercera parte de
aplicacin a dos casos concretos.
En la primera parte (Captulos I al 111), tras repasar los antecedentes y
orientaciones adoptados por los estudios de Administracin Pblica, se sita a
la evaluacin de programas en el contexto del anlisis de las polticas pbli-
cas, y se describen algunos de sus rasgos fundamentales (Captulo 1).
El estudio de los procesos de gnesis y sistematizacin de la evaluacin de
programas en los Estados Unidos y en algunos pases de la Europa occidental,
nos permite avanzar algunas ideas sobre los factores que conducen al desarro-
llo de una funcin evaluativa, y sobre la forma en que se ha producido este de-
sarrollo a nivel institucional, en aquellos pases. A su vez, el anlisis en una
28
INTRODUCCION
perspectiva comparada nos permite compreder las razones del desarrollo tar-
do de la evaluacin en nuestro pas (Captulo II).
El Capitulo III introduce un concepto amplio de evaluacin, en funcin
del cual se adopta una tipologa de los estudios de evaluacin por fases. Ade-
ms de presentarse otras posibles tipologas, se discuten los propsitos que
puede encerrar una demanda de evaluacin, la pluralidad de intereses que pue-
de generar una poltica, y las dificultades que ello plantea a nivel de evalua-
cin y a la hora de determinar los criterios en funcin de los cuales determinar
el xito o el fracaso de los programas pblicos de actuacin.
La segunda parte (Captulos IV y V) se dedica al anlisis de los principa-
les modelos de evaluacin, con el objeto de responder a una cuestin clave:
Cmo evaluar los programas y servicios pblicos?
El Captulo IV, dedicado al modelo clsico de la evaluacin por objetivos,
se ha dividido en tres apartados: en el primero nos referimos a la identifica-
cin y especificacin de objetivos, como requisito previo; en el segundo, al
exmen de inputs y actividades, 10 que se corresponde con la evaluacin de
aquellos elementos que definen la forma como se ha llevado a la prctica la
politica o programa en cuestin; y en el tercero, al anlisis de resultados y
efectos, lo que se corresponde con la evaluacin de impacto.
Dada la importancia de las cuestiones relacionadas con la medida de los
efectos netos de los programas pblicos en la literatura especializada, hemos
entendido que era preciso entrar en la descripcin de la lgica de los diseos
experimentales, cuasiexperimentales y no experimentales. Ello nos obligaba a
repasar el concepto de causalidad y los problemas de validez interna y externa
que pueden afectar a los distintos diseos. Con el propsito de ilustrar la des-
cripcin terica de los diseos, se aaden ejemplos de evaluaciones de progra-
mas concretos, sacados de la literatura nortamericami sobre el tema, en el ane-
xo al Captulo IV.
El Captulo V se dedica a la presentacin de los modelos alternativos de
evaluacin, surgidos como consecuencia de los problemas de aplicacin y de
utilizacin de los resultados de las evaluaciones realizadas conforme al para-
digma racional-cientfico clsico de la evaluacin por objetivos.
Partiendo de la importancia de la dimensin poltica de los procesos de
evaluacin, se analizan las preocupaciones a las que intentan responder estos
modelos, y se proponen una serie de caractersticas comunes a todos ellos que
entendemos, configuran un paradigma alternativo de evaluacin que hemos
denominado pluralista. Tambin, se repasan algunas aportaciones especfi-
cas de autores concretos con el objeto de dar una visin ms detallada de un
enfoque que, a primera vista, podra parecer algo ambiguo, y se discuten las
limitaciones que, a nuestro entender, sufre la aproximacin pluralista al fen-
meno de la evaluacin.
29
COMO EVALUAR PROGRAMAS Y SERVICIOS PUBLICaS?
La tercera parte (Captulos VI y VII) constituye la parte aplicada del tra-
bajo en la que se incluyen dos estudios de caso de naturaleza muy diversa.
En el Captulo VI, reconstruimos el proceso de formulacin de un pro-
grama nuevo, -el Plan Integral de Roquetes- que, entendemos, constituye
un caso paradigmtico de formulacin pluralista de una poltica en la que
coinciden una serie de actores, cada uno con su sistema de valores e intere-
ses, y se genera un proceso poltico complejo en el que la formulacin no
siempre precede la implementacin sino que emerge durante el curso de la
accin. Todo ello da lugar a un programa de caractersticas tales que su eva-
luacin de acuerdo con las prescripciones de los primeros modelos de eva-
luacin, no solamente sera muy difcil sino que no tiene sentido. El mensaje
que se desprende de este caso concreto es, que cuando las polticas y los pro-
gramas sean ms como el programa estudiado, menos aconsejable ser cen-
trar la evaluacin en el cambio experimentado por algunas caractersticas de
la situacin observada, y ms adecuado ser, por el contrario, adoptar una
perspectiva pluralista y orientada al proceso seguido por la poltica, que sirva
a los defensores de criterios distintos para acercar sus posiciones y aprender
de su propia experiencia.
En el Captulo VII, presentamos un caso de evaluacin de un servicio tra-
dicional, consolidado y estable -el servicio de Polica Local- a partir de los
datos objetivos recogidos de forma rutinaria y continuada por la Administra-
cin, con el objeto de determinar las posibilidades, utilidad y relevancia de la
medida de aquellas variables que, en funcin de una determinada concepcin
sobre la funcin policial, puedan reflejar, tanto la forma como se presta el ser-
vicio, como su eficacia global.
Ambos casos nos permiten formular algunas propuestas concretas sobre
la relacin entre caractersticas del programa y naturaleza de la evaluacin;
sobre el nivel de conocimiento -posibilidades reales de medida de los efec-
tos de un programa y tipo de evaluacin-; y en general, sobre la validez de
distintas opciones metodolgicas a la hora de evaluar programas y servicios
pblicos.
D. UNA NOTA SOBRE EL MTODO
Una vez apuntados los temas que tratan cada uno de los captulos y la l-
gica de las partes en que se divide la investigacin, quisiera referirme, aunque
sea de forma muy sinttica, a las fuentes utilizadas para la elaboracin de este
estudio, y a la metodologa seguida en los estudios de caso.
Para la realizacin de esta investigacin se ha partido de la literatura exis-
tente sobre el tema, predominantemente norteamericana, inglesa y francesa.
30
INTRODUCCION
Se han repasado sistemticamente cada uno de los nmeros publicados
desde 1979 a 1989 por Public Administration Review, Policy Analysis and
Management, Program Evaluation and Planning y Evaluation Studies Re-
view Annual; y se han utilizado ms de una treintena de evaluaciones 'publi-
cadas por distintas instituciones gubernamentales y no gubernamentales de
los EEUU, principalmente, General Accounting Office, Department of La-
bor, Department of Housing and Urban Development, Urban Institute y Poli-
ce Foundation.
Respecto a la metodologa seguida en los estudios de caso, se han aplica-
do tcnicas diversas. Para el primer estudio de caso, nos basamos en una me-
todologa intensiva en entrevistas y observacin directa, adems de revisar to-
dos los documentos producidos por el programa, mientras que para el segundo
estudio de caso, recurrimos principalmente a los datos de archivo de la Guar-
dia Urbana de 1'Hospitalet de Llobregat sobre 2385 servicios correspondientes
al mes de abril de 1989, que fueron recogidos manualmente y despus trata-
dos y analizados con el programa estadstico SPSS/PC+. Tambin se realiza-
ron algunas entrevistas con el Inspector-Jefe de Polica y los responsables de
la sala de mando de diversos tumos.
La bibliografa final, donde se destacan los autores y las fechas de publi-
cacin de acuerdo con el sistema de referencia autor-fecha utilizado, recoge
las obras consultadas y citadas en el texto. A excepcin de aquellos casos en
que se cita a una autor como representativo de una aproximacin o para hacer
referencia a su obra en general, se incluye el nmero de pgina de la obra cita-
da. En algunos casos, en que no fue posible acceder a los textos originales, se
indica el autor, ao de publicacin, y a continuacin, el autor, ao de publica-
cin y pgina de la obra de donde se ha tomado la referencia.
En la primera y segunda parte del trabajo se incluyen tres cuadros ilustra-
tivos de las cuestiones tratadas en el texto. En cuanto a las figuras y tablas,
salvo en los casos en que se indica la fuente, son de elaboracin propia.
***
El estudio que ahora se publica fue presentado como tesis doctoral, bajo la
direccin del Catedrtico de Ciencia Poltica y de la Administracin Dr. Joan
Subirats, en junio de 1991 en la Facultat de Ciencies Poltiques i Sociologia de
la Universitat Autonoma de Barcelona. El tribunal que lo evalu estuvo presi-
dido por el Catedrtico de Ciencia Poltica y Rector de la Universitat Autono-
ma de Barcelona, Dr. Josep M. Valles, actuando como Secretaria del Tribunal,
la Catedrtica de Ciencia Poltica, Dra. Rosa Virs, y como vocales, los Cate-
drticos de Ciencia de la Administracin, Dr. Mariano Baena, de Derecho Ad-
ministrativo, Dr. Manuel Ballb, y de Ciencia Poltica, Dr. Jordi Capo.
31
Hechas las anteriores precisiones, quisiera escribir unas palabras de agra-
decimiento sincero a estos profesores, por su tiempo, inters y comentarios,
no tan slo en el momento de evaluar esta investigacin, sino a lo largo de su
gestacin.
Quiero igualmente sealar mi deuda con los profesores Robert Agranoff,
Michael Maxfield y Roger Parks de Indiana University, quienes en las postri-
meras del Master of Public Affairs me animaron a continuar estudiando y
me indicaron el camino, adems de enviarme en varias ocasiones materiales
bibliogrficos, y cartas de ms de cuatro folios llenas de tiles consejos y
orientaciones.
Mencin aparte en este captulo de agradecimientos merece loan Subirats
quien, adems de ser un buen director de tesis por sus sugerencias, aclaracio-
nes y crticas, me ha prestado una buena porcin de sus energas y ganas de
trabajar en los momentos que ms los necesitaba.
El primer estudio de caso fue posible gracias a la colaboracin de polti-
cos, tcnicos y vecinos implicados en el proyecto del Plan Integral de Roque-
tes. Mientras que para el segundo caso, cont con la ayuda inestimable del Dr.
Manuel Martn, Inspector-Jefe de la Guardia Urbana de I'Hospitalet y de los
agentes de la sala de mando.
Tampoco puedo olvidar los comentarios y ayudas de los profesores del
Area de Ciencia Poltica de la Universidad Autnoma de Barcelona, entre los
que destacara a Ricard Gom, con quien trabaj estrechamente en la evalua-
cin del Plan Integral de Roquetes.
Finalmente, gracias al Instituto Nacional de Administracin Pblica y a su
director los Constantino Nalda por el inters mostrado en esta investigacin
desde mucho antes de acabarla y por haberme facilitado ahora su publicacin.
y aun, gracias a Florence, por su apoyo moral, paciencia y ayuda durante
todo el proceso.
32
PRIMERA PARTE
CAPITULO I
MARCO TEORICO.
ADMINISTRACION PUBLICA,
ANALISIS y EVALUACION DE
POLITICAS PUBLICAS
1. INTRODUCCION
Este trabajo se integra en el marco terico de la policy science o ciencia
que estudia las diferentes polticas o programas de accin pblicos o de go-
bierno (2).
El campo terico del public policy (3) tuvo un crecimiento muy rpido en
los aos setenta, sobre todo en los EEUU, como consecuencia de que un buen
nmero de problemas de carcter pblico no fueran tratados de forma satisfacto-
ria desde las perspectivas de disciplinas particulares como la economa o la ad-
ministracin pblica, y de que por otra parte, surgieran una serie de tcnicas de
anlisis susceptibles de ser utilizadas para el estudio de estos problemas.
Tiene como antecedentes inmediatos, una larga tradicin de estudios en ad-
ministracin pblica que se desarrollan en los EEUU a partir de las formulacio-
nes de W. Wilson. A riesgo de redundar en la explicacin de una tradicin cien-
tfica de sobras conocida, repasamos brevemente estos estudios para despus
contrastarlos con otras orientaciones de la Ciencia de la Administracin en Eu-
ropa y en Espaa, con el propsito de determinar el marco terico en el que se
surge la teora de la evaluacin y en el que se inscribe esta investigacin.
2. ADMINISTRACION PUBLICA E INVESTIGACION
A. EL ESTUDIO DE LA ADMINISTRACION PUBLICA:
SINTESIS DE ORIENTACIONES
a. La tradicin norteamericana
Tradicionalmente, los estudios de administracin pblica en los EEUU
han sido claramente dominados por consideraciones de tipo pragmtico, lo
(2) Por poltica entendemos un programa de accin, lo que supone la eleccin especfica de medios
para obtener ciertos objetivos. Este concepto se encuentra en casi toda la literatura. Vid., por ejemplo, Wil-
davsky (1980: 395-397) o Nioche (1982a: 33).
Un programa consiste en una intervencin o en un conjunto de actividades desarrolladas para alcan-
zar objetivos externos, es decir, satisfacer alguna necesidad social reconocida o solucionar un problema
identificado segn Rutlillan (1984: 11).
(3) Policy science, public policy o policy analysis son expresiones que podemos considerar si-
nnimas, a los efectos de identificar este campo terico.
37
que no excluye, claro est, que la administracin tenga sus races en funda-
mentos de tipo filosfico (4).
Ya en el ensayo de W. Wilson The Study of Administration (5), general-
mente considerado como el punto de partida de la Ciencia de la Administra-
cin Pblica en los EEUU, se defenda que el objeto de los estudios adminis-
trativos es determinar lo que puede hacer el gobierno y cmo puede hacerlo
para conseguir la mxima eficacia (6). En este trabajo seminal, Wilson hace
una llamada al reconocimiento de una nueva Ciencia de la Administracin ba-
sada en la distincin radical entre poltica y administracin, y propone un pa-
radigma de buena administracin inspirado en las burocracias francesa y
prusiana que marca el curso de los estudios en administracin pblica durante
ms de cincuenta aos (7).
La misma preocupacin por la eficacia y la productividad que descubri-
mos en el trabajo de W.Wilson, se encuentra en la obra de F.W.Taylor The
PrincipIes of Scientific Management. Taylor crea que para cada tipo de tra-
bajo existe una mejor forma -one best way- de hacerlo y que la funcin
del management consista en incrementar la produccin, descubriendo el
mtodo ms rpido y ms eficaz de producir en cada caso. La prosperidad se
dara cuando cada trabajador alcanzase su nivel ms alto de eficacia, esto es,
cuando est produciendo su mayor output diario. (Taylor, 1947: 11).
Junto al movimiento del Scientific Management capitaneado por
F.W.Taylor, el trabajo paralelo de Fayol en Francia (8), y los principios
del Administrative Management de Gulick (9), constituyen los prelu-
dios de la incorporacin de las ciencias sociales en el estudio de la admi-
nistracin' aunque de hecho, esta incorporacin ya se haba producido en
los trabajos de Weber. Su modelo burocrtico legal-racional, inspirado en
la burocracia prusiana, rpidamente tuvo una gran influencia en Europa y
en los EEUU (la).
(4) Pinsese, por ejemplo, en las implicaciones del pensamiento de Locke en lo que se refiere a las ca-
ractersticas de la estructura del gobierno.
(5) Publicado en 1887, tras la aprobacin de la Pendleton Act de 1883 con la que nace el sistema mo-
derno de la funcin pblica norteamericana.
(6) Textualmente: descubrir, primero, lo que el gobierno puede hacer de forma adecuada y con xito,
y segundo, cmo puede hacer estas cosas con la mxima eficacia posible y el menor coste posible, tanto de
dinero como de energa. (l887: 197).
(7) Existe ... una nica regla de la buena administracin que es la misma para todos los gobiernos
[...] En lo que concierne a las funciones administrativas, todos los gobiernos tienen un marcado parecido
estructural; ms que esto, si tienen que ser igualmente tiles y eficaces, deben parecerse en su estructura
(J887: 218).
(8) Fayol y Taylor defendieron simultneamente, en Europa y en los EEUU, la necesidad de estudiar
la administracin de forma cientfica. Urwick compara a Favol y a Taylor en The Function of the Admi-
nistration, captulo 5 del libro que edit junto con Gulick en 1937. (Gulick y Urwick, 1937).
(9) Estos principios son: division of labor, span of control, unity of command, homogeneity, line ver-
sus staff, specialization by purpose, process, c1ient and place (Gulick, 1937).
(lO) En los EEUU, a partir de la traduccin de Weber por TaIcott Parsons en 1947.
38
PRIMERA PARTE
Por contra, C.I.Barnard, en The Functions of The Executive, publicado en
1968, propuso una teora general del comportamiento cooperativo en las orga-
nizaciones formales que abrira una nueva lnea de investigacin distinta a
ambos, el Scientific Management y el modelo de burocracia weberiano. Co-
mo afirma C. Perrow (1975:72), el trabajo de Barnard se encuentra en el ori-
gen de tres distintas tendencias dentro de lo que se conoce como teora de la
organizacin: la escuela institucional de P.Selznick, la escuela de la teora de
la decisin de H.Simon, y la escuela de las relaciones humanas y del organi-
zational behavior desarrollada por psiclogos sociales como Roethlisberger y
Dickson a partir de los experimentos de Hawthorne (11).
Es en Administrative Behavior de H. Simon, publicado por primera vez en
1945, donde se encuentra la crtica ms devastadora de la teora implcita en
los estudios tradicionales de administracin pblica. Simon explica e interpre-
ta el sentido de los llamados principios de administracin y demuestra la
falta de lgica entre ellos. Esto le lleva a calificarlos de proverbios. Como
tales, permiten al analista justificar su posicin en funcin de un principio u
otro, incompatibles entre s, segn los casos (12).
A partir de esta crtica, Simon se propone reconstruir la teora administra-
tiva, empezando por la elaboracin de una terminologa adecuada y de un es-
quema analtico. Conocida es su distincin entre hechos (<<facts) y valores
(<<values) (13): la decisin en tomo a posibilidades alternativas implica la
consideracin de hechos y valores, con las limitaciones que impone la racio-
nalidad propia de la organizacin a la que los individuos que toman la deci-
sin pertenecen (14).
(11) Los experimentos de Hawthorne tuvieron lugar en la planta de la Western Electric Company, de
Hawthorne, en los aos 30. Con ellos, Roethlisberger y Dickson intentaron determinar la relacin entre am-
biente de trabajo y productividad. Para ello, seleccionaron a dos grupos de trabajadores haciendo el mismo
tipo de trabajo y los pusieron en dos habitaciones separadas. Entonces, un grupo tuvo la intensidad de su
iluminacin incrementada, mientras el otro no era sometido a ninguna variacin en su entorno. Los resulta-
dos, sin embargo, eran los mismos: la productividad de ambos grupos aumentaba. Cuando el grado de ilu-
minacin en el grupo de test fue gradualmente disminuido, encontraron que el output continuaba creciendo.
La razn del cambio en la productividad, como se explic ms tarde, es que la direccin de la empresa
haba tenido un inters en los dos grupos de trabajadores. Les fue dada una atencin especial y esto aumen-
t su moral. Ello supuso una nueva forma de mirar a los trabajadores en las empresas. (Roethlisberger y
Dickson, 1947).
(12) Por casi cada principio, se puede encontrar otro contradictorio, aceptable y plausible en la mis-
ma medida. Aunque los dos principios del par conduzcan a recomendaciones diametralmente opuestas, no
hay nada en la teora que indique cual es el principio que se debera aplicar (Simn, 1973: 20).
(13) Las proposiciones de hecho se pueden someter a un test para determinar sin son verdaderas o fal-
sas, correctas o incorrectas, segn Simn. Las decisiones, sin embargo, no se pueden someter a este tipo de
prueba ya que implican una valoracin. Ello supone que nicamente puedan ser evaluadas en funcin de los
objetivos, y por tanto, lo que se evale no sea tanto la decisin como la relacin de hecho que se afirma en-
tre la decisin y sus objetivos (Simn, 1973: 49).
(14) Simn cree que es imposible que el comportamiento de un individuo solo y aislado alcance un al-
to grado de racionalidad. El nmero de alternativas que tiene que explotar es tan grande y la informacin
que precisara para evaluarlas tan vasta, que incluso una aproximacin a la racionalidad objetiva resulta di-
fcil de concebir.
39
El siguiente paso en la elaboracin de una tcnica administrativa supone
el establecimiento de un puente entre teora y anlisis emprico. De aqu que
una de las principales preocupaciones de este autor sea la consolidacin del
criterio de eficacia como norma para la evaluacin de programas alternativos
de accin. Esto implica el desarrollo de definiciones claras de output y la me-
dicin de resultados.
Finalmente, puesto que no existe razn alguna por la que asumir que la or-
ganizacin jerrquica es siempre la ms eficaz, Simon propone llevar a cabo
la evaluacin emprica de distintas formas organizativas con el fin de determi-
nar su eficacia relativa.
Los autores y las obras citados contribuyen a formar el fundamento teri-
co sobre el que emerge la teora de la administracin pblica contempornea.
Tambin anticipan las principales tendencias que existen en este campo en la
actualidad. De una forma un tanto arbitraria se pueden considerar como ten-
dencias dominantes las siguientes: teora de la organizacin, teora de la deci-
sin, el anlisis de las polticas pblicas y la teora de la eleccin racional.
Desde un punto de vista estructural, la teora de la organizacin se pre-
gunta qu son las organizaciones. De hecho, ste es el enfoque iniciado por
Weber con su ensayo sobre la burocracia (Weber, 1946). Esta perspectiva, sin
embargo, se puede extender para incluir la idea de organizacin en su contex-
to, y en consecuencia, la idea de sistema. El contexto de una organizacin est
formado por aquel conjunto de factores que se hallan en el medio de la organi-
zacin, con los cuales es interdependiente y respecto a los cuales no tiene el
control.
Estas ideas han dado lugar a un enfoque ms funcional con el que la teora
de la organizacin se pregunta cmo funcionan las organizaciones y cmo in-
teraccionan con los elementos de su entorno. Este es el marco terico donde
se ha desarollado la extensa literatura sobre el management de las organiza-
ciones privadas y de las organizaciones pblicas (15).
Estrechamente relacionada con la teora de la organizacin, la teora de la
decisin se pregunta cmo se pueden alcanzar decisiones racionales, o en
cualquier caso, cmo se forman y toman las decisiones colectivas.
La teora de la decisin rechaza los presupuestos del mtodo racional: que
cada individuo tiene un sistema de preferencias que le permite tomar decisio-
nes sobre alternativas diferentes; que conoce la totalidad de las alternativas; y
que no tiene problema alguno para solucionar la complejidad del anlisis que
le ha de llevar a determinar qu alternativa es la mejor.
Por otro lado, las organizaciones sitan a sus miembros en un contexto psicolgico que les obliga a
adaptar sus decisiones a los objetivos de la organizacin, y les proporcionan la informacin que necesitan
para tomar esas decisiones de forma correcta, desde la perspectiva de la organizacin (Simn, 1973 :79).
(15) Para una perspectiva estructural-funcional, Vid. Thompson (1967) o Stout (1980).
40
PRIMERA PARTE
En contra, defiende que las organizaciones no maximizan debido al eleva-
do coste de la informacin y a la dificultad de anticipar los problemas, y que
los administradores pblicos nicamente buscan soluciones a sus problemas
que les mantengan alejados de mayores dificultades (16). El estudio de los
procesos de toma de decisiones ha contribuido a desarrollar teoras de la infor-
macin y de los sistemas para su gestin efectiva.
El anlisis de las polticas pblicas se ocupa del estudio de los procesos
de formacin de las polticas o programas pblicos de actuacin y de su racio-
nalidad. Esto se puede hacer, de forma global, mirando al policy making pro-
cess como a un proceso complejo, de lmites inciertos y sin un principio ni
un final claros (Lindblom, 1980) o bien, como propuso Lasswell (1962), uno
de los principales impulsores de esta nueva perspectiva, separando distintas
fases o etapas de este proceso, con el fin de poderlas estudiar de forma inde-
pendiente. As, primero se estudiar cmo surgen los problemas y cmo pasan
a formar parte de la agenda del gobierno; quin y cmo empieza a hacer pro-
puestas de accin especficas en relacin con dichos problemas; cmo, a estas
propuestas, les sigue la accin legislativa o de otro tipo; cmo la administra-
cin pblica lleva a la prctica estas propuestas; y finalmente, cmo se evala
la poltica aplicada.
Este segundo enfoque supone asumir que la formacin de las polticas o
programas pblicos de actuacin procede de acuerdo con un proceso relativa-
mente ordenado y racional hasta llegar a la etapa final de evaluacin, y que
sta se integra, como un input ms, dentro del proceso de formacin de nue-
vos programas en el campo de la poltica evaluada.
La teora de la eleccin racional surgi del trabajo de economistas polti-
cos interesados en temas de inversin y gasto pblico, y ha tenido una impor-
tante repercusin en la teora de la administracin pblica (17). Los tericos
de la eleccin racional parten de dos fundamentos tericos bsicos: primero,
el individuo como unidad de anlisis, y segundo, la relacin del concepto de
bienes pblicos y cuasi-pblicos con el de output de las administraciones p-
blicas, lo que supone una cierta continuidad con el inters de Simon por defi-
nir y medir los resultados de la accin administrativa. A partir de aqu, se pre-
guntan por el efecto de distintas reglas de decisin en la produccin y
distribucin de bienes y servicios pblicos.
(16) Nocin de satisficing, introducida por H. Simon. En el mismo sentido, Lindblom introdujo la
idea de muddling thorough para definir lo que hacen los administradores pblicos; esto es, tomar sucesi-
vas decisiones de tipo incremental en funcin de los condicionamientos de tipo incremental en funcin de
los condicionamientos de tipo poltico (Lindblom, 1959: 81).
(17) J. Buchanan y G. Tullock organizaron una conferencia sobre nonmarket decision-making que
fue recogida en las pginas de Public Administration Review (vol. 24, marzo de 1964: 62-63) como Deve-
lopements in the no-name Fields of Public Administration, puesto que la expresin Public choice an
no haba sido adoptada. Para una introduccin a la aplicacin de esta corriente en el campo de la Ciencia
Administrativa, Vid. el artculo de V. Ostrom y E. Ostron (1971: 203-215).
41
b. La tradicin europea
En los pases con una fuerte tradicin administrativa, como la Repblica
Federal de Alemania (RFA), Francia, Italia o Espaa, las dos principales co-
rrientes de estudio de la administracin siguen orientaciones heterogneas y
que slo coinciden parcialmente con el tipo de anlisis al que nos referamos
en el apartado anterior. Siguiendo a la literatura francesa sobre el tema, distin-
guimos entre una corriente institucional y una corriente organizacional (Los-
chak, 1975; Nioche, 1982b).
La corriente institucional, desarrollada a partir de los estudios jurdicos
sobre la administracin pblica, se basa en la especificidad de sta y en la
dificultad de separarla de los esquemas tradicionales del Derecho Adminis-
trativo.
El objeto de la Ciencia de la Administracin se limita a la administracin
pblica, segn esta perspectiva (18). Se excluye por tanto, cualquier otro tipo
de organizacin en virtud de la especificidad de la administracin respecto a
las dems formaciones sociales. Esta especificidad y originalidad de la admi-
nistracin tiene su origen en la teora del Estado liberal, segn la cual el Esta-
do representa al inters general, mientras que el resto de organizaciones socia-
les representan intereses particulares. La administracin, como conjunto de
medios humanos y materiales encargados de asegurar la ejecucin de la leyes
y el funcionamiento de los servicios pblicos, difiere tanto del poder poltico,
del que es su instrumento, como de la esfera privada. Se explica as, el rgi-
men particular al que se la somete y las prerrogativas de las que dispone, lo
que justifica, a su vez, que sea el objeto de una ciencia especfica.
De esta conceptualizacin jurdico-poltica de la administracin deriva la
importancia dada al Derecho Administrativo y al mtodo jurdico como ins-
trumento de comprensin de la administracin pblica. Esto implica una apro-
ximacin generalmente deductiva, a partir de la legislacin, para determinar
las condiciones de su aplicacin.
Una segunda orientacin que, de acuerdo con la doctrina francesa hemos
denominado organizacional, incluye dentro de su campo de investigacin tan-
to a la administracin pblica como a las empresas privadas, puesto que estu-
dia a las organizaciones, no tanto desde el punto de vista de lo que les es espe-
cfico, sino al contrario, desde el punto de vista de lo que les es comn.
Entre los fundamentos tericos de esta corriente se encuentran algunos de
los ya citados anteriormente como, por ejemplo, Taylor y Fayol, en su intento
por descubrir un modelo ptimo de organizacin del trabajo, o Roethlisberger
(18) En Espaa, Baena (1985: 31), por ejemplo, entiende que la titularidad formal del ejercicio del po-
der dota a la administracin pblica de una especificidad respecto a las dems organizaciones sociales que
justifica su tratamiento separado.
42
PRIMERA PARTE
y Dickson, y Mayo (19), es decir, los psiclogos sociales que se interesan por
los comportamientos y actitudes de los empleados de las grandes empresas in-
dustriales, poniendo el acento, por reaccin contra los excesos del taylorismo,
sobre la importancia de los factores psicolgicos.
Pero es Weber quien pone las bases de la corriente organizacional y de la
sociologa de las organizaciones con su modelo ideal de burocracia como for-
ma ms racional de administracin. De la explicacin de las caractersticas
principales de este modelo se desprende el inters de Weber por poner de re-
lieve los elementos comunes, ms que las diferencias, entre las organizaciones
privadas y pblicas (20). Con Weber, la organizacin administrativa como tal
adquiere una cierta autonoma: las relaciones humanas y las relaciones de po-
der que tienen lugar en su seno, y las relaciones de la organizacin con su en-
torno constituyen los elementos fundamentales de esta nueva visin que rom-
pe con la imagen de una administracin instrumental, totalmente sumisa al
poder poltico (21).
Metodolgicamente, la corriente organizacional se asocia con una aproxi-
macin inductiva, donde la observacin y la encuesta sobre el terreno juegan
un papel esencial (22).
B. EL ANALISIS DE POLITICAS PUBLICAS COMO MARCO TEORICO
DE REFERENCIA
a. Conceptos bsicos
La Ciencia de la Administracin en Espaa tiene un amplio campo de desa-
rrollo en el anlisis de las polticas presentes, y en el de sus posibles alternativas,
(19) La filosofa social de E. Mayo (1975, primero publicado en 1949) rompe con la visin predomi-
nante en la teora de la organizacin industrial de los aos 20 y 30. Sus propuestas son primitivas en su con-
ceptualizacin y pueden parecer, en la actualidad, naive o romnticas. Pero, indudablemente, en ellas se
encuentran los orgenes de las teoras sociolgicas de la organizacin actuales. Mayo pone de relieve aspec-
tos como la necesidad que tiene cada individuo de estar en buenos trminos con sus compaeros de trabajo,
el papel de las emociones, o la tendencia de los hombres a asociarse. El inters econmico individual pasa-
ba pues a ser la excepcin, ms que la regla.
(20) As, al hablar del principio de la autoridad jerrquica, Weber (1946: 197) afirma que se encuentra
en todo tipo de estructuras burocrticas y que no importa la autoridad de la que derive, sea tipo de privado o
pblico.
(21) El modelo ideal weberiano ha sido objeto de numerosos exmenes, comentarios y crticas. Una
excelente revisin de los escritos y de las crticas de Weber, desde el punto de vista de su tipologa de la au-
toridad, se encuentra en Diamant (1962). Merton (1957) y sus discpulos, Blau (1955) y Crozier (1964)
examinan las disfunciones del modelo burocrtico, a partir del estudio de las limitaciones del tipo de or-
ganizacin propuesto por Weber. Entre estas disfunciones, se encuentran los procesos de modificacin de
objetivos y desarrollo de conflictos entre la burocracia y su clientela. Para una revisin de esta orientacin
en castellano, vid. Mayntz, (1985: 121-146).
(22) Dentro de esta corriente podemos incluir algunas investigaciones de Baena (1977), Beltran
(1977) YBaon (1978) en Espaa.
43
COMO EVALUAR PROGRAMAS y SERVICIOS PUBLICOS?
en relacin con los numerosos problemas que se hallan en la causa de la inter-
vencin creciente del Estado en todos los frentes de la vida econmica y sociaL
El anlisis de las polticas pblicas se propone, como disciplina cientfica, produ-
cir infonnacin que sea til para el proceso de toma de decisiones sobre las res-
puestas institucionales que merecen situaciones juzgadas problemticas. (Nia-
che, 1982b: 19) Constituye, por tanto, un marco terico idneo donde poder
integrar los trabajos de Ciencia de la Administracin con una clara orientacin
hacia la resolucin de problemas especficos. Concretamente, Dunn, uno de los
autores ms citados a la hora de definir el anlisis de las polticas pblicas entien-
de que ste persigue:
Producir informacin que tenga una relevancia a nivel de toma de deci-
siones en tomo a las polticas a aplicar y que pueda ser utilizada para re-
solver problemas en circunstancias polticas concretas (23)
Esta perspectiva intelectual es ya definida en parecidos trminos por Dror
(1967:200-201) al indicar que uno de los principales nfasis en el anlisis de
las polticas pblicas se halla en la creatividad y en la bsqueda de alternati-
vas a las polticas del momento. Wildavsky, a su vez, relaciona el anlisis de
las polticas pblicas con encontrar un problema sobre el cual algo pudiera o
debera hacerse (1980:3) y describe el buen anlisis como la comparacin
de programas alternativos, ni objetivos solos ni recursos solos, sino el conjun-
te de objetivos y recursos que constituyen sus costes de oportunidad
(i 980:397).
El anlisis de las polticas pblicas, al tomar como unidad de anlisis a las
polticas y por tanto la accin de las instancias poltico-administrativas, hace
saltar, como afirma Nioche (1982b: 19), las barreras entre el sistema poltico,
el sistema administrativo y la sociedad. Adems, aporta una nueva dimensin
organizativa y de gestin a los estudios sobre la administracin, puesto que
contempla los tres aspectos: cmo se elabora una respuesta a una situacin
problemtica, cmo se lleva a la prctica el proyecto, y por fin, cmo se anali-
zan los efectos previstos y no previstos de la poltica especfica sobre la situa-
cin en cuestin.
Pero siguiendo la definicin de Dunn, aquello que caracteriza el anlisis
de las polticas pblicas es, por una parte, su carcter aplicado y por la otra, el
recurso a mltiples mtodos de investigacin. Como ciencia aplicada, el anli-
sis de las polticas pblicas estudia problemas concretos y bien definidos a
(23) La definicin completa de policy analysis segn Dunn (1986: 248) es la siguiente:
El anlisis de polticas es una disciplina aplicada de las ciencias sociales, que recurre a variados mto-
dos de investigacin para producir o transformar informacin, con el fin de que sta pueda ser utilizada,
en el contexto poltico correspondiente, para resolver problemas propios de las polticas analizadas.
44
PRIMERA PARTE
partir de los cuales procura contribuir al progreso del conocimiento en el cam-
po de las ciencias sociales. En cuanto a los mtodos de investigacin, el anli-
sis de las polticas pblicas recurre a una pluralidad de procedimientos que di-
fieren segn el tipo de cuestiones que se plantean. Dunn, por ejemplo,
distingue entre:
1) forecasting o valoracin de las consecuencias futuras de las polti-
cas presentes.
2) monitoring, esto es, la supervisin, control y descripcin de las po-
lticas existentes y de sus procesos de formacin.
3) evaluation o valoracin del mrito de las polticas pasadas o futuras.
4) prescription o recomendacin acerca de cual debera ser la poltica
del gobierno en una determinada situacin, y hasta qu punto es facti-
ble. (Dunn, 1986:250)
A stos an aade problem structuring y practical inference. El pri-
mero se refiere a la fase previa a todo anlisis en que es necesario llegar a de-
finir, ordenar y estructurar de alguna forma el problema que se plantea y sus
posibles soluciones. El segundo, en cambio, utiliza valores y normas sociales
para juzgar si un determinado problema ha quedado resuelto.
La definicin de Dunn nos sirve para delimitar el campo del anlisis de las
polticas pblicas en el que se incluye la evaluacin de programas. En sentido
amplio, la palabra evaluacin se refiere a todas las formas de valoracin de la
accin colectiva pblica que puedan darse en un sistema poltico. Las eleccio-
nes, el proceso presupuestario tradicional, los debates e investigaciones parla-
mentarias, tienen todos aspectos de tipo evaluativo. Los votantes, polticos,
funcionarios y periodistas, estn contnuamente juzgando el valor de los pro-
gramas y de las polticas pblicas. Evaluacin, por tanto, en este sentido ms
amplio, se refiere a una actividad que puede tomar muchas formas y que pue-
de ser llevada a cabo desde muy diversas perspectivas.
En este trabajo, sin embargo, la palabra evaluacin tiene un sentido ms
restrictivo al referirse, como decamos ms arriba, a una especialidad dentro
del anlisis de las polticas o programas pblicos. Evaluacin se caracteriza
entonces, por el uso de los mtodos de investigacin de las ciencias sociales
(o de aproximaciones) con el propsito de determinar los efectos reales de una
poltica una vez que sta ha sido aplicada.
En este sentido, contribuye a la clarificacin y resolucin de los proble-
mas pblicos. Adems, la evaluacin de las polticas y de los programas p-
blicos es particularmente importante desde la perspectiva de otras tcnicas de
anlisis, como por ejemplo, el anlisis coste-beneficio, dado que ste requie-
re determinar previamente los efectos-beneficios realmente causados por la
45
poltica o el programa analizado, es decir, aqullos que no se hubieran produ-
cido en ausencia de aqul.
b. Diferencias entre anlisis y evaluacin
En trminos de su relacin temporal con la formulacin y la implementa-
cin o puesta en prctica de una poltica, la evaluacin normalmente tiene lu-
gar despus de aqullas lo que explica su carcter ex post.
Algunos autores parten de esta caracterstica para distinguirla del anlisis
de las polticas pblicas. En este sentido, Chelimsky (1985:6-7) cita a Beck-
man (1977:222), quien define el anlisis de las polticas pblicas como anti-
cipatorio y dirigido a decisiones que an hay que tomar, y a Poland
(1974:333) para quien la evaluacin de programas invoca un examen retros-
pectivo de las operaciones de un programa, mira al pasado en busca de una
gua para el futuro; para luego afirmar que el anlisis de las polticas pbli-
cas es prospectivo mientras que la evaluacin de programas es retrospectiva.
El nfasis en el anlisis de las polticas pblicas se pone en los efectos pro-
bables (o estimados, o proyectados); una pregunta tpica del anlisis de las
polticas pblicas podra ser la siguiente, Cules sern los efectos proba-
bles de una restriccin en la oferta de camas, en el ndice de ocupacin de
los hospitales? El inters de la evaluacin reside en cambio, en los efectos
reales (esto es, en lo que ha sido observado, lo que ya ha ocurrido o est
ocurriendo); una pregunta tpica de la evaluacin podra ser la siguiente,
Qu ocurri al ndice de ocupacin de los hospitales, despus que el cre-
cimiento de la oferta de camas fuera restringido? (Chelimsky, 1985:7)
Tanto el anlisis de los efectos probables de una poltica en el futuro, co-
mo el de sus efectos reales y por tanto pasados, buscan producir informacin
que tenga una cierta relevancia en la discusin sobre la poltica a seguir con
respecto a un determinado problema. En este sentido, todo es anlisis de pol-
ticas pblicas. La cita de Chelimsky resulta, sin embargo, esclarecedora, al
mismo tiempo que nos recuerda el carcter cclico del modelo terico, segn
el cual los resultados de la evaluacin proporcionan la base emprica necesaria
para el estudio de alternativas a las polticas presentes.
c. El carcter amenazante de la evaluacin
Todas las definiciones se refieren a los mtodos propios de las ciencias so-
ciales como elemento caracterstico de la evaluacin de polticas o programas
46
PRIMERA PARTE
pblicos. Con independencia del desarrollo que se hace ms adelante de las
diferentes aproximaciones metodolgicas, conviene distinguir aqu entre in-
vestigacin social bsica o aplicacin de mtodos cientficos con el propsito
de avanzar en el conocimiento y comprensin de un determinado aspecto de la
realidad social, y evaluacin de programas que, si bien utiliza los mismos m-
todos (o aproximaciones), se diferencia de aqulla tanto en sus propsitos co-
mo en su contexto.
La evaluacin se realiza para que sus resultados sean utilizados. Idealmen-
te, existe un cliente que tiene que tomar decisiones y busca en la evaluacin
algunas respuestas en las que basar su decisin. Por esta razn, el evaluador/es
tiene que tratar las cuestiones que derivan del programa, al contrario de la in-
vestigacin cientfica bsica que pone el nfasis en la produccin de nuevos
conocimientos y donde el investigador tiene libertad para formular sus propias
hiptesis.
Adems, la evaluacin tiene lugar en un entorno difcil, con las complica-
ciones que implic el tratar con grupos de personas con sistemas de valores e
intereses dispares, lo que les lleva a mantener posiciones divergentes en rela-
cin con un programa o con su evaluacin.
Los responsables de un programa, cuya preocupacin fundamental es
que su programa funcione sin interrupciones ni dilaciones, no slo pueden
no ver la necesidad de ser evaluados, sino incluso temer un proceso de este
tipo. En este sentido, ya en 1972, Wildavsky se planteaba la incompatibili-
dad entre el organization-man y el evaluation-man y la necesidad de
cambiar profundamente las organizaciones pblicas para conseguir que los
resultados de las evaluaciones sean de alguna utilidad: Cmo convencer a
los administradores para que recojan informacin que puede ayudar a otros
pero que slo les puede perjudicar? se preguntaba el Profesor de Berkeley
(Wildavsky, 1972:509).
La cita es relevante en la medida que pone de relieve el carcter de ame-
naza que toda evaluacin puede suponer para los sujetos evaluados, lo que in-
dudablemente tiene una influencia directa en la investigacin. Difcilmente se
pueden evaluar los programas de una Administracin que no quiere cooperar
en la aportacin de datos o en la apertura de expedientes. Cabe, sin embargo,
contrariamente a lo afirmado por Wildavsky, encontrar motivos por los que un
administrador pblico tenga inters en cooperar en la evaluacin de su propia
actividad, como veremos ms adelante.
Las diferencias de propsito y de contexto entre la evaluacin y la inves-
tigacin cientfica bsica justifican, segn Cronbach, que aqulla se realice
de forma lo bastante correcta para responder a las cuestiones suscitadas,
aunque desde el punto de vista cientfico no se corresponda con el mejor di-
seo posible:
47
El mrito radica no tanto en el mtodo de investigacin sino en la rele-
vancia de la informacin... La validez externa --esto es la validez de las
inferencias ms all de los datos- es lo determinante. Incrementar la vali-
dez interna por medio de un elegante diseo a menudo reduce la relevan-
cia de la investigacin. (Cronbach et al., 1980:7)
Ciertamente, la exigencia misma de producir informacin til a todos
aqullos que son parte en un mismo programa, o las limitaciones de tiempo,
personal y recursos pueden influir en la calidad cientfica de los estudios. Ern
cualquier caso es posible aunar ambas exigencias, como demuestran Bornco,
McSweeney y Soderstrom (1978), entre otros que se han dedicado a recopilar
un gran nmero de evaluaciones que se aproximan a un diseo perfecto desde
el punto de vista cientfico.
La figura 1 resume de forma esquemtica las relaciones tericas entre an-
lisis, evaluacin e investigacion social bsica.
Figura 1: Relaciones entre anlisis, evaluacin e investigacin
Relevancia para un programa especfico
NO SI
NO
Relevancia a
nivel poltico
SI
Investigacin Evaluacin
Social Bsica de Programas
Anlisis de Evaluacin
Polticas de Polticas
A su vez, la figura 1 distingue entre evaluacin de polticas y de progra-
mas, en funcin de su impacto potencial. De acuerdo con este criterio, la ex-
presin evaluacin de programas se podra reservar para aquellas evalua-
ciones de un conjunto de recursos y actividades organizados para obtener
ciertos objetivos, cuyos resultados tienen relevancia a nivel de gestin del pro-
grama. Esta evaluacin intentara responder a cuestiones relacionadas con la
direccin, el funcionamiento y el impacto de un programa especfico en la po-
blacin a la que sirve. Mientras que la evaluacin de polticas tendra rele-
vancia a nivel de instancias de decisin poltica e intentara responder a cues-
tiones relacionadas con la generalizacin de una determinada poltica en
cuanto que aproximacin a un determinado problema, y que por tanto, podra
48
PRIMERA PARTE
afectar a un nmero importante de personas, resultar en cambios organizativos
de consideracin o en la redistribucin de recursos presupuestarios entre dis-
tintos departamentos administrativos (24).
(24) De ahora en adelante, por razones prcticas, normalmente utilizaremos la expresin evaluacin
de programas, sin que ello signifique que el objeto del trabajo se limite a la evaluacin de programas para
la gestin, sin una relevancia a nivel de decisiones polticas ms amplias.
49
CAPITULO II
GENESIS y ESTRUCTURA DE LA
EVALUACION EN UNA PERSPECTIVA
COMPARADA
1. INTRODUCCION
La emergencia de la evaluacin de programas se asocia con el crecimiento
de los programas sociales durante los aos sesenta en los EEUU, Canad y en
algunos pases europeos, y con la introduccin, desarrollo y generalizacin
paralelos de reformas racionalizadoras de los procesos de decisin y presu-
puestacin pblicos. (Rossi y Freeman, 1985:28; Chelimsky, 1985:2)
2. ORIGENES y SISTEMATIZACION DE LA EVALUACION
EN LOS ESTADOS UNIDOS
A. CRECIMIENTO DE LOS PROGRAMAS SOCIALES
Concretamente, en los EEUU, indudablemente el pas con un sistema de
evaluacin ms avanzado tanto por su nivel de institucionalizacin, como por
su elevado grado de sofisticacin metodolgica (Derlien, 1990: 148), la eva-
luacin se desarrolla como respuesta a la preocupacin por determinar los
efectos de los progamas de la Great Society y de la guerra contra la pobre-
za del Presidente Johnson.
La progresiva intervencin del gobierno federal en reas como la educa-
cin, la salud o el bienestar social poda, en ocasiones, ser interpretada como
una incursin abusiva por parte del gobierno federal en el mbito de actuacin
de los estados o de las organizaciones privadas. En este contexto, tanto los de-
fensores de las nuevas polticas sociales como sus detractores, aparecen inte-
resados en la evaluacin en la medida que se esperaba que sta respondiera a
cuestiones sobre lo que estaban costando realmente las nuevas polticas, sobre
su impacto real en los grupos de poblacin a los que iban dirigidas, sobre qu
programas se podan mantener o haba que suspender, o sobre las reformas
que precisaban para obtener mejores resultados.
Desde la perspectiva de los que favorecan las nuevas polticas sociales,
las evaluaciones podan facilitar su justificacin y legitimacin, incremen-
tar la credibilidad de los programas frente a la opinin crtica de los polti-
cos ms conservadores y crear soporte externo al despertar la sensibilidad
de la opinin pblica y proporcionar informacin sobre la actividad de la
Administracin.
53
Desde la perspectiva de los que se oponan a la creciente intervencin y
gastos pblicos, las evaluaciones podan proporcionar argumentos en los que
fundamentar la crtica de las nuevas polticas, con el propsito de posponer su
generalizacin o incluso reclamar su terminacin.
Para ambos, la evaluacin poda ser una herramienta til, vlida y fiable
con la que construir la evidencia emprica necesaria sobre cuya base funda-
mentar el debate y las decisiones polticas. (Hellstern, 1986:287)
B. REFORMA PRESUPUESTARIA
Incluso con anterioridad al lanzamiento de los programas sociales de la
Great Society, durante los aos cincuenta, el Departamento de Defensa de
los Estados Unidos, en un intento por racionalizar la presupuestacin y la ges-
tin de sus programas, desarroll el Programming, Planning and Budgeting
System (PPBS), uno de cuyos componentes consista en la evaluacin ex
ante de la eficacia y de la eficiencia de programas alternativos para alcanzar
cada uno de los objetivos del departamento.
El PPBS propona organizar el gasto propuesto en funcin del producto
final, o de su contribucin a cada uno de los objetivos de la organizacin.
Se elaboraban, por tanto, los programas, sobre la base de su contribucin a
estos objetivos, lo que permita agrupar aqullos que tuvieran una forma si-
milar de tratar un determinado problema pblico y as establecer una verda-
dera competicin por los recursos entre programas alternativos. (Mikesell,
1982:146)
El xito del PPBS en el Departamento de Defensa llev al Presidente
Johnson a extender su aplicacin a todas las agencias del gobierno federal,
aunque, como afirma Chelimsky (1985:3), en menos de cinco aos, a princi-
pios de la dcada de los setenta, buena parte de las expectativas puestas en la
reforma empezaron a desvanecerse a medida que los analistas del gobierno
empezaban a reconocer el excesivo optimismo que se haba puesto en el nue-
vo sistema. Esta autora entiende que la falta de desarrollo de medidas que re-
presentaran el output de los programas fue un obstculo a su implementacin
y evaluacin, que el PPBS no pudo superar.
De hecho, ya en 1969, en un artculo publicado en Public Administratian
Review, bajo el ttulo Rescuing Policy Analysis from PPBS Wildavsky afir-
maba categricamente:
Nadie sabe cmo hacer el presupuesto por programas. Muchos saben c-
mo debera ser el presupuesto por programas en general, pero nadie sabe
lo que debera ser en cada caso particular. El presupuesto por programas
54
PRIMERA PARTE
no puede ser expuesto en trminos operacionales. No hay ningn consen-
so sobre lo que significan las palabras, ni tampoco la capacidad para ense-
ar a otra persona lo que debera hacerse. (1969:193)
El PPBS contribuy, sin embargo, a desarrollar una cultura de anlisis y
evaluacin en relacin con el proceso de toma de decisiones polticas que se
mantendra hasta nuestros das.
C. SISTEMATIZACION DE LA EVALUACION
La institucionalizacin de la evaluacin se produce con la creacin de uni-
dades de evaluacin en distintas oficinas federales, como la Office of Econo-
mic Opportunity y a travs de leyes como la Economic Opportunity Act
de 1967 que requiri a la General Accounting Office (GAO) que desarrollara
anlisis de la eficacia de los nuevos programas (25).
Posteriormente, la funcin evaluativa se vi fortalecida, en el poder eje-
cutivo, como consecuencia de la labor de estmulo y divulgacin de metodo-
logas por parte de la oficina del presupuesto (26); y a nivel de poder legisla-
tivo, a partir de la creacin de un instituto para la evaluacin dentro de la
GAO en 1980, despus reorganizado y denominado Divisin de Evaluacin
de Programas y Metodologa.
A nivel del ejecutivo, los dos departamentos que concentran la mayor par-
te de los programas sociales son el Departamento de Salud, Educacin y Bie-
nestar y el Departamento de Trabajo. El primero contaba, a principios de los
setenta, con seis divisiones, cada una de las cuales tena una oficina de planifi-
cacin y evaluacin que era la encargada de establecer los planes de evalua-
cion para todo el departamento y de administrar los recursos disponibles. Por
su parte, el Departamento de Trabajo contaba igualmente con cinco oficinas
de evaluacin correspondientes a los programas ms importantes del departa-
mento, y una oficina de evaluacin e investigacin encargada de planificar las
evaluaciones de carcter ms general.
(25) Otras evaluaciones importantes son las desarrolladas en materia de educacin a raz de la Ele-
mentary and Secondary School Education Act de 1964, en materia de vivienda y desarrollo urbano, a par-
tir de los programas experimentales lanzados en 1970 por el Housing and Urban Development Depart-
ment, y en materia de asistencia social, formacin e insercin profesional, como consecuencia de los
programas que desde mediados de los sesenta aplicaron Health, Education and Welfare y el Department
of Labor (Rossi y Wright, 1984: 49) Presentamos en el cuadro nmero l una de las primeras evaluaciones
realizadas por encargo de la Office of Economic Oportunity y nos remitimos al apartado dedicado a las
evaluaciones experimentales para la descripcin ms detallada de las evaluaciones de sendos programas de
vivienda y rentas mnimas de insercin y formacin profesional.
(26) El Bureau of the Budget que a partir de 1970 cambia de nombre y pasa a denominarse Office
of Management and Budget (OMB).
55
A nivel del legislativo, la evaluacin es desarrollada principalmente, aun-
que no de forma exclusiva, por la GAG (27). Esta agencia, que a principios de
la dcada de los ochenta contaba con ms de 3000 empleados dedicados a su
divisin de evaluacin de programas (Walker, 1985:272), puede actuar por
iniciativa propia o a requerimiento de un departamento ejecutivo, aunque ge-
neralmente su intervencin viene determinada por ley o a peticin de algn
miembro del Congreso (28).
As, pues, desde los programas de la Great Society y de reforma presu-
puestaria hasta nuestros das, cabe distinguir como hace Levy (1984: 27-28),
tres etapas en lo que se refiere a niveles de intervencin pblica y evaluacin
en los EEUU:
La primera etapa, desde 1963 hasta 1970 se caracteriza por la in-
tervencin creciente del gobierno en una serie de sectores nuevos
y por el desarrollo del anlisis de las polticas pblicas de tipo
prospectivo.
La segunda etapa, desde 1970 hasta 1980, se caracteriza por la progre-
siva institucionalizacin de la evaluacin. La creciente intervencin
pblica caracterstica del perodo anterior fue, sin embargo, considera-
blemente limitada, aunque el gasto pblico continuara creciendo como
consecuencia del efecto de la inflacin.
La tercera etapa, de 1980 en adelante, marcada por las presidencias de
Reagan y Bush, se caracteriza por la reduccin de los gastos nomina-
les y la continuacin de anlisis y evaluacin, pero con objetivos pol-
ticos distintos.
As, pues, durante los aos setenta y ochenta, cada vez se cuestiona ms
la expansin continuada de los programas sociales (en este contexto se de-
sarrollan iniciativas como Proposition 13 tendente a limitar los ingresos
por impuestos de las Corporaciones Locales en California, y Sunset Le-
gislation que supone la terminacin automtica de programas que no al-
canzan determinados objetivos) y se produce un cambio de nfasis en mate-
ria de evaluacin, donde cada vez es mayor el inters por comparar los
beneficios derivados de las inversiones en programas sociales con sus cos-
tes, con el propsito de legitimizar las reducciones presupuestarias o inclu-
so la supresin de algunos programas.
(27) En los EEUU, existen cuatro agencias que tienen por misin asistir al Congreso en sus activida-
des legislativas y de control del ejecutivo: la General Accounting Office, la Office of Technology As-
sesment, Congressional Research Service y Congressional Budget Office.
(28) Sobre la estructura organizacional de la evaluacin de programas en EEUU, Vid. Levitan y Wur-
burg (1979). Sobre la GAO, Brown (1973), Rouban (1983) o Walker (1985).
56
Cuadro 1:
PRIMERA PARTE
COLEMAN REPORT
Uno de los primeros estudios que aplic mtodos propios de las cien-
cias sociales al anlisis y evaluacin de programas pblicos es el llamado
Coleman Report que por encargo del Congreso de los EEUU y bajo el
patrocinio de la Oficina de Educacin realizaron y presentaron Coleman y
sus colaboradores en 1966 (29).
Como afirma Langbein (1980:2), el Coleman Report fue nico tanto en
el uso de los mtodos de investigacin, lo que le di una credibilidad que no
tenan otras evaluaciones anteriores, como en su forma de aproximar el pro-
blema de la igualdad de oportunidades en educacin. En general, los estudios
anteriores se haban centrado nicamente en el proceso de la educacin p-
blica, examinando por tanto, nmero de alumnos por clase, asignaturas, m-
todos pedaggicos, bibliotecas y laboratorios; puesto que partan de la base
que mejorando la cantidad y la calidad de los inputs educacionales, los estu-
diantes aprenderan ms. Coleman y sus colaboradores, ms preocupados
por cuestiones de impacto que de proceso, se preguntaron si efectivamente,
ms inputs producen mejor educacin. Su conclusinfue la siguiente:
.. .Est claro que las escuelas no estn actuando como un estmulo fuerte
(en cuanto a resultados objetivos en tests estandarizados) independientemen-
te de los antecedentes del estudiante o del nivel de su clase.. Esto no signifi-
ca, por supuesto, que las escuelas no tengan ningn efecto, sino que los efec-
tos que tengan estn muy correlacionados con los antecedentes individuales
del estudiante, y con los del conjunto de compaeros de su clase y de su es-
cuela: es decir, los efectos parecen derivar no tanto de factores que el siste-
ma educativo controla, sino de factores externos al medio escolar. .. (30)
1ndependientemente de la relevancia de estos resultados para la polti-
ca educativa del pas, el anlisis de las relaciones entre diversas variables
y los resultados de los estudiantes en tests objetivos apareca como una
aproximacin vlida al concepto de evaluacin de los efectos de las polti-
cas pblicas.
3. DESARROLLO DE LA EVALUACION EN OTROS PAISES
Fuera de los EEUU, la evaluacin de programas tiene lugar principalmen-
te en aquellos pases donde existe un desarrollo importante de la polticas de
(29) De ah que se conozca como Coleman Report. Su ttulo original es Equality of Educational
Opportunity.
(30) Coleman et al., (1966: 311-312), citado por Langbein (1980: 1).
57
bienestar social o en conexin con los programas de ayuda internacional de
las 23 organizaciones de la ONU.
Canad, Alemania, Suecia y Gran Bretaa cuentan con iniciativas de es-
te tipo desde finales de los aos sesenta, mientras que Noruega, Dinamarca,
Holanda y Francia han intensificado la demanda de evaluaciones en los aos
ochenta (Derlien, 1990: 148-149). Adems, la evaluacin se encuentra for-
malmente institucionalizada en las organizaciones de la ONU y singular-
mente en el Banco Mundial, la OMS, la FAO, UNESCO y UNIDO (HeHs-
tern, 1986: 282).
El proceso de desarrollo de la evaluacin en Canad y en los pases de
la Europa occidental es muy similar al descrito para los EEUU. Por esta ra-
zn, nos limitamos a hacer un breve repaso de los factores que influyen en
el desarrollo de una funcin evaluativa en estos pases para destacar ms
especficamente las diferencias que se producen entre ellos en cuanto a su
institucionalizacin.
A. FACTORES DETERMINANTES
De forma general, se puede afirmar que nicamente en el Canad y en al-
gunas organizaciones internacionales, adems de los EEUU, existe una eva-
luacin sistemtica de las polticas y programas pblicos, mientras que en los
dems pases sta se produce ad-hoc, esto es, en relacin con demandas es-
pecficas (Hellstern, 1986:282).
En los pases de la Europa occidental citados y en el Canad, el desarrollo
de la evaluacin es debido, al igual que en los EEUU, a los dos procesos para-
lelos anteriormente descritos.
Primero, la introduccin y desarrollo progresivamente ms importante de
las polticas de intervencin econmica y social de los gobiernos generalmen-
te de tendencia socialdemcrata de finales de los aos sesenta y principios de
los setenta. Este es particularmente el caso de los pases escandinavos, con
Suecia a la cabeza -lo que ha llevado a este pas a tener tasas de imposicin
y niveles de gasto pblico por encima de cualquier otro (Ysander, 1984:53)-
de la RFA y de Gran Bretaa (Derlien, 1990:149-152). Al igual que en Ros
EEUU, esta fuerte expansin de los programas sociales se encuentra en la ba-
se de la preocupacin a nivel poltico, por determinar los efectos de las nuevas
polticas sociales en relacin con sus objetivos y su coste.
Segundo, la introduccin y desarrollo de reformas presupuestarias si-
guiendo el modelo del PPBS en las que se incluye la evaluacin como parte
integrante del esquema de planificacin previa a la aprobacin presupuesta-
ria de los futuros programas. Este fue el caso del Canad, donde se adopta
58
PRIMERA PARTE
el PPBS, a partir de 1969 (Der1ien, 1990:151), de Suecia donde las audito-
ras de eficacia y los anlisis coste-eficacia son introducidos por la Oficina
Nacional de Auditora siguiendo las prescripciones de la reforma presu-
puestaria desde mediados de los aos sesenta (Arvidsson, 1986:629), y de
la RFA, a partir de 1973 (Derlien, 1990: 150). Ms tardamente, la evalua-
cin de programas se incluye formalmente en el proceso anual de aproba-
cin del presupuesto en Holanda, a iniciativa del gobierno centrista-liberal
en 1981 (Derlien, 1990-152), en Francia bajo la presidencia socialista en
1982 (Quermonne y Rouban, 1986:403), y en Noruega a partir de 1985, ca-
si veinte aos ms tarde que Suecia cuando generalmente las reformas ad-
ministrativas ocurridas en estos pases son inmediatamente adoptadas por
Noruega (Derlien, 1990-152).
B. PAUTAS DE INSTITUCIONALIZACION
El desarrollo de una nueva mentalidad y cultura poltico-administrativa fa-
vorable a la evaluacin no se traduce en unos mismos niveles de frecuencia,
regularidad e institucionalizacin de esta funcin en los pases citados. To-
mando nuevamente como referencia el caso de los EEUU en la medida que
constituye el principal antecedente, existen variaciones importantes entre los
pases considerados en funcin, de una parte, de si se desarrolla la funcin
evaluativa a nivel parlamentario o ejecutivo nicamente y, de otra parte, de los
distintos niveles de centralizacin o descentralizacin con los que se acomete
la tarea de poner en prctica la evaluacin.
a. A Nivel Parlamentario
A nivel parlamentario, se puede afirmar que en aquellos pases donde
los tribunales o agencias encargados del control de la contabilidad pblica
son ms independientes del ejecutivo, existe una tendencia por parte de los
Parlamentos a utilizar estas instituciones como soporte tcnico para evaluar
los programas de la Administracin. Este es el caso ya comentado de los
EEUU y del Canad cuyo Parlamento cre en 1977 la llamada Office of
Comptroller General y una divisin especializada en la evaluacin dentro
de sta siguiendo el modelo de la GAO (Derlien, 1990: 151). En cambio, en
aquellos pases donde el tribunal de cuentas ha sido histricamente conside-
rado como un rgano del ejecutivo, como en la RFA (Derlien, 1990: 156), o
donde sus miembros proceden de la Judicatura y de la Administracin como
en Francia (Quermonne y Rouban, 1986:402), los tribunales de cuentas no
59
desarrollan una actividad susceptible de ser includa dentro del mbito de la
evaluacin. Como excepcin a esta tendencia, cabe destacar los casos de
Suecia y de Gran Bretaa donde, a pesar de que las instituciones de control
contable son respectivamente un instrumento del gobierno central o se ha-
llan bajo el control de ste por razn del sistema mayoritario de gobierno, s
extienden su mbito de actuacin a los estudios caractersticos de la evalua-
cin. En Suecia, desde mediados de los aos sesenta y en Gran Bretaa des-
de que se cre en 1983 la National Audit Office (Derlien, 1990: 156 y Vi-
veret, 1989:72).
b. A Nivel Ejecutivo
A nivel del ejecutivo, la evaluacin es impulsada de forma generalizada
por los Ministerios de Hacienda de acuerdo con la evolucin explicada n ~
riormente y de forma paralela a la introduccin de las reformas presupueS'1a-
rias que tienen su origen comn en el PPBS.
As, en Canad, se crea en 1969 una Divisin de Planificacin dentro
del Tesoro encargada de proporcionar soporte institucional al desarrollo de
la evaluacin en los departamentos ministeriales del ejecutivo. Esta inicia-
tiva recibi un nuevo impulso en 1979 con la creacin del Policy and Ex-
penditure System que, entre otros elementos, introdujo la posibilidad por
parte del Tesoro, de requerir evaluaciones de programas especficos, cuyos
resultados se integraran en el proceso de elaboracin del presupuesto (Der-
len, 1990: 151).
El mismo proceso se produce en la RFA donde la reforma presupuestaria
otorg al Ministro de Hacienda la autoridad necesaria para requerir en cual-
quier momento estudios especficos de los dems ministerios. Algunos minis-
terios sectoriales crearon unidades de evaluacin internas, mientras otros con-
trataron la evaluacin de sus programas a expertos externos a la
Administracin (31).
En Holanda, tambin ha sido el Ministerio de Hacienda el que ha impulsa-
do varias iniciativas para desarrollar estudios de evaluacin en estrecha rela-
cin con el proceso presupuestario.
Concretamente, en 1982 se cre, en el seno de la Direccin de Presupues-
tos, una oficina de coordinacin metodolgica y de difusin de trabajos en
materia de anlisis de polticas pblicas. Esta oficina ha tenido una funcin de
soporte y de estmulo hacia el desarrollo de evaluaciones de los efectos de las
(31) El Informe Viveret (1989: 67-75) indica, sin embargo, que una cultura de la evaluacin todava
no se ha desarrollado en la Administracin alemana en la medida que aqulla se asocia con la idea de una
investigacin con el objetivo de encontrar nicamente los fallos y deficiencias de la Administracin.
60
PRIMERA PARTE
polticas y de la estructura organizacional y de los procedimientos administra-
tivos de los servicios pblicos (Derlien, 1990: 152) (32).
En Suecia, en cambio, la introduccin del PPBS se utiliza como mecanis-
mo de descentralizacin y de mejora de la eficacia de los organismos adminis-
trativos autnomos, ms que como instrumento de racionalizacin central de
los procesos de presupuestacin y decisin pblica (Ysander, 1984:57) por lo
que no hay una estructura central dedicada a la evaluacin en los departamen-
tos econmicos del Gobierno.
c. Centralizacin-Descentralizacin
La implantacin de la evaluacin difiere asimismo en funcin del grado
en que aqulla es impulsada desde las instituciones centrales del gobierno con
el propsito de evaluar polticas generales en distintos mbitos de gobierno, o
por el contrario es desarrollada de forma descentralizada por distintos niveles
de gobierno, lo que se traduce en una organizacin ms fragmentada y en es-
tudios de programas ms concretos.
En el primer sentido los casos paradigmticos son los de Gran Bretaa y
Francia. En cuanto a organizacin plural y descentralizada de la evaluacin el
caso ms claro es el de Suecia.
En Gran Bretaa hasta 1979 funcion un sistema denominado Program
Analysis and Review por el que cada ao, los ministerios centrales deban
definir junto con el Tesoro, qu polticas era preciso revisar, y a tal efecto,
nombrar una comisin presidida por un representante del ministerio afectado e
integrada por representantes de otros ministerios interesados y del Tesoro.
El mismo tipo de trabajo de revisin de las polticas y de reflexin sobre
las posibilidades de mejorarlas fue realizado, hasta 1983, por el Central Po-
licy Review Staff, una especie de comit de expertos compuesto por funcio-
narios y por colaboradores externos de procedencia diversa.
El mismo gobierno conservador que acab de forma oficial con estos me-
canismos, impuls la llamada Rayner's Efficiency Unit, con el objeto de ha-
cer de las auditoras de gestin una prctica habitual en la Administracin bri-
tnica. Este iniciativa es, sin embargo, relativamente diferente de las
anteriores puesto que se pasa de la evaluacin de las polticas pblicas en sen-
tido muy amplio, a la revisin de los procedimientos de gestin administrativa
muy concretos (Derlien, 1990: 169).
(32) Al igual que ocurre en los EEUU en la dcada de los ochenta, en Holanda, han sido precisamente
los gobiernos de centro y liberales, los que han recurrido a la evaluacin con el objetivo de justificar sus
programas de reduccin del papel del Estado, o como mnimo de freno a una larga tradicin de intervencio-
nismo poltico (Derlien, 1990: 152).
61
En Francia, el Ministerio de Economa y Finanzas reuni a una serie
de expertos de diversos pases en 1983, con el propsito de hacer balance
de la prctica de la evaluacin en Francia y de promover la reflexin me-
todolgica y estratgica en torno las necesidades de evaluacin en este pa-
s. Tres aos ms tarde, se publicaba el Informe Deleau Evaluer les Poli-
tiques Publiques al que siguieron estudios evaluativos sobre las polticas
sociales en el seno del Comisariado General del Plan francs. Por otra par-
te, tambin se ha desarrollado la evaluacin a travs de comisiones espec-
ficas como la Comisin Nacional de Evaluacin de las Universidades, el
Comit de Evaluacin de la Investigacin o la Comisin Nacional de Eva-
luacin del Ingreso Mnimo de Insercin lo que supone acercar el modelo
francs al sueco (33) (Viveret, 1989: 1).
En Suecia existe una organizacin muy fragmentada de la evaluacin
en la medida que sta se produce en distintos niveles de gobierno y a su
vez en mltiples comisiones en funcin del objeto de los programas eva-
luados. A nivel central, la evaluacin de las polticas y el anlisis de sus
posibles alternativas tiene lugar, o bien en el seno de las comisiones na-
cionales que designa el gobierno para elaborar las leyes ms importan-
tes, o bien en el seno de las comisiones de investigacin que crean los
ministerios y las mltiples agencias administrativas de las que stos se
sirven para actuar. A nivel local, las federaciones nacionales de munici-
pios disponen de servicios de investigacin propios que, a su vez, pro-
mueven estudios de eficacia de la Administracin municipal (Viveret,
1988:74).
En resumen, se puede afirmar que la evaluacin no es una especialidad
exclusivamente norteamericana. La evaluacin existe en Europa y en el
conjunto de las organizaciones internacionales de la ONU. Si bien los pro-
cesos de gnesis y evolucin de la evaluacin son bastante similares para
todos los pases considerados, su grado de utilizacin e institucionaliza-
cin difiere en funcin de la posicin que ocupan los tribunales de cuentas
en relacin con el legislativo y el ejecutivo, y del impulso otorgado a la
evaluacin por los Ministerios de Hacienda. Tambin cabe distinguir
aquellos pases en que la evaluacin se plantea en relacin con las polti-
cas generales de las instituciones centrales de gobierno, de aquellos otros
en que presenta una estructura ms descentralizada y por tanto est ms
relacionada con programas concretos.
(33) A nivel parlamentario e inspirada en la Office of Technology Assessment norteamerica-
na, se cre la Office Parlementaire d'Evaluation des Choix Technologiques et Scintifiques con la
misin de prestar el soporte tcnico y cientfico que precisan ambas cmaras legislativas en temas
complejos como, por ejemplo, la lluvia cida, los semiconductores, el SIDA o la televisin de alta
definicin.
62
PRIMERA PARTE
4. CONDICIONANTES Y TENDENCIAS EN EL CASO ESPAOL
A. CRECIMIENTO Y REFORMAS TARDIAS
El anlisis de los factores que explican los distintos niveles de desarrollo
alcanzado por la evaluacin en una pluralidad de pases, permite asimismo
avanzar algunas de las causas que probablemente contribuyen a un desarrollo
tardo de la evaluacin en nuestro pas.
De una parte, como se ha puesto de relieve, la emergencia de la evaluacin
se asocia con las crecientes sumas de dinero invertidas en programas sociales y
de ayuda internacional en la dcada de los sesenta y principios de los setenta.
Espaa no participa de este proceso hasta mucho ms tarde y, aunque des-
de el ao 1975 en que se inicia la transicin hacia el Estado democrtico lo
haga de una forma particularmente intensiva, el anlisis de la distribucin del
gasto pblico por funciones revela la debilidad de los programas pblicos de
bienestar, si se compara con los pases de nuestro entorno en los que hemos
visto se desarrolla la evaluacin (34).
En el mismo sentido, el volumen del PIB espaol per cpita es inferior al
de estos pases lo que probablemente contribuye, como afirma Beltrn
(1991: 136), a que aqullos estn en condiciones de destinar una mayor pro-
porcin de recursos a programas de intervencin social.
De otra parte, no fue hasta 1982, cuando la mayor parte de los pases de
nuestro entorno haban enterrado de forma casi definitiva el PPBS, que el go-
bierno espaol present ante el Parlamento su versin de aqul, adaptada a
partir de la experiencia francesa de la Rationalisation des Choix Budgtai-
res y que aqu se llam Presupuesto por Programas.
La experiencia espaola del Presupuesto por Programas parece reproducir,
con sorprendente exactitud, los problemas encontrados por sus precedentes.
Zapico ha puesto de relieve el carcter simblico del PPBS espaol en la me-
dida que la reforma slo afect al formato del presupuesto:
Probablemente por razones de oportunidad poltica se ha dado preferen-
cia al aspecto simblico de la reforma en detrimento del contenido de la
misma. Se ha preferido cumplir rpidamente con la menos complicada ta-
(34) Segn Alcaide (1988: 3), El crecimiento del gasto pblico en la Espaa democrtica se concreta
en una ganancia en su participacin en el PIB de 17.3 puntos, que se dividen en la ganancia de 12.76 puntos
de participacin en el PIB correspondientes a la fase 1975-1982 y 4.37 puntos registrados en la fase: 1982-
1987.
Beltrn (1991: 135) analiza la composicin por funciones de los gastos pblicos en la RFA, Francia,
Italia, Reino Unido y Espaa y llega a la conclusin siguiente: La comparacin con pases que gastan en
nmeros redondos entre el 45 y el 51 por 100 (del PIB) pone de manifiesto que el perfil de los gastos pbli-
cos espaoles slo se separa de ellos de manera sensible en lo que se refiere a la menor proporcin de gas-
tos en enseanza, sanidad y seguridad social. Estas son las funciones que ms interesan a la evaluacin.
63
rea de transformar el formato presupuestario a avanzar estratgicamente o
gradualmente en el desarrollo de los sistemas de informacin y evaluacin
o en el proceso administrativo-financiero para mejorar su capacidad de
presupuestar. (1989:201)
Segn este mismo autor, el Presupuesto por Programas encontr dificulta-
des insalvables en la elaboracin de los programas -que acabaran siendo
agregaciones de gastos de los servicios orgnicos de naturaleza similar- en
la definicin de objetivos, y en su operacionalizacin en indicadores que sir-
vieran para evaluar la eficacia de los servicios (Zapico, 1989: 194-195).
No parece, por tanto, que el Presupuesto por Programas haya impulsado la
evaluacin en Espaa, como s sucede en aquellos pases donde a raz de la re-
forma presupuestaria, los Ministerios de Hacienda (o sus equivalentes), o bien
adoptan un rol activo en la divulgacin y diseminacin de metodologas de
evaluacin (caso de la OMB norteamericana), o bien adquieren la autoridad
necesaria para requerir evaluaciones de programas especficos de los ministe-
rios gastadores (caso de la RFA), o bien crean unidades centrales de anlisis y
evaluacin de las polticas pblicas (caso de Holanda).
Otros factores que pueden explicar las dificultades con las que se encuen-
tra nuestro pas para introducir la evaluacin tienen que ver con una pobre tra-
dicin de investigacin aplicada por el lado de la oferta, y con las caractersti-
cas del sistema poltico-administrativo por el lado de la demanda.
En el primer sentido, el inters por la aplicacin de las ciencias sociales, y
ms concretamente del anlisis y evaluacin de las polticas pblicas a los
problemas de la Administracin es reciente, lo que se traduce en un dficit im-
portante de personal capacitado para llevar a cabo este tipo de investigaciones.
En el segundo sentido, los obstculos susceptibles de dificultar el desarro-
llo de la evaluacin son mltiples:
En primer lugar, la ideologa del inters general justifica toda poltica o
programa decidido legtimamente, sin que sea necesario someterlo a una eva-
luacin formal para asegurarse que sus efectos son conformes con sus inten-
ciones (Nioche, 1982a:43).
En segundo lugar, las lites polticas y sobre todo burocrticas han sido
formadas en una tradicin de carcter institucionalista y dominada por el
Derecho Administrativo en la que la preocupacin principal es el control de
legalidad de los actos de la Administracin. De acuerdo con Subirats
(1989:24):
El balance de todo ello es la preocupacin por el procedimiento ms que
la preocupacin por el resultado de la accin administrativa. La tensin no
64
PRIMERA PARTE
se produce en la detenninacin o el control sobre los resultados de la acti-
vidad administrativa sino sobre la legalidad de la actuacin, el proceder a
travs de las reglas establecidas.
En este contexto, las cuestiones relacionadas con la eficacia o la eficiencia
tienen una importancia secundaria y pensar en tnninos de poltica o progra-
ma aparece como algo hasta cierto punto distorsionante. La gestin por pro-
gramas no se ha consolidado en Espaa y como ha puesto de relieve la expe-
riencia del Presupuesto por Programas, la estructura administrativa existente y
los mecanismos de decisin no favorecen la evaluacin.
A ello hay que aadir la debilidad de las instituciones legislativas en sus
funciones de control gubernamental. En este sentido, el cuasi monopolio de la
experiencia tcnica y de la infonnacin estadstica, econmica y financiera
por parte de la Administracin impiden desarrollar una funcin evaluativa de-
pendiente del Parlamento.
B. CONSTATACION DE UNA DEMANDA EFECTIVA
Todo lo dicho no obsta que constatemos que existe una demanda efectiva
de infonnacin evaluativa en distintos niveles de gobierno que, aunque est
lejos de obtener una completa satisfaccin, s ha dado lugar a estudios que
pueden inscribirse perfectamente en el mbito de la evaluacin.
El Ministerio para las Administraciones Pblicas en sus Reflexiones para
la Modernizacin de la Administracin del Estado, presentadas por el Minis-
tro J. Almunia en 1990, se propone adoptar mecanismos de seguimiento y
control de la actuacin de los aparatos administrativos que entiende han de ir
dirigidos a la evaluacin del grado de realizacin de los objetivos programa-
dos y la eficiencia de la gestin en sus distintas vertientes (financiera, organi-
zacin, procedimientos, etc.)>>.
Uno de estos mecanismos consiste en:
La evaluacin posterior de los resultados para comprobar la eficacia de
la gestin a la vista de las previsiones de los correspondientes programas,
as como el coste-rendimiento en la ejecucin de los mismos, con objeto
de poder fundamentar la elaboracin de los programas del ejercicio si-
guiente (1990:88)
El programa estrella de este departamento, sin embargo, han sido las ms
de 40 Inspecciones Operativas de Servicio realizadas por la Inspeccin Gene-
ral de Servicios desde 1987 hasta 1990 con el objeto de adecuar las plantillas
65
a las necesidades de cada servicio, disear nuevas estructuras organizaciona-
les y racionalizar y agilizar los procedimientos administrativos.
Se trata por tanto de auditoras de gestin en la lnea de las desarrolladas
en Inglaterra por la Rayner's Efficiency Unit, ms que de evaluaciones de
programas o de servicios.
En otros Ministerios, especialmente en los de naturaleza inversora, se de-
sarrollan estudios, generalmente de carcter prospectivo, y en ocasiones de
anlisis coste-beneficio. (Zapico, 1989: 195). Esta es una de las tcnicas que
ha alcanzado mayor importancia en el rea de los estudios de racionalizacin
de las decisiones pblicas en materia de gasto, como demuestra la ya bastante
extensa literatura de estudios aplicados en Agricultura, Sanidad, Educacin e
Infraestructuras (35).
A otros niveles de la Administracin, organismos autnomos como el
INEM de Barcelona han promovido la evaluacin sistemtica de la efica-
cia de sus programas de formacin y ocupacin en relacin con sus objeti-
vos, en base a la opinin subjetiva de sus beneficiarios (Blanch, 1987 y
Albareda, 1988).
Finalmente, el mismo caso sobre el Plan Integral de Roquetes que presen-
tamos en la tercera parte de este trabajo es el producto de una demanda de la
Administracin local.
La revisin detallada y completa de los estudios de evaluacin realizados
en Espaa supera el alcance de esta investigacin. Los ejemplos puestos han
de sevirnos nicamente para constatar una demanda creciente y algunas de las
respuestas que est obteniendo. Durante el proceso de publicacin de este li-
bro, ha aparecido en la coleccin Cuadernos Metodolgicos del Centro de
Investigaciones Sociolgicas, Metodologa de la Evaluacin de Programas,
trabajo en el que el profesor Alvira Martn (1991) presenta de forma sinttica
diferentes tipos y diseos de evaluacin de programas desde una perspectiva
similar a la adoptada en esta obra.
***
Antes de entrar en la discusin de las metodologas y en el anlisis de los
casos especficos, interesa precisar qu entendemos por evaluacin de progra-
mas. Hasta ahora hemos introducido algunas ideas (valoracin del mrito, me-
dida de efectos reales, determinacin del coste de las polticas...) que conviene
sistematizar.
Desde mediados de los aos setenta, la creciente demanda de evaluaciones
ha contribuido a consolidar la evaluacin como disciplina cientfica y hasta
(35) Para un repaso de la situacin actual del anlisis coste-beneficio en Espaa, Vid. Albi YRodr-
guez (1988: 482-487).
66
PRIMERA PARTE
como una profesin independiente. De forma paralela a este crecimiento, se
produce una importante evolucin conceptual, que se ha traducido en una am-
pliacin progresiva de su mbito, y en la aparicin de nuevas ideas en tomo a
sus propsitos y mtodos (36).
(36) La evaluacin de programas se ha convertido en una profesin como demuestran, primero, el n-
mero de publicaciones que han aparecido Evaluation Review, Evaluation and Program Planning, Evaluation
Studies Review Annual; segundo, la creacin de asociaciones nacionales dedicadas a la evaluacin (<<Evalua-
tion Research Society de EEUU y de Canad), y de comits especficos en el seno de stas, encargados de
controlar la calidad de las evaluaciones (<<Evaluation Standards Committee, 1981); y tercero, el crecimiento
experimentado en algunos pases por las empresas e institutos de investigacin que se crearon originariamen-
te para optar a los contratos ofrecidos por sus respectivas Administraciones (Policy Studies Institute en Gran
Bretaa, Infratest y Prognos en Alemania, y Abt, Ass., Systems Development Corporation, Mitre, Rand y
Stanford Intemational, en los EEUU). (Hellstem, 1986: 281, Rossi y Wright, 1984: 50).
67
CAPITULO 111
CONCEPTO, CLASES, PROPOSITOS,
INTERESES y CRITERIOS DE
EVALUACION
1. CONCEPTO
La evaluacin de programas no tiene una definicin pacfica y am-
pliamente aceptada por la literatura. Los trminos program evaluation, ..
policy evaluation y evaluation research han sido objeto de una varie-
dad de interpretaciones en funcin de lo que distintos investigadores in-
cluyen en este campo de investigacin y/o entienden que son sus mtodos
propios.
A. AMPLIACION PROGRESIVA DEL AMBITO DE LA EVALUACION
Inicialmente, la evaluacin de programas es percibida como la evaluacin
de los efectos netos de los programas -es decir, de aquellos efectos que no se
hubieran producido en ausencia del programa- en relacin con los objetivos
inicialmente propuestos. (Rossi y Wright, 1984:51).
En este contexto, la evaluacin es, pues, un anlisis de resultados (<<outco-
mes en ingls), entendiendo a stos como el efecto o impacto real de un pro-
grama en sus destinatarios.
Interesa aqu precisar la diferencia que existe entre outcomes y out-
puts, puesto que a menudo ambos se confunden. Los outputs se refieren a
lo que el programa produce. As, por ejemplo, un programa de rehabilita-
cin de viviendas produce viviendas aptas para ser ocupadas por ciudada-
nos. Los outcomes, por su parte, se refieren al impacto de estos outputs
en la sociedad. En el ejemplo propuesto, el outcome del programa sera
el efecto que produce dicha poltica de rehabilitacin en la condicin de
personas de bajo nivel de renta y, en concreto, en su capacidad de acceder a
una vivienda de calidad.
Esta concepcin de la evaluacin de programas como evaluacin de los
efectos de un programa en relacin con sus objetivos es recogida en el influ-
yente libro de Weiss (1972:4):
El propsito de la Investigacin Evaluativa es medir los efectos de un
programa en relacin con los objetivos que se propone alcanzar, como
medio de contribuir al proceso subsiguiente de toma de decisiones sobre
71
el programa, y por tanto como medio de mejorar la programacin fu-
tura. (37)
La evaluacin de los efectos netos de los programas trataba a stos como a
una unidad indiferenciada, lo que se ha convenido en llamar una caja negra,
sobre la que no se conoce nada sobre sus componentes.
As, por ejemplo, un programa de fonnacin e insercin profesional puede
estar compuesto de clases tericas sobre donde encontrar ofertas de trabajo,
cmo hacer un currculum o presentarse en una entrevista de seleccin, puede
incluir mdulos de calificacin profesional, de prcticas en una empresa u
otros. La evaluacin de sus efectos tratara al programa como a una unidad iltl-
diferenciada comparando, por ejemplo, los niveles de xito de aqullos que
haban participado en el programa con los de aqullos que no lo haban hecho
y fonnaban parte de un grupo de control. Esta evaluacin aportara una esti-
macin objetiva de los efectos netos del programa, pero dado que no entrara
en el anlisis de sus componentes, no aportara infonnacin sobre el porqu
haba o no haba funcionado.
De aqu que varios autores incluyan en sus definiciones de evaluacin de
programas, la evaluacin de los componentes del programa y de la fonna en
que el programa opera regularmente. Esta concepcin ha dado lugar a las
management-centered evaluations defendidas por Wholey:
Evaluacin 1. valora la eficacia de un programa en funcionamento, en al-
canzar sus objetivos, 2. se basa en los principios del diseo investigativo
para distinguir los efectos de un programa de aqullos de otras fuerzas
operando en una situacin detenninada, y 3. se dirige a mejorar el progra-
ma a travs de la modificacin de las operaciones corrientes. (Wholey et
al., 1975:23) (38).
Se relaciona, por tanto, con la preocupacin por hacer de la evaluacin
un instrumento que resulte til a los responsables directos de los progra-
mas. En este sentido, Subirats (1989: 140) se refiere a una perspectiva
(37) En el mismo sentido, Walker que estudi la funcin evaluativa en la GAO piensa que: el objeti-
vo de la evaluacin es determinar si los programas federales estn obteniendo los beneficios y resultados
perseguidos por el Congreso y la Administracin (1985-173).
Tambin, Nioche en Europa, define la evaluacin en parecidos trminos: utilizar los mtodos de in-
vestigacin de las ciencias sociales para apreciar los efectos reales de una poltica, una vez que sta ha sido
aplicada 1982b: 21).
(38) Para Marvin y Hedrick, analistas de la GAO, la evaluacin de programas consiste en la valora-
cin sistemtica de cmo un programa est alcanzando los objetivos establecidos en la legislacin autori-
zante (1974: 328).
En el mismo sentido, Herman, Morris y Fitz-Gibbon entienden que evaluar un programa consiste en:
recoger informacin, de forma sistemtica, sobre cmo opera un programa y sobre los efectos que pueda
tener. (1987: 8).
72
PRIMERA PARTE
gerencial que distingue de la perspectiva legal-tradicional y de otras de ca-
rcter poltico (39).
La evaluacin an ampliara su mbito a raz de los anlisis de evaluacio-
nes realizadas en los que se sugera que los pobres resultados de muchos pro-
gramas podan ser debidos a una inadecuada planificacin previa, a un diag-
nstico errneo de las necesidades de sus destinatarios o a problemas de
interpretacin o puesta en prctica de conceptos manejados en las fases de dis-
cusin, negociacin y aprobacin del programa (Rossi y Wright, 1984:65).
De otra parte, como se ha afirmado anteriormente, la crisis industrial de
los aos setenta y las polticas conservadoras de reduccin del gasto pblico
suscitaron un mayor inters por la evaluacin econmica de los programas, lo
que ha llevado a algunos autores a incluir dentro del mbito de la evaluacin
de programas los anlisis coste-eficacia y coste-beneficio desarrollados por
economistas. (Lewis y Zarb, 1974:308; Thompson, 1980:entero).
B. CONCEPTO AMPLIO DE EVALUACION DE PROGRAMAS
Todo ello conduce a que algunos eminentes cientficos sociales como Ros-
si y Freeman empezaran a hablar de evaluaciones globales (<<comprehensive
evaluations) como prototipo de las actividades de investigacin evaluativa.
Para estos autores la evaluacin de programas consiste en:
La aplicacin sistemtica de procedimientos de investigacin social para
valorar la conceptualizacin y diseo, implementacin y utilidad, de los
programas de intervencin social (1985:19-20).
Esta definicin resume los puntos indicados anteriormente y establece las
bases de una tipologa de estudios de evaluacin.
En primer lugar, la evaluacin es aplicacin sistemtica de procedimientos
de investigacin social. Existe, por tanto, un compromiso por seguir las pres-
cripciones y los mtodos de las ciencias sociales con el fin de producir evi-
dencia emprica vlida y fiable.
En segundo lugar, la evaluacin se aplica con el fin de valorar y eventual-
mente perfeccionar, primero, la conceptualizacin y diseo, segundo, la im-
plementacin, y tercero, la utilidad de los programas de intervencin social.
La evaluacin completa de un programa incluira, por tanto, estas tres cuestio-
nes. Rossi y Freeman utilizan el trmino genrico de evaluacin de utilidad
(39) Ciertamente, los criterios en funcin de los cuales valorar el xito de una poltica o programa
pueden ser plurales y hasta contradictorios. A ello nos referimos al tratar de valores, propsitos e intereses.
73
para referirse a la evaluacin de impacto o efectos netos y a la evaluacin eco-
nmica o de eficiencia.
En tercer lugar, el mbito de la investigacin evaluativa se limita a los
programas de intervencin social, esto es, a cualquier combinacin de objeti-
vos y recursos que se organiza para que tenga un efecto en el bienestar de in-
dividuos o grupos sociales concretos. Programas, por tanto, muy diversos que
pueden tratar de educacin, bienestar social, salud, vivienda, seguridad, reha-
bilitacin social, desarrollo econmico.
En resumen, tal y como indica la figura nmero 2, la evaluacin de pro-
gramas tiene que ver tanto con los efectos de un programa sobre sus benefi-
ciarios, como con su implementacin, como con el proceso de formulacin de
propsitos generales y objetivos ms especficos, lo que tendra que permitir
relacionar, de acuerdo con el modelo terico, resultados finales, con la forma
en que es administrado el programa y planificada la intervencin.
Figura 2: Modelo terico para la evaluacin de programas
CLIENTES
/ Final
FINES Y GESTION DEL PROGRAMA
OBJETIVOS DISTRIBUCION DE SERVICIOS ---..
CLIENTES
Principio
!
Cambio

DECISIONES ....... 1-----
POLITICAS
EVALUACION
C. DIFERENCIAS ENTRE EVALUACION DE PROGRAMAS Y
CONTROL ADMINISTRATIVO
Si bien, en algunos pases, las instituciones tradicionales de control exter-
no de la Administracin han aadido a sus funciones de auditora jurdico-
74
PRIMERA PARTE
contable las funciones de evaluacin en los trminos que acabamos de ex-
plicar, hay que distinguir la evaluacin del control y de la inspeccin admi-
nistrativa.
De una parte, porque las cuestiones a las que se dirigen son distintas: el
control administrativo no cuestiona la oportunidad de una poltica o programa,
en cuanto conjunto de recursos aplicados a la consecucin de objetivos exter-
nos, sino que nicamente verifica que los recursos previstos hayan sido bien
aplicados y que las normas existentes hayan sido respetadas. En el mismo sen-
tido, Vulpian y Devez (1984:278).
De otra parte, porque los controles se ejercen desde una perspectiva
organizacional y por tanto, estrechamente relacionada con cada una de las
estructuras administrativas existentes. La evaluacin, en cambio, privile-
gia la perspectiva longitudinal basada en la idea de poltica o programa.
Rompe, por tanto, como afirma Nioche (1982a:5l), con la problemtica de
tipo jerrquico e implica una aproximacin a la vez ms distanciada y ms
global, sobre polticas o programas en los que pueden intervenir varias ad-
ministraciones.
Finalmente, porque como indica Eveno (1984:219), la inspeccin y el
control administrativos se basan en los desplazamientos sobre el terreno,
en las constataciones de hechos observables y en el juicio personal del ins-
pector. El resultado de su trabajo se refleja generalmente en un informe es-
crito que tiene por destinatario el superior jerrquico. La evaluacin es
ms amplia, es ms exigente en cuanto al mtodo e implica por tanto ms
tiempo.
2. CLASES DE EVALUACION
Dado que cada evaluacin suele tener un mbito distinto en funcin de las
cuestiones que intenta responder, resulta til distinguir entre cuatro clases de
evaluacin que coinciden con las grandes cuestiones incluidas en la definicin
de Rossi y Freeman.
Lgicamente, la tipologa de la evaluacin se puede construir en funcin
de otros criterios, lo que da lugar a otras tantas clases de evaluacin. As, en
funcin del propsito especfico que motiva la evaluacin se distingue entre
evaluacin formativa o de proceso y evaluacin conclusiva o de resultados; en
funcin de la naturaleza del estudio, entre evaluacin descriptiva y evaluacin
analtica; y en funcin de la relacin de los evaluadores con la organizacin
que encarga la evaluacin, entre evaluacin interna y externa. Finalmente, in-
cluimos una breve referencia a la meta-evaluacin.
75
A. CLASIFICACION POR FASES
a. Evaluacin de la Conceptualizacin y del Diseo de los Programas
La evaluacin de la conceptualizacin y del diseo de los programas in-
tenta proporcionar informacin, primero, sobre el problema del que se ocupa
o se debera ocupar el programa, segundo, sobre el proceso de formulacin y
diseo del programa y tercero, sobre la racionalidad intrnseca del mismo pro-
grama, es decir, hasta qu punto el diseo del programa sirve sus objetivos
(Rossi y Freeman, 1985:38-39).
Incluimos aqu, por tanto, la revisin de los estudios de necesidades donde
se recogen datos sobre la incidencia, prevalencia, y distribucin en el espacio
fsico y social del problema en cuestin, as como la investigacin bsica so-
bre los procesos polticos y sociales que tienen que ver con la formulacin,
negociacin y aprobacin de nuevas intervenciones (Rossi y Wright,
1984:65).
El estudio de caso sobre el Plan Integral de Roquetes es en buena medida
una evaluacin de esta naturaleza (40).
b. Evaluacin de la Implementacin de los Programas
Este segundo tipo de evaluacin consiste en la valoracin sistemtica y
peridica de dos cuestiones fundamentales: la cobertura del programa, es de-
cir, hasta qu punto el programa est alcanzando la poblacin o el rea a los
que se dirige; y la forma en que el programa se administra, tanto desde el pun-
to de vista de la utilizacin de los recursos de que dispone, como de los servi-
cios finalmente distribuidos (Rossi y Freeman, 1985:40).
Se trata, por tanto, de una supervisin o control del funcionamiento del
programa que indudablemente puede interesar a los gestores del programa que
pueden tomar acciones de tipo correctivo en relacin con problemas de ges-
tin (problemas de distribucin, de utilizacin de recursos humanos, de flujo
de la informacin) pero que tambin puede interesar a aqullos que deciden
sobre su continuidad y su financiacin y que por tanto tienen un inters
(40) Tambin existe una literatura sobre el concepto de problema. Generalmente se habla de problema
cuando concurren dos elementos; por una parte la constatacin de una situacin no deseada en la condicin
humana y social, y por otra, la resolucin decidida de tomar una accin organizada con el propsito de re-
mediar aquella situacin. La definicin de problema implica por tanto la idea de accin dirigida a tratar el
mismo problema.
En el mismo sentido, Subirats destaca el carcter artificial de los problemas, en la medida que no
tienen vida propia al margen de los individuos o grupos que los definen. Por otra parte, vincula problema
y solucin. Por ello, el planteamiento de un problema se ha de hacer desde una perspectiva que posibilite
la intervencin y que permita una va de mejora (1989: 50).
76
PRIMERA PARTE
evidente en conocer los problemas que existen con su puesta en prctica, in-
dependientemente de su preocupacin por los resultados finales.
El estudio de caso sobre la Polica local de 1'Hospitalet de LLobregat res-
ponde en buena medida a este tipo de evaluacin.
c. Evaluacin de la Eficacia o Impacto de los Programas
Una evaluacin de eficacia o impacto examina la medida en que ste
produce un cambio en la direccin deseada. Lgicamente, si no existe este
cambio o impacto, o no es demostrable, resulta ms difcil defender su
continuacin.
El anlisis de impacto presupone que existe un conjunto de objetivos ope-
racionales y que stos son indicativos del xito o del fracaso del programa. Se
afirma que ste ha funcionado correctamente si consigue algn cambio hacia
estos objetivos. La funcin del evaluador consiste precisamente en demostrar
que los cambios son debidos a la intervencin y no se pueden explicar como
consecuencia de un proceso alternativo que no incluya al programa mismo
(Rossi y Freeman, 1985:43).
La cuestin esencial en la evaluacin de impacto es, pues, separar los
efectos del programa de otros efectos externos para determinar hasta qu pun-
to el programa es responsable de los cambios observados durante y despus de
su puesta en prctica. Esto se consigue con la identificacin de medidas de re-
sultados que representen los objetivos del programa, y con el control, median-
te mtodos experimentales, cuasiexperimentales o estadsticos, de aquellos
efectos que no sean efectos reales del programa.
Tanto el estudio de caso sobre el Plan Integral de Roquetes como el de la
Polica Local incluyen elementos que se aproximan al concepto de evaluacin
de eficacia.
d. Evaluacin de la Eficiencia de los Programas
El conocimiento de la eficacia o impacto de un programa puede ser insufi-
ciente. A menudo, el impacto de un programa deber ser juzgado en funcin
de su coste ya que puede ocurrir perfectamente que un determinado programa
t ~ produciendo unos resultados escasos por los costes en que ha incurrido.
Ello supone incluir el anlisis coste-eficacia y el anlisis coste-beneficio den-
tro del mbito de la evaluacin. Como se dijo anteriormente, sin embargo, s-
tos requieren una evaluacin de impacto previa puesto que nicamente han de
tenerse en cuenta los beneficios realmente causados por el programa. Por otra
77
parte, la identificacin, cuantificacin y transformacin a una unidad comn
de medida de los costes y beneficios puede resultar problemtica cuando se
trata de programas sociales, ya que no todos los outputs e inputs pueden ser
valorados en trminos monetarios.
Cuadro 2: Principales cuestiones para cada tipo de evaluacin
l. Evaluacin de la conceptualizacin y del diseo de los programas
Cules son el grado y la distribucin de los problemas a los que se
dirige el programa?
Se ha diseado el programa de acuerdo con los objetivos inicial- .
mente perseguidos? Es lgico y racional?
2. Evaluacin de la implementacin de los programas
- Hasta qu punto el programa est alcanzando la poblacin espec-
fica o el rea a los que se dirige?
En qu medida el esfuerzo de intervencin se est llevando a cabo
como se especific en el diseo del programa?
3. Evaluacin de la eficacia o impacto de los programas
Ha sido el programa efectivo en alcanzar sus objetivos iniciales?
Se pueden explicar los resultados del programa como consecuencia
de un proceso alternativo que no incluya al programa mismo?
4. Evaluacin de la eficiencia de los programas
Cules son los costes y los beneficios de distribuir los servicios a
los participantes en el programa?
Supone, el programa en concreto, un uso eficiente de los recursos
en comparacin con otros alternativos?
Fuente: Adaptado a partir de Rossi y Freeman, 1985:39-46.
78
PRIMERA PARTE
B. OTRAS CLASIFICACIONES
a. Evaluacin Formativa - Evaluacin Conclusiva
Los trminos formativa y conclusiva (o sumativa, de summati-
ve en ingls) fueron adoptados por Scriven en su discusin sobre la
evaluacin de programas educativos (Scriven, 1967), y desde entonces
ha sido utilizados con asiduidad por la literatura para referirse a evalua-
ciones con propsitos distintos. (Herman, Morris y Fitz-Gibbon,
1987:17).
La evaluacin formativa responde a una preocupacin que se encuen-
tra en la base de muchas demandas de evaluacin: obtener informacin
sobre la marcha de un programa, de forma progresiva durante su desarro-
llo, con el objeto de darla a conocer a sus directores y personal, y poder
as stos introducir las modificaciones programticas que se estimen
oportunas.
Ello requiere un conocimiento detallado de las operaciones del pro-
grama y de sus mltiples componentes para poder anticipar problemas y
examinar en qu medida el programa se est desarrollando conforme a
sus objetivos.
La evaluacin formativa o de proceso coincide, en cuanto a las cuestiones
objeto de investigacin, con la evaluacin de la conceptualizacin, del diseo
y de la implementacin de los programas.
El propsito de la evaluacin conclusiva o de resultados es proporcio-
nar la informacin necesaria para poder hacer una valoracin global sobre
los resultados de un programa y sobre su utilidad.
Esta clase de evaluacin requiere que haya pasado un intervalo sufi-
ciente de tiempo desde la adopcin del programa de forma que su organiza-
cin y actividades hayan alcanzado una cierta estabilidad. En la medida que
el programa tenga unos objetivos claros y medibles ser ms factible juzgar
sus resultados, comparndolos, por ejemplo, con los de programas simila-
res o con los alcanzados por un grupo de control que no haya recibido nin-
gn programa.
La evaluacin conclusiva o de resultados se corresponde, en cuanto a
las cuestiones objeto de investigacin con las evaluaciones de impacto y
de eficiencia.
La matriz de la figura 3 relaciona los propsitos que generalmente moti-
van la demanda de una evaluacin con los aspectos del programa objeto de in-
vestigacin.
79
Figura 3: Tipos de evaluacin de programas
Propsito Cuestiones de mayor inters
Formativa
Conclusiva
Concept.Diseo
x
Implementacin
x
Impacto/Coste
(X)
X
b. Evaluacin Descriptiva - Evaluacin Analtica
El objeto de las evaluaciones descriptivas es obtener parmetros cuantita-
tivos que puedan ser aplicados a grupos de individuos que se benefician de
una poltica o participan en un programa y/o a las organizaciones que los ad-
ministran.
En cambio, las evaluaciones analticas intentan responder a cuestiones de
tipo causa-efecto. Requieren por tanto la utilizacin de modelos tericos y di-
seos de investigacin adecuados para demostrar que las interpretaciones cau-
sales son ciertas. (Cohen y Franco, 1988:116).
En la medida que las evaluaciones de la implementacin de los programas
persiguen presentar informacin sobre la poblacin objeto del programa y sobre
las actividades en que se concreta aqul, suelen ser de naturaleza descriptiva.
Mientras que las evaluaciones de impacto, en cuanto intentan separar los efectos
del programa de otros efectos externos, suelen ser de naturaleza analtica.
c. Evaluacin Interna - Evaluacin Externa
La distincin entre evaluacin interna y externa se refiere a las personas
encargadas de realizar la evaluacin y plantea un problema clsico de organi-
zacin de la evaluacin, esto es, quin debe ser el evaluador: personal del
programa, especialistas contratados por la Administracin responsable del
programa o especialistas externos completamente ajenos a aqulla?
Se puede definir una serie de criterios generales conforme a los cuales de-
terminar las ventajas e inconvenientes que presentan la evaluacin interna y
externa.
En primer lugar, si la evaluacin es realizada por el personal del progra-
ma, su comprensin del mismo y de los problemas que pueda plantear ser
mxima. Tambin es cierto, sin embargo, que la evaluacin podra fcilmente
80
PRIMERA PARTE
convertirse en una evaluacin-justificacin. En este sentido, parece importante
confiar cualquier evaluacin a personas cuya libertad de enjuiciar el programa
evaluado est garantizada.
La contratacin de especialistas por la misma Administracin responsable
del programa puede servir para conseguir una visin ms alejada y global de
ste, as como una mayor competencia y por tanto una evaluacin de mejor
calidad. Los riesgos de falta de objetividad e independencia persisten, sin em-
bargo, en la medida que satisfacer al cliente con unos buenos resultados puede
ser la nica va de obtener un nuevo contrato.
El recurso a expertos externos ajenos al programa y a la Administracin
que lo gestiona presenta evidentes ventajas en relacin con la objetividad, in-
dependencia y competencia de los evaluadores, pero tambin el riesgo de no
poder llegar a conocer la realidad del programa, o incluso de producir unos re-
sultados marginalmente tiles a la Administracin evaluada por un problema
de falta de confianza en sus propsitos. Para el personal del programa, la pre-
sencia de un evaluador externo podra nicamente responder a la necesidad de
encontrar los datos que apoyen un juicio negativo, hecho a priori. (Bocialet-
ti y Kaplan, 1986:2)
En resumen, pues, el dilema est entre una evaluacin interna que dispone
de la informacin, pero carece del espritu crtico y quizs de la competencia
necesarios, y una evaluacin externa, que puede tener la libertad de enjuicia-
miento y competencia necesarias, pero encontrarse con dificultades para reu-
nir la informacin pertinente.
Ciertamente, la evaluacin se ve reforzada por los estudios externos y
mltiples (Wildavsky, 1980:7), aunque es preciso conseguir la aceptacin y la
participacin del personal del programa, tanto para desarrollar la evaluacin
misma, como para que sus resultados sean despus utilizados. En este sentido,
las frmulas mixtas, bajo la direccin de expertos externos y dependencia di-
recta de un organismo distinto del que administra el programa, siempre que
sea posible, aparecen como las ms apropiadas (41).
d. Metaevaluacin
La metaevaluacin consiste en el anlisis de los resultados de varias eva-
luaciones. Proporciona, por tanto, informacin sinttica sobre el conocimiento
existente en relacin con una determinada poltica o programa pblico. Lgi-
camente, este tipo de anlisis slo es posible cuando un nmero considerable
de evaluaciones han sido realizadas y publicadas en relacin con una
(41) Para una discusin ms completa de las ventajas e inconvenientes de la evaluacin interna y es-
tema, Vid. Cohen y Franco, (1988: 111- 114); Monnier (1987: 116); o Weiss (1972: 20-21).
81
detenninada poltica. Entonces, el examen sistemtico del conjunto de las eva-
luaciones, desde una perspectiva ms general, puede proporcionar ms y me-
jor infonnacin que un nuevo estudio de caractersticas parecidas a los reali-
zados anterionnente (42).
A veces, la metaevaluacin consiste en repetir un estudio acabado, reana-
lizando los datos en que se basa o incorporando ms datos sobre el mismo
programa. (Hudson y McRoberts, 1984:222). Otra fonna de hacer metaeva-
luaciones consiste en la revisin de tipo ms amplio de la investigacin eva-
luativa desarrollada en un detenninado perodo. El trabajo de Wholey et al
(1975) cubri 15 programas de cuatro agencias norteamericanas durante
1968-1969 y examin tanto la organizacin de programas, como la calidad de
las evaluaciones y de sus infonnes finales, y los problemas de comunicacin y
posterior uso de los resultados. Nioche y Poinsard realizaron una investiga-
cin de naturaleza similar para Francia (1984:5-22).
La evaluacin de las evaluaciones, como podra describirse la metaeva-
luacin, no est exenta de las complicaciones que derivan de las diferencias
existentes entre proyectos individuales en cuanto a las metodologas emplea-
das, el tipo de datos empleados, o la perspectiva poltica desde la que se lleva-
ron a cabo. Parece, sin embargo, razonable recurrir a la infonnacin agregada
y sinttica de las metaevaluaciones para justificar decisiones polticas, cuando
esto sea posible, y en la medida que la evidencia emprica acumulada indique
claramente un curso de accin.
3. PROPOSITOS
A. PROPOSITOS ABIERTOS
Como qued reflejado en la figura 3, la evaluacin de una poltica o pro-
grama puede abarcar un conjunto de cuestiones diversas en funcin de los
propsitos o razones por los que se decida llevar a cabo. Igualmente hemos in-
dicado dos prpositos o razones principales por las que en general se decide
evaluar una poltica o un programa: de una parte, obtener infonnacin sobre
un programa, de fonna progresiva durante su desarrollo, con el objeto de de-
terminar las modificaciones programticas que precisa; y de otra parte, pro-
porcionar la infonnacin necesaria para poder hacer una valoracin global so-
bre los resultados de una poltica o programa y sobre su utilidad. As, cabra
(42) Por ejemplo, en el campo de la salud y medio ambiente, Urkowitz y Laessing (1982: 427-438) reco-
gen un conjunto de investigaciones y examinan su rigor metodolgico. Su principal objetivo es descubrir los
efectos de los problemas de tipo medio ambiental en la salud humana. Pero para ello intentan determinar la
credibilidad de los resultados de las investigaciones realizadas, al mismo tiempo que sealan aquellos aspectos
que requieren ms investigacin y que por tanto deberan incluirse en las agendas de los investigadores.
82
PRIMERA PARTE
esperar que una evaluacin formativa fuera seguida de cambios en el personal,
en las actividades, la organizacin o incluso en el diseo de un programa.
Mientras que la informacin proporcionada por una evaluacin de resultados
finales tendra que servir de ayuda a los rganos poltico-administrativos de
los que depende un programa para decidir sobre su continuidad o suspensin,
sobre su generalizacin o su reduccin (43).
El principal propsito de la evaluacin es por tanto producir informacin
que tenga alguna relevancia para aquellas personas que encargan la evalua-
cin y que se entiende han de tomar algunas decisiones en relacin con la po-
ltica o programa evaluado.
B. PROPOSITOS ENCUBIERTOS
Algunos autores se han referido, sin embargo, a los posibles propsitos
encubiertos de la evaluacin lo que nos lleva a introducir algunas considera-
ciones ms polticas.
Ciertamente, una evaluacin se puede hacer con el propsito de justificar
una posicin a la que se ha llegado de forma previa: ya sea sta la de ofrecer
una imagen positiva del programa, o al revs, poner de manifiesto sus resulta-
dos negativos con el objeto de utilizarlos como arma poltica en contra de sus
responsables polticos y/o administrativos (44).
Por ello parece importante, desde la perspectiva del evaluador, determinar
los intereses y motivaciones que se encuentran detrs de la demanda de eva-
luacin y, concretamente el rol que es llamado a representar, de forma cons-
ciente o supuestamente inadvertida.
La evaluacin tambin se puede utilizar como un medio para posponer
una decisin. La demanda de ms investigacin como requisito previo a em-
prender algn tipo de accin es estrategia comn en el mbito de las Adminis-
traciones Pblicas. Ya nos hemos referido a como, desde mediados de los
aos setenta, la evaluacin ha contribuido a frenar el desarrollo creciente de
las polticas sociales en algunos pases.
(43) En el mismo sentido, Chelimsky relaciona los propsitos de la evaluacin de programas con la
formulacin de nuevas polticas o programas, con la gestin y administracin de los ya existentes y con la
exigencia social de dar cuentas de los resultados de los programas en funcionamiento y ya consolidados
(1978: 8). Por otra parte, Weiss indica la necesidad de delimitar claramente el prposito de una evaluacin,
en la medida que esta autora entiende que la evaluacin que sirve todos los propsitos (<<the all-purpose
evaluation) es un mito (1972: 15).
(44) En el primer sentido, Weiss se refiere a la evaluacin como instrumento de auto-glorificacin:
El administrador cree que su programa funciona muy bien y busca la manera de hacerlo visible ...
Copias del informe, favorable por supuesto, pueden ser enviadas a los rganos directores, a los miem-
bros de las comisiones legislativas ... (1972: 12).
83
En otro sentido, probablemente muchos programas son evaluados, simple-
mente porque as lo requiere la legislacin que establece su financiacin (Le-
vitan y Wurzburg, 1979:3). Lgicamente ello conduce a una evaluacin de ca-
rcter ritual que se realiza nicamente para cumplir con las disposiciones
legislativas pero que no tine ninguna utilidad para los administradores de los
programas.
Al mismo tiempo, no creemos que se pueda considerar ilcito buscar la
legitimacin que pueda aportar la evaluacin para defender una posicin,
cuando en el seno de una Administracin existe un debate sobre una nueva
poltica o programa. Al contrario, este tipo de prcticas, salvo que la evalua-
cin sea cuestionada metodolgicamente, pueden contribuir a enriquecer el
dilogo poltico.
4. INTERESES Y CRITERIOS
A. MULTIPLICIDAD DE INTERESES
Hasta ahora nos hemos referido a las personas o grupos de personas con
capacidad para tomar decisiones sobre una poltica o programa. Las polticas
y programas pblicos, sin embargo, afectan a una pluralidad de grupos que
van ms all de los decisores polticos-administrativos y del personal encarga-
do de llevarlos a la prctica.
AS, si tomamos como ejemplo la reforma de la enseanza secundaria en
Espaa, veremos que adems de interesar a los Parlamentos centrales y u ~
nmicos, al Ministerio de Educacin y Ciencia y a los departamentos de ense-
anza autonmicos, interesa a municipios, a asociaciones profesionales de en-
seantes, sindicatos, investigadores universitarios, y por supuesto a
profesores, alumnos, padres de alumnos y a sus asociaciones.
El carcter de afectado por una poltica o por un programa no tiene porque
suscitar, sin embargo, un mismo inters en la evaluacin del mismo. El tipo de
informacin que querran obtener cada uno de estos grupos vara en funcin
de su posicin en el sistema.
As, en primer lugar, cabe esperar que a,qullos que tienen una mayor ca-
pacidad para decidir sobre el futuro de la reforma (parlamentarios, miembros
del gobierno central y autonmico, y altos funcionarios) tengan un mayor in-
ters en obtener informacin sobre resultados finales de los estudiantes en
tests estandarizados, sobre las caractersitcas de los estudiantes que se inscri-
ban en cada una de las nuevas opciones o sobre sus dedicaciones futuras. In-
formacin que les ayude a responder cuestiones de carcter general sobre la
conveniencia o no de continuar con la aplicacin de la reforma, institucionalizar
84
PRIMERA PARTE
nuevos programas o mantenerlos como experiencias piloto, aumentar el es-
fuerzo presupuestario en la lnea marcada por la reforma o limitarlo.
En segundo lugar, los directores y responsables de poner en marcha la re-
forma, tanto a nivel central, como autonmico y local, estarn ms interesados
en saber, no slo si la reforma se desarrolla conforme a las previsiones, sino
tambin qu aspectos generan mayores problemas, cules aparecen como ms
positivos o qu estrategias administrativas alcanzan mejores resultados de for-
ma ms eficiente.
En tercer lugar, los profesionales afectados y que trabajan en contacto con
los beneficiarios tericos de la nueva poltica educativa generalmente se preo-
cuparn ms de cuestiones relacionadas con sus nuevas condiciones laborales y
con la forma de realizarse su trabajo diario. En este sentido son ms pragmti-
cos y esperan obtener informacin que les facilite la adaptacin al nuevo siste-
ma y, en su caso, aprender aquello que deberan hacer y no estn haciendo.
En cuarto lugar, corresponde a los alumnos, padres de alumnos y a sus
asociaciones, adoptar la posicin de cliente, y desde esta perspectiva, requerir
la informacin necesaria para valorar la calidad de los servicios recibidos. Por
otra parte, los ciudadanos en general, como contribuyentes, estarn preocupa-
dos por saber, aunque sea en trminos muy generales, cuanto cuesta la refor-
ma y ms especficamente, en qu se gasta su dinero.
Es, pues, importante reconocer la diversidad de intereses en juego y las
mltiples perspectivas que estos intereses implican a la hora de enjuiciar una
poltica. Tambin es cierto, sin embargo, que una misma evaluacin difcil-
mente podra proporcionar informacin de inmediata utilidad para todos los
grupos, dada la diversidad de sus preocupaciones.
B. EVALUACION, CONFORME A QUE CRITERIOS?
a. Los Valores e Intereses de los Actores
El reconocimiento de la existencia de una pluralidad de intereses en rela-
cin con una determinada poltica o programa nos lleva a plantear la cuestin
de los criterios. A pesar de que la literatura de la evaluacin ha prestado poca
atencin a este tema, dado que inicialmente se crey que la actividad de la
evaluacin deba estar exenta de valores, es obvio que el mismo trmino eva-
luacin lleva implcita la idea de juzgar el mrito, esto es, el valor o la bon-
dad de las polticas y de los programas. Cabe preguntarse por tanto, confor-
me a qu criterios?
El conocimiento de los intereses de todas las partes afectadas por el pro-
grama evaluado puede ser utilizado para seleccionar los criterios de evaluacin,
85
de forma que ningn criterio de especial importancia para un determinado
grupo no sea omitido. La comprensin de todos los intereses presentes de
acuerdo con una orientacin pluralista, puede ser importante para obtener la
cooperacin de todos los grupos o para que los resultados de una evaluacin
no sean descartados en base a acusaciones de partidismo por parte de los
evaluadores.
La descripcin de los intereses de cada grupo, sin embargo, si bien sirve al
efecto de conocer las distintas perspectivas de valoracin, tampoco genera los
principios especficos en funcin de los cuales justificar la seleccin de algu-
nos criterios por encima de los dems.
b. Los Objetivos del Programa
Tradicionalmente, se ha utilizado los objetivos de los programas como
criterio de evaluacin. Ello tiene sentido en la medida que aqullos suelen
ser el producto de la negociacin poltica y, en este sentido, reflejan en bue-
na parte los intereses que participan en el proceso de formulacin y aproba-
cin de las polticas. No obstante, la evaluacin por objetivos no est exenta
de problemas:
En primer lugar porque los objetivos no siempre estn claros. General-
mente son abstractos, mltiples y hasta contradictorios.
En segundo lugar, porque los programas pueden tener efectos no espera-
dos que pueden ser tan importantes como los buscados expresamente.
En tercer lugar, porque el personal de un programa tiende a fijar objetivos
ms bien modestos, en la medida que es mejor pasar un listn bajo que no es-
trellarse en uno excesivamente alto. En cambio, los responsables polticos de
los programas tienden a hacer lo contrario, especialmente en las etapas inicia-
les de declaracin poltica de intenciones o cuando es preciso conseguir finan-
ciacin externa.
En cuarto lugar, porque los objetivos de los programas cambian en fun-
cin del entorno local donde se desarrollan, de forma que una misma poltica
aplicada en distintos lugares puede dar lugar a programas completamente dife-
rentes (45).
En la medida que la evaluacin no recurra a los objetivos del propio pro-
grama, el valor o mrito de ste depender de la totalidad de los efectos o
cambios producidos, sean stos intencionados o no intencionados, positivos o
negativos. (Cook y Shadish, 1986:49).
(45) Como se ver con el estudio de caso, stas son las dificultades con las que nos encontrbamos a
la hora de evaluar el Plan Integral de Roquetes.
86
PRIMERA PARTE
c. Los Objetivos Tericos de la Intervencin Pblica
Algunos autores han intentado sistematizar los objetivos ms importan-
tes de los programas pblicos, con el propsito de ofrecer una lista de crite-
rios que sirvan para la evaluacin de cualquier programa como inventario de
referencia.
As, para Langbein (1980), los principales objetivos de los programas p-
blicos son el crecimiento econmico y la distribucin de la riqueza.
De una parte, el crecimiento econmico se puede promover incrementan-
do la productividad de los recursos existentes o aumentando la eficiencia de
los mecanismos de mercado y eliminando sus fallos (1980: 14). Productivi-
dad y eficiencia aparecen pues como dos criterios generales de crecimiento
econmico. El avance con respecto a uno de ellos no supone necesariamente
progresos con respecto al otro en la medida que puede tratarse de objetivos
contradictorios.
As, como afirma la misma autora, un programa que incentiva la utiliza-
cin de recursos improductivos (tierras marginales, trabajadores parados... ) no
necesariamente promueve el uso ms productivo de estos recursos y puede de
hecho redundar en una menor eficiencia econmica del sistema en su conjun-
to, al restar medios a otras actividades ms productivas. Sin embargo, es cier-
to que el incremento de la productividad de recursos no utilizados es uno de
los objetivos fundamentales de una buena parte de los programas pblicos, y
como tal, se puede medir el grado en que se alcanza este objetivo (1980: 15).
Por otra parte, el perfeccionamiento de los mecanismos de mercado se
puede conseguir, segn Langbein a travs de:
1) la produccin de bienes no privados;
2) ofreciendo mejor informacin a los agentes del mercado o reduciendo
los costes de una informacin imperfecta;
3) distribuyendo el riesgo de inversiones arriesgadas;
4) promoviendo la participacin en el mercado de todos los agentes y eli-
minando cualquier tipo de restriccin o discriminacin (1980: 15)
As, para evaluar los efectos de la legislacin que protege el medio am-
biente, habra que determinar si realmente produce un bien pblico; para eva-
luar la reglamentacin administrativa de las etiquetas de los productos nutriti-
vos, habra que determinar la medida en que se ofrece mejor informacin al
consumidor; etc.
De otra parte, el segundo gran objetivo de los programas pblicos es, se-
gn Langbein, la redistribucin de la riqueza. La evaluacin de las polticas
que persiguen este objetivo se puede realizar de acuerdo con los tres criterios
87
siguientes: 1. Nivel de beneficios que ofrecen los programas, 2. Equidad ho-
rizontal, y 3. Equidad vertical. El primero se refiere a la medida en que los
beneficios ofrecidos por el programa son suficientes o adecuados. El segun-
do se refiere a la medida en que el programa llega y trata de igual forma, a
todas las personas potencialmente eligibles. Y el tercero se refiere al grado
en que personas no incluidas en el grupo al que va dirigido el programa se
benefician de ste.
As, un programa de formacin profesional, puede ser muy efectivo en
conseguir un empleo para los jvenes que lo terminan (lo que en s constituye
un primer criterio de evaluacin), pero al mismo tiempo, puede ser muy injus-
to desde la perspectiva de equidad horizontal, en la medida que nicamente
'una pequea proporcin de jvenes parados tuvieron acceso a l, o desde la
perspectiva de la equidad vertical, en la medida que los que se beneficiaron
realmente de l no se corresponden con su poblacin-objetivo.
Un ltimo criterio propuesto por Langbein es el de la satisfaccin de los
ciudadanos, en la medida que en una sociedad democrtica debera haber
una cierta correspondencia entre los deseos de sus miembros y los programas
de sus instituciones de gobierno. (1980:22)
Seguramente, el inventario de objetivos y criterios que acabamos de repa-
sar no es completo. Objetivos ms polticos como los que encontramos en en
el caso del Plan Integral de Roquetes, -el incremento de la participacin de
los ciudadanos en las actividades de la Administracin, la consecucin de ni-
veles ms altos de coordinacin entre los agentes pblicos y privados que ope-
ran en un territorio o el perfeccionamiento de los mecanismos de respuesta a
las necesidades locales por parte de la Administracin-, encuentran difcil
acomodo en el esquema de Langbein. Su aplicacin obligara, en muchos ca-
sos, a forzar la traduccin de programas no econmicos, en trminos de creci-
miento econmico. La clarificacin del mapa de objetivos y criterios, no obs-
tante, habra de permitir al evaluador no dejarse ningn aspecto relevante por
evaluar, aunque insistimos, su utilidad es ms bien a nivel indicativo.
C. OTROS CRITERIOS ALTERNATIVOS
Otros autores, en cambio, han propuesto criterios alternativos, que nada
tienen que ver con los objetivos de los programas, a partir de los cuales juzgar
el valor de una poltica o programa y que consisten en:
1. examinar el grado en que se han satisfecho las necesidades materiales
de la poblacin o rea objeto del programa, independientemente de los
objetivos de ste (Scriven, 1973);
88
PRIMERA PARTE
2. examinar aquello que los clientes, personal y administradores del pro-
grama entienden se ha conseguido con ste, as como aquellos factores
que creen llevaron a su xito o fracaso (Guba y Lincoln, 1981);
3. examinar los factores que tengan una mayor importancia para aqullos
que tengan que tomar decisiones sobre el programa en un futuro pr-
ximo (Patton, 1986);
4. examinar la medida en que se han satisfecho las necesidades de in-
formacin de cada una de los grupos afectados por el programa
(Bryk, 1983);
Cada una de estas propuestas representa, en mayor o menor medida, una
aproximacin alternativa al paradigma racional-cientfico que domina la eva-
l u c ~ n Interesa ahora entrar en la discusin de los principales modelos de
evaluacin, con el objeto de responder a una cuestin difcil: Cmo evaluar
las polticas y los programas pblicos?
Ciertamente, no se trata de importar mecnicamente prcticas de evalua-
cin desarrolladas mayoritariamente en los EEUU. Se trata, ms bien, de sacar
partido de los conocimientos y de la experiencia all acumulados, para a partir
de estudios de caso como los propuestos, extraer algunas implicaciones que
puedan tener alguna relevancia para la evaluacin, en general, y ms especfi-
camente, en nuestro entorno.
89
SEGUNDA PARTE
CAPITULO IV
LA EVALUACION CLASICA
POR OBJETIVOS
1. INTRODUCCION
En este captulo, la evaluacin es contemplada desde la perspectiva clsica
de la evaluacin por objetivos. Desde esta perspectiva, la cuestin fundamental
es determinar los efectos atribuibles a una poltica o programa y examinar hasta
qu punto sirve para la realizacin de ciertos fines y objetivos. Este es pues el
criterio de xito en base al cual se valora la poltica o el programa.
Tal y como deca Weiss, de acuerdo con este modelo, la evaluacin parece
simple. Existen unos objetivos, una actividad dirigida a alcanzarlos y una me-
dida del grado en que sto se consigue. Todo lo que hay que hacer es, pues:
1) enumerar los [mes generales del programa y sus objetivos ms especficos;
2) descubrir indicadores de estos objetivos, susceptibles de medicin;
3) recoger datos sobre los indicadores para aqullos que participan en el pro-
grama y para un grupo de control equivalente que no haya participado;
4) y analizar los datos sobre los participantes y sobre los controles, en fun-
cin de los fines y objetivos iniciales del programa (Weiss, 1972:24).
En la prctica, sin embargo, lo que parece simple puede complicarse enor-
memente, tanto por los problemas que presentan la identificacin y operacio-
nalizacin de objetivos, como por la complejidad intrnseca de los programas,
como por la dificultad tcnica de aislar los efectos de la intervencin y deter-
minar el impacto neto de las polticas.
De acuerdo con el concepto adoptado de evaluacin por fases, dividimos
este captulo en tres apartados: en el primero, nos referimos a la identificacin
y especificacin de objetivos como requisito previo (se correspondera teri-
camente con la etapa de planificacin), en el segundo, al examen de los inputs
y actividades que componen un programa (se corresponde con la evaluacin
de la implementacin), y en el tercero, al impacto o efectos (se corresponde
con la etapa de evaluacin de resultados).
2. IDENTIFICACION, ESPECIFICACION y MEDIDA DE OBJETIVOS
Desde la perspectiva del modelo de evaluacin por objetivos, lo ms impor-
tante es especificar los objetivos del programa en trminos claros y precisos,
95
puesto que stos servirn de criterio a partir del cual juzgar si el programa ha si-
do un xito o por el contrario ha fracasado en sus propsitos.
La funcin del evaluador consiste pues, primero, en ayudar a los actores
del programa a alcanzar un nivel razonable de consenso en tomo a los objeti-
vos del programa, y, segundo, en asegurar un nivel mnimo de especificidad
que permita desarrollar indicadores operacionales a partir de los cuales medir
y evaluar. (Shortell y Richardson, 1978:16-17)
A. OBJETIVOS GENERALES, ABSTRACTOS, CONFUSOS Y
RETORICaS
Los objetivos de las polticas y de los programas acostumbran a ser, sin
embargo, generales, abstractos y confusos. Ello es as porque el proceso de de-
cisiones polticas se apoya en acuerdos sobre aspectos muy generales. Se po-
dra afirmar que la negociacin poltica se hace sobre programas y no sobre
objetivos. Una vez existe un consenso bsico sobre la necesidad de hacer al-
go en relacin con los problemas que se hacen un hueco en la agenda poltica,
lo que haya que hacer escapa al acuerdo, de lo que resulta la aprobacin de
programas generales sin objetivos especficos. Desde esta perspectiva, la ambi-
gedad del proceso resulta polticamente til, en la medida que permite llegar a
compromisos sobre la base de intereses divergentes que no llegan a explicitarse
(46). Los objetivos retricos necesarios para sacar adelante el programa, sin
embargo, no sirven como base a partir de la cual enjuiciar su xito.
Por otra parte, cuando se pregunta a los administradores de los programas
sobre sus objetivos, tampoco se obtienen respuestas muy especficas: mejo-
rar la calidad de vida, conseguir que se enganchen a la vida, fortalecer la
participacin ciudadana, actuar ms coordinadamente, integrar esfuer-
zos. Igualmente, existen varias razones por las que los administradores de los
programas no especifican sus objetivos en trminos ms precisos: la ms ob-
via es que hay casos en que no tiene sentido especificar los objetivos en
trminos operacionales. En otras ocasiones, en cambio, la especificacin de
(46) Tomemos como ejemplo la Ley 22/1988 de 28 de julio de Costas, BOE, nm. 181 de 29 de julio
de 1988. Esta ley describe en su exposicin de motivos como objetivos:
La defensa de su equilibrio y su progreso fsico, la proteccin y conservacin de sus virtualidades na-
turales y culturales, el aprovechamiento racional de sus recursos, la garanta de su uso y disfrute abier-
to a todos, con excepciones plenamente justificadas por el inters colectivo y estrictamente limitadas
en el tiempo y en el espacio y con la adopcin de las adecuadas medidas de restauracin.
En estos trminos, esta ley sirve tanto a los intereses de grupos poltico-sociales comprometidos en la
defensa de la naturaleza como a los de la industria hotelera que ve en la sobreexplotacin de la costa un pe-
ligro para su negocio.
96
SEGUNDA PARTE
objetivos limitara la flexibilidad del administrador, en la medida que comuni-
ca sus intereses y le compromete a un cierto grado de visibilidad.
Dadas estas dificultades, Weiss (1972:28) ha sugerido cuatro estrategias
que los evaluadores pueden utilizar para llegar a obtener objetivos que sirvan
para la evaluacin:
a. La primera consiste en describir las cuestiones ms relevantes y dejar
que los principales actores del programa lleguen a un acuerdo.
b. La segunda consiste en recoger tanta informacin escrita como sea po-
sible, entrevistar en profundidad a los responsables del programa, ob-
servar directamente como se desarrolla, y dejar que sea el evaluador
mismo el que formule los objetivos.
c. La tercera consiste en promover la colaboracin entre evaluador y ac-
tores ms relevantes del programa con el objeto de formular objetivos
que stos hagan suyos, para posteriormente limitarlos a aqullos que
segn el evaluador aparezcan como ms realistas.
d. La cuarta consiste en evitar la identificacin de objetivos y por tanto
abandonar la idea de una evaluacin en el sentido ms clsico.
La primera de estas estrategias puede conducir a afirmaciones que no
constituyan una base operativa para la evaluacin. La tercera estrategia apare-
ce como la ideal por cuanto si los objetivos son formulados nicamente por el
evaluador (segunda estrategia), cabe el peligro que despus sean rechazados
por los responsables del programa, por entender que aquello no era lo que pre-
tendan. Por ltimo, la cuarta es especialmente interesante dado que, cuando
se trata de programas nuevos sobre los que resulta difcil alcanzar un acuerdo
sobre lo que sera un xito, puede ser mejor dejar la evaluacin abierta, que no
formular objetivos artificiales y que no tengan un claro sentido para los parti-
cipantes en el programa (47).
B. ESPECIFICACION DE OBJETIVOS
Las evaluaciones por objetivos requieren, sin embargo, la descripcin
de los resultados especificos que, de conseguirse, permitiran afirmar que
el programa ha sido un xito. Ello es posible si los objetivos afirman la
condicin a la que se dirigen o el comportamiento que quieren cambiar y
en qu medida.
(47) Hogwood y Gunn, (1984: 219), han insistido en la necesidad de integrar la evaluacin en los pro-
cesos de planificacin y programacin, para de esta forma, poder especificar desde el principio el tipo de
informacin que requiere la investigacin.
97
As, por ejemplo, si en la reforma de la asistencia primaria de la sanidad
pblica, el objetivo es mejorar el acceso de los pacientes al servicio, ello se
habr conseguido si:
el tiempo de espera se reduce en un determinado tanto por ciento;
el tiempo que pasa entre que se concierta una cita y se produce la visi-
ta se reduce en un determinado tanto por ciento;
o una mayora de la poblacin asistida afirma estar ms satisfecha en
temas de acceso desde que se produjo la reforma.
La literatura en relacin con la identificacin y especificacin de objetivos
es amplia. En el cuadro 3 resumimos aquellos aspectos que Shortell y Ri-
chardson (1978: 18-19) consideran ms relevantes a la hora de identificar obje-
tivos. Entre todos ellos, sin embargo, cabe destacar tres: la ordenacin de los
objetivos, la multiplicidad y posible incompatibilidad entre objetivos, y la ne-
cesidad de anticipar efectos no esperados.
a. Ordenacin de los Objetivos
Los objetivos de los programas pueden ser ordenados conforme a su rela-
cin con el diseo-implementacin o con la evaluacin de sus resultados
(Suchman, 1970:60). En funcin de este criterio, cabe distinguir entre objeti-
vos inmediatos y objetivos finales. Weiss identifica a los primeros con las va-
riables-input y con las variables operacionales.
Las variables-input son aqullas que tienen que ver con los recursos mate-
riales y humanos de que dispone el programa. Las variables operacionales se
relacionan con las previsiones organizativas sobre quin tiene que realizar
qu, dnde, cundo y cmo (Weiss, 1972:46). El anlisis de estas variables se
correspondera con la evaluacin formativa o de proceso.
Por su parte, los objetivos finales se identifican con los resultados o im-
pactos del programa, es decir, con aquellas variables que representan los efec-
tos que produce el programa. El anlisis de estas variables se correspondera
con la evaluacin conclusiva o de resultados.
Entre ambos tipos de objetivos puede haber objetivos intermedios que se
identifican con lo que Weiss llama variables puente, es decir, aquellos elemen-
tos del programa que permiten asociar inputs y actividades con resultados fi-
nales (Weiss, 1972:47).
As, por ejemplo, en un programa de rehabilitacin de presos, se asume
que la formacin profesional mientras se encuentran detenidos, reducir las
probabilidades de que vuelvan a delinquir una vez hayan cumplido condena.
98
SEGUNDA PARTE
En este caso, la variable puente sera el grado en que los detenidos llegan a
aprender un nuevo oficio que despus se podra relacionar con la disminucin
de la reincidencia (objetivo ltimo).
La relacin entre objetivos intermedios y objetivos finales no siempre ser
fcil de demostrar, pero en ocasiones se considerar suficiente la medida de
variables puente como criterio a partir del cual juzgar el xito del programa.
As, por ejemplo, en un programa de disminucin del cncer de pulmn, la de-
mostracin de que el tratamiento al que se someten los fumadores les lleva a
dejar de fumar, podra considerarse como una aproximacin vlida al objetivo
final de reduccin de las tasas de mortalidad como consecuencia de aquella
enfermedad.
Los objetivos intermedios estn estrechamente relacionados con la teora
del programa. En este sentido, se recomienda que todo evaluador investigue,
en primer lugar, por qu los responsables polticos o administrativos de un
programa entienden que ste producir determinados efectos, con el propsito
de reconstruir el modelo terico en el que se fundamenta (Cronbach,
1980: 170). A partir de aqu, los problemas que experimenta un programa pue-
den derivar tanto de un fallo en la teora, como de un fallo en la forma en que
ha sido aplicada en el caso concreto.
Sobre la forma de construir el modelo terico en el que se fundamenta
el programa, Rossi y Freeman (1985:72-73) proponen examinar las llama-
das: hiptesis causal, hiptesis de intervencin e hiptesis de accin.
La hiptesis causal expresa la influencia de uno o varios procesos en el
comportamiento o la condicin que el programa pretende modificar. As,
siguiendo con el ejemplo de la reincidencia, se podra afirmar que la reinci-
dencia se produce con mayor frecuencia entre aquellos ex-reclusos que, o
no tienen una mnima formacin profesional, o bien se encuentran con ni-
veles considerables de desempleo.
La hiptesis de intervencin especifica la relacin entre el programa
y el proceso que en la hiptesis causal se considera asociado con el com-
portamiento o condicin que se quiere modificar. La formacin profesio-
nal para detenidos, se podra afirmar, conduce a la reduccin de la rein-
cidencia.
Finalmente, la hiptesis de accin examina si la intervencin est nece-
sariamente relacionada con los resultados, esto es con el comportamiento o
condicin que se quiere modificar. Podra ocurrir que lo que funciona nor-
malmente, no funcionara en determinadas condiciones. Los ex-reclusos que
han completado un programa de formacin profesional podran no tener -
o se podra percibir que no tienen- las habilidades y conocimientos nece-
sarios para encontrar un trabajo.
99
Cuadro 3: Identificacin de objetivos: dimensiones a tener en cuenta
l. Naturaleza y contenido de los objetivos
Qu es lo que quiere cambiar el programa: opiniones, actitudes, com-
portamientos, el nivel de informacin?
2. Ordenacin de los objetivos
A qu nivel de abstraccin se afirman los objetivos? A nivel de inputs,
de operaciones, de resultados finales?
3. Poblacin-objetivo
Para qu grupo especifico se hace el programa? Cules son los lmites
ofronteras (geogrficas, de edad, de nivel de renta... ) del grupo-objetivo?
4. Plazo en que se prevn los efectos
Cuanto tiempo tardarn en producirse los efectos del programa? Se
trata de efectos inmediatos o efectos a medio-largo plazo?
5. Magnitud de los efectos
Qu efecto se espera? De qu magnitud? Es posible cuantificar los
efectos esperados?
6. Estabilidad de los efectos
Cuanto tiempo durarn los efectos del programa? Ser necesario
mantener la intervencin para que se mantengan los efectos?
7. Multiplicidad de objetivos
Tiene el programa ms de un propsito? Son stos incompatibles?
Estn relacionados o son completamente diferentes? Qu objetivos
son prioritarios?
8. Consecuencias o efectos no esperados
Qu consecuencias o efectos no esperados puede producir el programa?
Fuente: Shortell y Richardson, (1978:18-19)
100
SEGUNDA PARTE
b. Multiplicidad de Objetivos
La ordenacin de los objetivos presupone que stos son mltiples. Pero es
que adems, generalmente existen una pluralidad de objetivos para cada nivel
del proceso por lo que se hace necesario llegar a un cierto consenso sobre cua-
les son ms importantes. Lgicamente, ante la dificultad de evaluar ciertos ob-
jetivos por razn de limitaciones materiales (recursos insuficientes, falta de
tiempo, datos incompletos) se tender a seleccionar aquellos objetivos sobre
los que se dispone de datos. Esto queda claro en el caso de las Policas Loca-
les donde se tiende a medir la eficacia de todo el servicio en funcin de unos
pocos indicadores sobre tasas de criminalidad, de accidentes o de denuncias
impuestas, por citar algunos ejemplos.
Por otra parte, puede existir incompatibilidad entre los objetivos de una
misma intervencin. Siguiendo con el ejemplo de las Policas Locales, la dis-
tribucin de los agentes en el espacio (por sectores) y en el tiempo (por tur-
nos), no se puede realizar conforme a un mismo criterio de igualdad para ciu-
dadanos y problemas sociales, puesto que ambos no se encuentran
distribuidos de forma uniforme entre toda la poblacin (48).
c. Consecuencias y Efectos No Anticipados
La construccin de un modelo sirve al objeto de determinar los efectos
que, de acuerdo con la teora que fundamenta el programa deberan produ-
cirse. Los programas pblicos producen, sin embargo, consecuencias y efec-
tos no anticipados que pueden ser tan o ms importantes que los esperados.
As, como ocurri en el caso del Plan Integral de Roquetes, un programa de
formacin profesional para amas de casa tuvo efectos positivos en sus rela-
ciones familiares y sociales, independientemente de sus resultados en rela-
cin con el trabajo. La dificultad radica en anticipar los posibles efectos per-
versos. Algunas de las estrategias que se han sugerido para anticipar estos
efectos consisten en:
a. Examinar los llamados system-goals, es decir, los objetivos de las
organizaciones que constituyen el entorno inmediato del programa, ya
sea recogiendo informacin escrita (documentos donde se explica el
programa, actas de reuniones, informes) o estableciendo contactos in-
formales con sus miembros.
(48) Este argumento se explica en el caso de las policas locales. En el mismo sentido, Langbein
(1980: 13).
101
b. Establecer contacto con los participantes en el programa y con aque-
llos grupos directa o indirectamente afectados por ste, incluyendo l-
gicamente a los ms crticos, en la medida que pueden aportar datos
sobre posibles resultados negativos.
c. Solicitar el juicio de personas con experiencia en programas similares
o de expertos a travs de la utilizacin de tcnicas de grupo como
Delphi, Brainstorming o Grupo Nominal (Shortell y Richardson,
1978:24).
C. INDICADORES DE RESULTADOS
a. Seleccin de Variables
Una vez los objetivos han sido identificados y especificados en trminos
operacionales, el siguiente paso consiste, de acuerdo con el modelo clsico de
evaluacin, en medir el grado en que se alcanzaron.
Lgicamente, las variables utilizadas dependern de cada programa. En
nuestro estudio de caso sobre medida de los servicios de Polica Local en
1'Hospitalet, recurrimos al tiempo que tarda la Guardia Urbana en responder a
una demanda individual y al tiempo consumido en cada servicio, como indica-
dores de eficacia policial.
Desde una perspectiva ms general, Weiss (1972:39-42) distingue entre
medidas de resultados en las personas, en las organizaciones, y en la pobla-
cin en general. As, si se trata de un programa que pretende producir cambios
en las personas que lo reciben, como por ejemplo, un programa educativo o
formativo, se utilizarn medidas de conocimientos, habilidades, valores y acti-
tudes (49). Si se trata de un programa que persigue producir cambios institu-
cionales, como por ejemplo, un programa que intente cambiar el tipo de rela-
cin que se establece entre funcionarios de primera lnea y clientes, se
utilizarn indicadores de servicio que reflejen las caractersticas instituciona-
les que se persiguen. Por ltimo, si se trata de un programa que quiere cam-
biar las actitudes o los valores, no ya de la poblacin objeto de la interven-
cin, sino de toda la poblacin en general, en estos casos, lo ms apropiado
ser utilizar estudios de opinin (50).
(49) En cuanto a la seleccin de las variables, es aconsejable utilizar medidas que hayan probado ser
tiles en el pasado. El Survey Research Center de la Universidad de Michigan publica medidas de actitudes
polticas, psico-sociales y en relacin con el trabajo. Vid. en la bibliografa las entradas correspondientes a
Robinson. Por su parte, Morris, Fitz-Gibbon y Lindheim 91987), y Henerson, Morris y Fitz-Gibbon (1987)
incluyen sus libros numerosas referencias en relacin con tests y medidas para la evaluacin de programas
de educacin.
(50) Para los temas relacionados con muestreo y sondeos en ingls, Vid. Singleton et al. (1988)
102
SEGUNDA PARTE
Los criterios utilizados para la seleccin de las variables-indicadores y
de los procedimientos de recogida de datos deben incluir, entre otros, a los
siguientes:
Validez aparente: en qu medida la variable seleccionada tiene rela-
cin con el objetivo de la poltica.
Fiabilidad: en qu medida los datos obtenidos no dependen del instru-
mento utilizado para su recoleccin.
Globalidad: en qu medida el conjunto de las variables seleccionadas
abarca la totalidad de los objetivos relevantes.
Control: en qu medida la variable seleccionada depende realmente de
la intervencin de la administracin o depende en cambio de factores
que sta no controla o que slo controla parcialmente.
Coste: en qu medida los costes necesarios para recoger la informa-
cin son razonables.
Esta ltima cuestin nos lleva a plantear las ventajas e inconvenientes de
distintas fuentes de datos.
b. Fuentes de Datos
Ciertamente, las variables utilizadas dependen, asimismo, de la informa-
cin disponible y de la capacidad del evaluador para crear los datos necesarios
cuando stos no existan. Las fuentes de datos y las tcnicas de investigacin
para su recogida son las tradicionales de las Ciencias Sociales: entrevistas,
cuestionarios, tests (de conocimientos, habilidades, actitudes, valores, prefe-
rencias), archivos, documentos producidos a raz del programa, estadsticas
oficiales, observaciones, evaluaciones de expertos.
De esta lista, creeemos importante destacar: las entrevistas personales
y cuestionarios, el anlisis de archivos y ficheros administrativos, y la ob-
servacin.
1. Entrevistas y Cuestionarios
Las entrevistas personales suelen ser el medio ms utilizado para obtener
informacin de los principales actores del programa: stos son, sin duda, los
directores y el personal del programa, pero tambin aquellas personas que
constituyen el entorno poltico del programa (responsables polticos,
miembros de organizaciones ciudadanas con un inters en el programa,
103
representantes de otras Administraciones) e incluso los mismos participantes-
beneficiarios.
El objeto de las entrevistas es, a travs de una conversacin cara a cara,
ms o menos estructurada, obtener informacin que nicamente la persona en-
trevistada, por su posicin en el programa, podra proporcionar.
Los cuestionarios preestablecidos permiten recoger informacin sobre
los participantes en el programa: sus caractersticas personales, lo que ha-
cen en el programa, sus actitudes y comportamientos, su nivel de satisfac-
cin. Los tests, por su parte, sirven al objeto de proporcionar datos sobre lo
que los participantes en programas de educacin y/o formacin aprendieron
en stos.
Los estudios de opinin permiten averiguar el grado de conocimiento, por
parte de la poblacin en general, de los programas pblicos y su actitud en re-
lacin con stos. Asimismo constituyen una herramienta de marketing social
con la que se puede determinar el grado en que se alcanzaron objetivos polti-
cos a travs de la oferta de programas especficos.
2. Archivos y Ficheros Administrativos
Los datos recogidos por la misma Administracin que presta el progra-
ma son una importante fuente de informacin para su evaluacin. Para tener
acceso a una vivienda de promocin pblica, optar a un programa de desin-
toxicacin etlica, o participar en un programa de empleo pblico, es preciso
llenar extensos formularios en los que se piden toda clase de datos persona-
les. Con la generalizacin de los ordenadores, bases de datos y sistemas de
gestin informatizados, cada da existen mayores posibilidades de utilizar
esta informacin.
El recurso a los datos de la misma Administracin presenta algunas venta-
jas con respecto a otras fuentes de informacin.
En primer lugar, el investigador no es el que recoge los datos, con lo que,
adems de ahorrarse tiempo y dinero, evita que se produzcan cambios de
comportamiento en las personas observadas. (Weiss, 1972:54). En este senti-
do, se afirma que este mtodo no es reactivo, puesto que, cuando una pobla-
cin objeto de estudio sabe que est siendo observada o adivina el objeto de la
investigacin, puede alterar su comportamiento. Adems, las personas encar-
gadas de recoger los datos no saben para qu se van a utilizar (Buttolph John-
son y Joslyn, 1986:214).
En segundo lugar, los archivos administrativos acostumbran a ser contnuos
con lo que proporcionan series temporales de datos, a veces, para perodos de
104
SEGUNDA PARTE
tiempo extensos, permitiendo, por tanto, anlisis del tipo antes-despus de la in-
tervencin (51).
En tercer lugar, los archivos administrativos permiten al investigador am-
pliar la muestra de las observaciones, por encima de lo que sera posible a tra-
vs de entrevistas, cuestionarios o la observacin directa. El nmero de obser-
vaciones cubiertas por el mtodo de recogida de datos es una consideracin
importante. Adems, las implicaciones econmicas pueden ser considerables.
Tanto las entrevistas a gran escala, como la observacin directa, son mtodos
caros en tiempo y en dinero y los tipos de cuestiones que se pueden preguntar
y los comportamientos que es posible observar son limitados.
Los archivos y ficheros administrativos presentan asimismo, algunos in-
convenientes.
En primer lugar, puede que sean incompletos: porque se haya perdido par-
te de la informacin a lo largo del tiempo, los archivos no se mantengan al da
por falta de personal, o los criterios aplicados hayan conducido a no recoger
los datos que requiere la evaluacin. (Weiss, 1972:54).
En segundo lugar, podra ocurrir, como sugieren Buttolph Johnson y
Joslyn, que los funcionarios encargados de la recogida de datos, consciente o
inconscientemente, falseen la informacin al conservar, nicamente, aquellos
datos o documentos que sean menos problemticos o conflictivos para sus su-
periores (1986:216).
Finalmente, como es obvio, es posible que determinadas Administraciones
simplemente impidan el acceso a sus archivos, dado el carcter amenazante
que tiene toda investigacin para personas concretas con intereses especficos.
En cualquier caso, se puede afirmar que las ventajas superan los inconve-
nientes, especialmente cuando existen series estadsticas completas, creadas y
puestas al da por las oficinas de la Administracin (52).
3. Observacin
Como el anlisis de archivos y ficheros administrativos, la observacin no
implica preguntar nada a nadie, con lo que se evitan los efectos que pueden
producir las entrevistas personales, los cuestionarios o los tests en la pobla-
cin objeto de estudio. El carcter reactivo o no reactivo de este mtodo de-
pende, sin embargo, de la forma en que se lleve a cabo. Buttolph Johnson y
(51) La evaluacin de una intervencin con el objeto de reducir el nmero de accidentes por carretera
recurrira a este tipo de datos, que recoge de forma contina la Direccin General de Trfico.
(52) Pinsese, por ejemplo, en el INSS espaol. Este organismo posee datos, no slo sobre pagos por
concepto de seguridad social para cada trabajador inscrito, sino sobre las caractersticas personales de stos,
de la industria que les ha ofrecido el empleo, sobre el tiempo que cada trabajador ha permanecido en una
misma empresa, sobre el nivel de salarios, categoras profesionales...
105
Joslyn (1986:223) distinguen tres criterios a partir de los cuales se pueden cla-
sificar diferentes formas de observacin:
En primer lugar, la observacin puede ser directa o indirecta. En este ltimo
caso no se observa el comportamiento sino sus trazas, a menudo fsicas.
En segundo lugar, la observacin se puede producir abiertamente, de
forma que los que estn siendo observados conozcan la presencia del
investigador, o de forma encubierta.
En tercer lugar, el investigador puede hacer una observacin selectiva,
buscando por tanto las incidencias de comportamientos especficos, o
por el contrario, una observacin no estructurada en la que todos los
comportamientos son considerados importantes. Lgicamente, la ob-
servacin directa y abierta puede alterar el comportamiento de los ob-
servados, an en el caso de que el investigador intente ser aceptado co-
mo parte integrante del grupo a travs de su participacin activa (53).
La observacin encubierta, por su parte, puede suscitar cuestiones de
tipo tico, especialmente cuando no hayan dado su consentimiento las
personas observadas. Mientras que con la observacin no estructurada,
puede suceder que el investigador perciba los comportamientos de for-
ma selectiva, ignorando por tanto, una parte importante de la realidad.
La principal ventaja de la observacin radica en su carcter no obstructivo
y natural. Por contra sus principales limitaciones tienen que ver: primero, con
que slo permite examinar un nmero reducido de casos, y segundo, con la di-
ficultad de controlar la fiabilidad de las observaciones en la medida que dis-
tintos observadores podran tener percepciones distintas.
3. DESCRIPCION DEL PROGRAMA:
EVALUACION DE LA IMPLEMENTACION
Una de las principales crticas que recibieron las primeras evaluaciones cl-
sicas por objetivos consista en afirmar que stas se limitaban a examinar los
efectos de los programas sin especificar de forma clara en qu consista la in-
(53) Un experimento interesante, en este sentido, fue el llamado Kansas City Preventive Patrol Expe-
riment.
Una parte del experimento consista en asignar a cada coche patrulla de la Polica Local un observador
con la misin de observar, de forma general, la actividad de la Polica al patrullar por la ciudad, y de forma
ms especifica, el tiempo de respuesta policial y lo que hace la polica cuando entra en contacto con un ciu-
dadano que ha sufrido una agresin.
En principio se tema que los policas cambiaran radicalmente su comportamiento, cuando no rechaza-
ran de forma absoluta la presencia de un observador-inspector. En realidad, sin embargo, lo que ocurri es
que se produca la cooptacin por la polica de una buena parte de los observadores. Estos tendan a con-
vertirse y a adoptar las perspectivas de los policas, con lo que su observacin perda fiabilidad (Kelling et
al., 1974).
106
SEGUNDA PARTE
tervencin, y por tanto, a qu eran atribuibles los resultados obtenidos, de for-
ma que se perda el proceso de aprendizaje que poda generar la evaluacin.
A ello hay que aadir la frustracin que motivaron los pobres resultados
mostrados por los programas sociales de la Great Society norteamericana que,
de alguna manera, indicaban la dificultad de organizar programas que tengan una
incidencia clara y detectable en el campo social (Rossi y Wright, 1984:58) (54).
De ah que la evaluacin ample su mbito a cuestiones relacionadas con la
implementacin de los programas, y que se sugiera por tanto, la necesidad de es-
pecificar claramente todos los componentes de los programas, con el objeto de en-
tender cmo operan y por qu producen o no producen los resultados esperados.
A. INPUTS, ACTIVIDADES y ORGANIZACION DEL PROGRAMA
De acuerdo con la nocin adoptada de variables input y variables opera-
cionales, cabe distinguir entre inputs y actividades.
Los inputs incluyen los objetivos del programa, la duracin prevista, el
rea geogrfica que comprende, los recursos personales y financieros con que
cuenta, los mtodos utilizados, y por supuesto, las personas servidas.
Respecto a las personas que participan en el programa es importante obtener in-
formacin sobre sus caractersticas socio-demogrficas (edad, sexo, estatus socio-
econmico, nivel de estudios, lugar de residencia) y sobre aquellas variables que el
programa pretende cambiar. Por ejemplo, en el caso de un programa de formacin
profesional (actitud en relacin con el trabajo, aspiraciones, auto-confianza, etc.).
La descripcin de las actividades del programa se refiere a las operaciones que
son necesarias para llevar a la prctica el programa, y en general, al proceso que re-
quiere la transformacin de los inputs del programa en los resultados buscados.
Finalmente, tambin puede ser importante recoger informacin sobre la orga-
nizacin que desarrolla el programa (sobre su estructura, direccin poltica, filo-
sofa, recursos) y sobre aquellos hechos que ocurren en el entorno inmediato del
programa y que pueden afectar a ste, como por ejemplo, un cambio en la corre-
lacin de fuerzas con motivo de unas elecciones, la negativa a una subvencin
econmica, o la dimisin de algn cargo importante.
B. EVALUACION DE LA IMPLEMENTACION
Los trminos implementacin y puesta en prctica evocan necesaria-
mente las personas y los procesos necesarios para hacer que una propuesta
(54) La conclusin de Rossi y Wright es, en este sentido, muy explicativa: En retrospectiva, un resu-
men razonable de los resultados (se refiere a las evaluaciones de programas sociales hasta mediados de los
aos setenta) es que el valor esperado del efecto de cualquier programa est cercano a cero,
107
programtica se convierta en realidad. Como afirma Subirats, (1988:93) du-
rante muchos aos, los cientficos polticos se han ocupado de los procesos de
formulacin de las polticas, dejando a los administradores los detalles prc-
ticos. A menudo, sin embargo, an ms difcil que planificar y programar ac-
tividades, es producir los servicios y hacer que lleguen, de forma efectiva, a
las personas adecuadas.
Por evaluacin de la implementacin, nos referimos, de acuerdo con la ti-
pologa adoptada, al estudio de dos cuestiones:
1. Hasta qu punto el programa est alcanzando la poblacin o el rea a
los que se dirige;
2. En qu medida la organizacin del programa y su contenido respon-
den a su diseo inicial.
a. Poblacin Servida
La supervisin y el control de las caractersticas de los participantes en el
programa permite detectar problemas de cobertura, de sesgo en la poblacin
servida o de abandonos entre los participantes.
1. Grado de Cobertura
El grado de cobertura se refiere a la medida en que se est produciendo la
participacin real de aquellas personas que se pretenda beneficiar con la pol-
tica emprendida. En este sentido, puede existir un problema de sobreinclusin,
es decir, existe un nmero excesivo de participantes en el programa que no te-
nan necesidad de l, o al contrario, un problema de subinclusin, y por tanto,
no hay bastantes individuos que teniendo necesidad del programa, participan
en l. (Rossi y Freeman, 1985: 149)
Generalmente, la normativa que autoriza cada programa define la pobla-
cin a la que ste va dirigido y establece una serie de reglas conforme a las
cuales el personal de la Administracin decide sobre la inclusin o exclusin
de personas concretas. Si esta definicin es demasiado amplia, se produce de
hecho una sobreestimacin de la necesidad que se traduce en un uso ineficaz
de los recursos al incluir a personas que en realidad no necesitan el programa.
Por el contrario, si aquella definicin es demasiado restrictiva, personas que
de hecho necesitan el programa, no llegan a reunir los requisitos exigidos ni a
poder participar en l.
108
SEGUNDA PARTE
El problema tiene una vertiente tcnica importante. De una parte, la defi-
nicin de la poblacin objeto del programa tiene que basarse en caractersticas
fciles de observar y que sea posible medir. Las definiciones muy complejas o
que requieren una informacin muy detallada son difciles de aplicar y tienden
a limitar el nmero de personas eventualmente aceptadas. De otra parte, existe
una dificultad objetiva a la hora de especificar, con mayor o menor precisin,
el nmero de personas que tienen derecho a beneficiarse de un programa.
2. Sesgo en la Poblacin Servida
Los problemas de sesgo en la poblacin servida se refieren al grado en
que distintos subgrupos de la poblacin-objetivo participan diferentemente en
las actividades del programa. (Rossi y Freeman, 1985: 147).
Las causas de la sesgadez a favor de un determinado grupo pueden ser va-
riadas. Cuando la participacin es voluntaria, puede ocurrir que personas con
determinadas caractersticas (por ejemplo, estudiantes, en el caso de progra-
mas de introduccin a las nuevas tecnologas) tengan una participacin ms
activa. El personal del programa, dado su inters por hacerlo funcionar y obte-
ner unos resultados positivos, puede asimismo favorecer la participacin de
aquellas personas con ms probabilidades de xito. El sesgo en la poblacin
servida tambin puede ser debido a problemas de acceso o transporte por parte
de la poblacin que habita lejos del lugar donde se desarrolla el programa
(Prottas, 1981:529).
La medida en que los participantes en un programa estn sobre/sub-repre-
sentados por grupos de edad, sexo, condicin econmico-social, nivel de estu-
dios, lugar de residencia u otras caractersticas, se puede llevar a cabo a partir
del anlisis de los datos que los programas mantienen en sus archivos admi-
nistrativos y, en su caso, comparando las caractersticas de los participantes
con las de aqullos que reuniendo los requisitos para participar en el programa
no lo hicieron.
3. Abandonos
La tasa de abandonos es un indicador importante ya que puede dar una
idea tanto de la insatisfaccin con el programa como de los problemas con los
que se puede encontrar una parte de la poblacin a la hora de participar en
aqul. Los mismos archivos de la Administracin tendran que permitir deter-
minar si existen algunas caractersticas comunes entre las personas que dejan
el programa. (Rossi y Freeman, 1985: 156).
109
b. Problemas Generados por la Propia Organizacin
La descripcin de las actividades que integran un programa permite detec-
tar impedimentos de tipo organizacional que pueden limitar el acceso de gru-
pos de poblacin a un programa, as como precisar los elementos que debe in-
cluir para que alcance la totalidad de sus objetivos.
La forma en que se organiza administrativamente un programa, y ms
concretamente, el proceso por el que ha de pasar todo individuo desde que
solicita el servicio hasta que existe una decisin sobre su demanda y en su
caso recibe la prestacin, pueden incidir directamente en los niveles de par-
ticipacin.
Como afirma Prottas, a menudo, cuando se pregunta a personas que
podran obtener servicios pblicos por qu no iniciaron la tramitacin ad-
ministrativa que les llevara a obtenerlos, la respuesta es no vale la pe-
na. Es evidente que cuando un individuo solicita participar en un progra-
ma de la Administracin tiene que soportar una serie de costes importantes
(tiempo de espera, viajes, esfuerzo), adems de la carga psicolgica y so-
cial que puede representar recibir algunos beneficios sociales (Prottas,
1981 :528).
l. Problemas de Informacin
El conocimiento y la comprensin, tanto de la oferta pblica (qu pro-
gramas existen, cules son sus propsitos y caractersticas), como del pro-
cedimiento que hay que seguir para tener acceso a aqulla (qu pasos hay
que hacer, qu requisitos hay que reunir) puede constituir un primer proble-
ma para la poblacin que tericamente ha de beneficiarse del programa. El
control y la supervisin del programa, en este caso, se refiere al tipo de in-
formacin que, sobre los programas, se ofrece a la poblacin a la que van
dirigidos. Esta puede ser insuficiente, en la medida que no alcanza sus ob-
jetivos; y puede ser incorrecta, porque excede la capacidad de las personas
que la reciben o porque, como sugiere Prottas, puede ser manipulada por el
personal del programa con el objeto de limitar las demandas sobre los re-
cursos disponibles a unos niveles aceptables. As, el personal del programa
puede hacer ver a aqullos que lo solicitan que la resolucin de su caso
puede tardar mucho tiempo (sin especificar cuanto) o que tendr muchos
problemas. Puede tambin influir en su comportamiento aumentando los
costes psicolgicos o adoptando un trato paternal y condescendiente (Prot-
tas, 1981:531).
110
SEGUNDA PARTE
2. Problemas de Tiempo
Existen dos factores que influyen claramente en el problema del tiempo:
la falta de capacidad de respuesta y la complejidad excesiva del procedimien-
to. Ambos estan relacionados en la medida que la complejidad del procedi-
miento se traduce en un menor nmero de casos que se pueden atender en un
mismo perodo de tiempo (Prottas, 1981:528). AS, por ejemplo, en el caso de
las Policas Locales, dada una capacidad limitada de respuesta a las demandas
de servicio, la forma en que aqullas se procesan puede ser la causa de que
exista menor disponibilidad y de que por tanto aumenten los tiempos de res-
puesta. Mientras que una gestin eficiente de los recursos permite el ajuste del
servicio a los perodos de exceso de demandas.
3. Problemas de Desplazamientos
Un tercer factor que tambin afecta a la participacin en un determinado
servicio pblico son los viajes y desplazamientos hasta el lugar donde aqul se
administra. La necesidad de desplazarse implica, adems, otro tipo de dificul-
tades para grupos de poblacin con problemas especficos, como puedan ser
los deficientes fsicos o las personas de edad avanzada. Desde este punto de
vista, la evaluacin de la implementacin implica valorar la oportunidad de la
forma en que se organiza el programa, y la medida en que su sistema de distri-
bucin facilita el acceso de aquellas personas que lo necesitan.
c. Servicios Prestados
El contenido del programa puede ser algo tan sencillo de expresar como,
por ejemplo, la prohibicin de circular por el casco urbano de una ciudad sin
el cinturn de seguridad. O algo tan complejo, como por ejemplo, el conteni-
do de los programas de renta mnima de insercin donde se garantiza un de-
terminado nivel de renta a las familias que se encuentran en unas determina-
das condiciones socio-econmicas y, adems, esto se combina con programas
de reinsercin profesional que pueden adoptar mltiples formas y ofrecer dis-
tintos niveles de beneficios.
La especificacin de los servicios prestados en cada caso concreto es im-
portante para despus poder explicar los efectos del programa en funcin de
aqullos. Siguiendo con el mismo ejemplo, si un programa persigue la reinser-
cin profesional de personas que han estado paradas durante un perodo ex-
tenso de tiempo, pero no incluye entre sus componentes el aprendizaje de una
111
nueva profesin, ello puede ser la causa de que los participantes, aun encon-
trando trabajo, no consigan iniciar una nueva carrera profesional y por tanto
acceder a un trabajo mejor que el que tenan antes de perder su empleo.
Otros factores que pueden tener una incidencia directa sobre los resultados
de un programa son las calificaciones y experiencia del personal, la forma en
que se establece la interaccin entre profesionales y participantes, y la calidad
de los recursos materiales utilizados. Por ejemplo, una de las conclusiones del
trabajo de Katzman (1971) sobre la economa poltica de las escuelas de Bos-
ton fue que los aos de educacin formal recibida por los maestros no tenan
tanta importancia como los aos de experiencia profesional. Los estudios de la
interaccin entre prestador y receptor del servicio (profesor y estudiante, m-
dico y paciente o polica y ciudadano) son numerosos. Wasson et al. (1984),
por ejemplo, demuestran como la continuidad en el tratamiento por un mismo
mdico de un paciente influye en la calidad de la atencin recibida y en el gra-
do de utilizacin por parte del paciente de los servicios mdicos (55).
En resumen pues, la evaluacin del proceso de implementacin de los
programas produce informacin que la evaluacin de impacto no precisa pe-
ro que, sin embargo, aparece como especialmente importante para que del
proceso de evaluacin deriven cambios en el programa tanto a nivel opera-
cional, como a nivel de los componentes y actividades que constituyen la in-
tervencin.
4. MEDIDA DE RESULTADOS: EVALUACION DE IMPACTO
A. INTRODUCCION
Las bases conceptuales de la evaluacin de impacto fueron establecidas
por Campbell y Stanley en su trabajo publicado originalmente en 1966 sobre
diseos de investigacin para la evaluacion de programas educativos (Camp-
bell y Stanley, 1973). Para estos autores, la evaluacin de programas era esen-
cialmente la evaluacin de los efectos netos de la intervencin pblica y la
principal cuestin era cmo especificar las condiciones que permitiesen calcu-
lar estimaciones vlidas de estos efectos netos.
Basndose en el paradigma experimental-cientfico desarrollado por la
biologa y la psicologa, Campbell y Stanley propusieron un nuevo vocabu-
lario para la discusin de las cuestiones de validez, y para la clasificacin de
los diseos de investigacin aplicables en la evaluacin de los programas
pblicos.
(55) A este tema nos referimos tambin en el estudio de caso sobre las Policas Locales:
112
SEGUNDA PARTE
B. LA CUESTION DE LA VALIDEZ
Las dos cuestiones esenciales en la evaluacin del impacto de un progra-
ma consisten en determinar:
1. Hasta qu punto los efectos del programa son realmente debidos al
programa y no a otros factores.
2. Hasta qu punto los resultados de un programa concreto pueden ser
generalizados a otras situaciones.
La primera es una cuestin de validez interna, mientras que la segunda es
una cuestin de validez externa. En general se afirma que las cuestiones de
validez interna son ms importantes que las de validez externa, dado que hasta
que no se puede afirmar que los efectos observados se pueden atribuir al pro-
grama, no tiene sentido generalizarlo a otras situaciones. Algunos autores, sin
embargo, han defendido lo contrario en base a que lo realmente importante
son las inferencias que se pueden sacar de cada caso (Cronbach, 1980:7).
a. Causalidad y Validez
La primera de estas cuestiones implica plantear la evaluacin del impacto
de los programas como un problema de investigacin causal (Langbein,
1980:32). Se trata, por tanto, de examinar si existe una relacin de causalidad
entre la introduccin de un programa (variable independiente), y los cambios
experimentados por la variable que, en funcin de los objetivos del programa,
se adopta como indicador de sus resultados (variable dependiente).
Para poder afirmar que existe una relacin de causalidad es preciso con-
trolar la influencia de factores externos al programa que pudieran explicar por
s solos las variaciones observadas.
En el caso de un programa de formacin ocupacional parece lgico pensar
que las personas que deciden participar en l de forma voluntaria tienen un ni-
vel de motivacin ms elevado que aqullos que no toman esta decisin. Al
mismo tiempo, un elevado grado de motivacin puede influir, por s solo, en
que una persona consiga trabajo. Dado que el nivel de motivacin podra ac-
tuar como una variable esprea, sera preciso comparar, en este caso, la situa-
cin laboral de personas que se beneficiaron del programa con la de personas
que, no pudiendo participar en l (por falta de recursos de la Administracin
prestadora del servicio, por ejemplo) tenan el mismo nivel de motivacin. De
esta forma, se conseguira examinar la relacin entre participacin en el pro-
grama y situacin laboral cuando la motivacin no vara.
113
Otros factores externos podran conducir a una subestimacin o sobreesti-
macin del impacto del programa evaluado. As, en la evaluacin del progra-
ma de formacin al que nos hemos venido refiriendo, la situacin relativa-
mente ms grave y de fuerte desempleo que pudiera sufrir el rea geogrfica
donde estos programas suelen desarrollarse podra efectivamente resultar en
una subestimacin del impacto de la intervencin. En sentido contrario, la in-
corporacin en el programa de personas desempleadas con un perfil relativa-
mente bueno para encontrar trabajo, podra producir el efecto contrario de so-
breestimar el impacto del programa. (Langbein, 1980:38)
En resumen pues, la validez interna de la evaluacin depende de la identifi-
cacin y control de todas las variables externas que pueden influir en la relacin
causal. Esta es la cuestin que ha ocupado, de forma central, a la literatura que
adopta el paradigma racional cientfico-clsico de la evaluacin por objetivos.
b. Amenazas a la Validez Interna
En relacin con problemas de validez interna, Campbell y Stanley
(1973: 17) describieron una serie de factores externos, llamados amenazas a la
validez interna, cuyos efectos se pueden confundir con los de los programas
evaluados.
Con el objeto de ilustrar algunas de las principales amenazas a la validez
interna de las evaluaciones, utilizaremos como ejemplo un programa de nor-
malizacin del cataln para amas de casa que, deseen aprender a hablar y es-
cribir correctamente la lengua propia de la nacionalidad donde residen. Su-
pongamos que una vez finalizado el programa, las participantes aceptan
responder a un test sobre las materias impartidas durante el curso. El diseo
utilizado en esta evaluacin podra ser descrito con el siguiente diagrama:
XO
donde X representa el programa
y O representa la observacin (56).
1. Historia
Los resultados obtenidos en esta primera evaluacin podran ser debi-
dos al programa, pero tambin a hechos o experiencias vividos por las
(56) Esta notacin es la utilizada por toda la literatura desde que fuera adoptada por Campbell y Stan-
ley en 1966. Vid. por ejemplo, ShorteJl y Richardson, (1978: 39).
114
SEGUNDA PARTE
participantes durante el intervalo que va desde el comienzo del programa
hasta su terminacin, como por ejemplo, un programa especial de televi-
sin o las lecciones gratuitas que algunas de ellas obtuvieron de sus hijos
en edad escolar.
Historia es pues una amenaza a la validez interna y se refiere a los hechos
externos que suceden en el entorno del programa y que puedan tener una in-
fluencia en aquellas variables que indican los resultados del programa.
2. Maduracin
Los resultados en esta primera evaluacin tambin podran ser debidos
a cambios subjetivos experimentados por las mismas participantes durante
el desarrollo del programa.
Maduracin, a diferencia de Historia que tiene que ver con hechos
externos al individuo, se refiere a procesos que ocurren en la misma per-
sona (57).
3. Test
Supongamos que se hubiera suministrado un test con anterioridad al inicio
del programa para determinar el nivel de conocimientos de las participantes.
El diseo utilizado en esta evaluacin podra ser representado grficamente de
la siguiente manera:
Los resultados del segundo test podran ser debidos, no tanto al efecto del
programa, como al hecho de haber hecho un primer test. En este sentido, el
pretest podra haber transferido algunos conocimientos de forma que las parti-
cipantes habran obtenido mejores resultados en el segundo test, independien-
temente del programa. El efecto del test no opera siempre en el sentido de
afirmar los efectos del programa: podra ocurrir que la realizacin de un se-
gundo test produjera una ansiedad tal en las participantes que las llevara a ob-
tener peores resultados que en el primer test (58).
(57) Weiss se refiere al cambio experimentado a cierta edad por algunos jvenes delincuentes y que
les lleva a optar por una vida ms estable, lo que indudablemente podra mejorar los resultados de un pro-
grama de rehabilitacin y prevencin de delitos (Weiss, 1972: 62).
(58) Campbell y Stanley (1973: 24) ponen un ejemplo que ilustra muy bien el efecto reactivo del pri-
mer test. En un experimento sobre terapia para el control del peso, dicen, el peso inicial puede ser un est-
mulo suficiente para el adelgazamiento, an sin tratamiento curativo alguno.
115
4. Instrumentacin
Los resultados de una evaluacin que utiliza un diseo como el descrito de
pretest-postest pueden, en ocasiones, ser cuestionados en base a cambios en
los instrumentos de medicin de resultados: esto es, si los cuestionarios sumi-
nistrados antes y despus del programa no son idnticos, si los entrevistadores
u observadores no son los mismos, o si las preguntas se hicieron de forma dis-
tinta. En este sentido, se afirma que los instrumentos de medicin deben ser
fiables y vlidos.
5. Regresin Estadstica
Lgicamente, las personas seleccionadas para diferentes niveles de ca-
taln lo seran en funcin de sus resultados en el pretest. Para aquellos ca-
sos de resultados extremos (niveles muy bajos o muy altos de conocimien-
tos), al hacer una nueva prueba, sus resultados tenderan a acercarse a la
media, independientemente de los efectos del programa. De alguna forma,
el error negativo o positivo que experimentaron unos y otros en el primer
test no se mantendra en el segundo, por lo que cabra esperar que los pri-
meros obtuvieran mejores resultados, y que los segundos obtuvieran peores
resultados en promedio.
6. Seleccin
Con el objeto de evitar los problemas asociados con el test, y al mismo
tiempo las amenazas que representan la historia y la maduracin, se podra
eliminar el test y aadir un grupo de comparacin, de forma que el diseo de
la investigacin quedara de la siguiente forma:
Al aadir un grupo de comparacin, sin embargo, la seleccin diferencia-
da de las personas que integraran este grupo podra ser una importante fuente
de invalidez. En la medida que los grupos no fueran equivalentes, los resulta-
dos podran ser debidos a diferencias en la edad, en el nivel de estudios, el1 la
extraccin social. .. , que nada tendran que ver con el hecho de recibir o no re-
cibir los cursos.
116
SEGUNDA PARTE
7. Mortalidad
Las diferencias entre los dos grupos tambin podran ser debidas a una di-
ferente proporcin de casos perdidos para los dos grupos. En este sentido, po-
dra ocurrir que las personas que peores resultados hubiesen obtenido en el
test final abandonaran los cursos antes de su finalizacin, o que algunas de las
personas del grupo de comparacin decidiesen no cooperar en el momento de
realizar el test.
c. Amenazas a la Validez Externa
La segunda de las cuestiones planteadas en relacin con la evaluacin del
impacto de un programa consiste en determinar hasta qu punto los resultados de
un programa concreto pueden ser generalizados a otras situaciones. Al igual que
hicieron con las amenazas a la evaluacin interna, Campbell y Stanley (1973: 17)
describieron una serie de factores externos que amenazan la posibilidad de gene-
ralizar los resultados de un programa a otros casos distintos del analizado.
l. Interaccin entre seleccin y programa
Esta amenaza se refiere a la posibilidad de que los resultados solamente
sean aplicables a la poblacin de la que fueron seleccionados el grupo que re-
cibi el programa y, en su caso, el grupo de comparacin. Esto es, podra ocu-
rrir que lo que funciona en el caso estudiado no funcione con otros grupos de-
bido a caractersticas poblacionales distintas.
2. Interaccin entre test y programa
Este tipo de interaccin se refiere a la posibilidad que los resultados de un
programa solamente puedan ser generalizados a otros grupos cuando tambin se
da un primer test. Ello ocurre, como en el caso de la terapia para el control de
peso, cuando el pretest tiene una influencia muy importante en los participantes.
3. Situacin
Esta amenaza se refiere a mltiples factores que pueden darse en el caso
concreto estudiado y que pueden influir directamente en los resultados del
117
programa. Podra ser, por ejemplo, que los resultados se den por razn de un
profesor excepcionalmente bueno, porque las participantes saban que estaban
siendo objeto de una especial atencin y contribuyendo por tanto a probar la
eficacia de un nuevo mtodo, o por razn del lugar o momento histrico en el
que se realiza el programa.
C. DISEOS DE INVESTIGACION
a. Diseos Experimentales
Tericamente, el diseo de investigacin ms potente que se puede utilizar
al evaluar el impacto de un programa es el diseo experimental (Bingham y
Felbinger, 1989: 15).
Este diseo utiliza grupos experimentales y grupos de control. De la po-
blacin objeto del programa, se seleccionan individuos (clases, barrios, ciuda-
des) y se asignan de forma aleatoria al grupo que obtiene el programa -grupo
experimental- y a un grupo de control que no recibe el mismo tratamiento.
Esto no significa que no reciba tratamiento alguno ya que siempre se intenta
que el grupo de control reciba algn servicio alternativo para evitar el efecto
Hawthorne, esto es, que se produzca un resultado positivo en el grupo experi-
mental debido, meramente, a la mayor atencin que recibe.
Una vez establecidos los grupos experimentales y de control, se toman
medidas de las variables ms relevantes, antes de empezar el programa y una
vez se considera terminado; y se entiende que el programa fue un xito si el
grupo experimental obtiene mejores resultados que el grupo de control.
El poder de este modelo radica en la asignacin aleatoria de los individuos a
cada uno de los dos grupos. Esto garantiza que el tratamiento o el programa al que
es asignado cada individuo no tenga relacin alguna con sus caractersticas perso-
nales de forma que, si el nmero de sujetos estudiados es bastante grande, aumen-
tan las probabilidades que las caractersticas de todos ellos sean aproximadamente
las mismas. Al conseguir una comparabilidad cuasiperfecta, el diseo experimen-
tal permite eliminar la mayor parte de las amenazas a la validez interna (historia,
maduracin, seleccin...) y, por tanto, la posibilidad de que efectos externos al
programa se confundan con los de ste. (Rossi y Freeman, 1985:236) (59).
Mientras que la forma en que se distribuyen las unidades de anlisis a ca-
da grupo --experimental y de control- afecta a la validez interna, la forma
(59) Un buen instrumento para medir si una persona conduce bajo los efectos del alcohol es el anlisis
de sangre puesto que la probabilidad de error es mnima y de lo que se trata es de determinar el nivel de al-
cohol en su sangre. En cambio, no parece una medida ni fiable ni vlida, la opinin subjetiva de los agentes
de polica (Rossi y Freeman, 1985: 201).
118
SEGUNDA PARTE
en que se seleccionan para su estudio afecta la validez externa. Unicamente,
una muestra aleatoria asegura que todos los individuos de una misma pobla-
cin tengan la misma oportunidad de ser seleccionados y por tanto que los re-
sultados puedan ser generalizados a toda la poblacin. (Langbein 1980:65).
La representacin simblica del diseo experimental descrito sera la si-
guiente:
Diseo de pretest-postest con grupos de control
donde A representa asignacin aleatoria
Este diseo permitira controlar todas las amenazas a la validez interna,
excepto la posibilidad que los dos grupos experimentaran distintos niveles de
abandonos. Desde la perspectiva de la validez externa, existira la posibilidad
de interaccin entre el primer test y el programa, que podra solucionarse su-
primiendo el pretest o aadiendo dos grupos ms, uno que recibira el progra-
ma y el otro no.
Diseo de postest
con grupo de control
Diseo de cuatro grupos
de Solomon (60)
A
b. Diseos Cuasiexperimentales
A
A
A
A
En la prctica, la implementacin de un verdadero experimento resulta di-
fcil, tanto por la forma en que se administran los programas y que raramente
tiene en cuenta su evaluacin, como porque la asignacin aleatoria de perso-
nas a grupos experimentales y de control puede p r ~ e r injusta o hasta contra-
producente, o simplemente, porque el evaluador entra en contacto con el pro-
grama con posterioridad a su puesta en marcha.
(60) Para una descripcin ms detallada de estos diseos, Vid. por ejemplo, Bingham y Felbinger
(1989: 17-57).
119
Existen diseos, sin embargo, que no requieren la distribucin aleatoria de
personas a distintos grupos, y que mantienen algunas de las ventajas de los ex-
perimentos. A diferencia de stos, que penniten controlar la totalidad de las
amenazas a la validez interna, los cuasiexperimentos dejan una o varias de s-
tas incontroladas. A pesar de ello, desde que Campbell y Stanley publicaran
su libro en 1966, los cuasiexperimentos han sido propuestos como diseos de
investigacin satisfactorios, siempre que se tenga en cuenta los posibles erro-
res de interpretacin a los que pudieran dar lugar.
1. Series Temporales con Grupos de Comparacin
Este diseo compara los cambios que se producen a lo largo del tiempo en
la variable que refleja los resultados del programa, para dos grupos: uno que
recibe el programa y otro que no. (Langbein, 1980:89).
Esto supone tomar medidas de aquella variable peridicamente, antes de que
el programa empiece y despus que ste tennine, con el objeto de obervar la ten-
dencia que siguen los valores que expresan los resultados de programa, y detrer-
minar si el programa ha producido un cambio significativo en esta tendencia.
La representacin simblica de este diseo sera la siguiente:
0
1
O
2
0
3
0
4
X 05 0
6
0
7
0
8
0
1
O
2
0
3
0
4
05 0
6
0
7
0
8
La figura 4 ilustra de fonna grfica la idea del diseo de series temporales
con grupos de comparacin, para un caso en el que existe un claro impacto del
programa.
Figura 4: Diseo de series temporales con grupo de comparacin
Fuente: Langbein, (1980:89)
y
Tratados
No tratados
-- Tiempo
Programa
120
SEGUNDA PARTE
Al no existir distribucin aleatoria previa de los casos a los grupos que re-
ciben el programa y que hacen de controles, la validez de este diseo depende
en gran medida de si el grupo de control adoptado se parece, en todos los as-
pectos relevantes, al grupo que recibe el programa. Si los dos grupos son efec-
tivamente comparables, la evaluacin ser internamente vlida.
2. Series Temporales
Al igual que el diseo de las series temporales con grupos de compara-
cin, este diseo se basa en el anlisis de las tendencias en las medidas de im-
pacto, antes y despus de una intervencin. En realidad, se trata del mismo di-
seo sin un grupo de comparacin. El control en este caso es el mismo grupo
que recibe el programa, antes que ste se produzca. (Langbein, 1980: 102)
Este es un diseo adecuado cuando el evaluador dispone de series tempo-
rales de datos sobre los valores del indicador de resultados del programa, pero
no puede construir un grupo de control equivalente, o no dispone de datos
concurrentes, anteriores y posteriores al programa para el grupo de control.
Al no existir un grupo de control, sin embargo, resulta ms difcil determi-
nar si los cambios observados en las series temporales son debidos al progra-
ma o a factores externos no controlados. En este sentido, el cambio de tenden-
cia observado podra ser debido a un hecho que ocurriera al mismo tiempo
que se introduca el programa (61).
3. Diseo de Grupos de Comparacin No Equivalentes
Este diseo es el nico posible cuando no existen series temporales de da-
tos sobre el grupo que recibe el programa y sobre un grupo de comparacin.
Consiste en comparar las diferencias entre los dos grupos con respecto a la va-
riable que mide los efectos sobre los que el programa pretende tener un im-
pacto, antes y despus del programa. (Langbein, 1980:98)
(61) Una variacin de este mismo diseo utiliza parte de las medidas de impacto que constituyen la
serie de datos como controles.
Por ejemplo, en la evaluacin de los efectos de la legislacin que prohiba las happy hours (esto es,
la oferta de bebidas alcohlicas a precios reducidos, generalmente a ltima hora de la tarde, despus de la
jornada laboral) en los estados norteamericanos de Indiana y Massachusetts, Maxfield y Pierce (1986) exa-
minaron de forma separada el nmero de accidentes ocurridos despus de la intervencin, durante las horas
y das de la semana en que las happy hours eran ms comunes (de las 4 horas de la tarde a las 9 horas de
la noche y de lunes a viernes) y durante las dems horas de estos das y fines de semana. Si la prohibicin
era efectiva, tena que haber una disminucin en el nmero de accidentes que ocurran en las horas y das t-
picos de las happy hours, mientras que no tena porque haber variacin alguna en el nmero de acciden-
tes en las dems horas y das, que de esta forma, servan de controles. Los resultados de la investigacin
fueron negativos para los dos estados.
121
Su representacin simblica y grfica sera la siguiente:
Figura 5: Diseo de grupos de comparacin no equivalentes
Fuente: Langbein, (1980:98).
y
/Tratados
No tratados
L...- X-----_Tiempo
La figura 5 representa un caso en el que la diferencia entre los dos grupos
en el momento del postest excede la del pretest, por lo que cabra afirmar que
el programa tuvo impacto, siempre que el grupo de comparacin fuera similar
al grupo tratado en todas las variables que se consideraran relevantes.
Lo mismo que con otros diseos cuasiexperimentales, el problema, en la
prctica, consiste en identificar y medir estas variables, as como localizar los
grupos que sean similares con respecto a cada una de ellas. Ya nos hemos re-
ferido anteriormente al ejemplo de la evaluacin de un programa de forma-
cin profesional para personas en paro. Ciertamente, se podra construir un
grupo de control buscando a personas de las mismas caractersticas socio-de-
mograficas (edad, sexo, lugar de residencia, nivel de estudios, experiencia
profesionaL.) que las de aquellas personas tratadas. Habra que tener en cuen-
ta, sin embargo, las diferencias motivacionales, asociadas al hecho que el gru-
po de tratados seran voluntarios y el grupo de comparacin no. Para superar
estas limitaciones, algunos autores han sugerido la utilizacin como controles
de personas en lista de espera y que no les correspode entrar en el programa
hasta una prxima edicin del mismo (Borus y Tash, 1970:18) (62).
(62) La literatura especializada se refiere al matching, como procedimiento por el que, de forma in-
dividualizada, se busca una pareja a cada sujeto expuesto al programa entre personas, que no lo han recibi-
do y que tienen caractersticas parecidas; o de forma agregada, se intenta localizar un grupo de caractersti-
cas tales que la distribucin global de cada una de las variables ms relevantes en este grupo se
correspondan con las del grupo que recibe el programa.
122
SEGUNDA PARTE
Otra limitacin de este diseo deriva de la falta de informacin longitudi-
nal sobre las medidas de resultados, lo que impide determinar si los resultados
del pretest son normales. En este sentido, la presencia de puntuaciones extre-
mas, ms que los efectos mismos del programa, podran explicar las diferen-
cias observadas. (Langbein, 1980: 100)
4. El anlisis de discontinuidad en la regresin
Este diseo compara las regresiones de la variable que mide los efectos
del programa sobre la variable en base a la que se determina la admisibili-
dad en el programa, para grupos de tratados y no tratados. (Langbein,
1980:94)
Por ejemplo, si tenemos un programa cuyo propsito es mejorar la cali-
dad de la vivienda de personas con un nivel de renta bajo, a travs de sub-
venciones al crdito privado para obras de rehabilitacin, y el criterio de ad-
misibilidad en el programa es que sus beneficiarios no sobrepasen un
determinado nivel de renta, se podra comparar la regresin de la variable
valor de la vivienda en el mercado (como indicador de su calidad) sobre la
variable renta familiar, para dos grupos de renta por encima y por debajo el
nivel juzgado como lmite para recibir las subvenciones que establece el
programa (63).
El grfico del diseo de discontinuidad en la regresin para este caso po-
dra ser el representado en la Figura 6.
Figura 6: Diseo de discontinuidad en la regresin
Fuente: Langbein, (1980:95).
y
Tratados
'------------"---- X --- Renta
(63) Este ejemplo es una adaptacin del utilizado por Langbein (1980: 95) y que se basa en la evalua-
cin del impacto de un programa de la Farmer's Home Administration, la agencia federal norteamericana
que se ocupa de los programas de vivienda en el mbito rural.
123
Segn este grfico, el valor de las viviendas para aqullos cuya renta se si-
ta justamente por debajo del nivel mximo aceptado por el programa, es ma-
yor que el valor de las viviendas de aqullos cuya renta se sita justo por enci-
ma de este valor frontera y que determina el que no puedan beneficiarse del
programa. Cabra afirmar, por tanto, que el programa tiene impacto en base a
que se puede esperar que, primero, en la medida que aumenta el nivel de ren-
ta, aumente el valor de las viviendas, y segundo, que los sujetos justo por en-
cima y por debajo del punto de corte son equivalentes y nicamente se dife-
rencian en que unos no podan participar en el programa y los otros s.
Este diseo es de muy limitada aplicacin, segn Campbell y Stanley
(1973: 118), ya que requiere un criterio muy claro (generalmente un nmero)
en base al cual distinguir los dos grupos de comparacin.
5. Diseo de Post-Test con Grupos de Comparacin
Cuando una evaluacin se realiza de forma retrospectiva y no existe infor-
macin alguna sobre los valores que ha tomado la variable que mide los efec-
tos del programa antes de que ste tuviera lugar, el nico diseo posible es el
que mide esta variable con posterioridad al programa y analiza las diferencias
entre las personas que recibieron el programa y un grupo de control.
6. Diseo de Pre-Test sin Grupos de Comparacin
El diseo de pretest-postest sin grupos de comparacin se aplica cuando
no es posible construir un grupo de comparacin, pero en cambio s se pueden
tomar medidas de la variable que mide los efectos del programa para el grupo
que recibe la intervencion, antes y despus que sto ocurra.
Las amenazas a la validez interna de estos dos ltimos diseos son mlti-
ples y ya han sido examinadas con detalle a raz de la descripcin de aqullas.
c. Diseos No Experimentales
Los diseos no experimentales se caracterizan por la utilizacin de proce-
dimientos estadsticos para controlar la influencia de factores externos al pro-
grama evaluado que podran llevar a confusin sobre sus verdaderos efectos.
Es pues, en la forma de controlar estos factores externos al programa que los
no experimentos se diferencian tanto de los diseos experimentales como de
los diseos cuasiexperimentales (Langbein, 1980:113).
124
SEGUNDA PARTE
En los diseos experimentales, la asignacin aleatoria de los sujetos estu-
diados a grupos experimentales y de control distribuye los posibles efectos ex-
ternos al programa de forma aleatoria entre los dos grupos. En los diseos
cuasiexperimentales, generalmente de carcter retrospectivo, el evaluador pro-
cura identificar las caractersticas del grupo que recibe el programa, para des-
pus formar un grupo de comparacin idntico, o en su defecto, similar en to-
das las caractersticas relevantes, al grupo tratado. Ya sea a travs de
procedimientos aleatorios o agrupando sujetos de forma que, individualmente
o en trminos agregados, sus caractersticas se correspondan con las del grupo
experimental, uno y otro diseo procuran eliminar todas las posibles fuentes
de variacin entre grupos de tratados y de no tratados, que no sean debidas al
propio programa.
El no experimento, en cambio, analiza los resultados para un nico grupo
de sujetos que pueden presentar variaciones respecto tanto a su participacin
en el programa como a otros factores, para, a travs de mtodos estadsticos,
eliminar las posibles diferencias entre estos sujetos que no sean debidas a la
propia intervencin.
Lgicamente, en los no experimentos, como en los cuasiexperimentos, el
evaluador controla todos aquellos factores externos al programa que conoce.
Siempre existe, sin embargo, la posibilidad de una variable explicativa del pro-
ceso causal no controlada. El problema de la variable que el evaluador no llega
a incluir en su modelo es pues un problema importante para este tipo de diseo.
La regresin mltiple es la tcnica estadstica en la que se fundamenta la
mayor parte de los no experimentos en el contexto de la evaluacin de progra-
mas. (Bingham y Felbinger, 1989: 156) El anlisis de regresin permite deter-
minar el impacto del programa, de cada una de las posibles variables externas
consideradas y de cualquier otro factor no medido, en la variable que mide los
resultados del programa. Su frmula general es la siguiente:
donde el primer coeficiente de regresin (b)) indica la influencia del pro-
grama (X) en la variable dependiente (Y) cuando todos los dems factores ex-
ternos al programa (Z) son constantes, mientras que los coeficientes de regre-
sin b
2
, b
3
oo. b
n
miden la influencia de todos estos otros factores (Z) en Y
cuando X es constante. El factor error (e) representa todas las dems variables
externas, independientes del programa que nicamente afectan a Y. Final-
mente a es el punto en el que la lnea de regresin cruza el eje de las Y, de
importancia secundaria para la evaluacin.
Con este tipo de anlisis, siempre que exista un nmero suficiente de
observaciones y el modelo sea correcto, es posible determinar el impacto
125
de cada una de las variables independientes (en nuestro modelo, X o Z) se-
paradamente, lo que permite cuantificar de forma directa el impacto del
programa (64).
En resumen, ante las dificultades que presenta la realizacin de verdade-
ros experimentos en la prctica, muchas evaluaciones recurren a la utilizacin
de diseos cuasiexperimentales y no experimentales que se caracterizan por
no requerir la distribucin aleatoria previa de las unidades de anlisis, y en
cambio, permiten el control de si no todas, algunas de las amenazas a la vali-
dez interna y externa de las evaluaciones. En el anexo a este captulo, recoge-
mos algunos ejemplos de evaluaciones reales que utilizan diseos experimen-
tales, cuasiexperimentales -de series mltiples, de grupos de comparacin no
equivalentes, y de discontinuidad en la regresin- y un caso de una evalua-
cin por mtodos estadsticos.
(64) Para una explicacin ms detallada de la evaluacin por mtodos de control estadsticos, Vid.
Langbein (1980: 113-156).
126
ANEXO AL CAPITULO IV
EJEMPLOS DE EVALUACIONES DE
ACUERDO CON EL PARADIGMA
CIENTIFICO-CLASICO
1. EXPERIMENTOS
A. EL MAYOR EXPERIMENTO DE RENTAS MINIMAS E IMPUESTO
NEGATIVO: EL SEATTLE-DENVER INCOME MAINTENANCE
EXPERIMENT (65)
El llamado Seattle-Denver Income Maintenance Experiment (SDIME)
fue el ltimo de una serie de cuatro grandes experimentos desarrollados a fi-
nales de los aos sesenta, principios de los setenta, para medir el posible
efecto desincentivador de las transferencias y subvenciones a personas con-
cretas, en su esfuerzo por integrarse en el mercado de trabajo y obtener un
empleo estable (66).
Este era un tema importante para instituciones como la Office of Econo-
mic Opportunity que desarroll el NJGWIE, porque las polticas de ayuda a
las personas o familias que no alcanzaban un nivel mnimo de ingresos eran, a
menudo, criticadas en base a teoras econmicas que demostraban de forma
numrica como, cuanto ms elevado era el nivel de renta garantizado por las
instituciones pblicas, menor era el esfuerzo por trabajar de los grupos de po-
blacin ayudados.
El diseo bsico de todos estos experimentos era bastante simple aunque
su implementacin fuera mucho ms compleja. Por una parte, los sujetos eran
asignados de forma aleatoria a uno de los varios tratamientos considerados, es
decir, distintas combinaciones de nivel de renta garantizado y tasa impositiva,
o a un grupo de control. Por otra parte, su esfuerzo por encontrar trabajo era
medido a travs de variables como lo que ganaban por semana o el nmero de
horas trabajadas, tambin, por semana.
En el caso del SDIME, el experimento fue en realidad diseado para pro-
bar el efecto de dos clases de programas en el esfuerzo laboral de sus partici-
pantes: los programas del impuesto negativo, y distintas combinaciones de
programas de asesoramiento laboral y formacin ocupacional.
(65) Para la preparacin de este ejemplo se ha utilizado el trabajo de Skidmore (1989).
(66) El primer experimento a gran escala en esta rea del bienestar social fue el New Jersey Gradua-
ted Work Incentive Experiment (NJGWIE) que dur siete aos y cost ms de ocho millones de dlares.
El diseo de este experimento fue seguido por todos los experimentos posteriores, el Rural Experiment,
el Gary Experiment y el mismo SDIME, que adems se beneficiaron de los fallos cometidos en esta pri-
mera experiencia puestos de relieve en el amplsimo debate que sigui la publicacin de sus resultados en
1973. Vid. Rossi y Lyall (1976).
129
El programa del impuesto negativo parta de un nivel mximo de bene-
ficio o nivel de garanta, que era lo que se asignaba a la familia que no te-
na otra fuente de ingresos, y estableca diferentes tasas de reduccin del
beneficio o tasas impositivas, en funcin de las cuales el beneficio mxi-
mo era reducido a medida que la familia consegua beneficios extra expe-
rimentales.
La combinacin de la garanta, que tena en cuenta el tamao de la fa-
milia, y de la tasa impositiva, defina un nivel de renta en el cual el benefi-
cio era igual a cero. Los familias cuya renta se situaba por encima de este
nivel no reciban ms beneficios, aunque podan volver a recibirlos si su
nivel de renta caa por debajo de este nivel antes de que terminase el expe-
rimento.
La cantidad a la que tena derecho cada familia era calculada cada mes, de
acuerdo con un informe mensual sobre la renta que deban presentar todos los
participantes en el programa mensualmente. Segn Skidmore (1989:85) la in-
cidencia de fraude deliberado fue baja y se establecieron mecanismos sancio-
nadores para corregir este tipo de prcticas que ponan en peligro la validez
del experimento.
Como en todos los experimentos de esta clase, se probaron diferentes
planes de impuesto negativo para as poder determinar cmo variaba el
comportamiento en respuesta a distintas versiones del mismo programa.
La figura 7 muestra los once planes que resultaron de combinar tres nive-
les de garanta y cuatro tasas impositivas, dos de ellas constantes y dos va-
riables que disminuan en un 5% por cada 1.000 $ de renta de trabajo extra
experimentales.
Figura 7: Planes de impuesto negativo probados en el SDIME
Fuente: Skidmore, (1989:64)
Tasa impositiva
Garanta inicial 50% 70% 70% 80%
($ 1971) (variable) (variable)
3.800 $ X X X X
4.800 $ X X X X
5.600 $ X X X
130
SEGUNDA PARTE
El programa de asesoramiento laboral tena pdr objeto que los partici-
pantes en el programa descubrieran, con la ayuda de profesionales especiali-
zados, ocupaciones de su inters, en qu consistan, el tipo de formacin que
requeran y los canales usuales a travs de los cuales se poda conseguir
aquel tipo de trabajo. Tambin se les instrua en la redaccin de currculums
y en la prctica de las entrevistas con posibles empresarios.
El programa de formacin para la ocupacin tena un carcter muy flexi-
ble y abierto puesto que bsicamente consista en una subvencin econmica
que poda cubrir bien el 50%, bien el 100%, de cualquier programa educativo
o de formacin profesional que el participante escogiera entre los aprobados
por el programa.
La razn por la que se incluy este segundo componente en el SDIME fue
para determinar si una mejor informacin sobre el mercado de trabajo y/o una
mejor educacin y/o formacin ocupacional poda compensar el efecto desin-
centivador en el esfuerzo para buscar trabajo que poda producir el programa
del impuesto negativo. Esto se pudo realizar experimentando con cuatro com-
binaciones bsicas de los dos programas:
1. programa del impuesto negativo;
2. programa de asesoramiento y formacin;
3. los dos programas a la vez;
4. ninguno de los dos programas.
A su vez, se probaron tres variantes del programa de asesoramiento y
formacin:
1. programa de asesoramiento;
2. programa de asesoramiento y subvencin del 50% de un curso de for-
macin aprobado;
3. programa de asesoramiento y subvencin del 100% de un curso de
formacin aprobado.
En cualquier experimento social, cuanto ms amplia es la muestra, ms
posibilidades hay de que se detecte el efecto de los distintos tratamientos y
mayor confianza estadstica se puede poner en los resultados. Segn Skidmore
(1989:69), el programa SDIME afect a 4.800 familias, incluyendo grupos de
control y fue el ms generoso en los niveles de beneficio para sus participan-
tes y en el tiempo que duraron las prestaciones. Las familias en los grupos ex-
perimentales fueron asignadas a tratamientos de duracin entre tres y cinco
aos. Se aseguraba as, una mxima variacin en los tratamientos y en rela-
cin con los grupos de control, por lo que caba esperar mayores efectos en el
comportamiento de los sujetos estudiados que en experimentos anteriores.
131
Los resultados fueron negativos en la casi totalidad de pruebas realiza-
das para los dos programas. Es decir, las distintas combinaciones de planes
de impuestos negativos tenan un impacto claramente negativo en las horas
trabajadas por ao y lo mismo ocurra con los programas de asesoramiento y
formacin.
En ambos casos, los resultados fueron presentados de forma diferenciada
para hombres, mujeres y mujeres cabezas de familia donde no haba un hom-
bre presente. Tomando las medidas del segundo ao, una vez todas las perso-
nas includas en los grupos experimentales haban tenido suficiente tiempo pa-
ra adaptarse a su nueva situacin y antes de que empezaran a cambiar su
comportamiento con vistas al final del experimento, el porcentaje de reduc-
cin de horas de trabajo fue del 9% para los hombres, del 20% para las muje-
res y del 14% para las mujeres cabezas de familia sin marido.
Adems, los cambios para los grupos de cinco aos eran mayores que los
que experimentaban los grupos de tres aos, y ambos grupos, hombres y mu-
jeres tendan a buscar trabajo de forma ms intensiva que las familias que for-
maban los controles, cuando se aproximaba el final del experimento.
El programa de asesoramiento laboral y formacin ocupacional tampoco
tuvo los efectos deseados ya que incida negativamente, tanto en las rentas de
trabajo como en las horas trabajadas a corto y medio plazo. Unicamente el
programa de sesiones de asesoramiento laboral para las mujeres cabezas de
familia pareca tener un impacto positivo.
***
B. EL EXPERIMENTO DE LOS BONOS DE VIVIENDA (67)
Un tema central en la literatura de la economa del sector pblico es si el
gobierno debe producir y distribuir los bienes y servicios o si, por el contrario,
las personas que tendran que beneficiarse de estos bienes y servicios deberan
simplemente recibir una transferencia dineraria del gobierno que les permitie-
ra acudir al mercado y cubrir sus necesidades de la forma que estimaran ms
oportuna.
En el contexto de las polticas de la vivienda tambin se reproduce esta
discusin. La principal estrategia seguida por todos los gobiernos en este cam-
po ha sido la de aumentar la oferta de viviendas de calidad mnima para perso-
nas con niveles de renta bajos, a travs de la construccin de viviendas pblicas
(67) La descripcin del llamado Experimental Housing Allowance Program se basa en el libro de
Struyk y Bendick (1981) sobre este mismo experimento.
132
SEGUNDA PARTE
o de la promocin de viviendas privadas mediante mecanismos de financia-
cin de hipotecas a tasas de inters por debajo de los precios de mercado.
La alternativa a estas polticas se plantea en los EEUU desde los aos
treinta y consiste en orientar los programas pblicos hacia la demanda, recu-
rriendo para ello a la idea de los housing vouchers, es decir, las subvencio-
nes directas a las personas para que incrementen su poder adquisitivo y, unas
veces de forma obligatoria y otras no, apliquen una parte importante de este
poder adquisitivo aumentado, en una vivienda de mejor calidad.
Existan, sin embargo, algunas reservas en tomo a las posibles respuestas
a estos subsidios del lado de los ofertantes de vivienda (aumentaran simple-
mente los precios de las mismas viviendas?) y sobre cmo utilizaran los be-
neficiarios de estos programas, el dinero que era puesto a su disposicin.
Para resolver estas y otras cuestiones de forma emprica, el Congreso de
los EEUU y el US Department of Housing and Urban Development pusie-
ron en marcha, en 1970, el Experimental Housing Allowance Program que
consista, bsicamente, en dar dinero en efectivo a las familias con un nivel de
renta bajo para que se aseguraran, por s mismas, una vivienda juzgada por el
programa como adecuada. El montante de la subvencin era determinado en
cada caso concreto, teniendo en cuenta el coste de una vivienda que reuniese
una serie de condiciones mnimas en el mercado local, y la capacidad de cada
solicitante para pagarla.
El EHAP afect a ms de 30.000 unidades familiares en doce ciudades
distintas. El coste total del experimento fue de unos 160 millones de dlares y
dur ms de diez aos. En realidad fueron tres experimentos en uno, debido a
las muchas cuestiones que deba responder. As, sus diseadores distinguan
entre el experimento de la demanda, el experimento de la oferta y el experi-
mento de las administraciones encargadas de su gestin.
El experimento de la demanda afect a 1.800 familias en Phoenix, Arizo-
na, y a otras 1.800 en Pittsburg, Pennsilvania. Su propsito era examinar la re-
accin de las personas afectadas en cuanto a participacin, movilidad y gasto
en vivienda, y su variacin con distintos tratamientos, frmulas de pago, can-
tidades o con el estableciemento de distintos niveles de exigencia en relacin
con los requisitos mnimos que deba cumplir cada vivienda.
El experimento de la oferta afect a ms de 16.000 familias en Green Bay,
Wisconsin, y South Bend, Indiana. Su propsito era aumentar el nivel de de-
manda de servicios de vivienda en un mercado local y observar las respuestas
de los agentes del mercado en cuanto a cantidad, calidad y precio de la oferta.
El experimento de las administraciones afect entre 300 y 900 familias en
ocho ciudades distintas de los EEUU. El propsito de este tercer experimento
era observar el comportamiento de las administraciones territoriales a la hora
de gestionar un programa federal de estas caractersticas.
133
Segn Struyk y Bendick (1981: 12), la participacin en el EHAP fue baja,
tanto en el experimento de la demanda (27%) como en el experimento de la
oferta (37,5%), pero esto no les impide afirmar que el programa sirvi su pro-
psito en la medida que dio respuesta a un buen nmero de cuestiones sobre
los posibles efectos de un programa de estas caractersticas en el supuesto de
que fuera desarrollado a nivel nacional. As, entre los resultados ms relevan-
tes de este experimento cabe sealar los siguientes:
1. Los que ms participaron en el experimento fueron aqullos cuyas vi-
viendas cumplan con todos los requisitos mnimos que estableca el
programa, antes de que ste empezara y a los que, en consecuencia, la
participacin en el experimento no les representaba ningn coste, siJl10
al contrario, una fuente de ingresos adicional que les supona reducir
significativamente la carga que representaba el alquiler dentro de su
economa familiar.
En cambio, aqullos que deban reformar sus viviendas para ponerlas
al nivel exigido por el programa o que simplemente deban cambiar de
casa, no participaban en la misma medida, puesto que los costes que
representaba mejorar sus casas, mudarse o incluso el temor de no en-
contrar nada mejor o sufrir mayor discriminacin racial en una nueva
vecindad, superaban los beneficios que poda ofrecer el programa.
Lo que ocurri fue, por tanto, que los grupos de poblacin que viv-
an en las viviendas de peor condicin y que tenan una mayor nece-
sidad de ayuda, fueron, en realidad, los que menos participaron en
el programa.
2. Los participantes en el programa dividan el dinero que obtenan entre
gastos de vivienda y otros bienes y servicios. La parte dedicada a la
vivienda variaba en funcin del estado de la misma al iniciarse el pro-
grama, y de las condiciones del mercado local.
De forma general, aqullos que deban cambiar de casa o mejorar la su-
ya, lo hacan justo en la medida que era necesario para alcanzar los es-
tndares mnimos del programa. Esto sugera que era posible forzar el
incremento del gasto estableciendo unos estndares ms exigentes, aun-
que por otra parte, esto poda redundar en una tasa de participacin an
ms baja, al excluir a los posibles beneficiarios en peores condiciones.
Lgicamente, en aquellas ciudades donde haba ms viviendas deso-
cupadas, exista una mayor movilidad y, en consecuencia un mayor
consumo de vivienda. En este sentido, el impacto del programa fue
significativo ya que se redujo la carga que representaban los alquileres
sobre la renta familiar de forma considerable, al pasar de una media
del 40%, antes de empezar el experimento, a una media del 25%.
134
SEGUNDA PARTE
3. El posible efecto inflacionista en el precio de los alquileres no tuvo lu-
gar debido probablemente, tanto a los bajos niveles de participacin
como al hecho mismo que el dinero slo fue utilizado, en una mnima
parte, para mejorar las viviendas. Desde este punto de vista, el progra-
ma no fue lo bastante generoso y, a la vez, exigente con sus participan-
tes, como para tener un impacto en los mercados locales donde se de-
sarroll el experimento. En este sentido, hasta la inicial oposicin al
programa de algunas comunidades locales por temer la inmigracin
masiva de grupos tnicos minoritarios, remiti al comprobarse que el
programa no tena el impacto esperado.
4. Finalmente, el programa sirvi para poner de relieve algunos proble-
mas relacionados con la seleccin de sus participantes, especialmente
en cuanto a la documentacin que deban aportar para probar su con-
dicin econmica. Tambin sirvi para demostrar que el nico servi-
cio realmente valorado por los participantes era aqul que les propor-
cionaba informacin sobre dnde podan encontrar viviendas
disponibles, sobre todo en las ciudades con problemas de vivienda.
2. CUASIEXPERIMENTOS
A. UN CASO DE SERIES TEMPORALES MULTIPLES: LA
EVALUACION DEL SUPPLEMENTAL SECURITY INCOME (68)
En los EEUU, como en otros pases capitalistas desarrollados, existen varios
programas sectoriales en el rea del bienestar social que afectan a distintos grupos
de poblacin. Uno de estos programas, el Supplemental Security Income(SSI)
fue instituido en 1974 con el propsito de garantizar un nivel de renta bsico a gru-
pos de poblacin especficos: personas de edad avanzada, ciegos e incapacitados.
En 1979, Albritton (1979) public los resultados de una primera evalua-
cin de este programa donde pona de manifiesto el aumento en el nmero de
personas cubiertas entre los grupos objetivo, y el avance significativo en los
beneficios mensuales que reciban estas mismas personas, gracias a la inter-
vencin (69). Albritton debera tener, sin embargo, algunas dudas sobre el im-
pacto del programa a largo plazo, por lo que decidi repetir su anlisis en
1986 (Albritton y Witayapanyanon, 1989), aadiendo, en esta ocasin, nuevas
observaciones del perodo post-programa.
(68) Para redactar este ejemplo hemos utilizado el texto de Albritton y Witayapanyanon (1989).
(69) En realidad, el anlisis se reduca a personas de edad y a incapacitados ya que los ciegos, o bien
tenan otras ayudas o bien conseguan y mantenan sus empleos, por lo que de hecho, no exista un nmero
significativo de ciegos que se beneficiaran de este programa.
135
Intervencin
La extensin de la serie temporal aportaba informacin sobre los efectos
del programa a largo plazo, lo que permita determinar las tendencias ms all
de fluctuaciones temporales en los datos.
Como muestran las figuras 8 y 9, se producan cambios importantes en ~
das las series temporales en el momento de la intervencin, pero la prolonga-
cin de estas series revelaba otras cuestiones de inters: tanto el nmero de
personas de edad, como el nivel de beneficios para stos e incapacitados vol-
van a sus tendencias normales despus de la subida inicial. Unicamente, el
nmero de incapacitados beneficiados mantena la lnea ascendente, lo que no
pareca ser debido al programa, puesto que esta tendencia se produca desde
incluso antes de la intervencin.
Figura 8: Nmero de casos SSI, AFDC
Fuente: Albritton y Witayapanyanon, (1989,:116-117)
Tercera edad Incapacitados AFDe
E!L!.QQOs E,!! I.QO,9s E!!.lQQO.os
Nmero de casos
Intervencin
3000
~ ~ ~ ~ ~ @ ~ ro ~ w ~
Ao
Figura 9: Beneficios mensuales por participante SSI, AFDC
Fuente: Albritton y Witayapanyanon, (1989: 116-117)
Beneficios por participante
125,....--------------,
100
75
50
25
OL...o..L........., ~ u ..........
~ ~ ~ ~ ~ @ ~ ro ~ w ~
Ao
136
SEGUNDA PARTE
Para cerciorarse que los resultados obtenidos no eran debidos a factores
externos al programa, tomaron como grupo de comparacin los beneficios de
otro programa de bienestar social, el Aid to Families with Dependent Chil-
dren (AFDC) y examinaron si se producan aumentos paralelos en los indica-
dores de este programa. Dado que stos no tenan lugar en el mismo perodo,
descartaron la hiptesis alternativa que factores externos tuvieran una influen-
cia en todos los programas de bienestar social.
La evaluacin de impacto del SS1, tal y como la realizaron Albritton y Wi-
tayapanyanon (1989) pone de relieve el inters de volver a evaluar una polti-
ca, despus de un cierto perodo de tiempo, ya que los impactos a largo y a
corto plazo pueden no coincidir.
B. UN CASO DE DISEO DE PRE-TEST/POST-TEST CON GRUPO
DE COMPARAC10N: LA EVALUAC10N DE PROGRAMAS DE
AHORRO ENERGET1CO (70)
El sector energtico en los EEUU ha desarrollado distintos programas de
ahorro energtico a nivel familiar desde la crisis de 1979. Con el fm de hacer una
estimacin del nmero de Kwh. ahorrados con uno de estos programas, New-
comb (1984) implement un diseo cuasiexperimental de pretest-postest con
grupo de comparacin que nos puede servir para ilustrar este tipo de anlisis.
En concreto, el programa fue desarrollado por una compaa de electrici-
dad del estado de Washington que prevea aislar del fro unas 20.000 vivien-
das en un perodo de 8 aos y, de esta manera, producir un ahorro de 60 a 70
millones de Kwh. de electricidad anuales, al final del programa.
El programa inclua un examen de la vivienda gratuito y el aislamiento,
igualmente gratuito para todas aquellas unidades familiares cuya renta anual
no superara el 90% de la renta anual media del rea metropolitana de Seattle.
Todos aqullos que deseaban beneficiarse del programa deban, sin em-
bargo, aceptar que se aislara una serie de partes bsicas de sus edificios, ade-
ms de hacer todas la reparaciones que la compaa estimara necesarias.
Esta evaluacin presentaba, sin embargo, dos problemas. De una parte,
no exista informacin longitudinal de suficiente calidad como para estimar
los efectos de los cambios de tiempo atmosfrico o de un incremento brus-
co de las tarifas (como sucedi a mitad del programa) en el consumo medio
de electricidad.
De otra parte, era necesario formar un grupo de control tan similar como
fuera posible al grupo de participantes en el programa. La formacin de un
(70) Para la preparacin de este ejemplo se ha utilizado el trabajo de Newcomb (1989).
137
grupo de control era especialmente difcil en este caso por el carcter voluntario
del programa y porque, como haban demostrado otros investigadores, los parti-
cipantes en programas voluntarios de ahorro energtico acostumbran a consumir
ms energa que el cliente medio. Newcomb solucion este problema, importan-
te desde el punto de vista de la validez interna de la evaluacin, seleccionando
como grupo de control a un conjunto de personas que, de acuerdo con el plan de
la empresa, no veran sus casas aisladas hasta el ao siguiente.
Para asegurarse de que ambos grupos eran similares antes de que tuviera
lugar el programa, Newcomb utiliz datos de tres fuentes distintas:
Primero, de las inspecciones previas realizadas gratuitamente por la com-
paa a todos aquellos clientes que las solicitaban. Estas inspecciones re-
cogan datos sobre superficie de las viviendas; nmero de ocupantes y sis-
tema de calefaccin utilizado.
Segundo, de un sondeo por correo a una muestra representativa de cada
grupo en el que se preguntaba a los participantes en el programa sobre las
razones por las que decidieron participar en el programa, y sobre las ac-
ciones que haban tomado por si mismos para aislar sus casas con anterio-
ridad al programa.
Tercero, de los contadores de electricidad de cada vivienda que indicaban
el consumo de electricidad de cada cliente, por perodos de dos meses.
Segn Newcomb, los datos recogidos revelaban pocas diferencias entre el
grupo experimental y el de control. Unicamente haba un nmero superior de
controles que expresaban como razn para participar en el programa, el ahorro
en su factura de electricidad. Ambos grupos se podan pues considerar simila-
res y lo nico que les diferenciaba era el hecho que unos, el grupo experimen-
tal, recibieron el programa de aislamiento en 1981, mientras que los otros, el
grupo de control, tuvieron que esperar hasta 1982.
La evaluacin en s consisti en calcular los valores medios de consumo
de energa, para uno y otro grupo, antes y despus que el grupo experimental
recibiera el programa. Es decir, se tomaron medidas correspondientes a dos
inviernos, para los dos grupos: para el grupo experimental antes del programa
(de septiembre de 1980 a mayo de 1981) y despus del programa (de septiem-
bre de 1981 a mayo de 1982); y para el grupo de control, antes de que el gru-
po experimental recibiera el programa (de septiembre de 1980 a mayo de
1981) y despus de que el grupo experimental recibiera el programa (de septi-
mebre de 1981 a mayo de 1982).
El clculo de la energa ahorrada por grupos se presenta en la figura 10.
La primera columna expresa las diferencias en el consumo de energa, por pe-
rodos de dos meses anteriores y posteriores al programa, para el grupo expe-
138
SEGUNDA PARTE
rimental. La segunda columna expresa lo mismo para el grupo de control. Fi-
nalmente, la tercera columna expresa el ahorro neto de energa debido al pro-
grama. De acuerdo con los datos de este cuadro, el ahorro total para los diez
meses estudiados fue importante para todos los perodos estudiados.
Figura 10: Ahorro energtico para grupos experimentales y de control
Fuente: Newcomb, (1989: 106)
Perodos
Comparacin
Septiembre
1981
menos
Septiembre
1980
Noviembre
1981
menos
Noviembre
1980
Enero 1982
menos
Enero 1981
Marzo 1982
menos
Marzo 1981
Mayo 1982
menos
Mayo 1981
Cambios Grupo
Experimental
- 113 Kwh/2 mes
- 454
- 164
- 273
- 379
Cambio Grupo
Control
- 31 Kwh/2 mes
131
735
460
405
Cambio Neto
- 82 Kwh/2 mes
- 585
-- 899
- 733
-784
139
C. UN CASO DE DISEO DE DISCONTINUIDAD EN LA REGRESION:
LA EVALUACION DE LOS CERTIFICATES OF MERIT (71)
Thistlethwaite y Campbell utilizaron, ya en 1960, el anlisis de disconti-
nuidad en la regresin para evaluar el impacto de los programas de la Natio-
nal Merit Scholarship Corporation, institucin norteamericana dedicada a
premiar con becas, certificados de mritos y cartas de recomendacin, el es-
fuerzo de los mejores estudiantes de bachillerato en los EEUU.
En concreto, se trataba de examinar si los estudiantes que reciban un certifi-
cado de mritos, y por tanto vean sus nombres publicados en un libro que era
enviado a los medios de comunicacin, a las universidades y a otras organizacio-
nes donadoras de becas, tenan, primero, una actitud ms favorable hacia el inte-
lectualismo; segundo, un mayor inters por seguir estudios de master y docto-
rado y por ser profesores de universidad o investigadores; y tercero, mayor xito
a la hora de buscar becas de otras instituciones, que un grupo de control formado
por estudiantes igualmente capacitados para seguir estudiando.
La hiptesis de los investigadores era que el reconocimiento pblico de
los mritos de estos estudiantes poda efectivamente provocar cambios en su
actitud y comportamiento, con respecto a las tres cuestiones planteadas.
En su evaluacin de impacto, Thistlethwaite y Campbell utilizaban dos
grupos: uno formado por estudiantes que haban recibido certificados de mri-
to y otro formado por estudiantes que no haban alcanzado a recibir certifica-
dos de mrito, pero que, en cambio, haban sido premiados con una carta de
recomendacin que la institucin les envaba a sus domicilios particulares.
El criterio en base al cual se distinguan los dos grupos era muy claro: el re-
sultado de un examen al que se deban someter todos los candidatos y en el que,
nicamente un resultado superior a 11 daba derecho al certificado de mrito.
La representacin grfica de las regresiones para cada uno de los compor-
tamientos esperados sobre los resultados en el examen de aptitud, les permita
determinar el impacto del programa. Este era fijado a partir del examen de las
diferencias entre la regresin lineal que caba esperar sin tratamiento (la indi-
cada para el grupo con notas inferiores a 11) Yla estimada para el grupo trata-
do, esto es, aqullos con notas superiores a 11.
As, la figura 11 mostraba una clara discontinuidad en la regresion en el
punto de corte, conforme a lo que caba afirmar que el programa tuvo los
efectos esperados. La pendiente de las lneas del lado derecho, sin embargo,
era indicativa de que los efectos fueron especficos de los estudiantes prxi-
mos al punto de corte.
La discontinuidad no era tan aparente en la figura 12. Thistlethwaite y
Campbell (1989: 134) concluan que el grfico era suficientemente ambiguo
(71) La fuente correspondiente a este ejemplo es Thistlethwaite y Campbell (1989).
140
SEGUNDA PARTE
Figura 11: Estudiantes que obtienen becas
Fuente: Thistlethwaite y Campbell, (1989:134-135)
70
66
G-G' Porcentaje que obtiene beca
H-H' Porcentaje que obtiene beca de 150 $ o ms
62
58
- G'
G __ -
54
:: \j y-H
42 Estud'an es reco en ados G ado s e M
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Notas examen aptitud
Figura 12: Estudiantes que piensan continuar estudiando
Fuente: Thistlehwaite y Campbell, (1989: 134-135)
46 )-)' Porcentaje que planea estudiar master o doctorado
: JJ' q",
:: ::t:::;
18 Es ud'an es rcco en ados G' n' dores de CM
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 1920
Notas examen aptitud
Figura 13: Actitudes respecto a intelectualismo
Fuente: Thistlethwaite y Campbell, (1989: 134-135)
4,11
1234 567 8 91011121314151617181920
Notas examen aplilUd
141
como para dudar de los efectos del programa en los planes de estudio de los
estudiantes. La confirmacin de la hiptesis a favor de que hubo efectos se
podra basar en el hecho de que todos los puntos de la lnea entre el 11 y el 20
se situaran por encima de la lnea extrapolada para el intervalo del 1 al 10.
Por fin, no haba ambigedad alguna con respecto a la figura 13, lo que
pona difcil afirmar que el programa tuvo efecto alguno en la actitud de los
premiados hacia el intelectualismo.
3. NO EXPERIMENTALES
A. UN CASO DE EVALUACION NO EXPERIMENTAL:
LA EVALUACION DE PROGRAMAS DE AHORRO ENERGETICO (72)
El anlisis de regresin tambin ha sido utilizado para estimar los efectos a lar-
go plazo de los programas de conservacin de energa desarrollados por las compa-
as del sector. Hirst y Goeltz (1989) utilizaron este diseo en su evaluacin de los
programas de una empresa distribuidora de gas natural que opera en el estado nor-
teamericano de Minnesota y que serva a unas 750.000 viviendas en 1985.
Para esta evaluacin, Hirst y Goeltz recogieron varios tipos de informa-
cin a partir de las facturas de gas y de dos sondeos, uno por telfono y otro
por correo. Concretamente, recogieron datos, tanto para participantes en el
programa como para no participantes, sobre los siguientes puntos:
1. Consumo de gas natural mensual, desde octubre de 1980 a mayo de
1984 para 581 viviendas. La muestra de participantes fue elaborada
entre los que reibieron los servicios del programa entre abril de 1981
y junio de 1982, con lo que obtenan medidas de consumo, antes y
despus de la intervencin.
2. Temperaturas diarias en el exterior, ya que, de forma previa al anlisis
propiamente dicho, normalizaban el consumo de gas en funcin de las
diferencias de tiempo atmosfrico en tres puntos distintos del estado.
3. Caractersticas estructurales, demogrficas y socio-econmicas de las
viviendas (superficie, nmero de personas, renta, etc.)
4. Acciones tomadas en el pasado e independientemente del programa
destinadas a ahorrar energa.
Los resultados del anlisis de regresin son parcialmente reproducidos en
la figura nmero 14. Como era de esperar, el consumo de gas aumentaba con
la edad de la vivienda, el tamao, el nmero de personas que habitaban en ella
y con la renta. Si el gas era utilizado como fuente de energa para calentar el
(72) Este ejemplo ha sido desarrollado a partir del trabajo de Hirst y Goeltz (1989).
142
SEGUNDA PARTE
agua
t
su consumo tambin aumentaba considerablemente. Por el contrario,
disminua al aumentar el precio del gas.
Por otra parte, el consumo de gas por parte de los participantes en tres
programas diferentes (programas 1, 2 Y 3) era distinto con anterioridad a la
implementacin de los programas, mientras que las reducciones en el consu-
mo como consecuencia de la intervencin eran especialmente importantes pa-
ra el segundo programa.
Figura 14: Resultados del anlisis de regresin
Fuente: Hirst y Goeltz, (1989:165).
Variable Explicativa
Edad de vivienda
Nmero de pisos
Superficie
Nmero de personas
Renta
Precio del gas
Variables binarias
Agua calentada por gas
Antes del programa
PROGRAMA 1
PROGRAMA 2
PROGRAMA 3
Despus del programa
PROGRAMA 1
ao 2
ao 3
ao 4
PROGRAMA 2
ao 2
ao 3
ao 4
PROGRAMA 3
ao 2
ao 3
ao 4
Coeficiente del Modelo
0,471
12,2
0,0144
8,62
0,770
-7,21
19,6
14,0
11,5
12,4
-7,2
-3,7
-4,0
-17,6
-22,9
-24,2
-1,1
-4,2
-4,1
143
CAPITULO V
LA EVALUACION PLURALISTA
1. INTRODUCCION
La evaluacin por objetivos ha constituido el paradigma predominante en
la evaluacin de programas desde mediados de los sesenta hasta nuestros das.
La idea de una sociedad experimental se hizo realidad a principios de los
setenta con la realizacin de algunos de los grandes experimentos como los
descritos en el anexo al captulo anterior sobre mantenimiento de unos niveles
de renta y de vivienda mnimos. Desde entonces, muchas evaluaciones han
utilizado diseos cuasiexperimentales y mtodos de estadstica inferencial pa-
ra determinar la eficacia de las polticas pblicas.
Este tipo de evaluacin que llamamos clsica, racional o cientfica, presenta,
sin embargo, algunas limitaciones importantes tanto en relacin con su aplica-
cin, como en relacin con la utilizacin de sus resultados y su conexin con el
proceso de toma de decisiones polticas, lo que ha dado lugar al rechazo de sus
presupuestos, a menudo calificados de positivistas, en favor de enfoques ms po-
lticos, centrados en la utilizacin de los resultados del mismo proceso evaluador,
y generalmente cualitativos, por lo que respecta al mtodo de investigacin.
2. PROBLEMAS CON LA EVALUACION CLASICA POR OBJETIVOS
A. PROBLEMAS DE APLICACION
La evaluacin por objetivos en la forma que ha sido descrita requiere unas
condiciones bastante exigentes: primero, que los objetivos estn bien defini-
dos, segundo, que sea posible identificar indicadores generales de eficacia o
de resultados, y tercero, que sea aplicable un diseo de investigacin que per-
mita medir de forma vlida y fiable estos resultados.
Primero, en algunos casos puede resultar verdaderamente difcil la especi-
ficacin en trminos operacionales de los objetivos de los programas. Cuando
stos se desarrollan porque se percibe la necesidad de intervenir en relacin
con un determinado problema pero no est muy claro qu es lo que se puede
hacer ni cmo se puede hacer, generalmente se procede sobre la base de un
acuerdo muy general de actuar en una determinada direccin y se va corri-
giendo el curso de accin en funcin de las cuestiones y de los problemas que
van surgiendo.
147
En otros casos, la especificacin de los objetivos puede incluso ser contra-
producente. Cuando se trata de programas muy politizados, en los que conver-
gen diversos intereses, la negociacin sobre objetivos muy concretos puede
desembocar en una situacin de conflicto. Para llegar a un cierto nivel de con-
senso, cuando las posturas son muy rgidas y enfrentadas, lo mejor que puede
hacerse es, precisamente, dejar la cuestin de los objetivos abierta.
Segundo, el modelo clsico de la evaluacin por objetivos puede tener
xito con programas bien definidos, susceptibles de ser analizados por partes
y que permiten la descripcin de un modelo de impacto con unas relaciones
causales claras. En este sentido, nos hemos referido a una serie de variables
que expresan la ralacin entre inputs y resultados finales, y a una serie de hi-
ptesis (causal, de intervencin y de accin) que nos ayudan a reconstruir las
relaciones que tienen lugar en el mundo real. Muchos programas, sin embar-
go, son extremadamente complejos, disponen de mltiples y diferentes me-
dios para conseguir objetivos mltiples y a veces hasta contradictorios, y pre-
sentan variaciones en funcin del lugar y del momento en que son analizados.
Ello hace difcil definir sus componentes, reconstruir la cadena de efectos bus-
cados y, en consecuencia reducir el programa a un modelo simplificado que
permita una evaluacin clsica convencional.
Tercero, los principales problemas que presenta la aplicacin de los dise-
os de investigacin revisados tienen que ver con la formacin de grupos de
control y con la obtencion de mltiples medidas de una misma variable en in-
tervalos perodicos de tiempo anteriores y posteriores a la intervencin.
De una parte, muchas veces, simplemente no ser posible crear un grupo
de control porque el programa sirve a todas las personas elegibles e interesa-
das. (Rossi y Freeman, 1985:208). Otras veces, las personas que podran ser-
vir de controles sern difciles de localizar o no querrn colaborar con un pro-
grama que, o bien ha rechazado su participacin, o bien simplemente
desconocen y no les ofrece nada a cambio.
La distribucin aleatoria de sujetos a grupos experimentales y de control
puede generar cuestiones de tipo tico por entenderse que, de una forma arbi-
traria, se est privando a un grupo de personas de unos servicios que, en prin-
cipio son percibidos como beneficiosos. (Monnier, 1987:56). En pases donde
la experimentacin social se ha realizado con una cierta frecuencia, existen in-
cluso disposiciones legislativas que impiden privar de un programa a indivi-
duos concretos que tienen derecho a l (73).
Aun cuando se consiguen formar grupos de control, siempre existe la po-
sibilidad de amenazas a la validez del experimento:
(73) El Congreso de los EEUU prohibi la utilizacin de mtodos aleatorios en relacin con la experi-
mentacin de algunos programas de educacin, segn Poland (1974: 334).
148
SEGUNDA PARTE
Ya hemos. visto como es imposible controlar diferentes niveles de
mortalidad experimental para el grupo que recibe el programa y para
el grupo de control, de forma que los individuos que restan en ambos
grupos pueden no ser representativos de las poblaciones originales.
En el mismo sentido, los grupos de control pueden resultar contami-
nados por el grupo experimental si se producen contactos entre am-
bos grupos, y los primeros llegan a obtener la informacin que han re-
cibido estos ltimos.
Puede igualmente ocurrir, como ocurri con el primer experimento del
impuesto negativo en New Jersey, que una Administracin distinta de
I
La que administra el programa ofrezca a los grupos de poblacin que
sirven de controles, los servicios que solamente tenan que recibir los
. participantes en el programa. (Weiss, 1972:63).
~
~
De otra parte, algunos de los diseos de investigacin requieren series
temporales de datos que incluyan observaciones anteriores a la introduccin
del programa y que continen durante bastante tiempo despus del programa.
En m u h ~ s casos, sin embargo, los datos recogidos por la Administracin, o
bien no son completos, o bien no son fiables, o bien no se corresponden con la
informacin necesaria para construir indicadores que tengan relacin con los
resultados que se quieren medir.
Cabe concluir, por tanto, que los diseos de investigacin clsicos slo
se pueden llevar a cabo bajo condiciones y en circunstancias muy limitadas.
La demanda de evaluacin de programas que no puedan ser evaluados de
esta forma tendr por tanto que cubrirse recurriendo a formas alternativas
de evaluacin.
B. PROBLEMAS DE UTILIZACION
El recurso a los diseos experimentales y estadsticos ms sofisticados
tampoco se ha mostrado como una garanta para el uso efectivo de los resulta-
dos de las evaluaciones en el proceso de toma de decisiones poltico-adminis-
trativas. Entre las razones de la pobre utilizacin de los resultados de las eva-
luaciones cabe sealar, primero, que aqullos no se presenten a tiempo debido
a las exigencias metodolgicas de la misma evaluacin, y segundo, que los re-
sultados finales no respondan a las necesidades de las personas que han de to-
mar decisiones sobre los programas o polticas evaluados.
Primero, las limitaciones de la evaluacin experimental para conectar con
el proceso poltico se pusieron de manifiesto con los primeros grandes experi-
mentos sociales. En el caso de los programas del impuesto negativo, se puede
149
afirmar que las polticas cambiaron antes de que aparecieran los resultados de
sus evaluaciones, lo que pone de relieve la incompatibilidad entre la tempora-
lidad de las decisiones poltico-administrativas que generalmente tienen que
producirse con rapidez, y la larga duracin de los experimentos. (Monnier,
1987:56). Concretamente, el primer programa del impuesto negativo (el NJG-
WIE) dur casi 7 aos desde su planificacin en 1967 hasta que se public el
ltimo informe en 1973. Los anlisis y crticas de este primer gran experimen-
to llevaron a multiplicar las exigencias metodolgicas de forma que experien-
cias posteriores como el SDIME (comentado en el anexo al captulo anterior)
requirieron 5 aos nicamente para el tratamiento de algunos grupos, sin con-
tar por tanto, el tiempo necesario para su seleccin y para el anlisis e inter-
pretacin de sus resultados.
Obviamente, la realizacin de estos y otros experimentos fue sumamente
importante para la teora de los programas de intervencin social, en la me-
dida que se pudo obtener estimaciones empricas de sus efectos, se pusieron
de relieve consecuencias no anticipadas de las intervenciones, y de forma
general se provoc una discusin que ha durado hasta nuestros das. El coste
de estos experimentos fue, sin embargo, muy elevado para las Administra-
ciones que los financiaron, en la medida que sus resultados nunca fueron
utilizados directamente. Tomando nuevamente como referencia el programa
del impuesto negativo de New Jersey, el NJGWIE, su coste total se elev a
8 millones de dlares, un tercio de los cuales se gastaron en subvenciones a
las 1357 familias participantes (Langbein, 1980:71). El EHAP iniciado en
1970, el gran experimento en materia de vivienda (comentado igualmente en
el anexo al captulo anterior), dur mas de diez aos, afect a 30.000 fami-
lias en 12 ciudades diferentes y elev su coste total a 160 millones de dla-
res (Struyk y Bendick, 1981:7-8).
Lgicamente, los grandes experimentos sociales de la llamada edad
dorada de la evaluacin fueron sustituidos por dispositivos experimentales
y cuasiexperimentales menos complejos y, por tanto, de un coste econmi-
co inferior, pero que igualmente presentan complicaciones metodolgicas
importantes. En el caso de los anlisis de series temporales de datos ya he-
mos hecho referencia a la necesidad de medidas peridicas con posteriori-
dad a la implementacin del programa, por lo que reaparece el problema de
la temporalidad.
Segundo, los principales problemas de utilizacin de los resultados de las
evaluaciones tienen que ver, sin embargo, con la estrechez del modelo de eva-
luacin por objetivos, dado que todo el proceso de evaluacin se concentra en
medir el grado en que se alcanzan un/unos pocos objetivos cuidadosamente
identificados y seleccionados, mientras que no ofrece informacin sobre otros
aspectos tan o ms importantes para el proceso de planificacin y decisin
150
SEGUNDA PARTE
poltica. En este sentido, las conclusiones de las evaluaciones se reducen a as-
pectos excesivamente tcnicos y carecen de la sensibilidad necesaria para for-
mular conclusiones en trminos de implicaciones polticas ms amplias (Mon-
nier, 1987:57).
A ello hay que aadir que, a menudo, los resultados son ambiguos, dado
que los efectos detectados son pequeos: las variables controladas explican
slo una parte de la variacin en los resultados y resulta difcil, por otra parte,
generalizar stos a otras situaciones o programas (Rossi y Wright, 1984:59).
Todo ello se traduce en una cierta incapacidad de prescripcin y de indicar por
tanto de forma clara qu curso de accin han de tomar los decisores polticos.
3. EVALUACION PLURALISTA
A. DIMENSION POLITICA DE LA EVALUACION
El propsito de la evaluacin es producir informacin sobre los efectos,
la implementacin y hasta los procesos de planificacin de las intervencio-
nes pblicas, que sirva a los decisores polticos, administradores pblicos y,
en general, a aqullos que tienen capacidad para influir en las decisiones so-
bre acciones futuras. La evaluacin, sin embargo, tiene lugar en un contexto
poltico. Independientemente de los modelos de evaluacin especficos, se
puede afirmar que el conocimiento del contexto poltico de un programa es
una condicin necesaria, aunque no suficiente, para que su evaluacin tenga
alguna utilidad.
Ya nos hemos referido a una posible utilizacin partidista de la evaluacin
cuando se realiza con el propsito expreso de justificar una posicin o de ofre-
cer una deterininada imagen de una poltica o programa. Existe, sin embargo,
otra dimensin poltica de la evaluacin que tiene que ver con la estructura
institucional y las interacciones que se establecen entre el conjunto de actores
(no nicamente responsables polticos y administradores) que se relacionan
con un programa. Algunos autores (Palumbo, 1987:12; Weiss, 1987:97-48)
coinciden en destacar tres formas en que la evaluacin es poltica.
Primero, las polticas y los programas son propuestos, definidos, debati-
dos, financiados y aprobados a travs del proceso poltico. Su implementacin
y evaluacin estn sujetos a la dinmica poltica que se genera desde su discu-
sin y negociacin. En este sentido, tienen defensores y detractores. A ellos se
asocian los nombres de personas concretas, polticos, funcionarios, profesio-
nales especializados para los cuales respresentan adems un trabajo. Los pro-
gramas generan igualmente expectativas entre los colectivos y las personas a
los que se dirigen, y hasta llegan incluso a crear una clientela.
151
Segundo, la evaluacin se realiza con el propsito de influir en el proceso
de toma de decisiones polticas. Esto no significa que sean un input decisivo
en la medida que los actores con autoridad formal para decidir tienen sus pro-
pios valores y opiniones sobre los programas. En este sentido, Weiss explica
como las decisiones polticas estn enraizadas en toda la complejidad del pro-
ceso democrtico:
Que un programa funcione mejor o peor puede ser menos importante que la
posicin del presidente de una comisin parlamentaria, la influencia poltica
de sus partidarios, u otras demandas en el presupuesto. Niveles considerables
de ineficacia pueden ser tolerados si un programa se adeca a los valores do-
minantes, satisface a los votantes o paga deudas polticas. (1987:53)
Ciertamente, la evaluacin es tan solo un input ms en el proceso decisio-
nal y puede que no sea el ms importante. Cabe, sin embargo, esperar que los
resultados de un buen estudio sean tenidos en cuenta en las deliberaciones so-
bre un programa. En este sentido, Cronbach (1980:65) se refiere a un uso con-
ceptual de los estudios en el sentido de hacer pensar de forma diferente sobre
un programa, de contribuir a un cambio gradual de las percepciones o de clari-
ficar las cuestiones. Otros autores se han referido a la influencia acumulada de
la evaluacin a medio y largo plazo, ms que a un efecto inmediato en deci-
siones especficas (Clark, 1985:201).
Tercero, la evaluacin misma tiene un peso poltico y adopta implcita-
mente una posicin poltica. Evaluar los programas en funcin de sus objeti-
vos supone aceptar las premisas en las que se fundamentan. Desde esta pers-
pectiva la evaluacin tiene una orientacin reformista: se desarrolla a partir de
los valores y de las premisas de la Administracin, con el objeto de juzgar si
se han alcanzado eficazmente. La preocupacin por determinar eficacia, tien-
de a ignorar otras cuestiones. As, por ejemplo, la evaluacin de la poltica de
penalizacin del consumo de drogas, si bien pudiera comportar una mayor efi-
cacia policial en trminos de seguridad, tambin supone la opcin por una po-
ltica de represin frente a otras posibilidades de rehabilitacin.
La cuestin es pues, si la evaluacin lo ha de ser tambin de los valores, si
debe limitarse a determinar el grado en que se alcanzan objetivos o tambin
debe cuestionar stos.
Normalmente, el cliente de la evaluacin es la Administracin. Esta no
nicamente plantea las cuestiones que deben ser examinadas, sino que tam-
bin controla despus el uso y difusin que se pueda hacer de los resultados.
Algunos intentos de reforma de la evaluacin pasan precisamente por en-
juiciar a los programas desde otras perspectivas que no sean nicamente las de
los responsables polticos y administrativos.
152
SEGUNDA PARTE
B. NUEVAS DEMANDAS SOBRE LA EVALUACION
Una de las principales dificultades que se plantean en relacin con la utili-
zacin de los resultados de las evaluaciones consiste en determinar qu tipo de
informacin puede influir en el futuro de los programas. Lgicamente, como
indicbamos en el apartado relativo a intereses y criterios, las cuestiones que
se perciban como ms importantes variarn en funcin de la posicin que tie-
ne cada persona o grupo en relacin con el programa.
Desde esta perspectiva, la preocupacin por la utilizacin de las evalua-
ciones se ha traducido, primero, en un reconocimiento de la importancia de
los factores polticos, y segundo, en la idea de planificar las evaluaciones te-
niendo en cuenta sus posibles usuarios e incluso su participacin activa en el
proceso evaluador.
La demanda de evaluaciones que puedan ser realizadas en perodos de
tiempo relativamente cortos, sin comprometer grandes cantidades de recursos
y que respondan a las necesidades de sus usuarios ha dado lugar a la formula-
cin de una serie de modelos que pueden caracterizarse de forma general por
su recurso a aproximaciones cualitativas. El inters de estos modelos radica en
que promueven un estrecho contacto con la realidad y una mejor comprensin
del entorno poltico social en el que se desarrollan. Ello les hace ms aptos pa-
ra tratar con aquellos programas de objetivos amplios que especialmente en
sus primeros aos de desarrollo experimentan cambios constantes, no nica-
mente en sus prpositos, sino tambin en los servicios que ofrecen, con el ob-
jetivo de determinar qu funciona y qu no funciona en relacin con los pro-
blemas sobre los que pretenden tener una incidencia.
C. DESARROLLO DE UN MODELO PLURALISTA
a. Evaluacin Mltiple
La evaluacin pluralista representa el reconocimiento de la naturaleza po-
ltica de la evaluacin. A diferencia de la concepcin racionalista-cientfica
descrita anteriormente, este modelo rechaza la idea de evaluacin imparcial y
objetiva de los resultados de un programa, para centrarse en la importancia de
los valores y de las opiniones de la pluralidad de actores que tienen que ver
con un programa.
Para una buena parte de la literatura reciente sobre la evaluacin de progra-
mas, lo que realmente cuenta son los valores, las opiniones y los intereses de los
actores. Como afirma Majone (1989:168), stos son importantes, no slo por la
dificultad de medir outcomes, de determinar las relaciones de causalidad entre
153
intervenciones pblicas y sus efectos, de anticipar consecuencias no esperadas,
o de distinguir entre problemas con la teora de un programa o con su imple-
mentacin; sino sobre todo por la diversidad de percepciones sobre los crite-
rios evaluativos que deben aplicarse en situaciones especficas. (74)
En el mismo sentido, Palumbo (1987: 13) entiende que los valores, yespe-
cialmente los valores polticos, son un componente esencial de la evaluacin.
Para solucionar los posibles problemas de conflictos de valores, este autor su-
giere utilizar aproximaciones naturalistas (que describimos ms adelante) a
partir de la colaboracin plena de todos aqullos que tienen un inters en el
programa.
En la medida que la evaluacin pluralista legitima la diversidad de inte-
reses presentes, reconoce la multiplicidad de perspectivas que estos intere-
ses implican, y de hecho promueve la participacin activa de los diversos
grupos que tienen relacin con un programa, democratiza la evaluacin,
aunque ello se haga a menudo desde arriba, por decisin de los evaluadores.
(Weiss, 1983:8).
b. Evaluacin Util
El propsito de este modelo no es tanto la produccin de la evidencia em-
prica que ha de permitir a los decisores polticos y administrativos adoptar las
decisiones correctas, como responder a las necesidades de informacin del
conjunto de los actores. En este sentido, se asume que al ofrecer a stos la po-
sibilidad de decidir qu tipo de informacin se recoja, se incrementan las pro-
babilidades que los resultados de la evaluacin sean efectivamente utilizados.
(Pauon, 1986:330).
A su vez, el carcter flexible y adaptativo de la evaluacin pluralista re-
presenta un reconocimiento de la naturaleza dinmica y cambiante de los pro-
gramas pblicos, especialmente en su etapa de planificacin y desarrollo, y de
la necesidad de responder con rapidez a las cuestiones que emergen durante el
proceso evaluador en relacin con la reformulacin del diseo y estrategia del
programa.
De forma general, la estrategia de este tipo de evaluaciones consiste en uti-
lizar una variedad de fuentes de datos (entrevistas, discusiones en grupo, anli-
sis de documentos y de archivos, observaciones) con el objeto de conseguir un
elevado grado de familiaridad con el programa y con sus principales actores.
En la medida que son stos los que mejor conocen los detalles del programa, la
(74) Este autor, que construye su ltima aportacin en base a los conceptos de evidencia, argumenta-
cin y persuasin en el proceso poltico, cree que la determinacin emprica slo tiene sentido despus de
alcanzar un consenso sobre los criterios de evaluacin.
154
SEGUNDA PARTE
evaluacin examina su experiencia concreta, su posicin en relacin con la or-
ganizacin, y sus opiniones y argumentaciones sobre el programa.
e. Evaluador-Mediador
En ltimo trmino, la lgica pluralista supone enjuiciar el programa en
funcin de los criterios que derivan de sistemas de valores particulares. Dado
que la valoracin que se haga de un programa desde diferentes perspectivas
afecta de forma diversa a diferentes grupos, se producirn conflictos. La fun-
cin del evaluador, alcanzado este punto, no es tanto la de decidir cmo se de-
be evaluar el programa, sino la de actuar como mediador de forma que se res-
peten las posiciones de todas las partes presentes. (Guba y Lincoln, 1987:219;
Monnier, 1987:123).
La evaluacin pluralista cambia por tanto el rol del evaluador. Este deja de
ser el juez objetivo e imparcial que le otorgaba su competencia tcnica, para
pasar a adoptar la posicin de negociador que valora las necesidades de infor-
macin, clarifica las cuestiones, explica sus posibles consecuencias e intenta
alcanzar un acuerdo sobre criterios y prioridades.
Ello implica, sin embargo, como argumentamos ms adelante, que con la
evaluacin pluralista pierda importancia la evaluacin cuantitativa y conc1usi-
va o sumativa en favor de la evaluacin de los procesos de planificacin e im-
plementacin.
D. MODELOS ESPECIFICaS QUE FUNDAMENTAN EL ENFOQUE
PLURALISTA
Los principios en los que se fundamenta el enfoque pluralista se hallan en
una serie de modelos que, a pesar de recibir distintas denominaciones (<<goal-
free evaluation, Scriven 1973; responsive evaluation, Stake, 1975; natu-
ralistic evaluation, Guba y Lincoln, 1981; stakeholder evaluation, Bryk,
1983; utilization-focused evaluation, Patton, 1986), coinciden en las carac-
tersticas generales que acabamos de describir y que resumimos en los cuatro
puntos siguientes:
1. La importancia de considerar una pluralidad de valores en la evalua-
cin de cualquier programa (de aqu que se haya optado por la deno-
minacin pluralista).
2. Una preocupacin por la utilizacin efectiva de los resultados de las
evaluaciones por los responsables directos de los programas.
155
3. La utilizacin de metodologas cualitativas con el objeto de alcanzar
un conocimiento profundo del programa y de su contexto.
4. La sustitucin de mtodos cientficos que precisan un entorno estable
y sin cambios, por otros que se adapten a la naturaleza dinmica y
evolutiva de los programas.
Entre los modelos alternativos de evaluacin nos parece importante desta-
car las aportaciones de Scriven, Guba y Lincoln y Patton. La primera por su
carcter seminal, la segunda por constituir la alternativa ms radical al para-
digma cientfico clsico, y la tercera por su carcter estructurador de un eIllfo-
que que a primera vista puede parecer algo ambiguo.
a. La Evaluacin Libre de Objetivos
El modelo de la evaluacin libre de objetivos de Scriven fue el primero en
rechazar de forma radical la consideracin de los objetivos de los programas,
por entender que adems de ser innecesario, podra contaminar los resulta-
dos de la evaluacin. Un evaluador, segn Scriven, debe buscar efectos reales
y no supuestos, y para ello, lo mejor que puede hacer es olvidarse de la ret-
rica que suele acompaar a los programas para no verse condicionado y des-
cribir exactamente aquello que se le pide. (Scriven, 1973; Browne y Wil-
davsky, 1987:158).
Evaluacin, para Scriven, consiste en generar dos tipos de informacin:
primero, un examen concreto de todos los efectos realmente producidos, y se-
gundo, un anlisis de necesidades que sirva de referencia para valorar la im-
portancia de los efectos. (Guba y Lincoln, 1981: 17).
La influencia de Scriven ha sido muy importante a nivel conceptual. Scri-
ven fue el primero que propuso la realizacin de evaluaciones sin informacin
alguna sobre los objetivos, lo que supuso un cambio radical en la forma de
pensar sobre la evaluacin. Adems, Scriven propuso la consideracin de to-
dos los efectos, intencionados o no, lo que se tradujo en una mayor atencin a
los efectos secundarios de las polticas.
A nivel operacional, sin embargo, Scriven no describi cmo identificar
efectos, ni especific los criterios que tenan que permitir decidir qu efectos
estudiar. Tampoco quedaba resuelta la cuestin sobre qu necesidades haba
que valorar, y en qu medida los efectos tenan que responder a aqullas.
Por otra parte, Browne y Wildavsky (1987: 158) han sealado que llna
aproximacin de este tipo necesariamente implica la imposicin encubierta de
las perspectivas y preferencias del evaluador, dado que no existe un lmite te-
rico en la forma en que debe definir el problema. En este sentido, se afirma, el
156
SEGUNDA PARTE
evaluador debe tener algn medio de seleccionar entre la infinita variedad de
percepciones y efectos posibles.
b. Evaluacin Naturalista
Basndose en las ideas expuestas por Stake sobre la necesidad de una eva-
luacin que responda a las demandas, preocupaciones y cuestiones planteadas
por las personas que participan en el proceso evaluador, Guba y Lincoln for-
mularon la alternativa ms radical al paradigma clsico de la evaluacin cien-
tfica, a partir de la crtica de las propuestas positivistas de modelos anteriores,
y de la proposicin de 17 principios sobre los que se fundamenta la denomina-
da evaluacin naturalista. (Guba y Lincoln, 1987:210-215).
Para Guba y Lincoln, la objetividad no es posible, porque los valores son
inherentes a cualquier anlisis, y el observador interacta con los observados.
Para estos autores, los conceptos de causalidad, validez interna y validez ex-
terna, prestados de la investigacin bsica, no son trasladables a la evaluacin.
(Mac Kelly, 1987:290-291).
Guba y Lincoln (1981 :42) distinguen entre el mrito -una propiedad no
determinada por el contexto-- y el valor -una propiedad que depende del
contexto-- y por tanto de valores, factores motivaciona1es y hasta caractersti-
cas demogrficas. Para estos autores, si bien el mrito puede ser determinado a
travs de la investigacin cientfica, dado que no depende del contexto y es sus-
ceptible de generalizacin, el valor de un programa no puede ser determinado
de esta forma. Para determinar los valores y factores motivacionales, el evalua-
dor tiene que tratar con las personas en su contexto. La evaluacin requiere por
tanto, estudios de campo que no pueden ser realizados forma experimental,
sino que deben ser realizados de forma natural. Qu significa esto?
Mac Kelly (1987:290) ha definido la estrategia naturalista por oposicin a
la cientfica clsica, en los siguientes trminos:
Utilizar personas como instrumentos de recogida de datos ms que ins-
trumentos de sondeo; utilizar el conocimiento intuitivo, sentido, tcito,
con el objeto de reflejar de forma ms adecuada el sistema de valores del
investigador; utilizar metodologas cualitativas ms que cuantitativas,
muestreos selectivos ms que muestras aleatorios y representativos, llevar
a cabo anlisis de datos de carcter inductivo, utilizando teoras bien esta-
blecidas y no hiptesis supuestamente sustantivas...
En cuanto al producto de la evaluacin, Guba y Lincoln (1987:219)
entienden que el evaluador ha de negociar los resultados del anlisis con
157
los participantes en la evaluacin para que sus percepciones y construc-
ciones de la realidad sean incorporadas en el informe final, cuya aplica-
cion, por otra parte, debe limitarse al caso y asuntos especificados por el
estudio.
Indudablemente, este modelo se construye por oposicin al modelo
cientfico clsico. En este sentido, la insistencia en todas las opciones me-
todolgicas alternativas parece responder a una estrategia deliberada de sus
autores para recabar la atencin de la comunidad cientfica. Su aportacin
es, sin embargo importante, tanto por el tratamiento de la ambigedad m-
plicita en el tema de los valores y de las motivaciones, como por la consi-
deracin de la evaluacin como un proceso dialctico entre las partes, cuyo
objetivo no es ni tan siquiera alcanzar un acuerdo, ya que a menudo no ser
posible, sino generar sinergias y enseanzas positivas para el futuro del
programa.
c. Evaluacin Orientada a la Utilizacin
La preocupacin por la utilidad de las evaluaciones ha dado lugar a algu-
nas propuestas concretas que adoptan esta cuestin como fuerza central de to-
do el proceso evaluador. Concretamente, Patton (1986:330-332) ha propuesto
una forma de organizar el proceso evaluador (figura 15) en la que cada deci-
sin sobre la evaluacin (decisiones relativas al objeto de estudio, diseo, m-
todos, medida, anlisis, informe final y comunicacin de resultados) va prece-
dida de la pregunta del evaluador sobre las consecuencias de la opcin
escogida en trminos de utilidad.
Los elementos bsicos de este proceso son bastante simples. Primero, se
identifican los usuarios potenciales de la evaluacin. Estos o sus representan-
tes, cuando se trata de grupos numerosos, se organizan en una comisin de
trabajo que comparte con el evaluador la mxima capacidad de decisin sobre
todo el proceso.
En segundo lugar, corresponde a la comisin de trabajo, con la ayuda
del evaluador, determinar el objeto de la evaluacin. Esto supone examinar
los problemas planteados y decidir si la evaluacin ha de responder a cues-
tiones de eficacia general, de implementacin o de diseo y conceptualiza-
cin de la intervencin.
En esta etapa del proceso, corresponde al evaluador ayudar a los acto-
res del proceso a decidir qu cuestiones sera ms til investigar, y en fun-
cin de la utilidad anticipada de la evaluacin, plantear si realmente vale
la pena dedicar los recursos presupuestados a la evaluacin de las cuestio-
nes planteadas.
158
SEGUNDA PARTE
Figura 15: Organizacin del proceso evaluador segn Patton.
Fuente: Patton, (1986:332)
PRINCIPIO
FIN
159
La tercera parte del proceso se refiere a las decisiones en tomo al diseo
de la investigacin, mtodos e instrumentos de medida. Patton incluye aqu
todas las opciones posibles: mtodos cualitativos y cuantitativos, naturalistas,
experimentales, cuasiexperimentales y estadsticos. Para este autor, la princi-
pal cuestin es si los mtodos son los adecuados, si los datos obtenidos sern
crebles, comprensibles, precisos y apropiados, y ante todo, si los resultados
obtenidos sern realmente utilizados.
En cuarto lugar, una vez recogidos y analizados los datos por el evaluador,
corresponde a la comisin de trabajo participar activamente en la interpreta-
cin de los resultados y enjuiciar el programa a la luz de la evidencia empri-
ca. Son asimismo los integrantes de esta comisin, ayudados por el evaluador,
los encargados de generar recomendaciones y de controlar su implementacin.
Obviamente, Patton no ofrece un nuevo modelo de evaluacin, es decir,
no describe una nueva forma de llevar a cabo las evaluaciones. Su propuesta,
sin embargo, nos parece importante por dos razones: en primer lugar, porque
incorpora la preocupacin por la utilizacin al proceso evaluador, de forma
que ste se estructura alrededor de esta cuestin; y, en segundo lugar, porque
contempla la evaluacin como un proceso dinmico, interactivo -en el que el
evaluador ha de trabajar en estrecho contacto con los principales actores del
programa-, e iterativo -en la medida que la identificacin de nuevos grupos
o la emergencia de nuevas cuestiones implica la reconsideracin de las deci-
siones tomadas-o
4. LIMITACIONES DE LA EVALUACION PLURALISTA
Como se acaba de ver, el propsito de la evaluacin pluralista es llegar a
comprender qu aspectos son ms relevantes desde perspectivas mltiples y
qu influencia tienen en el proceso evaluador.
A diferencia de la evaluacin clsica que parte de una conceptualizacin
previa sobre qu indicadores reflejan la eficacia del programa, la evaluacin
pluralista intenta descubrir posibles efectos y, en su caso, los procesos que in-
fluyen en aqullos.
La cuestin de la estimacin de los efectos queda, sin embargo, por resolver.
Majone dira que lo que se necesita hoy, es no tanto el desarrollo de medidas
'objetivas' de resultados -el objetivo tradicional de la investigacin evaluati-
va- como facilitar un amplio dilogo entre los defensores de criterios diversos
(1989: 183). En sentido contrario, Rossi y Wright, dos de los mximos represen-
tantes de la tradicin cientfica dura entienden que lo que ellos llaman aproxi-
maciones cualitativas raramente aportan estimaciones de los efectos que sean
muy precisas o libres de posibles factores confusionantes. (1984:61)
160
SEGUNDA PARTE
Ciertamente, lo que en el modelo clsico de evaluacin por objetivos es
preocupacin por la calidad tcnica de la investigacin y por la validez de los
resultados, en la evaluacin pluralista se sustituye por la preocupacin por res-
ponder a las mltiples demandas de informacin que, en la mayora de las
ocasiones versarn sobre cuestiones de carcter prctico.
Lo que hay que dilucidar para cada caso concreto es si la mejor compren-
sin mutua entre actores y sus consecuencias positivas en trminos de utiliza-
cin, compensan la supuesta prdida de rigor metodolgico y de capacidad
para determinar la eficacia de los programas evaluados. Especialmente esto
ltimo, puesto que tanto decisores con autoridad formal como grupos afecta-
dos tambin querrn conocer los efectos de la intervencin para decidir si la
apoyan o, por el contrario, adoptan una actitud crtica y de rechazo.
La evaluacin pluralista, hemos visto, convierte al evaluador en mediador,
en el agente que promueve la discusin participativa sobre el programa. El
mantenimiento de un proceso evaluador con participacin activa de represen-
tantes de intereses diversos requiere, adems de una capacidad de gestin po-
ltica importante por parte del evaluador, tiempo y recursos suficientes.
De una parte, cabe la posibilidad que el evaluador sea confundido con
aqullos que le contrataron, generalmente la Administracin que financia el
programa, y que sea percibido, por tanto, como un elemento externo de legiti-
macin de posiciones tomadas previamente. Tampoco est claro quin define
los grupos que pueden y no pueden participar en la evaluacin. Si bien en pro-
gramas pblicos altamente politizados, seguramente se producirn demandas
desde abajo, la decisin ltima parece corresponder a los evaluadores, lo que
podra cuestionar el carcter representativo de la evaluacin.
De otra parte, la negociacin poltica requiere tiempo. En este sentido po-
dran reproducirse los problemas de diferente temporalidad entre decisin y
evaluacin indicados en relacin con otros modelos. Raramente, la evaluacin
tendr tiempo y recursos suficientes para combinar la organizacin de un pro-
ceso participativo con el anlisis riguroso de resultados.
Lgicamente, la combinacin de aproximaciones permitira seleccionar
los mtodos ms adecuados para cada cuestin planteada, y a la vez, mantener
un estrecho contacto con la experiencia real y con las preocupaciones de los
principales actores. La experiencia adquirida con los estudios de caso nos in-
dica, sin embargo, que en las etapas iniciales de la evaluacin ser preciso op-
tar entre proceso o resultados, y nuestra tesis es que esta opcin vendr deter-
minada por la naturaleza del programa y por la informacin disponible.
161
TERCERA PARTE
PRESENTACION DE LOS
ESTUDIOS DE CASO
Los estudios de caso del Plan Integral Roquetes (PIR) y de la Guardia Ur-
bana de 1'Hospitalet de Llobregat (GUH) son presentados a continuacin con
el propsito de contrastar la teora de la evaluacin discutida hasta aqu, con
dos aplicaciones concretas.
Ambos casos nos han parecido relevantes por cuanto de ellos se pueden
derivar algunas implicaciones sobre:
1. la relacin entre caractersticas del programa y naturaleza de la
evaluacin;
2. la relacin entre el nivel de conocimiento e informacin sobre el pro-
grama y el tipo de evaluacin;
3. la validez, en general, de distintas opciones metodolgicas a la hora de
evaluar un programa.
En el primer caso, la evaluacin del PIR fue encargada por el Ayunta-
miento de Barcelona al Grup d' Analisi Poltica de la Universitat Autonoma de
Barcelona en enero de 1990. Haba por tanto un cliente y una demanda de
evaluacin especfica. El informe final en cuya redaccin participamos, bajo
la direccin de J. Subirats, junto con R. Goma y J. Font, incluy 1) un examen
de la actitud y opiniones de los vecinos del barrio de Roquetes sobre el pro-
grama desarollado en su barrio; 2) el estudio detallado de cinco programas de
Insercin y Formacin profesional: y 3) el anlisis de la gestin poltica y ad-
ministrativa del programa, y de los servicios prestados a la poblacin en cada
una de sus reas de intervencin (econmica, social, urbanstica y cultural) in-
cluyendo una estimacin singularizada del coste de cada proyecto. (Grup
d'Analisi Poltica, 1991).
Reconstruimos aqu el proceso de formulacin del programa, dado que cons-
tituye un caso paradigmtico de formacin pluralista de una poltica en la que:
1. coinciden una serie de actores, cada uno con su sistema de valores e
intereses;
2. se genera un proceso poltico complejo en el que la formulacin no
siempre precede a la implementacin sino que emerge durante el curso
de la accin;
3. todo ello da lugar a un programa de caractersticas tales que su eva-
luacin de acuerdo con las prescripciones de los primeros modelos
167
de evaluacin, no solamente sera muy difcil, sino que deja de te-
ner sentido.
De forma muy sinttica, el mensaje que se desprende de este estudio po-
dra ser que cuando los programas sean ms como el PIR, menos aconsejable
ser centrar la evaluacin en el cambio experimentado por algunas caracte-
rsticas de la situacin observada, y ms adecuado ser, por el contrario,
adoptar una perspectiva de proceso y pluralista.
***
En el segundo caso, el de la evaluacin de los servicios de Polica Local,
fuimos nosotros quienes pedimos el acceso a las dependencias y archivos de
la GUH, con el objeto de estudiar un servicio que apareca justamente como
todo lo contrario del PIR, es decir, un servicio consolidado y estable en el que
era relativamente sencillo determinar los inputs, actividades y outputs que in-
tervinen en su proceso de produccin.
Al mismo tiempo, eramos conscientes que las demandas de evaluacin se
producirn en relacin con servicios que raramente se administran por progra-
mas u objetivos. Como hemos visto en el Captulo 11, uno de los principales
problemas que presenta la evaluacin de programas en nuestro pas es la au-
sencia de una verdadera gestin por programas. Si bien es cierto que la Admi-
nistracin utiliza con frecuencia los trminos plan y programa para refe-
rirse a un conjunto de acciones programadas para alcanzar uno o varios
objetivos, la falta de precisin de estos objetivos y, en general, la dificultad de
aislar los recursos afectados a un programa especfico en el seno de un aparato
administrativo complejo, hace difcil la operacionalizacin de los modelos de
evaluacin clsicos. Esta es, sin embargo, una caracterstica inherente del fun-
cionamiento de las administraciones pblicas, lo que nos obligaba a plantear
si tena para nosotros algn sentido la evaluacin de programas en los tnni-
nos discutidos y, en su caso, cmo se podran evaluar aquellos servicios que
no se estructuran conforme a unos objetivos y programas especficos.
El mensaje que se desprende de este estudio tiene que ver con las posibili-
dades de anlisis que ofrece la informacin que recogen de forma rutinaria y
continuada las policas locales y con la importancia de determinar y medir
aquellas variables que reflejan tanto la forma en que se presta un servicio co-
mo su eficacia global, cuando las caracterticas del programa lo permiten, e
independientemente de sus objetivos.
168
CAPITULO VI
EL CASO DEL PLAN INTEGRAL
DE ROQUETES
1. INTRODUCCION
La poltica de planes integrales de desarrollo como nueva forma de inter-
vencin social en los barrios perifricos y degradados de la ciudad de Barcelo-
na se inici con el PIR.
El PIR aparece como la versin barcelonesa de las polticas de desarrollo
de las inner cities norteamericanas y de sus variaciones europeas de media-
dos de los sesenta y setenta (75). Presenta, sin embargo, importantes singulari-
dades fruto de su propio proceso de desarrollo, y de hecho, fue anunciado
dentro del contexto local, como una nueva forma de intervencin.
Sintticamente, podramos decir que con el PIR se intentaba: coordinar un
conjunto de intervenciones sociales a realizar sobre un territorio (el barrio de
Roquetes), con un objetivo global de desarrollo que pretenda dar respuesta a
las necesidades sociales ms sentidas en el barrio, con la participacin activa
y efectiva de los vecinos y de todos aquellos grupos que tuvieran un inters en
el programa.
Esta es una definicin del PIR en la que probablemente estaran de acuer-
do sus principales protagonistas, dado su caracter global y agregador de visio-
nes parciales distintas. Seguramente, sin embargo, el grado de consenso en
tomo a la definicin del programa se reducira en la medida que se intentara
precisar las consecuencias que cabra esperar de la coordinacin de interven-
ciones, del desarrollo generado por la intervencin pblica o de la participa-
cin de personas que no pertenecieran a la Administracin impulsora.
y ello porque el PIR es el caso paradigmtico de un programa nuevo, don-
de convergen una diversidad de actores sociales que interpretan de formas di-
ferentes la oportunidad que representa la intervencin y que por tanto, slo al-
canzan a llegar a acuerdos sobre la base de no especficar objetivos y sus
consecuencias en trminos operacionales.
Para que se produzca un consenso a partir del cual impulsar un programa
pblico, como dira Monnier (1987:82), hay bastante con que exista una in-
terdependencia entre las expectativas de unos y otros y que sus intereses sean
parcialmente satisfechos. Despus, cada actor perseguir sus propios intere-
ses en el seno del programa e intentar maximizar los beneficios que le aporta
a travs de la negociacin.
(75) Sobre el programa federal norteamericano Model Cities, Vid. los comentarios de Caro (1971,
297-317), YWeiss y Rein (1971, 287-296).
171
Ciertamente, en el caso del PIR, desde el principio y dado su carcter par-
ticipativo y abierto, grupos representando una amplia variedad de intereses
han querido influir en su concepcin y diseo, lo que ha convertido el progra-
ma en el centro de una negociacin poltica intensa (76).
Con el objeto de ilustrar este proceso y sus consecuencias en la forma que
se define el programa, describimos a continuacin: los puntos de partida de
los actores presentes y las negociaciones que progresivamente delimitan las
bases de la intervencin y el modelo de programa. Ello nos permitir entrar en
el anlisis de las aproximacione,s evaluativas posibles y en la discusin de las
implicaciones del caso para la teora general.
2. DESCRIPCION DEL CASO
A. ANTECEDENTES: LOS ACTORES
a. Entidades y asociaciones de vecinos
Desde principios de los aos 80 y con ms intensidad a partir de la descen-
tralizacion de mbitos de gobierno de la ciudad de Barcelona a los Consejos de
Distrito, un grupo de vecinos organizados del barrio de Roquetes haban man-
tenido una presin importante sobre la administracin municipal para que lle-
vara a cabo una intervencin social en el barrio donde haba problemas eviden-
tes de drogadiccin, delincuencia, degradacin de las viviendas de la llamada
zona alta y, en general, dficit de servicios de asistencia social, atencin a las
personas de la tercera edad y de la infancia.
Este grupo de vecinos, integrado por miembros de la Asociacin de Ve-
cinos, de la Asociacin de Padres de Alumnos de las Escuelas y del grupo
de jvenes cristianos, haba mostrado una notable capacidad para movilizar
un nmero importante de vecinos en torno a temas de inters general como
la construccin del 11 cinturn en Roquetes o el Plan Especial de Reforma
Interior (PERI). Entre sus xitos, contaban el haber conseguido, antes que
se hiciera el plan integral, que Roquetes tuviera, primero, un consultorio
mdico, y despus un centro jerarquizado de salud, esto es, con un equipo
mdico fijo.
La presin de este grupo de vecinos y de una forma especial la de su lder
reclamando actuaciones urgentes en el barrio tendra un peso decisiv.o a la ho-
ra de decidir el territorio sobre el que se llevara a la prctica el plan integral.
(76) Al final del programa el PIR ha supuesto un gasto no superior a las 10.388 ptas por persona. El
barrio de Roquetes tiene 17.222 personas segn el censo de 1986.
172
TERCERA PARTE
b. El Consejo Municipal del Distrito de Nou Barris
El Consejo Municipal del Distrito de Nou Barris, presidido por un conce-
jal socialista, se hallaba a principios de 1988, en un proceso de consolidacin,
a la vez que intentaba reorganizar los recursos transferidos desde las reas
centrales del Ayuntamiento de Barcelona en funcin de nuevos criterios. Este
proceso intentaba aglutinar (<<compactar fue el trmino escogido) todos los
servicios personales que prestase el Distrito de Nou Barris, bajo una direccin
nica, de forma que en el futuro, los profesionales de las antiguas reas cen-
trales (juventud, deportes, servicios sociales, salud pblica, educacin, cultu-
ra) que trabajaran en el distrito obedecieran a una nica estrategia.
La nueva estructuracin organizacional de los servicios personales en el
distrito deba facilitar el desarrollo de programas-marco que sirviesen de refe-
rencia a cada proyecto especfico en el que intervendran personal y recursos
de reas sectoriales diversas.
A su vez, la integracin de estos profesionales en equipos multidisciplina-
rios territorializados permitira conseguir una mayor coordinacin en el trata-
miento de problemticas especficas que presentaran cada una de las zonas en
las que se divida el distrito.
Como paso previo a la formacin de los nuevos equipos territoriales, el Dis-
trito haba organizado algunas reuniones de coordinacin de los trabajadores so-
ciales que actuaban en un mismo territorio. Por lo que respecta al barrio de Ro-
quetes, los trabajadores sociales del Distrito aceptaban la idea de invitar a
algunas de estas reuniones a representantes de los vecinos que, por su parte, hab-
an hecho una oferta similar al Distrito con la voluntad de participar activamente
en la bsqueda de soluciones a los problemas sociales ms graves del barrio.
c. El Area de Desarrollo Econmico-Social
El Area de Desarrollo Econmico-Social (ADES) del Ayuntamiento de
Barcelona, presidida por uno de los dos concejales del grupo Iniciativa per
Catalunya en el equipo de gobierno del Ayuntamiento de Barcelona, solicit
a finales de 1987 una ayuda de 65 millones de pesetas al Fondo Social Euro-
peo (FSE) para un Programa Integral de Desarrollo en Nou Barris, de tres
aos de duracin (desde enero de 1988 a diciembre de 1990).
El Ayuntamiento de Barcelona, a travs del ADES, se comprometa ante
la Comisin de la Comunidad Econmica Europea a cofinanciar este progra-
ma con un mnimo de 65 millones de pesetas y a alcanzar el objetivo de 100
beneficiarios directos. La solicitud defina el programa en los siguientes tr-
minos no literales:
173
Accin de carcter integral, que pretende el desarrollo de un territorio (el
Distrito de Nou Barris) caracterizado por un medio urbano degradado e
importantes bolsas de marginacin y pobreza, englobando actuaciones tra-
dicionalmente parcializadas y descoordinadas en los campos de la lucha
contra la marginacin, la insercin laboral de los jvenes, la reinsercin de
personas en situacin de desempleo de larga duracin, la incorporacin de
las mujeres al mundo del trabajo, la actividad cultural y la proteccin del
medio ambiente.
A pesar de que, tratndose del FSE, se pona un mayor nfasis en los pro-
gramas de formacin socio-laboral, calificacin profesional y promocin del
espritu cooperativo, la solicitud dejaba bien claro el propsito de mejora glo-
bal del territorio objeto de la intervencin, incidiendo simultneamente en los
problemas sociales, de entorno fsico y nivel cultural, adems de los de ocupa-
cin en los que el ADES se haba especializado hasta aquel momento.
La voluntad de los responsables de programas del ADES era de experi-
mentar un nuevo producto: los planes integrales de desarrollo para distritos o
barrios de la ciudad, con los que se intentara coordinar las acciones de las ad-
ministraciones pblicas (no necesariamente de mbito local) y de otras entio1a-
des ciudadanas que operasen en un determinado distrito o barrio, con el objeto
de conseguir una mejora global de ste.
Estos planes deberan ser diseados en funcin de las caractersticas y ne-
cesidades del territorio objeto de la intervencin -en este sentido, la solicitud
del ADES haca referencia al anlisis de las causas de los problemas y a la de-
teccin de los grupos de poblacin afectados en cada barrio- con la partici-
pacin de los vecinos y otros grupos de inters que, como consecuencia de su
participacin en los planes integrales, se esperaba salieran reforzados en sus
estructuras organizacionales.
Independientemente de la resolucin de la solicitud de ayuda por la Comi-
sin de las Comunidades, el ADES y su mximo responsable poltico tenan
clara la intencin de impulsar un programa piloto de desarrollo integral en el
distrito de Nou Barris como forma de intervencin diferente -de las formas
tradicionales en que operaban los distritos o las reas centrales del Ayunta-
miento y ms democrtica- en la medida que un componente esencial sera
la participacin de los vecinos.
Para impulsar su proyecto, el ADES contaba, adems de la subvencin
del FSE en el caso de que la resolucin fuera positiva, con recursos propios,
del VI Plan de Ocupacin Juvenil de la Generalitat de Catalunya, del INEM
-que financiaba una buena parte de las actuaciones del ADES en Barcelo-
na- y del Area de Bienestar Social del Ayuntamiento de Barcelona, presidi-
da por la otra concejala de Iniciativa per Catalunya en el Ayuntamiento y
174
TERCERA PARTE
que estaba dispuesta a invertir 38 millones en poner a prueba los programas
de desarrollo integral.
La opcin por el Distrito de Nou Barris responda a la voluntad poltica de
intervencin en uno de los distritos ms necesitados de Barcelona. El ADES
consideraba reas de intervencin prioritaria los distritos de Ciutat Vella y
Nou Barris que, como han indicado Oliver, Busom y Trulln (1989), presen-
tan los niveles de renta ms bajos cuando son analizados comparativamente
con los dems distritos de la ciudad.
Ciutat Vella reciba una atencin prioritaria por parte del Ayuntamiento de
Barcelona que, adems, no haba tenido excesivos problemas para atraer la in-
versin privada en el centro histrico-cultural de la ciudad. Nou Barris, en
cambio, situado en la periferia de la ciudad, no contaba con algunas de las
ventajas que podan derivar de la centralidad de Ciutat Vella, y a la vez sopor-
taba graves problemas sociales y un dficit importante de servicios y equipa-
mientos pblicos.
Uno de los colectivos ms dinmicos del distrito de Nou Barris y que se
haba constituido en plataforma de discusin de los problemas que afecta-
ban a su distrito era el Centro de Estudios y Documentacin Nou Barris
(CD9B), una organizacin vecinal con la que el ADES contaba para el de-
sarrollo de su plan integral. A principios de 1988, el ADES encarg un es-
tudio a este Centro en el que se documentaran los problemas y necesidades
del distrito, as como sus propuestas sobre la forma que poda adoptar el fu-
turo plan integral.
d. El Centro de Estudios y Documentacin Nou Barris
El Centro de Estudios y Documentacin Nou Barris (CD9B) vea en el
plan integral que promocionaba el ADES una oportunidad inmejorable de re-
solver los dficits que histricamente haban sufrido los barrios del distrito. La
estrategia del CD9B, compartida por los dirigentes de las asociaciones vecina-
les de Roquetes, era la de convertir el plan integral en la plataforma a partir de
la cual discutir con el Ayuntamiento de Barcelona y hasta con el Departamen-
to de Bienestar Social de la Generalitat de Catalunya, y la Diputacin de Bar-
celona, un programa especial de reforma social y urbanstica para el distrito
de Nou Barris.
El estudio del CD9B haca una descripcin detallada de lo que sus redac-
tores entendan tena que ser un plan de desarrollo integral para su distrito. En
este sentido, se trataba de un documento programtico con unas ciertas preten-
siones tericas en la medida que intentaba definir el modelo de desarrollo in-
tegral y su filosofa de fondo.
175
Para el CD9B, integral era sinnimo de global, sin separacin rgida
de los aspectos sociales y econmicos. El estudio vinculaba los planes inte-
grales a variables puramente econmicas como la creacin de riqueza o de
puestos de trabajo y mostraba una evidente preocupacin para que los futuros
planes integrales no se limitaran a un conjunto de programas asistenciales o
promocionales relacionados con la ocupacin.
Los autores del estudio consideraban, sin embargo, que la dinamizacin
econmico-social del barrio deba estimularse con una poltica decidida de
apoyo a las organizaciones del distrito y de formacin de su poblacin. De es-
ta forma, la intervencin pblica contribuira a generar un proceso de desa-
rrollo endgeno y a articular un tejido social dinmico, elementos que se
consideraban necesarios para mantener ms all de la frontera de los tres aos
aquello que iniciara el plan integral.
Lgicamente, en la medida que el plan integral se propona estimular la
actividad de la comunidad, deba contar con sta y, en este sentido, los autores
del estudio defendan mecanismos de concertacin e implicacin de los veci-
nos en el proceso de toma de decisiones. Estos mecanismos, se entenda, COlll-
tribuiran a superar las relaciones conflictivas que tradicionalmente haban
mantenido las organizaciones vecinales de Nou Barris y el Ayuntamiento de
Barcelona.
Finalmente, y al igual que el Distrito con sus propuestas sobre la com-
pactacin, el estudio del CD9B propona articular las diferentes actuaciones
sectoriales que tuvieran lugar en un territorio especfico, dentro de un nico
programa, con unos objetivos claros y especficos que respondieran a una es-
trategia global que, en este caso se afirmaba, deba de ser compartida por la
Administracin y por el resto de actores sociales del distrito.
B. LA NEGOCIACION
a. Restriccin del Ambito del Programa: De Nou Barris a Roquetes
Con la aprobacin el 29 de abril de 1988 de una subvencin de 45 millo-
nes de pesetas por parte del FSE, el ADES se dirigi al Consejero-Presidente
del Distrito de Nou Barris para ofrecerle la posibilidad de iniciar su poltica de
planes integrales con un programa piloto en Nou Barris.
La oferta del ADES habra resultado atractiva para cualquier distrito en la
medida que supona aadir, como mnimo, 150 millones al presupuesto ordi-
nario. Los responsables polticos y administrativos del Distrito de Nou Barris
vean en la oferta del ADES, la oportunidad de financiar con recursos exter-
nos un programa piloto que sirviera de campo de pruebas de sus ideas sobre Ra
176
TERCERA PARTE
compactacin, en la medida que el concepto de plan integral se adecuaba
perfectamente a su proyecto de coordinar las intervenciones de los profesiona-
les que operaban sobre un mismo territorio.
El distrito entenda, sin embargo, que por los recursos con los que contara
el plan, haba que redefinir su mbito a un barrio y, en este sentido, propuso
que ste fuera Roquetes.
Por qu Roquetes? En primer lugar, porque un grupo de vecinos organi-
zados haban estado presionando al Consejo de Distrito, desde su creacin,
para que se hiciese una intervencin especial en materia social en su barrio.
Adems, algunos vecinos se haban reunido ya con trabajadores sociales del
Distrito en comisiones de trabajo sobre problemas especficos. En segundo lu-
gar, porque Roquetes era un barrio de rea y poblacin medianas comparado
con otros del distrito, y claramente delimitado geogrficamente al situarse en-
tre la sierra y el 11 cinturn.
Como otros barrios del distrito, Roquetes sufra graves problemas urbans-
ticos, especialmente en la llamada zona alta, pero a diferencia de aqullos te-
na un PERI al que slo faltaban los ltimos trmites de aprobacin. Tanto el
ADES como el Distrito coincidieron en apreciar las oportunidades que para el
proceso de dinamizacin social y econmica podan derivar de la obra nueva
que, una vez aprobado, generase el PERI.
Roquetes presentaba una problemtica social grave, lo que haba dado lu-
gar a continuas protestas y reivindicaciones de los vecinos. A los problemas
estructurales del barrio se aadan aqullos que generaba la drogadiccin de
importantes grupos de poblacin y la recepcin de una comunidad gitana en
aumento. Roquetes, sin embargo, slo tena una asistente social, un casal de
jvenes (que tendra que cerrar temporalemente sus puertas durante el plan in-
tegral) y desde haca pocos meses una animadora cultural.
De las tres zonas estadsticas en que los servicios sociales del Ayunta-
miento de Barcelona dividen el distrito, aqulla en la que se integra el barrio
de Roquetes presenta una situacin intermedia. En el mismo sentido, la per-
cepcin de los trabajadores sociales entrevistados era que otros barrios del
distrito reunan condiciones similares y hasta, en algunos casos, peores, de lo
que cabe derivar que fueron los factores citados en primer y segundo lugar los
que tuvieron un peso ms decisivo a la hora de optar por Roquetes.
b. Primeros conflictos con los vecinos
La reduccin del mbito de aplicacin del plan de desarrollo integral a un
barrio frustraba doblemente las expectativas de las organizaciones vecinales
del distrito. En primer lugar porque estas entidades interpretaban la decisin
177
del Distrito negativamente: de una forma implcita, se estaba abandonando su
programa mximo de reforma urbanstica y revitalizacin econmico-social
de Nou Barris. Y, en segundo lugar, porque los miembros del CD9B confiaban
en poder liderar el programa una vez aprobado.
La decisin a favor de Roquetes no contentara ni a los dirigentes vecina-
les de este barrio que entendan que la decisin demostraba la falta de volun-
tad poltica por parte del Ayuntamiento de convertir el programa planteado
inicialmente en un verdadero plan integral, similar al que de una forma me-
nos estructurada reciba Ciutat Vella gracias a la fuerte implicacin de diver-
sos departamentos del Ayuntamiento y de la Generalitat.
c. Eleccin de los directores
Desde principios de 1988, el ADES haba nombrado director de la opera-
cin plan integral a uno de sus tcnicos con varios aos de experiencia en el
Ayuntamiento de Barcelona y que conoca bien la realidad de los distritos a
raz de su trabajo como director de agentes de desarrollo local.
Por su parte, el Distrito haba ofrecido la coordinacin del equipo territo-
rial que se formara en la zona de Roquetes, a un psiclogo de su plantilla.
La negociacin entre ADES y Distrito conducira a nombrar a ambos, di-
rectores conjuntos del PIR. De esta forma, ambos organismos superaban sus
diferencias y mantenan el control del programa.
Las diferencias entre una y otra institucin eran importantes y despertaban
recelos mutuos. De una parte, el ADES era presidida por un concejal de Inicia-
tiva per Catalunya, mientras que el Distrito era presidido por un concejal del
grupo socialista. De otra parte, los profesionales del ADES eran mayoritaria-
mente economistas y tcnicos en ocupacin, mientras que la cultura dominante
en los servicios personales del Distrito era la de psiclogos y asistentes sociales.
En este caso, el nombramiento de uno o dos directores era una decisin
estratgica, en la medida que la fidelidad a las administraciones de origen po-
da comprometer seriamente la validez del experimento en el que se intentaba
coordinar, bajo una direccin nica, las intervenciones de diferentes organis-
mos sobre un mismo territorio. Siempre caba la posibilidad que los dos direc-
tores actuaran unitariamente dado el inters que haban mostrado por el pro-
grama y sus buenas relaciones personales.
A principios del mes de mayo de 1988, cuando ya haban transcurrido
cuatro meses del primer ao de los tres de vigencia terica del PIR, los direc-
tores del programa se enfrentaban a su reto particular:
Como llevar a la prctica un programa que diera lugar a las consecuen-
cias que, de forma bastante inprecisa y ambigua, haban previsto sus superiores
178
TERCERA PARTE
jerrquicos y polticos y un grupo de vecinos de Roquetes con los que estaban
decididos a colaborar? (77)
Para su tarea, los directores del PIR no disponan de un conocimiento sis-
temtico sobre la experiencia de otros gestores pblicos llamados a cumplir
una funcin similar. El ADES tena prevista la coordinacin del PIR con ac-
ciones similares desarrolladas en la ciudad de Dsseldorf, pero este intercam-
bio de experiencias no se producira nunca.
C. DELIMITACION PROGRESIVA DEL PROGRAMA
a. La Rehabilitacin de un Edificio como Carta de Presentacin
La principal preocupacin de los directores del PIR, en la primavera de
1988, era ganar credibilidad ante los vecinos de Roquetes que an no cono-
can el Plan, mediante una actuacin importante en el barrio que les sirviera
de carta de presentacin, y, a la vez les permitiera ganar tiempo para formar
su equipo y empezar a establecer mecanismos de discusin con los vecinos.
En este sentido, su primera actuacin fue la rehabilitacin del edificio de
una antigua escuela del barrio que servira como sede de operaciones del PIR
y a su vez, como equipamiento del barrio, durante y despus del PIR.
El edificio, indispensable para que el PIR pudiera operar, se convirti en
un elemento referencial, en la medida que un tercio de los habitantes de Ro-
quetes no saban que el barrio hubiera sido objeto de un plan integral al finali-
zar ste, pero en cambio, identificaban su sede. Adems, la sede rehabilitada
del PIR constituira un importante activo en el momento de negociar la insta-
lacin de servicios dependientes de otras instituciones en el barrio de Roque-
tes, dada la escasez de equIpamientos pblicos en el distrito de Nou Barris.
b. Formacin de Grupos de Trabajo con los Vecinos
Para los directores del PIR, si bien era importante disponer de una sede, tan-
to para la propia gestin del PIR como para su uso por los vecinos de Roquetes,
lo era an ms, poner en marcha algunos proyectos, ya que el programa tena
(77) El problema estratgico, tal y como es definido por Barzelay y O'Kean (1989: 22), era el
siguiente:
l. Cmo elegir las actividades y los servicios que tuvieran el mayor impacto posible en los proble-
mas sociales a los que se tena que dirigir la intervencin?
2. Cmo emplear los recursos puestos a su disposicin o que pudieran conseguir en el futuro, para
instrumentar las actividades seleccionadas?
179
que gastar un tercio de los recursos aportados por el ADES y el FSE, el Area de
Bienestar Social del Ayuntamiento de Barcelona, y el VI Plan de Ocupacin Ju-
venil de la Generalitat de Catalunya, antes de acabar el ao 1988.
La presin presupuestaria llevara a los directores del PIR a otorgar priori-
dad a los proyectos concretos, aceptando como criterios generales de actua-
cin los que derivaban de los documentos preparatorios del PIR. Conscientes,
sin embargo, de que sus proyectos tendran que contar con el apoyo de los ve-
cinos y decididos a abrir el programa a la participacin de aqullos, propusie-
ron la formacin de equipos de trabajo mixtos (PIR-vecinos) sobre la base de
las cuatro comisiones (paro, marginacin, cultura y urbanismo) en que se es-
tructuraba la Asociacin de Vecinos de Roquetes, con el propsito de discutir
e impulsar algunos proyectos de estudios o hasta servicios especficos.
c. Adopcin de un Programa Amplio de Objetivos Generales
Estas comisiones acabaran determinando los mbitos de actividad del PIR,
a pesar de su efmera vida. En la medida que iban desapareciendo, --cuando los
vecinos dejaron de asistir a las reuniones por entender que en ellas adoptaban
posiciones de autoridad aparente pero con un poder meramente nominal- dar-
an lugar a las cuatro areas de dinamizacin (econmica, social, cultural y de ur-
banismo) sobre las que se estructurara la organizacin administrativa y el per-
sonal de PIR.
De esta forma, los directores del PIR adoptaban implcitamente un con-
cepto de plan integral amplio, que vena a coincidir en su planteamiento con el
programa de reforma global de los vecinos, y se comprometan a obtener re-
sultados significativos en cada una de las reas de dinamizacin.
Los objetivos formales de cada una de estas reas de intervencin, de
acuerdo con los documentos elaborados por el propio programa, consistan en
lo siguiente:
Area de dinamizacin econmica.
Primero: Insercin social y laboral de personas con dificultades de acceso
al mercado de trabajo. Uvenes, mujeres adultas-amas de casa,
parados de larga duracin).
Segundo: Mejora y desarrollo de las actividades econmicas del barrio.
(pequeos talleres, comercios, proyectos de autoocupacin).
Area de dinamizacin social
Primero: Contribuir a la prevencin y solucin de algunas problemticas
psico-sociales. (nios abandonados, ancianos, drogadictos, mar-
ginados sociales).
180
TERCERA PARTE
Segundo: Incrementar la participacin de la comunidad en el desarrollo de
barrio. (entidades vecinales, grupos sociales con menor capaci-
dad de participacin).
Area de dinamizacin cultural
Primero: Promover la identificacin de los vecinos con su barrio a travs
de actuaciones culturales referenciales.
Segundo: Promover actividades que mantengan las diferentes culturas del
barrio.
Tercero: Promover actividades que conecten el barrio con el resto de la
ciudad.
Area de Urbanismo.
Primero: Supervisin y control de las obras generadas por el PERI.
Segundo: Promover obras en suelo pblico no previstas por el PERI.
Tercero: Promover la rehabilitacin de las viviendas de la zona alta del
barrio.
Este resumen de objetivos del programa formal deja bien claro que: pri-
mero, el PIR mantena la declaracin de intenciones inicial, en el sentido de
intervenir en todo el abanico de problemas que presentaba el barrio de acuer-
do con las expectativas que haba suscitado, y segundo, que sus directores no
se comprometan, sin embargo, a trabajar sobre objetivos especficos directa-
mente observables, ni establecan una ordenacin de los mltiples objetivos
de la intervencin en funcin de su importancia o prioridad.
D. ESTRUCTURA ORGANIZACIONAL y SERVICIOS
a. Capacidad de Decisin de los Directores
Durante el perodo de preparacin del PIR, ADES y Distrito haban llega-
do a acuerdos sobre la necesidad de que aqul fuera gestionado directamente
por el Ayuntamiento, y sobre el nombramiento de dos directores, uno para ca-
da institucin. Estos disponan de un amplio margen de actuacin a la hora de
decidir el tipo de capacidad interna que precisaba el PIR para cumplir sus fun-
ciones. Una comisin ejecutiva, formada por los niveles polticos y adminis-
trativos ms altos del ADES y del Distrito supervisara sus decisiones, pero en
cualquier caso, eran los directores los responsables de definir los puestos de
trabajo y de contratar las personas que ms se adecuaran a ellos.
El personal poda ser contratado en rgimen laboral y por un perodo m-
ximo de dos aos y medio con la salvedad de la asistente social y de la anima-
dora cultural aportadas por el Distrito.
181
La posibilidad de contratar laboralmente al personal del programa era im-
portante en la medida que ello otorgaba una mayor flexibilidad a sus directo-
res para seleccionar a sus colaboradores entre aquellas personas que se sintie-
ran atradas por la misin que se les haba encomendado y que fueran ms
proclives a aceptar el carcter innovador del programa y su orientacin de ser-
vicio y colaboracin con los vecinos.
Si bien en el apartado de recursos humanos, los directores podran decidir
los criterios en funcin de los cuales contrataran a sus colaboradores as co-
mo las personas ms adecuadas para cada funcin, su capacidad de gestin de
los recursos presupuestarios se vea severamente limitada por el control al que
los sometan tanto el Distrito como el ADES.
El PIR era financiado con recursos procedentes del FSE, del ADES, del
VI Plan de Ocupacin Juvenil de la Generalitat de Catalunya, del Area de Bie-
nestar Social del Ayuntamiento de Barcelona y del Distrito.
En la medida que el programa no tena entidad jurdica propia, la totalidad de
la subvencin del Area de Bienestar Social pas a engrosar el presupuesto ordlina-
rio del Distrito que, adems del Director del programa y de las funcionarias men-
cionadas, ira haciendo algunas aportaciones adicionales, bsicamente para gastos
de inversin en el edificio o en material tcnico o de oficina que, una vez acabado
el PIR, quedaran para el Distrito. El conjunto de recursos bajo el control del Dis-
trito, representaran al final del programa el 40% del presupuesto global.
Por su lado, el ADES mantena el control de los recursos propios y de
aqullos procedentes del FSE y del VI Plan de Ocupacin Juvenil de la Gene-
ralitat de Catalunya que se integraron en su presupuesto ordinario y represen-
taran el 60% del presupuesto final del PIR.
La inexistencia jurdica del PIR como organismo autnomo obligaba a sus
directores a desarrollar su programa por medio de la aplicacin de mecanis-
mos administrativos clsicos, lo que no solamente limitara de una forma im-
portante su capacidad de gestin, sino que tendra importantes consecuencias
para el propio funcionamiento del programa: a la dualidad de directores se
aada la dualidad de cajas, lo que tendra su reflejo en la estructura organiza-
cional que describimos a continuacin.
b. Estructura Organizacional del PIR
De acuerdo con el organigrama que reproducimos en la figura 1, el PIR se
estructuraba en base a las cuatro reas de dinamizacin adoptadas a partir de
las primeras reuniones con los vecinos.
A las cuatro reas, se aada una quinta rea de gestin para asuntos rela-
cionados con el mantenimiento y el uso del edificio sede del programa.
182
TERCERA PARTE
El Director del PIR nombrado por el Distrito asuma directamente las rela-
ciones con los vecinos usuarios de las instalaciones rehabilitadas y la direc-
cin de los programas social y cultural. El Director nombrado por el ADES,
por su parte, se ocupara de la direccin del programa de dinamizacin econ-
mica y, de una manera informal, ira asumiendo la direccin de los proyectos
del rea de urbanismo.
Al adoptar como criterio estructurador las reas de dinamizacin, queda-
ban claramente diferenciados dos niveles:
Primero, el nivel de las reas de dinamizacin que divida la capacidad in-
terna del PIR en funcin de perspectivas ms especializadas. En funcin de
este criterio, se clasificaran los puestos de trabajo por especialidad tcnica.
Segundo, el nivel de los directores, que quedaban como nicos garantes
del enfoque estratgico e integrador que tena que dominar el PIR.
Los directores tenan que responder de su gestin de forma conjunta ante
la Comisin Ejecutiva que estaba formada por los Concejales-Presidentes del
Distrito y del ADES, el Coordinador de Servicios del Distrito, el Director de
Programas del ADES, y los dos Directores del PIR. Esta comisin tena por
misin adoptar los acuerdos de inversin y contratacin de personal, supervi-
sar el desarrollo de los programas, as como el cumplimiento de las obligacio-
nes contradas con terceros respecto al nmero de participantes o el cumpli-
miento de los plazos previstos. Al margen de su funcin fiscalizadora, la
Comisin Ejecutiva poda jugar un papel importante como rgano de negocia-
cin poltica e integracin de los programas del Distrito y del ADES.
Las comisiones por programas con los vecinos, a las que hemos hecho re-
ferencia ms arriba, constituyeron el principal mecanismo de participacin del
PIR hasta el momento en que los vecinos dejaron de asistir a las comisiones
de trabajo por entender que los tcnicos municipales eran insensibles e indife-
rentes a sus propuestas, su funcin en las comisiones se limitaba a sancionar
proyectos que no tenan tiempo de revisar y, en cualquier caso, las decisiones
presupuestarias escapaban a su control.
La comisiones por programas fueron suplidas, en su funcin de integra-
cin de los vecinos en el programa, por la Comisin de Seguimiento, que du-
rante el segundo ao de programa se convertira en el principal rgano de rela-
cin del PIR con los vecinos y de stos con el programa y la administracin
municipal, representada en este caso por los Concejales-Presidentes del ADES
y del Distrito.
El organigrama representado en la figura 1 refleja grficamente las dificulta-
des de integracin a las que se enfrentaban los directores del PIR. Tanto la estruc-
tura administrativa del programa como su doble dependencia jerrquica y presu-
puestaria del Distrito y del ADES tendan a la formacin de dos equipos: uno
para el rea socio-cultural y otro para el rea econmica y de urbanismo.
183
Figura 1: Estructura Organizacional del PIR
Consejero
Presidente
DISTRITO
I
Coordinador
de Servicios
I
I
Director
PIR
Comisin de
Seguimiento
Comisin
Ejecutiva
T
Director
PIR
Consejero
Presidente
ADES
I
Director
Programas
I
I T
I I I I
Area
Area
Local
Dinamizacin
Dinamizacin
Area
Social Urbanismo
Cultural
Econmica
c. Contratacin de Colaboradores Tcnicos por Areas
Los directores del PIR respondieron a la presin presupuestaria que les
obligaba a gastar una parte importante de los recursos durante el primer ao
de vigencia terica del PIR, contratando estudios y servicios a entidades o em-
presas externas, normalmente relacionadas con el distrito de Nou Barris. Esta
poltica cambiara substancialmente al iniciarse el segundo ao del programa
como consecuencia del desarrollo de la capacidad interna para ofrecer directa-
mente algunos servicios. En este sentido, las decisiones ms importantes fue-
ron las de contratar los profesionales para cada una de las reas de dinamiza-
cin y para las tareas de administracin general y gestin presupuestaria,
184
TERCERA PARTE
suficientemente complejas en virtud de la amplitud y multiplicidad de obje-
tivos planteados y de la necesidad de negociar continuamente con el Distrito
y el ADES, el destino de los recursos del PIR integrados en sus respectivos
presupuestos.
Las decisiones de los directores del PIR en relacin con la contratacin de
sus propios colaboradores estaban sujetas a una doble limitacin. De una par-
te, una proporcin importante de los recursos del programa estaba constituda
por subvenciones finalistas, que slo podan ser utilizadas para determinados
conceptos. De otra parte, la necesidad de rehabilitar el edificio donde se insta-
lara el PIR, y los compromisos adquiridos en la fase inicial del programa su-
ponan importantes gastos de inversin en equipamientos y material tcnico.
Para las reas de dinamizacin social y cultural, su director contaba con
una asistente social y una animadora cultural, procedentes del Distrito. En la
medida que la asistente social tena que dedicar la mayor parte de su tiempo a
la atencin de los casos que le llegaban por los mecanismos habituales, su
aportacin al programa social del PIR sera forzosamente reducida.
Para gestionar el programa social se contratara inicialmente, con recursos
procedentes del Distrito, a una psicloga. La evolucin seguida por sta en la
seno del PIR indicaba ya algunos problemas en relacin con el objetivo de in-
tegralidad. Durante el segundo ao de vigencia del PIR, en que el contrato de
esta psicloga sera asumido por el ADES, dejara progresivamente los asun-
tos sociales para dedicar la mayor parte de su tiempo al programa de dinami-
zacin econmica o de la ocupacin.
Durante el tercer ao de vigencia del PIR, una segunda asistente social se
integrara en el programa de dinamizacin social con el propsito de asistir a
la poblacin gitana de Roquetes. Esta segunda asistente social, sin embargo,
acabara siendo absorbida por las necesidades de asistencia primaria e indivi-
dual que no poda cubrir la nica asistente social de Roquetes (un barrio con
ms de 17.000 habitantes).
En resumen pues, el programa de dinamizacin social del PIR, quedaba
fuertemente limitado en origen, tanto por la obligacin de las asistentes so-
ciales de dedicar la mayor parte de su tiempo a la asistencia primaria, como
por el cambio de rea de la nica psicloga contratada inicialmente para
asuntos sociales.
Para el rea de dinamizacin econmica y de la ocupacin, su director
contrat dos tcnicos en ocupacin y una psicloga. A ellos se aadira, a par-
tir del segundo ao de programa, la psicloga contratada inicialmente por el
programa social.
El director del programa de dinamizacin econmica se aseguraba as el
recurso ms importante para desarrollar el programa econmico del PIR, al in-
corporar un equipo de profesionales motivados y con experiencia que podan
185
elaborar sus servicios sobre el terreno y de acuerdo con las necesidades de la
poblacin a servir.
Para el rea de urbanismo, el PIR pudo hacerse con los servicios de un ar-
quitecto que haba formado parte del equipo redactor del PERI de Roquetes.
Si bien ste era un profesional de inestimable valor para el PIR, su trabajo en
relacin con los macro-objetivos adoptados por el programa, dependa en pri-
mer lugar, de la aprobacin definitiva del PERI de Roquetes, y en segundo lu-
gar, de la capacidad de los directores del PIR y de los polticos del Distrito y
del ADES de persuadir, a los organismos que controlaban la competencias y
recursos necesarios, para que invirtieran en la reforma urbanstica del barrio.
Finalmente, el PIR contrat a dos administrativas y a una gestora presu-
puestaria para las funciones de apoyo a la direccin, gestin administrativa y
contable.
En resumen, de la descripcin del soporte orgnico del PIR cabe inferir
claramente un sesgo favorable al programa econmico y de la ocupacin, de-
rivado de las mayores oportunidades de contratar personal que tena el ADES
frente al Distrito. Este resultado pone de relieve las dificultades para alcanzar
los objetivos inicialmente planteados, particularmente para las reas de dina-
mizacin social y de urbanismo.
d. Resumen de los Proyectos Realizados
La figura 2 resume los proyectos llevados a cabo por el equipo de profe-
sionales contratados por el PIR desde 1988 a 1990, por reas de intervencin,
incluyendo una estimacin de su coste.
186
TERCERA PARTE
Figura 2: Proyectos realizados entre 1988 y 1990
Proyectos Coste
Participantes (en millones)
AREA ECONOMICA:
CURSOS DE FORMACION EN 30 13,54
OFIMATICA
CURSOS DE FORMACION EN 10 6,3
PRACTICAS
CURSOS DE FORMACION PARA 40 18,04
MUJERES
PROYECTOS DE AUTO- 11 12,87
OCUPACION PARA JOVENES
OFICINA DE INFORMACION 2,45
LABORAL
ACTIVIDADES DE PROMOCION 4,95
DE ASOCIACIONES COMERCIO
Y PROFESIONALES
TOTALES 58,15
AREA SOCIAL:
ASISTENCIA SOCIAL 7,96
INDIVIDUALIZADA
CURSOS DE 27 3,47
ALFABETIZACION
TALLERES DE LENCERIA 37 3,71
CORTE Y CONFECCION
CHARLAS SOBRE 1,25
TOXICOMANIAS
CREACION Y ASESORIA 500 2,3
ASOCIACION DE ANCIANOS
TOTALES 18,69
AREA CULTURAL:
CURSO DE IMAGEN 19 21,48
Y SONIDO
CREACION DE UN 100 25,43
CASAL INFANTIL
FIESTAS Y ACTIV. 4,74
CULTURALES AAVV
TALLERES ARTESANIA 10,77
PINTURA, FOTO...
TOTALES 62,42
AREA DE URBANISMO:
PROYECTO ESCUELA-TALLER 1,41
ESTUDIO VIVIENDAS 2,61
ZONA ALTA
TOTALES 4,02
187
3. DISCUSION DE LA EVALUACION
A. CUESTIONES PLANTEADAS POR LOS DECISORES
La contratacin de un equipo de investigacin para evaluar el PIR res-
ponda a la preocupacin del ADES por, primero, determinar las caracters-
ticas diferenciales de la intervencin en Roquetes, lo que implicaba definir
el concepto de plan integral y examinar la medida en que la intervencin
responda a la concepcin que de aqul tenan los actores sociales; y segun-
do, juzgar en qu medida vala la pena generalizar aquella poltica a otros
barrios de la ciudad.
La primera de estas cuestiones tena que ver, por una parte, con la concep-
tualizacin y el diseo de la intervencin -puesto que si bien los distintos ac-
tores sociales coincidan en el rtulo plan integral, cada uno de ellos lo in-
terpretaba de forma distinta-; y por otra parte, con su implementacin -se
trataba de descubrir en qu haban consistido realmente los servicios final-
mente creados y distribuidos en Roquetes.
La segunda de las cuestiones planteadas tena que ver con el valor del pro-
grama en tanto que modelo de intervencin social. Ello significaba enjuiciar el
programa en funcin de algn criterio:
sus objetivos,
su impacto en la situacin del barrio,
el grado en que los intereses especficos de los distintos actores socia-
les haban encontrado satisfaccin,
o desde una perspectiva ms poltica, la medida en que se haban conse-
guido objetivos polticos como por ejemplo, mostrar que el Ayuntamiento es-
taba intentando resolver los problemas de los barrios ms necesitados (78).
B. EL MODELO DE PROGRAMA
a. Ambivalencia respecto al Concepto de Integral
El exmen de los propsitos de los actores y del proceso de negociacin
que genera el PIR revela una cierta ambigedad con respecto al modelo de
(78) Lgicamente, se podran aadir otros criterios como por ejemplo, la eficacia de otros programas
sociales o la relacin coste-eficacia. El primer problema que se nos plantea antes de entrar en cualquier tipo
de anlisis comparativo o econmico consiste en determinar la eficaci de la intervencin y para ello los
nicos criterios que se nos ocurren son los mencionados.
188
TERCERA PARTE
programa. Si bien su carcter integral se configura como elemento definidor,
durante todo el proceso se barajan dos formas de definir la integralidad de la
intervencin.
Por una parte, el carcter integral de la intervencin se asocia con la idea
de intervencin general, global o de conjunto, esto es, sobre la totalidad de los
problemas sociales de la poblacin de Roquetes, con el objeto de incrementar
la oferta de servicios en todos aquellos sectores (vivienda, asistencia social y
mdica, formacin profesional, cultura) que presentaban dficits histricos.
Por otra parte, el carcter integral de la intervencin tambin se relacio-
na con la idea de intervencin integrada, en cuanto forma de organizar los
recursos procedentes de reas sectoriales (asistencia social, promocin eco-
nmica, juventud, salud, educacin, cultura) e instituciones (Ayuntamiento,
Generalitat, Cruz Roja) diversas, de acuerdo con una estrategia y direccin
compartidas.
En el primer sentido, el carcter integral tiene que ver con el mbito mate-
rial de la intervencin, mientras que en el segundo sentido se relaciona con
cuestiones de naturaleza metodolgica o de forma de proceder.
El primer modelo de plan integral requera un mayor esfuerzo de negocia-
cin, en la medida que sera necesaria la incorporacin de otros actores insti-
tucionales con capacidad y recursos suficientes para tener un impacto signifi-
cativo en el desarrollo de Roquetes. Tambin requera plazos ms largos, por
lo que respecta a la produccin de beneficios especficos y tangibles para la
poblacin de Roquetes.
El segundo modelo, en cambio, requera la reestructuracin interna de los
servicios sociales y la generacin de dinmicas que favorecieran la coopera-
cin y la coordinacin de esfuerzos entre la Administracin municipal y los
dems agentes de desarrollo que operan en un mismo territorio.
b. Posiciones de los Actores y Criterios de Evaluacin
Cul era la posicin de los diferentes actores sociales en relacin con
el modelo de programa? En funcin de qu criterios iban a enjuiciar la
intervencin?
Los representantes de las asociaciones y entidades vecinales haban de-
fendido insistentemente la necesidad de una intervencin de carcter integral,
en el sentido de global o de conjunto, para todo el distrito. Los representantes
de los vecinos vean en la oferta del plan integral una oportunidad nica de
atacar a fondo los problemas urbansticos, sociales y econmicos del barrio, y
lgicamente iban a enjuiciar el programa en funcin de su contribucin a la
resolucin de estos problemas.
189
El CD9B, en sus propuestas para todo el distrito de Nou Barris, refera la
integralidad del programa a una forma de intervencin coordinada. En este
sentido, pareca adoptar la perspectiva metodolgica de la compactacin su-
gerida por el Distrito. La posicin de este grupo en relacin con el mbito ma-
terial de la intervencin no era muy clara aunque por su insistencia en vincu-
lar planes integrales y creacin de riqueza pareca identificarse con la de las
asociaciones vecinales del distrito y de Roquetes.
Tanto el ADES como el Distrito, como despus los directores designados
por estas instituciones, mantenan posiciones de ambigedad respecto al mbi-
to material del plan. Si bien exista una clara interpretacin del concepto inte-
gral en su vertiente metodolgica --en la lnea de coordinacin de profesiona-
les de mbitos sectoriales diversos (para el Distrito) y de incorporacin de
fuentes de financiacin y actores (para el ADES), nunca fueron claramente
expuestas las limitaciones del plan en relacin con los problemas del barrio,
dadas las restricciones competenciales, organizativas, temporales y financieras
con las que deba actuar.
Los directores del programa mantuvieron el trmino integral sin explicar
su contenido ni rechazar de forma explcita el modelo de programa que visio-
naban los vecinos. En realidad, sin embargo, lo que estaba en juego era la
oferta territorial izada de programas de formacin (10 que saba y poda hacer
el ADES) articulados en la medida que fuera posible, con las reformas urba-
nsticas que generase el PERI en su da, y con los proyectos sociales y cultura-
les del equipo de barrio del Distrito.
Lgicamente, los directores del programa y sus superiores polticos y
administrativos del ADES y del Distrito iban a enjuiciar el programa en
funcin de criterios distintos a los utilizados por las asociaciones y entida-
des vecinales.
Para el Distrito, la cuestin esencial consista en determinar en qu me-
dida el trabajo coordinado en equipos territoriales interdisciplinarios, bajo
una direccin nica, redundaba en una mejor aproximacin a los problemas
de la poblacin, y en ltimo trmino, en una mejora de la calidad de los
servicios.
Para el ADES, en cambio, el inters del PIR resida en averiguar si a
travs de la financiacin de un programa especial en determinados barrios
de la ciudad, poda generar un proceso de desarrollo al que se sumaran
otros actores institucionales y en el que participaran activamente los grupos
de vecinos organizados. El programa sera, por tanto, juzgado positivamen-
te si consegua coordinar el esfuerzo inversor del ADES con los recursos e
intereses de otras instituciones, y si todo ello se haca de una forma dife-
rente y ms democrtica.
190
TERCERA PARTE
c. Ideas Bsicas en las que se Fundamenta el Consenso
A pesar de las divergencias en las propuestas y en las expectativas de los
diferentes actores, aparecen tres ideas-fuerza en torno a las que se estructura
el modelo de plan integral.
- La primera es la idea de desarrollo, que se traduce en una preocupa-
cin por obtener mejoras especficas para el barrio de Roquetes en relacin
con los problemas urbansticos, socio-laborales y culturales.
- La segunda es la idea de coordinacin, tanto en el interior del soporte
orgnico del PIR como entre ste y el resto de agentes de desarrollo que ope-
raban en el barrio.
- La tercera es la idea de participacin vecinal y de las entidades ciuda-
danas, con el propsito aadido de que, a medio plazo fueran capaces de con-
tribuir al desarrollo y a mantener la actividad econmico-social del barrio.
El compromiso de trabajar en estas tres lneas permiti el ajuste entre los
intereses de los actores presentes de forma que se hizo posible el desarrollo
del programa.
Lgicamente, los conflictos surgiran como consecuencia, no nicamente
del desacuerdo sobre lo que implicaban cada uno de estos objetivos, sino tam-
bin del distinto nfasis que distintos actores pondran en cada uno de ellos.
En este sentido, podra considerarse que se trataba de objetivos hasta cierto
punto contradictorios. As, por ejemplo, la participacin vecinal poda debili-
tarse a costa de la priorizacin del objetivo concomitante de la dinamizacin
econmica. El desarrollo poda, a su vez, verse comprometido por el objetivo
simultneo de experimentar una nueva metodologa de intervencin ms coor-
dinada, y finalmente, el proceso de consolidacin de formas de intervencin
innovadoras y por tanto poco estructuradas, poda verse cuestionado por la
maximizacin de la lgica participativa.
C. EL MODELO DE EVALUACION
a. Inadecuacin del Paradigma Clsico al Programa Evaluado
La premisa terica en la que se basa el modelo clsico de la evaluacin
por objetivos es que los programas pblicos son diseados con el objeto de al-
canzar objetivos especficos, y que su xito puede ser determinado en funcin
de la medida en que se alcanzaron aquellos objetivos.
Como sabemos, esta aproximacin recurre a diseos de naturaleza experi-
mental que requieren la identificacin de indicadores de los resultados que
persigue la intervencin, y la medida de su situacin antes y despus del
191
programa. Con el objeto de demostrar que los cambios en los indicadores se-
leccionados son debidos a la introduccin del programa, recurre asimismo a la
medicin de la situacin de un grupo de control que no recibe la intervencin
antes y despus del programa.
Esta aproximacin es adecuada cuando se trata de un programa bien defi-
nido donde una serie de individuos reciben una misma intervencin cuyos
efectos pueden ser anticipados y claramente medidos.
En nuestro estudio de caso nos encontramos, sin embargo, con un progra-
ma que no responde a estas caractersticas.
En primer lugar, y dado el carcter amplio y abierto de los objetivos cen-
trales del programa, resulta difcil determinar de forma previa, cmo podra-
mos saber si los objetivos de desarrollo, coordinacin-integracin, y partici-
pacin, se haban realizado al final del programa.
- Como hemos visto, durante todo el proceso se mantiene una calculada
ambigedad en relacin con el tema del desarrollo, lo que pennite mantener la
concepcin de un plan integral en su sentido sustantivo de resolucin de to-
dos los problemas, a pesar de que el programa no contaba con los recursos
necesarios para llevarlo a cabo. Qu indicadores podran seleccionarse antici-
padamente para decidir si haba habido un desarrollo suficiente como conse-
cuencia de la intervencin?
- En relacin con el objetivo de coordinacin-integracin, tanto a nivel
interno como externo, resulta an ms difcil detenninar como se manifestaran
los progresos alcanzados en esta direccin. Qu operaciones podan ser indi-
cativas de una nueva fonna de proceder tanto entre los profesionales del equipo
tcnico del PIR como en su relacin con otros actores institucionales?
- Por lo que respecta a la participacin poltica, existen muy diversas
formas en que el programa poda tener un impacto. Nuevamente, sin embar-
go, la indefinicin sobre el alcance de la intervencin de los actores no insti-
tucionales, dificulta la evaluacin con respecto a este objetivo. Significaba
participacin codecisin, o era suficiente el mantenimiento de canales de
comunicacin de la direccin del programa con aquellos grupos que tienen
un inters en l?
En segundo lugar, como se ha intentado demostrar con el anlisis de la
fonnacin del programa, se trata de una intervencin que no responde a nin-
guna fonna previamente establecida sino que el programa se ha ido configu-
rando progresivamente en funcin del entorno.
El PIR es el resultado de la interaccin entre ADES, Distrito, los profesio-
nales a los que se encarg la tarea de llevarlo a tnnino, y la comunidad de
vecinos organizados que participan en su desarrollo.
Sin examinar previamente qu es lo que haba ocurrido en el caso concre-
to, no sera posible definir qu es lo que se estaba evaluando.
192
TERCERA PARTE
En este sentido, la lgica experimental que, primero, asume que la inter-
vencin se desarroll de la forma en que estaba prevista, y segundo, intenta
controlar la influencia de factores externos a lo que es propiamente la inter-
vencin con el objeto de determinar el impacto neto de aqulla, aparece como
bastante irrelevante.
En tercer lugar, el PIR tenia que ver ms con la forma de intervenir sobre
un territorio degradado que con el impacto sobre unos individuos concretos.
Si bien exista una lgica preocupacin por el impacto de los programas
especficos desarrollados por cada una de las reas de dinamizacin (econmi-
ca, social, urbanstica y cultural) en los grupos de poblacin servidos (jvenes
y mujeres en situacin de desempleo, infancia, tercera edad), el programa se
plantea de forma experimental, con el objeto de determinar si funcionaba un
nuevo modelo de intervencin social.
El programa sera por tanto valorado prioritariamente en funcin de los re-
sultados alcanzados en los siguientes trminos:
Primero, desarrollo global (est Roquetes mejor que lo estaba hace tres
aos?);
Segundo, formas de operar, tanto a nivel de tcnicos-profesionales, como
de instituciones y entidades participantes (Se ha conseguido avanzar con
respecto a la coordinacin-integracin de servicios?);
Tercero, mecanismos de participacin vecinal (se han abierto nuevas vas
de comunicacin y/o decisin entre polticos, tcnicos y vecinos?).
En la medida que las cuestiones ms generales y los servicios menos tan-
gibles aparecen como ms relevantes, el recurso a mtodos de evaluacin pen-
sados para examinar los cambios experimentados por individuos concretos co-
mo consecuencia de su participacin en un programa resultaban menos tiles.
b. Adopcin de un Enfoque Pluralista y Centrado en el Proceso
Qu aproximacin alternativa poda resultar til para estudiar los efectos
de un programa de objetivos ambiguos y abiertos como el PIR?
Nuestra respuesta para el caso concreto del PIR consisti en adoptar una
metodologa intensiva en entrevistas y observaciones directas de las operacio-
nes del programa con el objeto de:
Primero, describir el proceso seguido por la intervencin;
Segundo, captar las reacciones de las personas e instituciones que par-
ticiparon en su implementacin; y
193
Tercero, inducir las consecuencias que para aqullos tuvo el programa
en la situacin del barrio.
De una parte, el anlisis del proceso era importante tanto para la defini-
cin del programa evaluado, como para intentar inferir qu decisiones polti-
cas y administrativas podan haber alejado el programa de sus objetivos de in-
tegralidad.
As, por ejemplo, en la fase inicial del programa, la decisin de nombrar
dos directores, uno para cada institucin; la divisin sectorial de responsabili-
dades entre los dos directores; la formacin de dos equipos de hecho, con l-
gicas y tcnicas profesionales distintas; y la dependencia de los directores y de
sus equipos de sus respectivas administraciones de origen en todo lo relativo a
la autorizacin de gastos para proyectos concretos, en la medida que los recur-
sos del PIR se integraron en los presupuestos del ADES y del Distrito, dificul-
taban el proceso de integracin perseguido. .
Mientras que en la fase final del programa, y en ello podra haber influido
el mismo proceso evaluador, la unificacin de la direccin en una persona; la
redefinicin de la estructura organizacional, con la formacin de subequipos
plurisectoriales de composicin variada y flexible; la progresiva alteracin de
los perfiles profesionales a favor de las reas relativamente menos dotadas de
recursos humanos; y en ltimo trmino, la resolucin de algunas dificultades
de comunicacin a nivel poltico entre el ADES y el Distrito, conduciran a un
reforzamiento de la dinmica integradora.
De otra parte, la adopcin de una perspectiva pluralista, abierta a las
opiniones y percepciones de todos los actores institucionales y no institu-
cionales que haban intervenido en el programa nos pareci la ms adecua-
da para:
Primero, incorporar en la evaluacin las cuestiones que realmente pre-
ocupaban a los distintos actores;
Segundo, identificar los resultados de la intervencin, no tanto a nivel
de servicios prestados a individuos concretos como a nivel de impacto
en la situacin del barrio; y,
Tercero, descubrir posibles causas tanto de los xitos no anticipados
como de los fallos sealados por algunos actores.
Por ejemplo, exista una clara preocupacin expresada por los represen-
tantes de los vecinos, pero tambin por los directores del programa y el res-
ponsable de Servicios Personales del Distrito, por los pobres resultados ofreci-
dos en materia social y urbanstica, cuando stos aparecan como los
problemas ms relevantes del barrio en el estudio de opinin realizado.
194
TERCERA PARTE
El anlisis del proceso seguido por la intervencin pona de relieve la falta
de capacidad interna para desarrollar servicios sociales claramente intensivos en
personal, como consecuencia de algunas decisiones adoptadas en la fase inicial
del programa y que comprometieron los recursos aportados por el Area de Bie-
nestar Social del Ayuntamiento de Barcelona, mientras que el anlisis de las di-
ficultades encontradas por el PIR en materia de intervencin urbanstica no de-
jaba lugar a dudas sobre la vulnerabilidad de los proyectos en los que la
direccin del PIR no tena competencias ni controlaba los ritmos de decisin.
Lgicamente, resultaba fcil alcanzar un cierto grado de consenso sobre
los resultados directamente atribuibles a acciones especficas realizadas en es-
tas reas (la creacin de una asociacin de ancianos, la realizacin de un estu-
dio sobre el estado de las viviendas de la llamada zona alta, o incluso la recu-
peracin de un local para el barrio).
Pero era importante documentar asimismo aquellos outputs menos tangi-
bles, como el efecto catalizador desarrollado por el programa en relacin con
la discusin de actuaciones urbansticas entre los vecinos y los responsables
del Area central de Urbanismo del Ayuntamiento de Barcelona, o la mayor vi-
sibilidad que otorgaba al barrio el carcter excepcional del PIR, lo que tendra
el efecto de atraer la atencin de instituciones como el INEM que, con poste-
rioridad al programa, decidira instalar una Escuela Taller en Roquetes.
En el mismo sentido, los problemas surgidos con los mecanismos de parti-
cipacin establecidos derivaban del inters insatisfecho de algunos represen-
tantes vecinales de estar presentes en todas las instancias del programa, y de las
excesivas limitaciones que para los tcnicos ello impona a su gestin diaria.
Era importante, sin embargo, destacar los progresos alcanzados en esta di-
reccin y, a la vez, intentar buscar soluciones a aquellos problemas combinan-
do, como se sugiere en las recomendaciones finales de la evaluacin, formas
de seguimiento y control por arriba, con mecanismos de articulacin de tcni-
cos y usuarios de los servicios, por abajo.
Estos ejemplos nos sirven para ilustrar cmo la adopcin de una aproxi-
macin evaluativa orientada al proceso y pluralista, en este caso concreto, re-
sult til para generar un proceso evaluador que, lejos de centrarse en la me-
didada del cambio operado en una/unas determinadas caractersticas del
barrio, pusiera de relieve un conjunto de resultados positivos y negativos so-
bre los que fuera posible alcanzar un cierto consenso, y enfuncin de los cua-
les cada actor, institucional y no institucional, pudiera enjuiciar si, conforme
a sus intereses, vala o no vala la pena continuar con una poltica de planes
integrales. Adems, este enfoque pareca, de acuerdo con la literatura sobre la
utilizacin de los resultados de las evaluaciones, como el ms apto para que
los protagonistas del proceso de decisin poltica asumieran los resultados de
la misma evaluacin y aprendieran de su propia experiencia.
195
EVALUACION
A. EVALUACION DE PROGRAMAS DE OBJETIVOS AMPLIOS Y
ABIERTOS
Como hemos visto con el caso del PIR, muchos programas no son produc-
tos acabados a punto de ser examinados a travs de la medida de efectos es-
pecficos en el momento que se plantea su evaluacin. Se trata, ms bien, de
intervenciones que sirven una finalidad de exploracin de posibles soluciones
a problemas sobre los que existe una clara voluntad de hacer algo, sin saber
exactamente cmo hacerlo.
De forma general, se puede caracterizar a estos programas en funcin de
sus objetivos, amplios, generales y abiertos, su forma, poco estructurada y
en constante evolucin, y su objeto, ms una situacin que es percibida en
abstracto como no deseada que un problema especfico de unos individuos
concretos.
En estos casos, creemos que la evaluacin ha de adoptar una aproxima-
cin amplia, basada en el proceso seguido por la intervencin y que tenga en
cuenta los intereses reales de los principales actores.
La orientacin de la evaluacin en funcin del proceso implica una mayor
complejidad ya que, en la lnea de lo dicho en relacin con las evaluaciones
de la implementacin y de la conceptualizacin y diseo de los programas,
podra incluir informacin sobre:
Primero: Aquello que los principales actores esperaban que ocurriera co-
mo consecuencia de la intervencin. Adems del qu, es importante el
porqu esperaban que se produjeran determinados resultados y cmo y
cundo esperaban que se produjeran stos.
Segundo: La evolucin seguida por el programa y los servicios realmente
distribuidos: los elementos de los que se componen, los procesos adminis-
trativos establecidos, la medida en que el personal era el adecuado y las
caractersticas de los clientes servidos.
Tercero: La medida en que el programa era el ms adecuado desde la pers-
pectiva de lo que los distintos actores entendan requera la situacin o
problema contemplado.
Cuarto: Los recursos invertidos en los diferentes componentes y su rela-
cin con los resultados iniciales.
Quinto: El conocimiento del programa entre diferentes grupos de pobla-
cin y las opiniones y actitud de stos en relacin con el programa y su
impacto.
196
TERCERA PARTE
La incorporacin de los intereses de los mltiples actores presentes su-
pone asimismo una mayor complejidad, en la medida que no siempre exis-
tirn recursos ni tiempo suficiente para analizar todas las cuestiones plan-
teadas. Por ello, nos inclinamos por una estructura organizacional de la
evaluacin que, como la propuesta por Patton (1986:331), incluya una co-
misin de trabajo en la que se encuentren representadas todas las partes
afectadas.
Esta comisin de trabajo debera discutir el diseo de la evaluacin y
adoptar las principales decisiones en tomo a las cuestiones sobre las que debe-
ra centrarse la evaluacin. De esta forma se conseguira reducir el poder de la
Administracin que encarga la evaluacin (y que los evaluadores tendern a
adoptar como cliente), y al mismo tiempo se lograra convertir a la evaluacin
en el centro de la discusin poltica sobre los criterios en funcin de los cuales
debera valorarse la intervencin.
Por otra parte, la utilidad de una evaluacin se correlaciona con el grado
de interdependencia entre programa y evaluacin, por lo que un estrecho con-
tacto entre evaluadores y decisores podra incrementar las probabilidades que
la evaluacin fuera tenida en cuenta en las deliberaciones posteriores sobre fu-
turos programas.
Como decamos al presentar este estudio de caso, se podra afirmar que
cuando los programas sean ms como el PIR, menos aconsejable ser centrar
la evaluacin en el cambio experimentado por un/unas pocas caractersticas de
la situacion observada y ms adecuado ser en cambio, adoptar la perspectiva
de proceso y pluralista defendidas.
B. EVALUACION EN FUNCION DEL PROGRAMA
No todos los programas son, sin embargo, como el PIR. El mismo PIR in-
clua proyectos cuyos objetivos y prestaciones se prestan a una mayor concre-
cin. En el mismo sentido, en el caso de la Polica Local que presentamos a
continuacin, la forma en que se organizan las operaciones y se distribuyen
los servicios esta muy reglamentada, lo que se traduce en una estandarizacin
de los procedimientos.
El problema metodolgico de la evaluacin parece estar muy relacionado
con el problema del programa. Los dos extremos seran los presentados por
Weiss y Rein (1971 :287). Segn estos autores, cuando se trata de programas
que sirven a una poblacin bien definida, cuyos efectos se pueden anticipar,
vale la pena dedicar recursos en la medida de stos.
Si, por el contrario, el examen de los inputs indica que un programa puede
hacer poco ms que dar una imagen ilusoria de accin efectiva, ms vale
197
dedicarse a estudiar las relaciones pblicas que pueda generar el programa pa-
ra la Administracin que lo propone.
Entre estos dos extremos, se sita, sin embargo, la normalidad en mate-
ria de programas pblicos. Una clasificacin de los programas que podra
resultar til desde la perspectiva de la evaluacin, podra ser la que propo-
nemos a continuacin a partir de dos criterios: la mayor o menor tangibili-
dad de los servicios producidos y la mayor o menor especificidad de los
objetivos.
En funcin del tipo de prestacin podemos distinguir entre:
1. Programas que ofrecen bienes y servicios a una poblacin especfica y
que tienen un valor econmico directamente medible. Por ejemplo,
una subvencin al crdito para la rehabilitacin de vivienda, un vaso
de leche para nios en edad escolar, o un test de deteccin precoz de
cncer de mama.
2. Programas en los que no hay un output tangible sino que pretenden
mejorar la condicin, las capacidades o las oportunidades de un grupo
de poblacin. Por ejemplo, los programas de formacin e insercin
profesional o el PIR en su conjunto.
En funcin del grado de abstraccin o especificidad de los objetivos, po-
dramos igualmente distinguir entre:
1. Los programas que tienen objetivos especficos y directamente opera-
cionales. Por ejemplo, reducir en tres puntos las diferencias en el n-
mero de solicitudes de ayuda extraordinaria al alquiler entre las cuatro
provincias catalanas, extender a todos los nios en edad preescolar la
prestacin del vaso de leche para nios en edad escolar o formar e in-
sertar profesionalmente como auxiliares de enfermera a 50 mujeres
amas de casa.
2. Los programas que tienen objetivos amplios o abstractos, cuyas conse-
cuencias pueden ser muchas y variadas. Por ejemplo, conseguir una
mayor coordinacin entre administraciones, incrementar la participa-
cin ciudadana o mejorar la respuesta por parte de la Administracin a
las necesidades locales.
De la combinacin de estos dos criterios resultan cuatro tipos de progra-
mas a los que se adecuaran mejor distintos tipos de evaluacin, desde las
aproximaciones ms clsicas centradas en los efectos, hasta las aproximacio-
nes alternativas centradas en el proceso de desarrollo del programa.
198
TERCERA PARTE
Figura 3: Relacin entre tipo de programa y tipo de evaluacin
Tipo de prestacin
Tangible Intangible
Objetivos
Especficos
Amplios
1
4
2
3
1. Como se indica en el cuadro, una primera clase de programas sera la de
aqullos que ofrecen bienes y servicios concretos y materiales y que tienen
objetivos especficos.
Esta clase de programas sera la ms susceptible de una evaluacin finalis-
ta centrada en el examen del cambio operado en las personas que recibieron la
prestacin.
2. Una segunda clase de programas sera la de aqullos que procuran me-
jorar la condicin, las capacidades o las oportunidades de un grupo de pobla-
cin definido y que cuentan con objetivos especficos.
Al igual que en el anterior caso, esta segunda clase de programas sera
susceptible de una evaluacin de resultados en funcin de los objetivos inicia-
les, pero en la medida que la evaluacin se centrara en unas pocas variables
seleccionadas como indicadores del xito o del fracaso del programa, dejara
de producir infonnacin sobre otras cuestiones igualmente importantes en re-
lacin con el tipo de prestacin.
Por ejemplo, en el caso de los programas de fonnacin e insercin para
mujeres y jvenes de Roquetes, adems de la infonnacin sobre el grado de
insercin profesional y su contraste con los objetivos fijados inicialmente, se-
ra importante examinar las caractersticas del grupo de clientes servidos, los
cambios experimentados durante el programa por cada individuo, los compo-
nentes del programa a los que cabe asociar una mayor incidencia en el poste-
rior xito o fracaso de los participantes, cunto tiempo han necesitado para en-
contrar el primer trabajo, el tipo de trabajo que han encontrado, el nivel
salarial, el tiempo en el que han pennanecido en la primera ocupacin o el
grado de satisfaccin personal con la nueva situacin.
Al contrario, centrar la evaluacin en un indicador, como por ejemplo la
insercin, podra generar problemas ya que los administradores tenderan a
trabajar en funcin de estos objetivos en perjuicio de otros. As pues, el nfa-
sis en la insercin se puede traducir en una preferencia por los mejores candi-
datos en el momento de la seleccin, o en una presin para que stos acepten
199
cualquier oferta, sin importar excesivamente el tipo de trabajo en el que se
ocupen.
3. Una tercera clase de programas sera la de aqullos que, teniendo como
objeto mejorar la condicin, las capacidades o las oportunidades de un grupo de
poblacin (o de la poblacin en general), por razones de ndole poltica o por la
dificultad tcnica que comporta, presentan objetivos abstractos o generales.
Por ejemplo, en el caso de Roquetes, los objetivos de actuar de forma ms
coordinada-integrada, de incrementar la participacin de los vecinos o incluso
de alcanzar un mayor desarrollo econmico-social en el barrio.
Ante la dificultad de cuantificar beneficios especficos derivados de pro-
gramas de esta naturaleza, la evaluacin ha de recurrir a formas alternativas
para concentrarse en examinar los programas en operacin e intentar inferir lo
que han conseguido a partir de la evidencia emprica.
La evaluacin de estos programas exige trabajar ms directamente con los
actores relevantes para intentar identificar sus intereses y la forma como evo-
lucionan en relacin con el mismo programa. En este sentido, es importante
examinar qu es aquello que se esperaba que ocurriera para examinar las deci-
siones de los administradores y las actividades desarrolladas.
La utilidad de la evaluacin en este caso, estara ms determinada por su
capacidad de clarificar el proceso y plantear nuevas cuestiones que pudieran
traducirse en mejoras sucesivas del programa que no por la cantidad de datos
aportados.
4. Finalmente, una cuarta clase de programas sera la de aqullos que te-
niendo objetivos de carcter abstracto o general, ofrecen bienes y servicios es-
pecficos. Ciertamente, cabe la posibilidad que dentro de un programa amplio
se incluyan componentes que puedan ser objeto de una evaluacin ms con-
vencional de impactos.
Este sera el caso, por ejemplo, de un programa de caractersticas pareci-
das al PIR que dispusiera de recursos suficientes para ofrecer un determinado
nmero de ayudas para la rehabilitacin de viviendas marginales. La evalua-
cin de estos programas sera susceptible de combinar las dos aproximaciones
discutidas hasta aqu.
C. IMPORTANCIA DEL ANALISIS PREVIO DE EVALUABILIDAD
La decisin sobre el tipo de aproximacin que requiere cada caso concreto
debera tomarse cuando se ha alcanzado un cierto grado de conocimiento y fa-
miliaridad con el programa. En este sentido, otra leccin aprendida con el ca-
so del PIR tiene que ver con la importancia de dedicar tiempo suficiente al
anlisis previo de evaluabilidad.
200
TERCERA PARTE
Este concepto fue introducido por Horst, Nay, Scanlon y Wholey quienes
entendan que buena parte de los problemas de utilizacin de la evaluacin te-
nan su origen en los mismos programas evaluados o en sus administradores,
por lo que recomendaban que, con carcter previo a la evaluacin, se intentara
determinar la evaluabilidad del programa, examinando tres cuestiones:
1. Si los problemas, intervenciones propuestas y resultados e impacto es-
perados estn suficientemente bien definidos.
2. Si las hiptesis propuestas tienen una lgica clara que permite su test.
3. Si existen una o varias personas responsables del programa, cul es su
capacidad para actuar y qu tipo de accin podra esperarse que toma-
ran como consecuencia de los posibles resultados de la evaluacin.
(1974:307)
En nuestro caso, el anlisis de evaluabilidad consisti en un perodo corto
pero intensivo de tiempo (aproximadamente un mes) en el que nos dedicamos
a recoger y analizar informacin sobre el programa, para luego formular un
plan de evaluacin que sometimos a la discusin de la Administracin que
contrataba la evaluacin.
Lgicamente, este trabajo previo es an ms importante cuando, como en
el caso del PIR, los programas estn mal definidos, los objetivos son vagos y
ambiguos, y existen distintas percepciones sobre el significado y prioridad de
los objetivos ms o menos formales.
Toda evaluacin debera, sin embargo, ir precedida de un anlisis de evalua-
bilidad. De acuerdo con Rutman (1984:27-38), y a partir de nuestra propia expe-
riencia, creemos que la pre-evaluacin debera incluir los siguientes elementos:
Primero. Descripcin formal del programa, en base a los documentos
oficiales: leyes, reglamentos, acuerdos, propuestas de financiacin,
dossiers de documentacin, informes o folletos publicitarios.
Segundo: Entrevistas con los decisores polticos, administradores, pro-
fesionales y todas aquellas personas o grupos relacionados con el pro-
grama. Las entrevistas permiten contrastar objetivos y actividades for-
males con objetivos y actividades tal y como las entienden los actores
ms estrechamente relacionados con el programa.
Tercero: Observacin sobre el terreno de las operaciones del progra-
ma. Ello permite comparar lo real con lo escrito y lo afirmado por las
personas y grupos entrevistados. La observacin permite, asimismo,
acercarse a los participantes en el programa.
Cuarto: Identificacin de aquellos objetivos, actividades y servicios
susceptibles de evaluacin, y determinacin de los mtodos aplicables,
201
202
en cada caso concreto, en funcin de la naturaleza de los programas y
de los datos recogidos o que puedan ser creados.
Quinto: Discusin con la comisin de trabajo con autoridad sobre todo
el proceso de evaluacin sobre los posibles propsitos y cuestiones a
los que debera responder la evaluacin, sobre su utilidad para diferen-
tes grupos de usuarios y sobre las posibilidades de aplicacin de sus
resultados.
CAPITULO VII
EL CASO DE LA POLICIA LOCAL
1. INTRODUCCION
La presentacin del caso de la Guardia Urbana de l'Hospitalet de LLobregat
constituye una primera aproximacin al tema de la evaluacin de los servicios
de Polica Local, partiendo de datos recogidos por la misma Administracin.
Adems de demostrar cmo la informacin recogida de una forma rutina-
ria y continuada puede ser utilizada de forma efectiva para la gestin del ser-
vicio, el caso pone de relieve diversas posibilidades de anlisis en funcin de
los datos disponibles, utilizando en este caso, mtodos cuantitativos y recu-
rriendo a la concepcin clsica de indicadores generales tanto de la forma en
que se presta el servicio como de su eficacia global.
La evaluacin de los servicios de Polica Local ha de permitirnos conocer me-
jor qu hace la Polica, y los efectos que tiene su actividad en la comunidad local.
Ambas cuestiones presentan algunas dificultades que han sido objeto de
discusin por la literatura especializada. En este estudio se hace un repaso de
esta literatura, bsicamente norteamericana, y se pretende mostrar cmo par-
tiendo de los datos objetivos de archivo recogidos da a da por la sala de
mando de la GUH se puede obtener:
Primero, informacin sobre las demandas que experimenta el servicio,
lo que nos dar una imagen ms adecuada de la realidad de la activi-
dad desarrollada por las Policas Locales.
Segundo, informacin sobre la racionalidad, en trminos de carga de
trabajo, con que se distribuyen los recursos policiales a lo largo del da
yen diferentes zonas de la ciudad.
Tercero, informacin sobre la eficacia policial a partir de dos indica-
dores generales de servicio: el tiempo que tarda la Polica en respon-
der a una demanda individual y el tiempo que pasa con el servicio que
aqulla origina.
Cuarto, informacin sobre la distribucin de los servicios, en trminos
de equidad, a distintos grupos de poblacin o zonas de la ciudad.
2. PROBLEMAS CON LA EVALUACION POR OBJETIVOS
El anlisis de la eficacia de la Polica como servicio podra verse grave-
mente distorsionado si se limitara a determinar lo alcanzado en relacin con
205
hipotticos objetivos ---de reduccin de la tasa de criminalidad, de disminu-
cin del nmero de accidentes o de aumento del valor total de la propiedad re-
cuperada de hurtos o robos, por poner algunos ejemplos- precisamente por la
complejidad y la variedad de actividades que realizan las Policas Locales en
mbitos tan dispares como la ordenacin del trfico, la investigacin de he-
chos criminales, la asistencia social a personas necesitadas o la intermediacin
en los conflictos entre vecinos o familiares. Es decir, el servicio de Polica Lo-
cal hace demasiadas cosas como para poder resumir su eficacia en unos pocos
indicadores.
Adems, e independientemente de la dificultad propia de nuestras latitu-
des de identificar y operacionalizar los objetivos de una poltica especfica
en relacin con el trfico, la seguridad ciudadana o la violacin de las orde-
nanzas locales, la experiencia de la gestin por objetivos en el campo poli-
cial durante los aos 70 en EEUU, nos muestra como la seleccin inicial de
un conjunto de objetivos determina aquellos aspectos de la actividad policial
que despus sern objeto de medida, de forma que las actividades policiales
no contempladas por los objetivos son excluidas del anlisis en base al que
se sacan conclusiones sobre la eficacia general del servicio (Whitaker et el.,
1982:10-18).
Ello ha llevado a centrar una atencin excesiva en tan slo una parte de la
actividad policial, generalmente aqulla relacionada con la seguridad ciudada-
na y la criminalidad, cuando en realidad, las conclusiones de diferentes estu-
dios (Bercal, 1970; Webster, 1970) apuntan a que sta no es la principal acti-
vidad de las Policas Locales en EEUU. Tampoco lo es en nuestro pas como
confirma el anlisis de los servicios solicitados y prestados por las unidades
operativas de la GUH.
A la distorsin que resulta de centrar el anlisis en unos pocos objetivos,
hay que aadir la derivada del hecho que el anlisis se haga a partir de datos
recogidos por el mismo servicio. Dado que recoger informacin sobre aquello
que valora la ciudadana en relacin con los diferentes aspectos de la funcin
policial puede resultar caro y difcil, generalmente, aquello que se estudia vie-
ne determinado por la informacin de la que se dispone.
Esta es una limitacin que comparte nuestro estudio de caso y que no nos
permite entrar en algunas cuestiones importantes como la de las percepciones
subjetivas de los ciudadanos. A pesar de ello, creemos que existe un amplio
campo de investigacin en el anlisis de la informacin que recogen las Poli-
cas Locales, con el propsito de sugerir recomendaciones que tengan algn
sentido para sus responsables en la lnea de obtener un mejor conocimiento de
su actividad y de mejorar la eficacia de su gestin a travs de la utilizacin de
los datos de que disponen.
206
TERCERA PARTE
3. LA LITERATURA SOBRE EVALUACION DE SERVICIOS
POLICIALES
Si examinamos la literatura sobre medida de servicios urbanos, veremos
que la mayor parte de las investigaciones en materia policial se refieren a tres
u s t i o ~ s principales (Maxfield, 1979: 18-66):
la distribucin de los recursos en el tiempo y en el espacio;
la distribucin equitativa de los servicios entre la poblacin;
y la discrecionalidad que ejercen los agentes en el proceso de toma de
decisiones.
A. DISTRIBUCION DE LOS RECURSOS POLICIALES
La mayora de los estudios examinan variables que reflejan la distribucin
de los recursos policiales en una ciudad, como por ejemplo, el nmero de uni-
dades (a pie o motorizadas) por sector policial, el nmero y rea geogrfica de
los mismos sectores policiales o la parte del gasto que les corresponde.
Como afirma Maxfield (1979:67-69), la distribucin de los recursos poli-
ciales no nos informa sobre las diferencias en la calidad del servicio en distin-
tas partes de la ciudad, ni tampoco aporta ninguna informacin sobre la mane-
ra como se ejercen estos servicios, dada la enorme discrecionalidad de que
disponen los miembros de la Polica al interpretar qu incidentes merecen una
respuesta policial.
Efectivamente, los indicadores de la distribucin de los recursos policia-
les tienen poco que ver con el nivel de servicio realmente prestado a la po-
blacin. A pesar de ello, la investigacin operativa en materia policial ha
contribuido a desarrollar criterios y mtodos de distribucin de los recursos
en el espacio y el tiempo que plantean la necesidad de un tipo de informa-
cin de carcter evaluativo.
a. Criterios
La distribucin de los recursos policiales entre las diversas reas o secto-
res de la ciudad puede responder a diferentes criterios. Generalmente, la divi-
sin en sectores tiene en cuenta los distritos y los barrios municipales, as co-
mo las caractersticas topogrficas de la ciudad.
A parte de tener en cuenta los barrios y las barreras naturales que
puedan dificultar la movilidad de las unidades operativas, si los sectores
207
policiales se establecieran siguiendo un criterio de equidad, de forma
que cualquier demanda que se produjera tuviera una respuesta igual de
rpida por parte de la Polica, probablemente se obtendra una distribu-
cin desigual respecto a la problematica social, contribuyendo por tanto
a debilitar el servicio en zonas de alta densidad de poblacin respecto a
zonas menos pobladas (Langbein, 1980: 13). Dado que generalmente las
zonas de menor densidad de poblacin tienen un nivel de renta ms ele-
vado, incluso desde una perspectiva poltica, se podra cuestionar esta
distribucin.
Por ello, parece que la distribucin ms eficiente de los recursos sera
la que se hiciera en funcin del volumen de servicos que genera cada zona
(Wilson, 1977: 357 y ss.). En todas la ciudades, hay reas que requieren un
mayor nmero de intervenciones, ya sea por razones de trfico, porque all
es donde se concentran los locales nocturnos o porque la tasa de criminali-
dad es ms elevada. La distribucin de los recursos policiales en funcin dle
la demanda obligara a destinar un mayor nmero de policas en estas re-
as, o bien a dividir su superficie en sectores ms pequeos, de forma que se
equilibrara el nmero de policas por servicios demandados para todos los
sectores.
El mismo tipo de razonamiento se podra aplicar a la distribucin de los
efectivos en el tiempo. La distribucin igualitaria entre los tres tumos (maa-
na, tarde, noche) no tendra demasiado sentido ya que las demandas de servi-
cio se concentran en determinadas horas del da y en general ocurren con me-
nos frecuencia durante la noche, como veremos despus.
Otros factores que pueden tener una incidencia considerable en la distribu-
cin de los recursos son los de tipo poltico. Grupos de residentes de distintos
barrios de la ciudad tienen actitudes diversas con respecto a las instituciones
pblicas. En este sentido, los grupos que ejercen una presin mayor o que
simplemente generan ms demandas de servicio, pueden influir en la distribu-
cin que se haga de los recursos de la ciudad (79).
En resumen, pues, la variedad de incidentes por los que un ciudadano pue-
de requerir la presencia de la Polica y las variaciones en la frecuencia con que
aqullos se producen en el tiempo y en el espacio hacen que la distribucin de
los efectivos se convierta en una tarea compleja y que a menudo se haga de
una forma intuitiva, a partir de la distribucin igualitaria de los miembros del
cuerpo en sectores policiales relativamente uniformes, aadiendo en su caso,
algunos efectivos para compensar la mayor problemtica social de algunos
sectores.
(79) Esta es una idea que, de alguna fonna, me sugiri el Inspector-jefe de la GUH, Sr. Martn, al dis-
cutir la variedad de demandas que ejercen sobre la Polica los distintos barrios de la ciudad.
208
TERCERA PARTE
b. Mtodos
No obstante, algunos investigadores han propuesto diversas fnnulas de
distribucin objetiva de los recursos. Quiz la ms conocida sea la propuesta
por O. Wilson (1977), fundador de la Escuela de Criminologa de la Universi-
dad de California y Jefe de la Polica de la Ciudad de Chicago durante los
aos 60.
Concretamente, el mtodo de Wilson, asigna diferentes pesos a diferentes
tipos de incidentes en funcin del tiempo que requieren y de su gravedad. A
travs de la tabulacin estadstica del nmero de incidentes que ocurren en di-
ferentes horas del da, en diferentes zonas de la ciudad, detennina: Primero, la
segmentacin ptima del da en turnos, de fonna que se equilibre la carga de
trabajo entre tumos y las variaciones en la demanda de servicios dentro de un
mismo tumo sean mnimas, y segundo, el tamao de los sectores policiales
durante cada tumo - dividendo la carga de trabajo entre el nmero de secto-
res se obtiene la carga media por sector y combinando en reas mayores los
sectores que no alcanzan la mediana, se delimita su configuracin definitiva.
Lgicamente, es preciso calcular las horas de trabajo disponibles --des-
contando las horas perdidas en das libres, indisposiciones, bajas, o que se
ocupan en actividades que no son de patrulla preventiva- y distribuir los
agentes teniendo en cuenta que cada uno de ellos debe hacer 8 horas de traba-
jo continuo, intentando ajustar al mximo el nmero de horas-agente y la car-
ga de trabajo (Wilson, 1977:633-655).
Si bien esta ltima tarea tendra que ser, aparentemente, la ms sencilla, el
cumplimiento de mltiples funciones (relacionadas con el trfico, de inspec-
cin, de asistencia a los juzgados) por parte de la Polica Local, hace difcil la
estimacin de las horas necesarias para actividades que no sean estrictamente
de patrulla preventiva y respuesta activa a las demandas de servicio de la sala
de mando.
El principal problema del mtodo de Wilson tiene, sin embargo, que ver
con los criterios en funcin de los cuales otorgar diferentes pesos a diferentes
tipos de incidentes. Wilson, en su libro de texto sobre Administracin de la
Polica, otorga pesos que van de 1 a 4 en funcin de la gravedad de los inci-
dentes, de fonna que slo las actividades relacionadas con delitos o con la
prctica de detenciones reciben pesos de valor 3 y 4 (Wilson, 1977:662). El
peso otorgado es, sin embargo, independiente del tiempo que realmente ocupa
a la Polica hacerse cargo de cada incidente.
Otros mtodos posteriores, en cambio, tienen en cuenta lo que hemos lla-
mado tiempo de servicio, es decir, el tiempo que tarda una unidad en atender
un detenninado servicio, as como otros factores (como, por ejemplo, el tiem-
po de desplazamiento medio, la del sector o los kilmetros de va
209
pblica) con lo que se intenta tener en cuenta variables que no sean estricta-
mente la de la demanda (Heller et al. 1977).
Sin nimo de entrar en la discusin detallada de estos mtodos, la explica-
cin precedente nos sirve para poner de relieve la importancia de anticipar el
nmero de incidentes que se producirn en diferentes horas del da, en distin-
tos sectores o zonas de la ciudad, para poder hacer una distribucin racional
de los efectivos.
En sentido inverso, desde la perspectiva de la evaluacin, la constatacin
de niveles de demanda agregada similares (ya que el tipo de incidente puede
variar) entre los diferentes tumos y sectores de la ciudad, puede ser considera-
da como un indicador de que la distribucin de los efectivos es equilibrada.
B. DISTRIBUCION EQUITATIVA DE LOS SERVICIOS
Otro importante sector de la literatura sobre servicios urbanos se preocupa
ms de la distribucin final de los servicios entre la poblacin que no de las
estructuras de implementacin de estos servicios. En lugar de centrar su aten-
cin en encontrar la mejor manera de distribuir los efectivos sobre el terreno o
en el tiempo, se propone examinar cmo afectan las actividades desarrolladas
por la Administracin, generalmente local, a distintos grupos de poblacin de
diferentes zonas de una misma ciudad.
Desde esta perspectiva, el tema de la equidad en la distribucin de los ser-
vicios urbanos, y concretamente de los servicios de Polica, toma mayor rele-
vancia: se trata de examinar si determinados sectores de la sociedad obtienen
servicios de peor calidad o en menor cantidad, que otros. Esta preocupacin
ha sido expresada de forma sinttica en la que se ha llamado la underdass
hypotesis, segn la cual las reas de las ciudades de nivel socio-econmico
ms bajo, habitadas por grupos minoritarios reciben proteccin policial de in-
ferior calidad.
En un estudio sobre los servicios pblicos de la ciudad de San Antonio
(EEUU) en el que tambin se incluye el servicio de Polica, Lineberry (1977)
examina cinco explicaciones posibles de las diferencias que pueda haber en la
cantidad y/o calidad de los servicios pblicos que reciben grupos de poblacin
distintos de una misma ciudad. Tres de estas explicaciones son una concrecin
de la hiptesis de las clases inferiores, la cuarta es la de carcter ecolgico
y la quinta hace referencia a los mecanismos institucionales de toma de deci-
siones (80).
(SO) Las hiptesis de Lineberry pueden resumirse en los siguientes trminos:
La cantidad y/o la calidad de los servicios urbanos est positivamente relacionada con la pro-
porcin, primero de poblacin blanca en un barrio, segundo de poblacin de estatus socio-
210
TERCERA PARTE
Por 10 que respecta al servicio de Polica, Lineberry utiliza como medida
de output el nmero de agentes asignados a cuatro tipos de sectores polciales
definidos en tnninos de los porcentajes de poblacin de grupos de minoras
tnicas que incluyen. La conclusiones del estudio fueron que no haba una dis-
criminacin sistemtica de los grupos minoritarios en el nivel de recursos po-
liciales asignados en la ciudad de San Antonio.
Un enfoque similar fue el adoptado por Bloch (1974) en su estudio sobre
la distribucin de los servicios de Polica en la ciudad de Washington D.C. En
este estudio, Bloch compara diferentes medidas de actividad policial para dos
barrios, uno de clase baja y poblacin mayoritariamente negra y otro de clase
mediana-alta y poblacin mayoritariamente blanca.
El estudio incluye dos tipos de medidas. Por un lado, medidas de input co-
mo la carga de trabajo que han de soportar los efectivos destinados a uno y
otro barrio de la ciudad (Bloch, 1974:2-6) y por el otro, medidas de eficacia
como la tasa de criminalidad en las dos zonas, el porcentaje de casos en los
que la Polica consigue identificar y detener a los responsables de un hecho
criminal, la opinin de la poblacin sobre el servicio y sus percepciones sobre
el tiempo que tarda la Polica en llegar al lugar donde se reclama su presencia
(Bloch, 1974:6-26).
Las conclusiones del estudio fueron que haba una relativa igualdad entre
los dos barrios, excepto en que la zona de nivel socio-econmico ms bajo y
poblacin negra, sufra una tasa de violencia criminal muy superior y la per-
cepcin de su poblacin era que la Polica tardaba excesivamente en acudir
cuando se precisaban sus servicios (Bloch, 1974:ix).
Si comparamos los dos estudios que se acaban de describir en tnninos de
un modelo input proceso output outcome, se puede afirmar que
Bloch esta ms prximo a medir outcomes.
Ambos utilizan el nmero de Policas asignados a una detenninada rea o
sector de la ciudad como indicador del nivel de servicios prestados. En reali-
dad, sin embargo, sta es una medida de input. Del input ms importante de la
funcin policial, sin lugar a dudas, pero que no se puede identificar con la idea
de producto, efecto o consecuencia para la poblacin de la actividad policial.
En cambio, algunas de las medidas que Bloch llama de eficacia, s que se
acercan ms a este concepto.
Como acabamos de ver, Bloch utiliza medidas objetivas y medidas subje-
tivas. Las primeras son la tasa de criminalidad y el porcentaje de casos resueltos
econmico elevado y tercero, de poblacin que ocupa posiciones de poder en la Administra-
cin Local.
La cantidad y/o calidad de los servicios urbanos depende asimismo de factores ecolgicos como,
por ejemplo, si se trata de un barrio antiguo o moderno, su densidad, sus caractersticas geogrfi-
cas o su carcter residencial y/o comercial; y de reglas de decisin burocrticas adoptadas para
simplificar la asignacin de recursos (1977: 66).
211
por la Polica (81). Si bien esta ltima medida es claramente un indicador de
eficacia policial, las tasas de criminalidad presentan algunos problemas ya que
slo reflejan los hechos delictivos sobre los que llega a tener conocimiento
oficial la Polica. As, podra ocurrir que una intervencin tendente a mejorar
la eficacia del servicio, como el incremento de efectivos, tuviera un reflejo ne-
gativo en el indicador propuesto ya que ms policas tendran acceso a casos
que antes escapaban al servicio, lo que se traducira en un empeoramiento de
las estadsticas.
Las medidas subjetivas, en el estudio de Bloch, son creadas a partir de
preguntar a la poblacin su opinin sobre la seguridad en el vecindario, la
efectividad de la Polica en ocuparse de problemas especficos (cuestiones so-
bre las que contaba con medidas objetivas), la manera como trata la Polica a
los vecinos, y el tiempo que tardara en responder a una llamada pidiendo au-
xilio (Bloch, 1974: 17-25).
De estas cuatro cuestiones, las dos ltimas hacen referencia a dos caracte-
rsticas importantes de lo que realmente hace la Polica y, en este sentido, se
aproximan bastante al concepto de outcome. Parece evidente que una respues-
ta rpida es ya, en s misma, un servicio importante. Podramos aadir que es
ms importante cuanto ms grave sea el incidente. Igualmente, la forma como
se desarrolla la interaccin entre policas y vecinos constituye un componente
esencial del servicio, sobre todo si se tiene en cuenta que, a menudo, la actua-
cin de la Polica Local consiste en prestar algun tipo de apoyo o ayuda, ya
sea sugiriendo a la persona necesitada donde tiene que dirigirse, intentando re-
solver el problema o procurando que las partes en conflicto encuentren una sa-
lida negociada.
Adems, la rapidez con que la Polica responde a una demanda indivi-
dual y el trato o actuacin que aqulla dispensa a los ciudadanos que solici-
tan sus servicios, aparecen como dos elementos determinantes de la evalua-
cin que hacen los ciudadanos de los servicios de Polica, segn Parks
(1984: 120). En su estudio de los servicios de Polica del area metropolitana
de San Luis, este autor analiza las percepciones subjetivas sobre el servicio
de Polica, tanto de personas con una experiencia reciente con la Polica, co-
mo de personas que, al no haber tenido una experiencia personal reciente,
han de recurrir a otras fuentes de informacin como familiares, amigos, ve-
cinos o los mismos media.
(81) Un caso, se da por resuelto si:
primero, se ha producido una detencin,
segundo, la persona identificada como autora del crimen se encuentra ya en una institucin peni-
tenciaria,
y tercero, no es posible continuar el proceso porque la vctima rechaza cooperar y el hecho delic-
tivo slo puede ser perseguido a instancia de parte (Bloch, 1974: 16).
212
TERCERA PARTE
Los resultados de su investigacin indican una fuerte asociacin entre las
dos variables estudiadas, hasta el punto que un contacto insatisfactorio con la
Polica reduce la percepcin de una respuesta rpida en un 10 por ciento
(Parks, 1984: 123).
Este tipo de investigacin es importante ya que pone de relieve lo que es
valorado por parte de los clientes del servicio y por tanto, cmo se puede in-
fluir desde la gestin para producir un cambio favorable en la percepcin que
tienen los ciudadanos de los servicios pblicos.
Volviendo a Bloch, este autor utiliza percepciones subjetivas del tiempo
de respuesta de la Polica y de la fonna en que sta trata a las personas que
precisan sus servicios. Mladenka y Hill (1978) en cambio, recogen datos obje-
tivos relativos a la primera de estas variables -el tiempo de respuesta- para
9 das, durante un perodo de 2 meses en la ciudad de Houston y analizan las
diferencias en el tiempo de respuesta y en la distribucin de los efectivos poli-
ciales entre los 20 distritos en los que se divide la ciudad, mirando si las ca-
ractersticas socio-econmicas de los distritos explican las variaciones en
aquellas variables dependientes (1978: 119).
Las conclusiones son negativas en ambos casos. Ni los tiempos de res-
puesta de la Polica Local de Houston pueden asociarse a las caractersticas
socio-econmicas de la poblacin de distintos distritos, ni se puede afinnar
que la ciudad penaliza los distritos de clase social ms baja en tnninos de
distribucin de personal (1978:126).
La investigacin en tomo al comportamiento de la Polica en su interac-
cin con los ciudadanos ha dado lugar a un tercer gran bloque de la literatura
que ha centrado su atencin en la discrecionalidad que ejercen los funciona-
rios de los cuerpos de Polica en el ejercicio diario de las funciones que les
son propias.
C. DISCRECIONALIDAD DE LOS AGENTES
De una fonna general, el problema de la discrecionalidad de las Policas
Locales aparece en la descripcin de la burocracia de contacto (<<Street-level
bureaucracy), es decir, aquellos funcionarios que se encuentran en el nivel
ms bajo de la jerarqua de una organizacin administrativa, pero que en cam-
bio tienen un elevado grado de independencia. Como afinna Lipsky (1976: 13)
los hombres y las mujeres policas son los que deciden a quin hay que arres-
tar o a quin hay que vigilar.
Ciertamente, la Polica Local es un buen ejemplo ya que es difcil supervi-
sar el comportamiento de los miembros del cuerpo cuando se encuentran de
servicio por las calles de la ciudad. Aunque existan unas lneas de autoridad
213
muy precisas, son los agentes de las unidades operativas los que interactan
con la poblacin y los que en ltimo trmino controlan la informacin que
llega a la organizacin sobre lo que ocurre en la ciudad o sobre las personas
que tuvieron alguna participacin en incidentes que merecen una respuesta
policial.
Algunos estudios, sin embargo, han examinado los encuentros que se pro-
ducen entre la Polica y la poblacin a travs de la observacin directa de in-
vestigadores que se desplazaban con los mismos policas.
Black (1970) utiliz este tipo de informacin para analizar los factores
que tienen mayor influencia en la decisin de considerar un hecho como san-
cionable o delictivo. As, segn este autor, de su investigacin derivaba que
eran importantes, adems de la gravedad del incidente, tanto las preferencias
de la vctima, como el grado de relacin previa entre la vctima y el agresor.
En el supuesto que la vctima no urgiera a la Polica la persecucin del hecho
o cuando aqulla y la persona acusada tenan algn tipo de relacin previa, la
Polica era menos proclive a iniciar una investigacin (Black, 1970:735).
En el mismo sentido, Reiss (1971), en un trabajo ms general sobre la Po-
lica y la ciudadana, defenda que sta ejerce un control considerable sobre la
funcin policial a travs de sus decisiones discrecionales sobre comunicar o
no comunicar a la Polica Local determinados hechos ocurridos en la vida dia-
ria (1971 :69).
Una aproximacin diferente al tema de la discrecionalidad es la adopta-
da por Maxfield (1979) en su estudio comparativo de los servicios de Poli-
ca de las ciudades de Chicago y San Francisco. Maxfield toma el nmero
de delitos oficialmente reconocidos por la Polica en una ciudad como indi-
cador del output de este servicio y compara este indicador con indicadores
de demanda, con el propsito de hacer algunas inferencias sobre el proceso
decisional que se produce durante la transformacin de las demandas en
productos finales.
Siguiendo la lgica de la literatura sobre equidad, analiza las diferencias
en el proceso decisional --es decir, en el nmero de demandas que se convier-
ten al final del proceso en un caso oficial- en base a las caractersticas de la
poblacin, a las caractersticas de los incidentes y a los niveles de demanda
que experimentan diferentes reas de las dos ciudades estudiadas, llegando a
la conclusin que la influencia de la discrecionalidad en las decisiones poli-
ciales es ms bien residual (1979:295).
***
Hasta aqu, hemos hecho un repaso de la literatura, predominantemente
norteamericana, que se ocupa de la evaluacin de los servicios de Polica
214
TERCERA PARTE
Local y hemos visto que existen tres posibles aproximaciones a partir de
examinar:
primero, cmo se distribuyen los recursos geogrfica y temporalmente;
segundo, hasta qu punto la distribucin [mal de los servicios es equitativa en-
tre distintos grupos de poblacin y/o diferentes zonas de una misma ciudad;
y tercero, qu diferencias se producen en la toma de decisiones que afec-
tan a distintos grupos de poblacin como consecuencia de la discrecionali-
dad de la que disponen los miembros de los cuerpos de Polica.
La primera aproximacin se centra claramente en los inputs de la funcin
policial, mientras que la segunda y la tercera tienen que ver ms con los outco-
mes o efectos de las decisiones policiales sobre distintos grupos de poblacin.
Como se dijo ms arriba, la simple distribucin de los recursos sobre la
geografa local ofrece poca informacin sobre la calidad de los servicios pres-
tados. Esta depende de lo que hagan los agentes, tanto durante su actividad de
patrulla preventiva como cuando son llamados a cumplir una determinada
funcin y por tanto a ocuparse de un determinado incidente. De alguna mane-
ra, los estudios que se basan en la medida de los tiempos de respuesta y en el
anlisis del comportamiento y decisiones policiales se aproximan ms a este
concepto.
Existe igualmente una literatura sobre Polica en castellano. Entre las
aportaciones ms recientes cabe destacar la obra ya clsica de Ballb (1985)
sobre la presencia de las fuerzas armadas en el mantenimiento del orden p-
blico en la Espaa contempornea, en cuyo ltimo captulo se analiza la vo-
luntad constitucional de desmilitarizar y desvincular el aparato policial del
Ejrcito. En el mismo sentido, Lpez Garrido dedica parte del Aparato Poli-
cial en Espaa (1987) a revisar desde una perspectiva histrica el modelo de
orden pblico de la Espaa liberal. Este autor tambin analiza la estructura
sociolgica de los cuerpos de seguridad (origen regional, procedencia so-
cial, y nivel cultural de sus miembros) as c'omo las enseanzas impartidas a
los oficiales de carrera de la Guardia Civil, con el objeto de poner de relieve
sus sesgos ideolgicos.
Por su parte, Martn Fernndez plantea en La Profesin de Polica,
(1990: 136) la seleccin de los recursos humanos y su formacin como ele-
mentos claves de la reforma policial, para acabar proponiendo el anlisis de
tareas como un eje bsico del proceso de cambio policial. Si bien en este es-
tudio no se utilizan directamente las categoras propuestas por Martn Fer-
nndez, nuestro anlisis de demandas conecta perfectamente con su preocu-
pacin por determinar lo que realmente hacen los agentes durante su jornada
laboral.
215
4. ESCALA Y ORGANIZACION DE LA POLICIA LOCAL DE
L'HOSPITALET
A. ALGUNAS MEDIDAS DE INPUT
L'Hospitalet de Llobregat es, con una poblacin justo por debajo de los
280.000 habitantes, la segunda ciudad de Catalua y la dcimotercera de Espaa.
El examen comparativo de algunos indicadores de inputs para las Policas
Locales de Barcelona y 1'Hospitalet puede darnos una cierta idea de la escala
de sus operaciones.
En primer lugar, la poblacin de Barcelona es 6 veces mayor que la de
1'Hospitalet. Las diferencias entre los presupuestos de las dos Policas para
1989 no eran aproximadamente las mismas que entre sus poblaciones. Mien-
tras que la Guardia Urbana de Barcelona gast ms de 9000 millones, el pre-
supuesto de la de 1'Hospitalet fue de 948 millones. Las remuneraciones del
personal constituyen el captulo ms importante de estos presupuestos, con
aproximadamente un 85% del gasto en el caso de 1'Hospitalet.
El nmero de agentes en Barcelona el ao 1989 era de 2118, ms de 7.8
veces el nmero de agentes para l'Hospitalet que era de 271. Ello supone 0.91
agentes por cada 1000 habitantes en esta ltima ciudad, por 1.2 agentes por
cada 1000 habitantes en Barcelona.
Tabla 1: Barcelona y L'Hospitalet. Resumen de medidas de inputs para 1989.
Datos de 1986
Barcelona Hospitalet
Presupuesto 9.191,5 948
(en millones)
Total agentes 2.118 271
Poblacin 1.703,7 279,7
(en miles)
Agentes por 1.000 h. 1,2 0,9
Demandas ciudadanos 166.373 24.800
Demandas por 1.000 h. 97,7 91
216
TERCERA PARTE
Como veremos ms adelante, la unidad bsica de demanda para las Policas
Locales son los servicios que gestionan sus salas de mando. Estos servicios, que
constituyen la parte ms importante aunque no la nica de la actividad policial,
se pueden producir como consecuencia de la llamada de un ciudadano o por pro-
pia iniciativa de los miembros del cuerpo durante su actividad de patrulla.
Los datos para Barcelona se limitan a las llamadas de ciudadanos al tel-
fono especial de la Guardia Urbana. Concretamente, en Barcelona, hubo
166.373 llamadas al 092 en 1989, es decir unas 97.7 llamadas por cada mil
habitantes, mientras que en 1'Hospitalet -que no cuenta con un telfono es-
pecial- el nmero de llamadas por cada mil habitantes se situara en tomo a
las 91 en funcin de datos sobre el nmero total de servicios anuales y de la
proporcin en que stos son generados por llamadas de ciudadanos en el pe-
rodo estudiado.
B. ESTRUCTURA ORGANICA DEL SERVICIO
La GUH se estructura oragnicamente, de acuerdo con el Plan de Servi-
cios de la Guardia Urbana, en tres secciones -Recursos, Apoyo y Demarca-
ciones- que a su vez se componen de departamentos y unidades. El respon-
sable del servicio es el Jefe del Cuerpo, de las secciones lo son los oficiales y
sub-oficiales, de los departamentos, los sargentos y de las unidades, los cabos.
La jerarqua organizativa est, pues, claramente definida mantenindose por
tanto el principio de autoridad que se considera muy importante en la cultura
de los servicios policiales.
El eje fundamental del servicio lo constituye el personal adscrito a la Sec-
cin de Demarcaciones, y a travs de sta a cada uno de los sectores o zonas
en que se divide la geografa municipal durante las 24 horas del da.
Las otras dos secciones cumplen funciones de refuerzo con una diferencia,
mientras que la Seccin de Apoyo se integra plenamente en el flujo de trabajo
de las operaciones policiales, la Seccin de Recursos cumple funciones de so-
porte tcnico.
Concretamente, la Seccin de Apoyo est integrada por tres departamentos
-vigilancia, circulacin y seguridad ciudadana- cuyas actividades se caracte-
rizan por requerir la dedicacin constante y diaria de un determinado nmero de
agentes en unidades que se ocupan de la vigilancia en edificios, parques, y otras
instalaciones municipales, la regulacin del trfico en horas punta en determina-
dos cruces de la ciudad o a la salida de las escuelas, la retirada de vehculos mal
estacionados o abandonados en la va pblica, la confeccin de atestados y dili-
gencias judiciales y la elaboracin de informes tcnicos relativos a accidentes o
la custodia de detenidos en el depsito municipal.
217
Estas y otras actividades, como las de investigacin que desarrolla la
Guardia Urbana en colaboracin con las otros Cuerpos y Fuerzas de Seguri-
dad del Estado, constituyen una parte importante del trabajo policial que han
de cubrir los agentes no adscritos a una demarcacin territorial especfica.
Lo mismo sucede con la Seccin de Recursos. Integrada por cinco departa-
mentos --el gabinete tcnico, los departamentos de personal y formacin, par-
que mvil, material y almacn- cumple funciones de tecnoestructura y de apo-
yo tanto a los agentes de las otras secciones como a la direccin del servicio.
C. OPERACIONES DE PATRULLA Y SECTORES POLICIALES
La organizacin del servicio se fundamenta, sin embargo, en la figura dellPo-
lica de sector. Es por ello, que la actividad de patrulla es la que ocupa el mayor
nmero de agentes y la que consume por tanto una mayor parte del presupuesto.
Los agentes que cumplen funciones de patrulla, al margen de algunas acti-
vidades administrativas o no policiales como las de repostar (comer en el
argot policial) dedican la totalidad de su tiempo a recorrer su sector y a res-
ponder a demandas de servicio especficas que pueden tener su origen tanto en
los propios vecinos a travs de la sala de mando, como en la misma calle por
el hecho de estarse produciendo algun incidente que el mismo agente entiende
no debera producirse.
La filosofa que hay detrs de la poltica de dedicar una parte importante
de los recursos a la actividad de patrulla preventiva es que sta tiene un efecto
disuasorio entre aqullos a quienes podra ocurrrseles transgredir las normas,
mientras que la presencia policial en la calle da un sentimiento de seguridad y
confianza al resto de la poblacin.
Al mismo tiempo, los agentes adscritos a las diferentes unidades operati-
vas sectoriales constituyen un canal directo e inmediato de informacin para
la Administracin municipal sobre no tan slo lo que sucede en la ciudad sino
tambin el estado de sta, en la medida que aqullos tienen la obligacin de
comunicar cualquier desperfecto que se produzca en la va pblica.
De otra parte, la distribucin de la fuerza policial por toda la geografa
municipal supone situar a los agentes en una posicin que permita a la GU
responder con celeridad a las peticiones de servicio all donde se produzcan.
La funcin de respuesta policial consiste, entonces, en investigar el incidente
a raz del cual se ha producido la demanda de intervencin.
En 1'Hospitalet, la unidad bsica de patrulla es el sector. Cada sector policial
tiene asignado ocho agentes que actan bajo la supervisin directa de un cabo.
Por encima del sector, la ciudad se divide en dos zonas. Cada zona se compone
de seis sectores y est supervisada por un sargento. Por ultimo, cada uno de los
218
TERCERA PARTE
tumos -maana, tarde y noche- tiene un jefe que se responsabiliza de la totali-
dad del servicio. Durante la noche, sin embargo, el servicio presenta algunas di-
ferencias ya que todo el personal se distribuye en dos unidades de seis agentes y
un cabo que se ocupan de las dos nicas zonas en que se divide la ciudad.
Desde la perspectiva de distribucin de los efectivos, la cuestin clave es
la de los criterios a partir de los cuales dividir la ciudad en sectores. En 1'Hos-
pitalet, la configuracin de los sectores policiales tiene muy en cuenta los dis-
tritos administrativos y los barrios de la ciudad.
Concretamente, la GUH tiene dividida la ciudad en dos zonas, al norte y
al sur de la va del ferrocarril que atraviesa la ciudad de este a oeste. Dentro
de la zona norte, los distritos municipales V, IV YII comprenden respectiva-
mente los sectores policiales 1 y 2, 3 y 4, Y5 Y6 que se corresponden con los
barrios de Can Serra, Pubilla Cases, Florida, Les Planes, Collblanc y Torrassa.
En la zona sur, el distrito I se divide en tres sectores policiales, el distrito III
en dos y el distrito VI en uno que tambin comprende parte del trmino muni-
cipal por debajo de la Gran Va del distrito III.
Como se puede apreciar en el mapa, los sectores 1 y 3 se corresponden
con el centro de la ciudad y el barrio de Sant Josep, mientras que l' Avinguda
Carrilet hace de frontera entre stos y el segundo sector. Los sectores 4 y 5
quedan bien delimitados por otro ramal de la va del tren y se corresponden
con el barrio de Santa Eulalia mientras que el sector 6 sur coincide con los ba-
rrios de BeIlvitge y Polgono Goma!.
219
As pues, cada distrito municipal se divide en dos sectores policiales, cu-
yas fronteras se corresponden de forma casi perfecta con las de los distritos,
excepto los distritos I y VI que se dividen en tres y un sector respectivamente.
D. RESPONSABILIDAD OPERATIVA: LA SALA DE MANDO
La organizacin del servicio en base a las patrullas por sectores supone otor-
gar la mxima responsabilidad operativa a los jefes de la sala de mando. En este
sentido, el Plan de Servicios de la Guardia Urbana distingue claramente entre la
dependencia orgnica que cada agente tiene respecto de sus superiores jerrqui-
cos, en funcin de la unidad a la que est destinado, y la dependencia funcional
respecto a los mandos responsables cada da de la totalidad del servicio.
Estos son, pues, los encargados de dirigir y coordinar las actividades y las
intervenciones de todo el cuerpo durante su perodo de guardia. Funcin que
cumplen desde las dependencias centrales de la GUH donde se encuentra la
sala de mando y para la que cuentan con un encargado de sala y dos operado-
res de comunicaciones que, en el caso de 1'Hospitalet, son agentes uniforma-
dos del cuerpo de Polica Local.
Desde la perspectiva de la gestin diaria del servicio, la sala de mando
juega un papel central en la medida que centraliza todas las demandas de ser-
vicio que se producen y determina la respuesta policial que merece cada inci-
dente, enviando o no una unidad para que se haga cargo del servicio. Contro-
la, por tanto, la actividad de todos los agentes distribuidos por sectores y
ejerce una influencia considerable a la hora de decidir si las demandas indivi-
duales han de tener una respuesta inmediata, diferida o bien han de ser recon-
ducidas hacia otros servicios municipales.
Serve; de la
Guardia Urbana
11 Nm.
1I Repartidor
~ Ajuntament de
~ U L'Hospitalet de L10bregat
TARGETA operador
D'AVIS
Nom del demandant
ITeleton
I DATA
ICAUSA
ICodi
O INFRACCI O ACCIDENT O 1. PERILLOSA O 3.IMPORTANT
I REBUDA I O INCIDENT
O INFORMACI O 2. URGENT O 4. RUTINA
Vehicle
ISECTOR
LLOC
ITRANSMESA
lo
ORIGEN ACTUACI DEL SERVEI
Teleton
O Atestat O
Efectuar detencions
No intervenci nombre ..........................
IARRIBADA AL LLOC
~
Local Servei
O Informe O Falsa Alarma
O Codi Penal O OOMM
Policia en patrulla
O Codi Circul. O Altres
IRETORN
~
Altres policies Trasllat fents O POLlCIA
Informacin especial al dors:
O SI
Sistema d'alarma nombre................. O PARTICULARS O NO

220
TERCERA PARTE
La forma como opera la sala de mando es la siguiente: el servicio es activado
como consecuencia de una llamada individual de un particular o de una comunica-
cin de una unidad operativa desde su sector. Al responder a cada demanda, los
operadores de la sala de mando abren una ficha como la que reproducimos donde
recogen algunos datos bsicos en relacin a los hechos que han motivado la comu-
nicacin y, o bien envan a la unidad disponible que se encuentra ms cerca de los
~ o s o bien autorizan a la unidad que ha iniciado la comunicacin para que inter-
venga con lo cual aquella unidad deja de estar disponible para otros servicios.
a. Informacin sobre Servicios Individuales
La calidad de la informacin que se recoge en las fichas sobre cada uno de
los servicios es variada y depende, en buena medida, del agente de tumo y del
volumen de trabajo al que tena que hacer frente en el momento de recibir la
comunicacin.
De forma general, las fichas contienen informacin sobre los siguientes
puntos:
1. El demandante, su direccin y telfono, salvo en los casos en que no
quiere identificarse. Cuando la demanda parte de los mismos agentes
en patrulla, stos se identifican por su propio cdigo que refleja el sec-
tor y si se trata de una patrulla que se desplaza a pie o en vehculo y
qu tipo de vehculo (vespa, motocicleta, turismo, furgoneta, gra o
todo terreno).
El operador indica el origen de la demanda en el recuadro previsto pa-
ra este tipo de informacin que tambin contempla la posibilidad que
sea otro servicio local, otra polica o una alarma conectada con la sala
de mando los que generen la demanda. .
2. La causa o problema en que se basa la demanda y el lugar donde se re-
quiere la presencia de la Polica. En funcin de esta informacin, el
operador clasifica los hechos como una infraccin, accidente, inciden-
te (categora donde se incluyen hechos de naturaleza muy diversa) o
demanda de informacin, y asigna una prioridad que puede ir de 1
(prioridad mxima) a 4 (prioridad mnima).
3. La patrulla a la que se reparte el servicio. A menudo, se utiliza el dor-
so de la ficha para completar la descripcin de los hechos e indicar de
forma sumaria cul ha sido la actuacin policial. No se rellena casi
nunca, sin embargo, el recuadro previsto para recoger la informacin
sobre este ltimo aspecto. Esta prctica impide determinar con exacti-
tud el nmero de casos en que no hay intervencin y supone perder
221
informacin sobre aspectos puntuales, en la medida que los operado-
res no siempre disponen de tiempo suficiente para hacer una narracin
detallada del servicio en el dorso de la ficha.
4. Las horas en que a) se ha recibido la demanda, b) se ha enviado a una
patrulla para que se hiciera cargo del servicio, c) aqulla ha llegado al
lugar indicado y d) ha devuelto la comunicacin informando que el
servicio se haba cumplido.
Casi la totalidad de las fichas recogen informacin sobre los tiempos de re-
cepcin, transmisin, llegada al lugar de los hechos y retomo. En algunos casos,
faltan datos sobre el tiempo de llegada al lugar indicado y retomo. Tambin he-
mos notado que los operadores tienden a escribir la misma hora para los dos pri-
meros tiempos, lo que implicara que siempre existe disponibilidad para atender
un nuevo servicio, y de forma general, no diferencian entre los tres primeros
tiempos cuando el servicio tiene su origen en una patrulla de la misma GUH
que se encuentra ya en el lugar donde se ha producido el incidente.
La informacin recogida en las fichas individuales es utilizada en la GUH,
diariamente, por los jefes de la sala de mando, para elaborar el comunicado de
novedades ocurridas durante su tumo y anualmente, por el Gabinete Tcnico,
para redactar la Memoria del cuerpo.
b. Memoria Anual de Actividades
La realizacin de la Memoria a partir del ao 1989 supone un importante
esfuerzo por presentar informacin agregada sobre la situacin de la GUH y
sobre su actividad a los responsables polticos de la Administracin municipal
y en general a la ciudad de 1'Hospitalet y es claramente indicativa de la volun-
tad del inspector-jefe de utilizar los datos recogidos diariamente para la plani-
ficacin del servicio.
Ms especficamente, la Memoria incluye una descripcin detallada de la
plantilla de la GUH y algunas medidas de inputs como, por ejemplo, el nme-
ro de das y horas trabajados, el nmero de vehculos, kilmetros recorridos y
litros de combustible consumidos. Desde la perspectiva de los outputs, la Me-
moria hace un resumen cuantificado de los servicios prestados por todo el
cuerpo en materia de circulacin, seguridad ciudadana, polica administrativa,
asistencia al ciudadano, administracin y formacin interna. Para cada una de
estas materias o reas, la Memoria incluye medidas agregadas como por ejem-
plo, el nmero de denuncias impuestas por infracciones de trfico, el nmero
de detenidos y arrestados en el depsito municipal o el nmero de documentos
administrativos de diversas clases procesados.
222
TERCERA PARTE
5. FUENTES DE DATOS
El anlisis que se presenta a continuacin depende principalmente de los
datos contenidos en las fichas de servicio de la GUH. Dado que estas fichas
no son archivadas en ninguna forma que permita su lectura rpida a travs de
medios informticos, cualquier tipo de anlisis requiere su revisin individua-
lizada y manual.
La GUH genera alrededor de 40.000 fichas de servicios cada ao, por lo
que era preciso seleccionar una muestra de stas.
Ante la imposibilidad prctica de trabajar con una seleccin aleatoria, se
opt por recoger los datos correspondientes a 30 das seguidos del mes de
abril de 1989. Este procedimiento de seleccin de los casos tiene precedentes
en la literatura sobre medida de servicios urbanos y se justifica por el elevado
nmero de observaciones finalmente incluidas en el anlisis (82).
De la totalidad de servicios correspondientes al mes de abril, se excluye-
ron los que se reducan a una comunicacin telefnica o por radio entre po-
licas o con un particular que solicitara informacin sobre una cuestin pun-
tual como un telfono o una direccin. Como ejemplos de los primeros,
podemos sealar la comunicacin de desperfectos en la va pblica para dar
despus aviso a las empresas de servicios o la transmisin desde la sala de
mando a todas las unidades operativas de la descripcin de los autores mate-
riales de un robo del que haba tenido conocimiento en primera instancia la
Polica Nacional, cuando a esta transmisin no la sigue una actuacin con-
creta. Tampoco se incluyeron las comprobaciones de matrculas de vehcu-
los en los ordenadores centrales de la Polica Local, las identificaciones de
individuos o los traslados rutinarios de detenidos, documentos y otros mate-
riales. Finalmente, tambin fueron excluidas las actuaciones de la gra mu-
nicipal dado que generalmente stas se producen despus que un agente se
ha desplazado al lugar donde se ha producido la infraccin (generalmente de
estacionamiento) y este servicio ya queda incluido en la categora de inci-
dentes relacionados con el trfico.
Los 2385 casos estudiados fueron agrupados en 12 categoras. Este pro-
ceso no estuvo exento de problemas dada la variedad de incidentes en que
interviene la Polica Local, y la ambigedad de algunos casos que, en fun-
cin de interpretaciones diversas, podran ser clasificados en categoras di-
ferentes.
(82) Vid. Maxfield (1985: 123). En su estudio sobre San Francisco coge un perodo de seis semanas.
Mladenka y Hill (1978: 119) utilizan un procedimiento de muestreo sistemtico que consiste en escoger el
primer servicio aleatoriamente y a partir de aqu uno de cada diez, para nueve das completos distribuidos
en un perodo de dos meses.
223
Para cada caso se recogieron los datos relativos a:
a) la hora del da en que se haba producido la demanda,
b) el origen de sta, reduciendo las posibilidades a tres: la propia
GUH en patrulla, una llamada externa o una comunicacin de otras
policas.
c) la prioridad asignada por la sala de mando.
Adems, en funcin de la direccin de cada servicio se localiz el distrito
municipal, que se utiliza como unidad de anlisis en perjuicio de los sectores
policiales dado que los datos socio-demogrficos del censo slo se presentan
agregados por distritos. A nivel de distrito, pues, se utilizan las siguientes va-
riables censales: densidad de poblacin, porcentaje de poblacin que est tra-
bajando, porcentaje de poblacin con estudios superiores a segunda etapa de
EGB y porcentaje de poblacin nacida en Catalua.
A partir de los datos relativos a las horas de recepcin (ti), transmisin
(t
2
), llegada al lugar (t
3
) y retomo (t
4
) de cada servicio, se calcularon los si-
guientes tiempos para cada caso:
l. Tiempo de repuesta (t
2
- tI)
Intervalo de tiempo entre que se recibe la comunicacin de un inci-
dente y el servicio correspondiente es repartido a una unidad operativa
o, en su caso, se le da confirmacin para que se ocupe de l.
2. Tiempo de servicio (t
4
- t
2
)
Tiempo que pasa una patrulla en un servicio especfico, incluido el
tiempo de viaje o desplazamiento.
Finalmente, para acabar este apartado sobre las fuentes de datos en que se
basa este estudio, es preciso aadir que tambin se entrevistaron algunos
agentes de la GUH en diversas ocasiones, con el propsito de recoger infor-
macin sobre la distribucin de los efectivos y sobre la forma como opera la
sala de mando en su funcin de direccin y coordinacin de todas las activida-
des del cuerpo.
6. ANALISIS DE LA DEMANDA DE SERVICIOS POLICIALES
Como primer elemento de la evaluacin de los servicios de Polica Local
en L'Hospitalet se analiza en este apartado la frecuencia de diferentes tipos de
incidentes en la forma que son interpretados por los operadores de la sala de
mando y recogidos en las fichas de servicio.
224
TERCERA PARTE
Al analizar la distribucin de los incidentes como indicadores de la de-
manda efectiva que experimenta la Polica Local se obtiene una imagen ms
precisa de la realidad de la funcin policial. Este tipo de informacin puede
ayudar a los administradores policiales a formular la misin de sus organiza-
ciones y a definir mejor las tareas que han de cumplir los agentes del cuerpo.
Adems, con este tipo de informacin, los programas de formacin podrn ser
diseados de forma que se ajusten mejor a las necesidades de los agentes en el
desarollo de sus funciones.
El anlisis de la demanda es igualmente importante porque la funcin de
patrulla preventiva y respuesta activa responde en buena parte a lo que Levy,
Meltsner y Wildavsky (1974:244-245) llaman reglas de decisin de Adam
Smith. Esto es, normalmente, la movilizacin de la Polica se produce como
reaccin a la llamada de un particular.
Como muestra la Tabla 2, en el caso que nos ocupa y. durante el perodo
estudiado, los agentes de las unidades operativas de la Polica Local de L'Hos-
pitalet fueron despachados en un 62% de los casos como consecuencia de las
demandas directas de ciudadanos. Estas son, pues, mayoritariamente reponsa-
bIes de la movilizacin de los agentes. Estos, por su parte, iniciaron un total
de 847 servicios, lo que representa algo ms de un tercio del total. Otras poli-
cas, concretamente la Polica Nacional, movilizaron a la Local en el resto de
las ocasiones (un 2.5% de los casos) generalmente por tratarse de asuntos que
consideraban que no eran de su competencia o porque simplemente no tenan
capacidad suficiente para dar una respuesta efectiva (83).
Tabla 2: Origen de las demandas de servicios
%
Origen Fre. % Acum.
PATRULLAGU 847 35,5 35,5
TELEFONO 1479 62 97,5
OTRAS POLICIAS 59 2,5 100
TOTAL 2.385 100
(83) Dentro del captulo de curiosidades, cabe incluir un servicio que sistemticamente pide la
Polica Nacional a la Local y que consiste en el envo de agentes femeninas para proceder al cacheo de
detenidas.
225
Algunos trabajos de investigacin de las operaciones policiales han mos-
trado que las demandas que recibe la Polica siguen una distribucin de Pois-
son. Esto significa que el volumen de servicios requeridos guarda una cierta
periodicidad (84).
Pero, de alguna forma, el principal problema que plantea la gestin de un
servicio en que tan slo en una minora de los casos la accin es iniciada por
la misma Polica, es predecir (1) dnde y cundo se producirn distintos nive-
les de demanda (tema al que nos referimos en el apartado siguiente) y (2) qu
tipo de servicio ser preciso, dada la dificultad adicional que supone la diver-
sidad de demandas que recaen sobre la Polica Local.
Las columnas primera y segunda de la Tabla nmero 3 muestran la fre-
cuencia y distribucin porcentual de la demanda global en funcin de las 12
categoras de incidentes en que se ha organizado este estudio. Los tiempos
consumidos en la atencin de estos incidentes, desde el momento en que un
agente recibe el encargo hasta que devuelve la comunicacin informando que
el servicio se da por acabado y su distribucin porcentual se recogen en las
columnas tercera y cuarta de esta misma Tabla.
Dado que no se dispona de informacin sobre los tiempos de servicio pa-
ra la totalidad de los casos, y que como hemos indicado anteriormente, se ex- .
cluyeron algunos incidentes del anlisis, las cifras absolutas tanto de casos co-
mo de minutos dedicados a responder a las demandas individuales, han de
tomarse con algunas reservas.
A. TRAFICO Y ACCIDENTES DE CIRCULACION
La primera categora incluye aquellos incidentes relacionados con el trfi-
co. Las demandas ms frecuentes dentro de este captulo son las que tienen
(84) As, por ejemplo, en L'Hospitalet, se produce una media mensual de 47 accidentes durante el tur-
no de noche (de 22 a 6 horas). Dado que estos sucesos son independientes, la media para un perodo de 8
horas nocturno es de 1.5%. La distribucin de Poisson nos da para esta frecuencia de accidentes, las si-
guientes probabilidades:
226
Nmero accidentes
(22 h. a 6 h.)
O
1
2
3
4
5
6
7
8
9
Probabilidad
0,2231
0,3347
0,2510
0,1255
0,0471
0,0141
0,0035
0,0008
0,0001
0,0000
TERCERA PARTE
que ver con el estacionamiento indebido de vehculos en vados, doble fila, so-
bre las aceras o dificultando el paso de transportes pblicos y vehculos de ter-
cera categora. Tambin se incluyen en esta categora los relacionados con el
abandono de vehculos en la va pblica. Este grupo, solamente, representa el
47% de los casos y el 49.9% del tiempo total consumido por los agentes de las
unidades sectoriales.
Tabla 3: Frecuencia y distribucin de los servicios por categoras de
incidentes
Tiempo *
Tipos de incidentes Fre. % de Servicio %
TRAFICO 1120 47 27.227 49,9
ACCIDENTES 185 7,8 4.288 7,9
ALARMA 90 3,8 1.513 2,8
PERSONA NECESITADA 202 8,5 3.831 7
RELAC. CON DROGAS 23 1 337 0,6
MOLESTIAS Y DISPUTAS 283 11,9 4.959 9,1
RECUPERACION VEHIC. 74 3,1 1.811 3,3
DEL. CONTRA PROPIEDAD 90 3,8 2.382 4,4
DEL. CONTRA PERSONAS 53 2,2 1.275 2,3
DEL. SEXUAL 9 0,4 144 0,3
INFRACCION ADM. 35 1,5 880 1,6
OTROS 221 9,3 5.919 10,8
TOTAL 2.385 100 54.566 100
* Datos de tiempo de servicio (en minutos) sobre 2.309 casos.
En el perodo estudiado, se produjeron una media de 6.1 accidentes por
da. Esta categora representa el 7.8% de la demanda global y ocup igual-
mente un 7.9% del tiempo de servicio.
Ello supone que las patrullas sectoriales de la Polica Local de L'Hospita-
let dedican ms de la mitad de su tiempo a incidentes relacionados con el tr-
fico, sean stos debidos a infracciones, vehculos abandonados o accidentes en
el casco urbano.
227
B. SERVICIOS SOCIALES
A las categoras de Trfico y Accidentes siguen en importancia las de
Molestias y Disputas, Otros y Personas necesitadas.
La categora de Molestias y Disputas incluye intervenciones por razn
de ruidos, actos de gamberrismo y disputas familiares o entre vecinos.
Otros es una categora residual en la que se incluyen un conjunto am-
plio de incidentes que podramos resumir con la expresin cuando no sepa
qu hacer, llame a la GU e incluye desde casos de escapes de agua y gas y
pequeos incendios hasta abrir un vehculo con las llaves puestas o guiar a un
camionero extranjero hasta la salida de la ciudad, pasando por todos los rela-
cionados con animales, perros, gatos y hasta serpientes en la va pblica.
La categora de Personas necesitadas incluye los servicios de asistencia
a personas con las facultades mentales perturbadas, indigentes, enfermos, dro-
gadictos en situacin crtica o alcohlicos.
Estas tres categoras representan una importante funcin de la Polica Lo-
cal que consiste en la asistencia a personas con problemas especficos y en la
mediacin en conflictos privados. Agrupadas representan casi el 29.7% de los
casos estudiados y el 26.9% del tiempo empleado en la atencin de los servi-
cios demandados.
C. DELITOS Y FALTAS
La Tabla 3 presenta igualmente informacin sobre incidentes interpretados
inicialmente como posibles delitos o faltas.
La categora de Alarma incluye los casos en que la GU es alertada por
una alarma que se dispara o porque se ha producido una amenaza de bomba.
Este grupo representa el 3.8% de los casos y requiri el 2.8% del tiempo de
servicio. La mayora de las alarmas son falsas, lo que contribuye a percibir la
Polica Local como una Polica que ocupa la mayor parte de su tiempo en pro-
blemas que no son de naturaleza criminal.
El mismo porcentaje de casos (3.8) y un porcentaje superior en tiempo de
servicio (4.4) obtiene el grupo de servicios por Delitos contra la Propiedad.
En esta categora se incluyen casos de hurto o robo de vehculos (ciclomoto-
res, motocicletas y turismos) por una parte, y hurto o robo en viviendas o co-
mercios. En este ltimo caso, puede tratarse de robos con dao en las cosas o
pequeos hurtos de productos expuestos al pblico.
Se ha incluido en una categora aparte las actuaciones policiales tendentes
a la recuperacin de vehculos de hurto ya sea por propia iniciativa de la
Polica o a raz del aviso de un particular. El servicio consiste, en este caso, en
228
TERCERA PARTE
el desplazamiento hasta el lugar donde se encuentra el vehculo y en la identi-
ficacin de sus titulares. Si efectivamente se trata de un vehculo de hurto, la
gra procede posteriormente a su depsito. En el perodo estudiado se produ-
jeron una media de 2.4 recuperaciones por da. Esta categora representa el
3.1% de los casos y ocup un 3.3% del tiempo de servicio.
Menos frecuentes fueron las demandas a la Polica Local por razn de
Delitos contra las Personas (2.2% de los casos y 2.3% del tiempo consumi-
do). En esta categora se incluyen algunos casos de robo con intimidacin o
con fuerza en las personas, pero mayoritariamente supuestos en que un parti-
cular pide auxilio a la Polica ante lo que considera una probable amenaza pa-
ra su persona o sus bienes. En muchos casos se trata simplemente de sospe-
chas infundadas. Una respuesta policial rpida es, sin embargo, sumamente
importante para la persona que cree encontrarse en situacin de riesgo.
Se ha incluido en categoras aparte los incidentes relacionados con drogas y
las ofensas de naturaleza sexual. Los primeros se refieren a aquellos supuestos
en que una patrulla es requerida para que investigue a una persona o grupo de
personas consumiendo algun tipo de estupefacientes. Su clasificacin presenta
algunas dificultades ya que la naturaleza de la intervencin es distinta cuando se
trata de una persona que requiere asistencia mdica o cuando se trata de una
persona o grupo de personas que aparecen a los ojos del denunciante como sos-
pechosos de una conducta delictiva. En este ltimo caso, ya que el primero que-
da incluido en la categora de persona necesitada, la mayor parte de los servicios
no conducen a la detencin de los sospechosos sin ms bien a su dispersin. La
frecuencia y el tiempo consumido en este tipo de incidentes representan el 1 y el
0.6% respectivamente de la demanda y tiempo de servicio totales.
Las ofensas de naturaleza sexual sobre las que tuvo conocimiento la Poli-
ca Local en el perodo estudiado representan el 0.4% de los casos y el 0.3%
del tiempo empleado en los servicios. En esta categora se incluyen bsica-
mente supuestos de escndalo pblico (generalmente por exhibicionismo),
adems de algunos casos de abusos.
El conjunto de incidentes inicialmente interpretados como posibles delitos
representa el 14.3% de los casos estudiados yel 13.7% del tiempo consumido
en atender aqullos. Ello supone que, si bien la Polica Local cumple una im-
portante funcin de investigacin y resolucin de delitos, sta es slo una par-
te ms bien reducida de su actividad y en la que adems aparece como incluso
ms significativa la asistencia directa a las vctimas.
D. POLICIA ADMINISTRATIVA
La categora de infracciones administrtivas incluye aquellos servicios que
se producen como consecuencia de la violacin de las ordenanzas municipales.
229
Las demandas ms frecuentes dentro de este captulo son las que se producen
por razn de la venta ambulante de productos, obras en viviendas particulares
e instalacin de veladores en la va pblica sin el correspondiente permiso.
Este tipo de problemas da cuenta de un 1.5% de la demanda global y del 1.6%
del tiempo empleado en atender aqulla.
En resumen, el anlisis de las demandas y servicios que experimenta la
GUH y del tiempo empleado en atender aqullas revela una nueva perspec-
tiva en la forma de concebir la actividad de las Policas locales. Como pone
de relieve la Tabla 3, lo que se requiere de la Polica Local es un servicio
que est las 24 horas del da dispuesto a prestar todo tipo de asistencia y
ayuda a personas con problemas muy concretos, ya sea por el estanciona-
miento indebido de un vehculo ante la puerta de su garaje, por la enferme-
dad sobrevenida de un familiar o por la necesidad de rescatar un gato. La
funcin de servicio de emergencia, es pues la dominante por lo que respec-
ta a la faceta de respuesta activa a las demandas originadas en la comuni-
dad local.
Adems de esta funcin de servicio, la Polica Local cumple una funcin
de proteccin y mantenimiento del orden principalmente a travs de la activi-
dad de patrulla preventiva por toda la geografa municipal, y tambin, como
se ha puesto de relieve, mediando en disputas familiares o entre vecinos, dis-
persando grupos de individuos de aparencia sospechosa o colaborando en la
detencin de los autores materiales de faltas y delitos.
Ambas funciones deben ser por tanto consideradas en los programas de
formacin para que stos respondan a las necesidades reales del trabajo de Po-
lica Local. De alguna forma, la imagen de este trabajo, tradicionalmente aso-
ciada al agente diestro en el empleo de armas de fuego y dispuesto a ejercer la
autoridad que le ha sido conferida debe ser sustituida por la de un colectivo de
profesionales expertos en tratar problemas humanos, cuya solucin, a menu-
do, no est en sus manos.
E. DISTRIBUCION DE LAS DEMANDAS EN EL ESPACIO Y EN EL
TIEMPO
Los datos recogidos por los operadores de la sala de mando en las fichas
de servicios pueden ser analizados de distintas maneras para obtener medidas
tanto de demanda como de eficacia en la prestacin del servicio. En cuanto a
la demanda, el mayor inters reside, como se ha venido haciendo, en analizar
los casos por categoras de incidentes. Cabe, sin embargo, analizar la distribu-
cin de las deIJ:landas por sector policial o distrito municipal, y por tumos o
incluso horas del da.
230
TERCERA PARTE
Distintas posibilidades de anlisis de estas variables se traducen en otras
tantas fonnas de presentar infonnacin sobre el servicio que podran ser de
utilidad para la gestin del servicio.
Tabla 4: Demandas por distritos
TIPO DE INCIDENTE DISTRITO Fila
2 3 4 5 6 Total
215 321 125 180 201 78 1.120
INFRACCION 47,0
TRAFICO
2 54 29 32 18 18 34 185
ACCIDENTE 7,8
3 24 6 26 8 8 18 90
ALARMA 3,8
4 43 36 37 28 27 31 202
PERSONA 8,5
NECESITADA
5 1,0 3 3 8 8 23
REL CON DROGAS
6 55 52 43 45 36 52 283
MOLESTIAS 11,9
Y DISPUTAS
7 13 7 15 8 7 24 74
RECUPERACION 3,1
VEHICULOS
8 26 14 9 10 18 13 90
DEL. CONTRA 3,8
PROPIEDAD
9 16 11 8 2 11 5 53
DEL. CONTRA P 2,2
PERSONAS
10 60 42 33 27 17 42 221
OTROS 9,3
11 7 9 3 8 7 35
INFRACCION ADM. 1,5
12 2 2 3 9
DEL. SEXUAL ,4
Columna 515 532 333 338 352 315 2385
Total 21,6 22,3 14,0 14,2 14,8 13,2 100,0
231
La Tabla 4 muestra un resumen de las demandas para los seis distritos
por categoras de incidentes. Las filas presentan informacin sobre la fre-
cuencia de diferentes tipos de problemas en los seis distritos, mientras que
las columnas muestran la frecuencia de cada una de las categoras para un
mismo distrito.
Tabla 5: Distribucin de la demanda global por hora del da y distrito
HORA DEL DIA DISTRITO Fila
1 2 3 4 5 6 Total
1 19 14 9 16 14 9 81
2 17 9 9 10 4 7 56
3 16 12 9 4 6 6 53
4 12 7 5 4 7 4 39
5 5 10 3 7 4 2 31
6 6 7 8 5 3 3 32
7 14 8 7 10 6 15 60
8 18 23 12 20 20 10 103
9 28 40 19 25 27 18 157
10 21 31 17 9 10 11 99
11 31 27 19 23 20 16 136
12 28 31 23 19 26 26 153
13 20 23 16 18 12 23 112
14 27 30 16 13 21 16 123
15 18 22 15 20 11 12 98
16 22 25 14 23 17 17 118
17 29 28 18 10 13 15 113
18 29 23 18 18 16 18 122
19 17 27 15 11 20 23 113
20 37 50 29 23 21 21 181
21 34 38 16 13 24 15 140
22 21 20 16 12 12 12 93
23 23 10 10 10 20 11 84
24 23 17 10 15 18 5 88
Columna 515 532 333 338 352 315 2385
Total 21,6 22,3 14,0 14,2 14,8 13,2 100,0
232
TERCERA PARTE
Un informe de este tipo puede ser til para la gestin del servicio en la
medida que permite determinar de forma inmediata aquellos distritos con ni-
veles superiores de un determinado tipo de incidente. As, por ejemplo, existe
un nmero superior de alarmas en los distritos I y III, Yparece claro que don-
de suelen aparecer los vehculos de hurto es en el distrito VI.
Un informe de carcter anual en el que se agregaran los resmenes men-
suales podra ser til a la administracin municipal para determinar las reas
donde se producen con mayor frecuencia, por ejemplo, emergencias mdicas
o agresiones sexuales, lo que facilitara decisiones sobre la localizacin de
servicios de apoyo no estrictamente policiales.
La Tabla 5 utiliza el mismo formato para presentar un resumen de las de-
mandas para los seis distritos por horas del da. La misma informacin presen-
tada por tumos, quiz an facilitara ms la redistribucin de los agentes de un
mismo tumo en funcin de los distritos o sectores con mayor volumen de de-
mandas.
Finalmente, las Tablas 6 y 7 resumen los tiempos medios de respuesta y
de servicio para cada distrito por categoras de incidentes. Este tipo de infor-
macin puede ser til a los administradores policiales para determinar si se
producen retrasos sistemticos en la distribucin de los servicios por categor-
as de incidentes y distritos o para identificar aquellos servicios que consumen
tiempos poco usuales. As, por ejemplo, si un agente del distrito VI pasa me-
dia hora diaria en emergencias mdicas, ello es indicativo de la necesidad de
un servicio de ambulancia en la zona.
Tabla 6: Tiempo de respuesta por distrito y por tipo de demanda
DISTRITO TIPO DE INCIDENTE TIEMPO DE RESPUESTA
Media Desv. Sto Casos
Para toda la poblacin 5,8709 27,2524 2332
INFRACCION TRAFICO 9,6124 37,8377 1099
1 5,1557 15,8557 212
2 12,1821 61,3042 313
3 6,6774 17,3348 124
4 10,2528 22,3773 178
5 12,2424 29,2216 198
6 7,8514 24,4286 74
233
Media Desv. St. Casos
ACCIDENTE 1,2260 5,9739 177
1 1,2260 5,9739 52
2 ,8571 2,5490 28
3 ,3125 ,7378 32
4 ,1250 ,3416 16
5 ,1875 ,5439 16
6 2,8788 9,9240 33
ALARMA 2,7386 8,4846 88
1 3,2500 8,2475 24
2 3,1667 7,7567 6
3 2,5600 10,3685 25
4 ,7500 1,7525 8
5 ,2500 ,7071 8
6 4,2353 10,2013 17
PERSONA NECESITADA ,6850 2,5960 200
1 ,18601 ,9324 43
2 ,3056 ,9804 36
3 1,5135 5,2895 37
4 1,4074 2,5908 27
5 ,4444 ,5774 27
6 ,4000 ,8550 30
REL. CON DROGAS 2,4545 8,7163 22
2 14,0000 23,3880 3
3 ,0000 ,0000 1
4 ,0000 ,0000 3
5 ,5714 ,7868 7
6 1,0000 2,1381 8
MOLESTIAS Y DISPUTAS 2,9823 8,1797 282
1 2,9823 8,1797 282
2 4,4423 11,5324 52
3 3,8095 10,1842 42
4 1,6889 3,6044 45
5 2,6389 7,0230 36
6 2,3462 6,7964 52
234
TERCERA PARTE
Media Desv. Sto Casos
RECUPERACION DE 4,5753 10,1419 73
1 VEHICULOS 9,4167 18,8219 12
2 3,4286 8,6382 7
3 4,4667 7,7724 15
4 2,7500 4,9785 8
5 2,7143 4,2314 7
6 3,7083 8,2750 24
DEL. CONTRA LA ,4815 1,1738 81
1 PROPIEDAD ,7500 1,5108 24
2 ,4615 ,9674 13
3 ,0000 ,0000 8
4 ,6667 1,6583 9
5 ,2143 ,8018 14
6 ,4615 ,9674 13
DEL. CONTRA LAS ,5098 ,9246 51
1 PERSONAS ,6000 1,2984 15
2 ,6000 ,8433 10
3 ,6250 ,9161 8
4 ,0000 ,0000 2
5 ,2727 ,4671 11
6 ,6000 ,8944 5
OTROS 4,7064 18,7552 218
1 2,4833 4,4626 60
2 8,2195 30,1086 41
3 2,6364 5,6944 33
4 4,5000 8,1449 26
5 9,9375 38,1601 16
6 4,2143 17,7812 42
INFRACCION ADM. 5,8235 16,1010 34
1 1,8571 2,3401 7
2 1,6667 1,4142 9
3 32,0000 51,1566 3
4 4,3750 5,6805 8
5 ,0000 ,0000 1
6 6,5000 11,5888 6
235
1
2
4
6
DEL. SEXUAL 2,0000
1,0000
6,0000
,0000
,0000
4,0415
1,41421
7,0711
,0000
,0000
7
2
2
1
2
Total Casos = 2385
Casos Perdidos = 53 2,2%
Tabla 7: Tiempo de servicio por distrito y por tipo de demanda
DISTRITO TIPO DE INCIDENTE TIEMPO DE SERVICIO
Para toda la poblacin 23,6319 29,5963 2309
INFRACCION TRAFICO 25,1172 36,0851 1084
1 23,4714 26,2560 210
2 29,7194 56,5780 310
3 21,2314 16,7540 121
4 22,1503 19,2390 173
5 23,2835 22,3003 194
6 28,5132 30,9108 76
ACCIDENTE 24,2260 16,3938 177
1 23,3019 16,1359 53
2 23,7778 15,0495 27
3 23,5000 14,1467 32
4 24,8750 17,1187 16
5 28,5000 20,3011 16
6 24,3939 18,3063 33
236
TERCERA PARTE
ALARMA 17,1932 21,3519 88
1 13,5417 20,2011 24
2 19,0000 14,0855 6
3 22,2400 29,4636 25
4 17,6250 23,0089 8
'5 14,8750 9,5385 8
6 15,1765 13,7352 17
PERSONA NECESITADA 19,1550 22,3026 200
1 21,0930 26,7660 43
2 13,2778 8,2760 36
3 20,8378 20,2848 37
4 18,8889 30,8998 27
5 13,9259 11,3914 27
6 26,3000 26,0664 30
REL. CON DROGAS 14,6522 7,0621 23
2 16,3333 2,0817 3
3 12,0000 ,0000 1
4 19,3333 9,0185 3
5 14,1250 9,2341 8
6 13,1250 5,6930 8
MOLESTIAS Y DISPUTAS 17,9025 17,4479 277
1 18,7170 17,8674 53
2 18,6346 11,9164 52
3 18,2195 16,9949 51
4 17,7111 11,8084 45
5 15,9722 11,4130 36
6 17,5800 27,7467 50
RECUPERACION DE 24,8082 19,0945 73
1 VEHICULOS 25,1667 21,0014 12
2 20,2857 11,1761 7
3 28,0000 32,7436 15
4 22,7500 12,0683 8
5 20,0000 9,2014 7
6 26,0417 12,4812 24
237
DEL. CONTRA LA 30,1519 28,7550 79
1 PROPIEDAD 33,0833 34,0969 24
2 31,0769 28,8486 13
3 32,1250 21,7810 8
4 25,0000 34,5760 9
5 33,4286 30,5456 14
6 21,2727 11,1722 11
DEL. CONTRA LAS 26,5625 30,1957 48
1 PERSONAS 36,0714 48,1448 14
2 34,2222 27,1697 9
3 16,8571 8,3552 7
4 19,0000 4,2426 2
5 22,0909 15,0363 11
6 12,6000 9,4234 5
OTROS 27,1514 27,6572 218
1 28,8333 24,0981 60
2 33,3415 36,9937 41
3 20,0303 10,8555 33
4 19,5556 13,7207 27
5 30,3529 37,3630 17
6 27,9250 32,3494 40
INFRACCION ADM. 25,8824 18,9365 34
1 16,7143 10,1278 7
2 22,6667 14,5602 9
3 37,333 27,3191 3
4 24,3750 16,3440 8
5 50,0000 ,0000 1
6 33,6667 28,7100 6
DEL. SEXUAL 18,0000 11,4518 8
1 33,5000 10,6066 2
2 14,5000 2,1213 2
4 20,0000 ,0000 li
6 9,3333 5,7735 3
Total Casos =2385
Casos Perdidos =76 3,2%
238
TERCERA PARTE
7. EVALUACION DE LA DISTRIBUCION DE LOS AGENTES
Como ha puesto de relieve el repaso de la literatura, todps los mtodos ob-
jetivos de distribucin de los recursos tienen en cuenta la demanda de servi-
cios a lo largo del da y en diferentes zonas de la ciudad. Adems, desde que
Wilson desarollara su frmula, normalmente asignan distintos pesos a diferen-
tes categoras de incidentes en funcin de la gravedad que los administradores
policiales les otorgan. Para no entrar en la discusin de los criterios en funcin
de los cuales otorgar distintos pesos a diferentes categoras de incidentes en
los que interviene la GUH, se analiza en este apartado la distribucin de los
recursos a partir, una vez ms, de la frecuencia de incidentes y del tiempo
consumido en la prestacin de los servicios requeridos.
Esta ltima medida presenta algunas limitaciones en la medida que la
celeridad con que comunican la terminacin de un servicio las unidades
operativas de distintos sectores o de distintos turnos puede no ser la misma.
Podra ocurrir, por ejemplo, que durante la noche, dado que la demanda de
servicios es menor, los agentes adoptaran una actitud ms relajada en rela-
cin con el retomo de las comunicaciones despus de cumplir un determina-
do servicio.
Por otra parte, solamente se tiene en cuenta el trabajo policial en su fa-
ceta de respuesta activa, mientras que los administradores policiales podr-
an considerar que, por ejemplo, el carcter ms conflictivo de un distrito
justifica una mayor presencia preventiva policial aunque en realidad el n-
mero de incidentes sobre los que llega a tener conocimiento la Polica sea
menor.
En cualquier caso, la medida del tiempo de servicio aparece como un cri-
terio ms seguro que el de distribuir de forma un tanto arbitraria pesos a dis-
tintas categoras de incidentes, y las consideraciones de tipo ms cualitativo
tienen razn de ser a posteriori como elemento corrector de la distribucin que
sobre el papel aparezca como ptima.
A. POR TURNOS
Las unidades operativas de la GUH se organizan en tres tumos de 8 horas
que operan de acuerdo con los horarios y efectivos que se especifican a conti-
nuacin.
Tumo de la maana, de 6 horas a 14 horas (12 sectores)
- 1 sargento
-6cabos
-47 agentes
239
Tumo de la tarde, de 14 horas a 22 horas (12 sectores)
- 1 sargento
- 6 cabos
-48 agentes
Tumo de la noche, de 22 horas a 6 horas (2 zonas)
- 1 sargento
- 2 cabos
- 12 agentes
Del anlisis de las demandas que experimenta cada tumo y del tiempo de
servicio empleado en atender aqullas se puede determinar que los agentes de
los tumos de la maana y de la tarde tienen una carga de trabajo muy similar,
mientras que los de la noche tienen una carga sensiblemente superior a la de
sus compaeros de los tumos de da.
Tabla 8: de agentes y servicios por tumos
% Tiempo * % Tiempo
Tumo Agentes Agentes Fre. % de Servicio Servicio
MAANA 54 43,5 893 38,7 21.680 39,7
TARDE 55 44,3 964 41,7 22.869 41,9
NOCHE 15 12,1 452 19,6 10.017 18,4
TOTAL 124 99,9 2.309 100 54.566 100
Con aproximadamente la misma dotacin de personal, los tumos de la ma-
ana y de la tarde tuvieron una carga de trabajo del 38.7 Ydel 41.7% de los
casos respectivamente, lo que les ocup el 39.7 y el 41.9% del tiempo total de
servicio. Mientras que el tumo de la noche con solamente el 12% de los efec-
tivos tuvieron que hacer frente al 19.6% de los casos en los que consumieron
el 18.4% del tiempo de servicio total, lo que supone un nivel superior de carga
de trabajo por agente.
240
TERCERA PARTE
B. POR DISTRITOS
La distribucin de los agentes por sectores solamente es operativa durante los tur-
nos de da, por lo que el anlisis se limita a las demandas y tiempos de servicio agre-
gados por distritos que se producen durante el intervalo que va de las 6 de la maana
hasta las 10 de la noche. Por otra parte, se excluyen los sargentos por ser responsables
de zonas que superan los sectores y distritos en los que se divide la ciudad.
La distribucin de los agentes por distritos municipales es la que se especifica
a continuacin:
Distrito 1, 3 sectores
- 3 cabos
- 23 agentes
Distrito 11, 2 sectores
- 2 cabos
- 16 agentes
Distrito III, 2 sectores
-2cabos
- 16 agentes
Distrito IV, 2 sectores
-2cabos
- 16 agentes
Distrito V, 2 sectores
- 2 cabos
- 16 agentes
Distrito VI, 1 sector
-1 cabo
- 8 agentes
Tabla 9: Distribucin de agentes y servicios por distritos
Tumos de da
% Tiempo * % Tiempo
Distrito Agentes Agentes Fre. % de Servicio Servicio
I 26 24,3 385 20,7 9.398 21
II 18 16,8 430 23,2 11.676 26,2
III 18 16,8 263 14,2 5.740 12,9
IV 18 16,.8 257 13,8 5.583 12,6
V 18 16,8 265 14,3 5.859 13,2
VI 9 8,4 257 13,8 6.293 14,1
TOTAL 107 99,9 1.857 100 44.549 100
241
Las desigualdades entre la carga de trabajo de los agentes asignados a los
sectores comprendidos en los seis distritos municipales son importantes. To-
mando como referencia la carga de trabajo que experimenta el distrito 1, este
distrito y los 111, IV YV aparecen con un nivel proporcional de carga de traba-
jo, tanto en nmero de incidentes (en tomo a los 14 por agente) como en tiem-
po dedicado a los servicios correspondientes (en tomo a las 6 horas por agern-
te), mientras que los distritos 11 y VI sufren una carga de trabajo que es casi el
doble (en tomo a los 24 y 28 incidentes y 11 Y12 horas respectivamente) de la
de sus compaeros de los distritos 1, 11, IV YV.
8. EVALUACION DE LA EFICACIA POLICIAL
A. PLANTEAMIENTO DEL PROBLEMA
Los datos recogidos por los operadores de la sala de mando en las fichas
de servicios permiten obtener algunas medidas de outcomes o efectos de las
decisiones policiales sobre la poblacin. El repaso de la literatura sobre eva-
luacin de servicios policiales nos ha permitido descubrir algunas investiga-
ciones que se aproximan bastante al concepto de outcomes policiales y que
por tanto, aportan informacin cualitativamente ms rica que la simple enu-
meracin de servicios producidos.
Bsicamente, se han descrito dos enfoques: por una parte, aqullos que se
basan en el anlisis de la discrecionalidad de los agentes, ya sea observando
directamente su comportamiento o examinando el proceso de transformacin
de demandas especficas (por razn de delitos, por ejemplo) en outputs con-
cretos (detenciones) para distintos grupos de poblacin o reas de una misma
ciudad. Por otra parte, aquellos enfoques que se basan en el tiempo de res-
puesta policial, y que toman a ste como indicador general de servicio.
La GUH cuantifica en su memoria anual algunos servicios producidos, lo
que permite la comparacin interanual de tasas de accidentabilidad, de horas
empleadas en la regulacin de trfico de cruces importantes, de denuncias im-
puestas por infracciones, de vehculos retirados por la gra municipal, de de-
tenciones y arrestos, de inspecciones realizadas, de desperfectos detectados en
la va pblica o incluso de documentos tramitados. El sistema de informacin
actual, tanto a nivel de Polcia como del Area de Estadstica del Ayutamiento
no permite, sin embargo, asociar estas medidas de outputs a medidas de de-
manda por grupos de poblacin o por zonas de la ciudad.
S que es posible, sin embargo, a partir de los datos disponibles, examinar
las variaciones en la respuesta policial a demandas individuales de ciudadanos
a partir de dos indicadores generales de servicio: el tiempo que tarda la Polica
242
TERCERA PARTE
Local en dar una respuesta activa y el tiempo consumido en la actividad que
ha de satisfacer la demanda inicial.
Otra posibilidad consiste en utilizar las evaluaciones de ciudadanos que han
tenido una experiencia reciente de contacto con la Polica como medidas de efi-
cacia. Este es un enfoque defendido especialmente por aqullos que tienen una
visin de la sociedad basada en la eleccin individual como criterio determinan-
te, que se justifica en nuestro caso por la relevancia que tiene la funcin de ser-
vicio asistencial dentro de la actividad de la GUH, pero que no se sigue en este
estudio de caso que se limita a presentar algunas perspectivas de anlisis de la
eficacia a partir de los datos recogidos internamente por el servicio.
Tiempo de respuesta y tiempo de servicio son indicadores vlidos del ser-
vicio prestado por la Polica Local por varias razones:
En primer lugar, porque partimos de la suposicin de que todo ciudadano
que llame a la Polica tiene derecho a esperar una respuesta rpida y eficaz
que le permita solucionar su problema. Si bien es cierto que slo en algunos
casos, la rapidez con que acte la Polica ser crucial (caso de una persona
gravemente enferma, de un escape de gas o de un atraco que se acaba de pro-
ducir), la celeridad con que acte el servicio es indicativa de la preocupacin
del cuerpo por responder de forma eficaz a todas las demandas individuales
(Mladenka y Hill, 1978: 116).
En segundo lugar, porque como ha puesto de relieve el anlisis de la acti-
vidad, la Polica Local cumple en nuestro pas una funcin esencialmente asis-
tencial y de servicio cuyo producto es a menudo algn tipo de respuesta infor-
mal que slo se puede medir en tiempo consumido. Por otra parte, una
distribucin desigual del tiempo dedicado a atender demandas individuales se-
ra contraria a la voluntad de servicio a toda la comunidad.
En tercer lugar, porque investigaciones basadas en las percepciones subje-
tivas de los ciudadanos han indicado que los tiempos de respuesta y de servi-
cio son importantes para aqullos (Parks, 1984).
Estos indicadores presentan a su vez, importantes limitaciones en la medi-
da que no aportan informacin alguna sobre cmo se desarrolla la interaccin
entre agentes y ciudadanos dado que no se puede asumir que exista una rela-
cin positiva entre mayores niveles de actividad (tiempo de servicio) y mayo-
res niveles de satisfacin o beneficios para la persona asistida.
B. TIEMPO DE RESPUESTA
a. En Funcin del Tipo de Incidente
La Tabla 10 muestra los tiempos medios de respuesta en la GUH por cate-
goras de incidentes. La primera y la segunda columna presentan las medias
243
en minutos y las variaciones estandard para cada una de estas categoras. La
tercera columna incluye las medianas --que como medida de tendencia cen-
tral es mejor que la media en este caso dado que se dan valores muy dispa-
res-, y la cuarta, el nmero de casos por tipo de incidente con informacin
sobre el tiempo de respuesta durante el perodo estudiado.
Tabla 10: Tiempo medio de respuesta por categoras de incidentes
Desv.
Tipos de incidentes Media Stand. Mediana Fre.
TRAFICO 9,6 37,8 1 1.099
ACCIDENTES 1,2 5,9
0 177
ALARMA 2,7 8,4 O 88
PERSONA NECESITADA 0,6 2,5 O 200
RELAC. CON DROGAS 2,4 8,7
22
MOLESTIAS Y DISPUTAS 2,9 8,1 O 282
RECUPERACION VERIC. 4,5 10,1
73
DEL. CONTRA PROPIEDAD 0,4 1,1 O 81
DEL. CONTRA PERSONAS 0,5 0,9
51
DEL. SEXUAL 2 4 O 7
INFRACCION ADM. 5,8 16,1 1 34
OTROS 4,7 18,7 O 218
Para toda la poblacin 5,8 27,2 2.332
La Tabla 10 pone de relieve algunas caractersticas del servicio que presta
la GUR.
En primer lugar, los tiempos consumidos por la sala de mando en repar-
tir los servicios son bastante reducidos. En los casos de delitos contra las
personas o la propiedad y de personas necesitadas, la media no llega al mi-
nuto. Salvo para los casos de trfico e infracciones administrativas, la me-
diana es O. Ello supone que en un 50% de los casos, los operadores de la sa-
la de mando repartieron los servicios inmediatamente despus de recibir la
primera llamada.
En segundo lugar, existen variaciones importantes, dentro de una misma
categora de incidentes. La desviacin estndar es en todas las categoras su-
perior a la media. Algunas veces tres y cuatro veces el valor de sta, lo que
244
TERCERA PARTE
indica que existen diferencias en la rapidez con que se despachan un mismo
tipo de incidentes. Unas veces se producen importantes retrasos, mientras que
en otras ocasiones se procede de forma inmediata.
Los mayores retrasos se producen en relacin con problemas de trfico,
infracciones administrativas, otros, recuperacin de vehculos de robo y mo-
lestias y disputas. Mientras que los casos que generan respuestas ms rpidas,
por orden decreciente son los de delitos contra la propiedad y las personas,
ayuda a individuos con problemas agudos, accidentes, delitos sexuales, inci-
dentes relacionados con drogas y alarmas. Se puede afirmar, por tanto, que los
incidentes potencialmente ms graves son repartidos con mayor celeridad, en
perjuicio de aqullos percibidos como menos serios o peligrosos.
b. En Funcin del Volumen de Demandas
La relacin entre niveles de demanda y tiempos de respuesta se presenta
grficamente en las figuras 1 y 2. La primera muestra la frecuencia total de
servicios por horas del da, mientras que- la segunda expresa tiempos medios
de respuesta durante indnticos intervalos de tiempo.
Figura 1
VOLUMEN DE SERVICIOS
POR HORA DEL OlA
190 -,-----------------------..,
180
170
160
150
140
el 130
u 120

UJ 110
c;n
gj 100
o 90
fi: 80

70
60
50
40
30
20
\O
0-+--------------------------1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
HORA
245
Figura 2
TIEMPO DE RESPUESTA
POR HORA DEL OlA
20 -r--------------------------,
19
18
17
16
15
14
13
12
Vl 11

::> 10
z
9
8
7
6
5
4
3
2
1
0-+---------------------------1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
HORA
La comparacin de ambas grficas permite determinar si existe alguna re-
lacin entre estas dos variables (85).
El nivel de demandas se mantiene en los niveles ms bajos durante la no-
che para crecer de forma considerable desde las 6 hasta las 8 de la maana.
Mantiene un nivel alto fluctuante durante el da para llegar a su mximo alre-
dedor de las 8 de la tarde, hora a partir de la cual empieza a descender.
Los tiempos medios de respuesta mantienen niveles igualmente bajos has-
ta las 5 de la maana, hora a partir de la cual aumentan considerablemente al-
canzando su valor ms alto entre las 10 Ylas 11 de la maana. A esta hora em-
pieza un descenso continuado que slo se ve truncado por aumentos
importantes entre las 3 y las 7 de la tarde.
No parece, por tanto, que exista una estrecha relacin entre volumen de
servicios y tiempo de respuesta si bien es cierto que entre las 7 y las 11 de la
maana, y en menor medida entre las 16 y las 19 horas se produce un cierto
retraso en las comunicaciones que podra estar motivado por la acumulacin
de demandas.
(85) Para el estudio de las relaciones entre tiempo de respuesta/servicio y demanda global, seguimos
el trabajo de Maxfield, (1981: 124-129).
246
TERCERA PARTE
c. En Funcin de la Prioridad Asignada
Otro motivo de retraso puede hallarse, ms que en problemas de capaci-
dad o disponibilidad de los agentes, en la interpretacin que hacen de cada in-
cidente los operadores y en la prioridad asignada a cada caso.
La Tabla 11 muestra la frecuencia con la que los operadores de la sala de
mando asignan cada una de las prioridades establecidas, as como el tiempo
medio de respuesta para cada categora.
Tabla 11: Tiempo medio de respuesta por tipo de prioridad
Desv.
Prioridad Fre. % Media Stand.
PELIGRO 5 0,2 0,4 0,5
URGENTE 82 3,4 3,5 25
IMPORTANTE 174 7,3 2,2 9,4
RUTINA 2.124 89,1 6,2 28,3
TOTAL 2.385 100 5,8 27,2
En primer lugar, cabe destacar que en tan slo el 11% de los casos se asig-
n algn tipo de prioridad, de modo que el 89% restante de los casos estudia-
dos no merecieron ningn tipo de priorizacin.
Entre los casos a los que les fue, asignada algn tipo de prioridad, en 5 oca-
siones (el 0.2% de los casos) aqulla fue mxima y el tiempo medio de respuesta
fue efectivamente el ms bajo (0.4 minutos). Las prioridades 2 y 3 fueron asigna-
das al 3.4% y al 7.3% respectivamente de los casos. Sin embargo los tiempos de
respuesta fueron superiores para los casos de prioridad 2 que para los de priori-
dad 3. La elevada desviacin estndar de la segunda categora es indicativa de
que podra haberse cometido algn error al asignar prioridad 2 a casos que de he-
cho se trataron como de inferior prioridad. Si se excluyen del anlisis las infrac-
ciones de trfico y de cracter administrativo, la asignacin de prioridad aparece
entonces como claramente efectiva en la reduccin de los tiempos de respuesta.
Estos no llegan ahora a 0.69 y 0.91 minutos para las prioridades 2 y 3 respectiva-
mente, se mantienen en 0.4 minutos para la prioridad 1 (dado que sta no fue
asignada a ningn incidente relacionado con el trfico o con una infraccin admi-
nistrativa) y pasa de 6.2 a 2.6 minutos para el resto de los incidentes.
247
De ello cabe deducir que:
1. La asignacin de prioridad es poco usual en la GUR pero cuando se rea-
liza es efectiva en la medida que los tiempos de respuesta son ms cortos.
2. Los retrasos que se producen en la respuesta policial se explican ms
por el carcter rutinario del servicio que por un problema de exceso de
demanda y falta de disponibilidad.
C. TIEMPO DE SERVICIO
Q. En Funcin del Tipo de Incidente
Como muestra la Tabla 12, los problemas que consumen ms tiempo supo-
nen entre 24 y 30 minutos de media y entre 18 y 21 minutos de mediana. Se trata
de delitos contra la propiedad o contra las personas --donde la atencin a las vc-
timas es sumamente importante-, el grupo residual de otros servicios que in-
cluye incidentes de naturaleza muy variada, y todos los relacionados con trfico,
accidentes, recuperacin de vehculos e infracciones administrativas.
Deberan reducirse los tiempos de servicio consumidos en algunas de es-
tas categoras de incidentes para as conservar recursos con los que hacer fren-
te a nuevas demandas ms rpidamente?
Tabla 12: Tiempo medio de servicio por categoras de incidentes
Desv.
Tipos de incidentes Media Stand. Mediana Fre.
TRAFICO 25,1 36 18 1.084
ACCIDENTES 24,2 16,3 20 177
ALARMA 17,1 21,3 11 88
PERSONA NECESITADA 19,1 22,3 13 200
RELAC. CON DROGAS 14,6 7 13 23
MOLESTIAS Y DISPUTAS 17,9 17,4 14 277
RECUPERACION VERIC. 24,8 19 20 73
DEL. CONTRA PROPIEDAD 30,1 28,7 21 79
DEL. CONTRA PERSONAS 26,5 30,1 17 48
DEL. SEXUAL 18 11,4 16 8
INFRACCION ADM. 25,8 18,9 20 34
OTROS 27,1 27,6 19 218
Para toda la poblacin 23,6 29,5 2.309
248
TERCERA PARTE
En principio, no parece que exista un problema de falta de disponibilidad para
los casos en que es crucial dar una respuesta rpida. Pero es que independiente-
mente de la dificultad de fijar criterios en relacin al tiempo que merece cada inci-
dente, no parece que una estrategia como la indicada tenga demasiado sentido. Al
contrario, el anlisis expuesto parece indicar que existe un cierto margen en
L'Hospitalet para reducir la actividad de patrulla preventiva y aumentar los agen-
tes destinados a unidades igualmente operativas de refuerzo o investigacin.
Lo importante, ms que reducir de forma sistemtica los tiempos de servi-
cio de acuerdo con directivas desde arriba, es que la sala de mando pueda ges-
tionar adecuadamente la carga de trabajo en funcin del volumen de deman-
das que experimenta en cada momento. Para ello, seran suficientes dos cosas:
1. Ejercer un mayor control sobre el tiempo empleado en cada servicio.
2. Transferir servicios directamente a unidades de apoyo e investigacin
o a otros servicios municipales (bomberos, ambulancias, compaas de
servicios) cuando se trata de problemas de su competencia.
b. En Funcin del Volumen de Demandas
La figura 3 muestra la distribucin de los tiempos medios de servicio por
horas del da. Estos alcanzan su mximo durante el tumo de la noche, a las 4
de la madrugada, mientras que los mnimos coinciden con las horas de cambio
de tumo, cuando los agentes se preparan para dar el relevo a los compaeros
que les sustituyen en sus demarcaciones.
Figura 3
TIEMPO DE SERVICIO
POR HORA DEL OlA
38...,.----------------------.....,
36
34
32
30
28
~ 26
=> 24
~ 22
20
18
16
14
12
1 O ~
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 2021 22 2324
HORA
249
Si se compara los grficos de las figuras 1 y 3 tampqco parece que
exista una clara relacin entre volumen de demandas y tiempo de servi-
cio. Cabra esperar una reduccin de los tiempos de servicio cuando se
produce un mayor volumen de demandas, en la medida que stas generan
una cola de servicios. Sin embargo, ello no sucede en L'Hospitalet, donde
adems la sala de mando, que es donde se centralizan las demandas, dif-
cilmente puede controlar la actividad de los agentes mientras stos cum-
plen un servicio y hasta que no devuelven la comunicacin dndolo por
terminado.
9. EVALUACION DE LA DISTRIBUCION DE LOS SERVICIOS EN
TERMINOS DE EQUIDAD
Finalmente, con el objeto de analizar la variacin en los tiempos de res-
puesta y de servicio para distintas zonas de la ciudad, se presentan en la Tabla
13, los resultados del anlisis correlacional entre los tiempos de respuesta y de
servicio y cuatro variables socio-demogrficas (densidad de poblacin, por-
centaje de poblacin que trabaja, porcentaje de poblacin que ha cursado co-
mo mnimo segunda etapa de EGB y porcentaje de poblacin nacida en Cata-
lunya) a nivel de distrito.
Tabla 13: Correlaciones de variables demogrficas y tiempos de respuesta y
de servicio
% % % Nacidos
Variables Densidad Trabaja Estudios Catalunya
TIEMPO DE RESPUESTA 0,0635* -0,0192 -0,0306 -0,0358
TIEMPO DE SERVICIO 0,017 -0,0218 0,0057 0,0248
* Significativo al nivel de ,01
Siguiendo a Mladenka y Hill (1978:123), lo que se pretende con este tipo
de anlisis es determinar si existen variaciones en el comportamiento policial
que se explican por las caractersticas de la poblacin que habita en determi-
nados barrios.
250
TERCERA PARTE
La direccin de las correlaciones sugiere que la respuesta policial es ms
rpida en aquellas zonas donde hay menor densidad de poblacin, pero donde
tambin son menores los porcentajes de poblacin con trabajo, estudios o na-
cida en Catalunya. Es decir, el tiempo de respuesta para zonas de nivel socio-
econmico ms bajo tendera a ser menor.
Todos los coeficientes son, sin embargo, muy pequeos en trminos abso-
lutos, lo que significa que la posible asociacin entre variables es muy dbil.
Por ello, cabe afirmar que la variacin en la respuesta policial o en el tiempo
empleado en atender servicios especficos, no se puede atribuir a factores so-
cio-demogrficos en L'Hospitalet (86).
EVALUACION
A. EVALUACION DE SERVICIOS DE POLICIA LOCAL CON DATOS
DE LA ADMINISTRACION
El estudio de caso de la GUH ha permitido ilustrar algunas aproximacio-
nes posibles al tema de la evaluacin de los servicios pblicos de Polica Lo-
cal partiendo de datos recogidos por la misma Administracin.
Los cuerpos de Polica Local, como tantas otras administraciones pbli-
cas, no son evaluados en funcin de estndares objetivos para la determina-
cin de su presupuesto, ni tienen ningn incentivo para proporcionar medidas
de su rendimiento. Por ello, uno de los principales problemas que presenta la
evaluacin deriva de la informacin que contienen los archivos policiales y
que generalemente responde a preocupaciones ajenas a las de la evaluacin.
En nuestro caso, partamos de un elevado conocimiento tanto de los inputs
ms relevantes como del proceso que sigue la prestacin de servicios policiales.
Como inputs principales cabe incluir las demandas individuales de servicio y
los agentes con que cuenta la GUH para las funciones de patrulla preventiva y
respuesta activa. El proceso hace referencia en este caso al iter que sigue una
demanda desde que se genera hasta que da lugar a un servicio concreto.
La evaluacin de los servicios de Polica Local a partir de datos de la Ad-
ministracin es pues claramente posible y potencialmente til a estos dos
(86) Este anlisis adolece de contar con slo 6 casos -los seis distritos municipales- dado que el
censo de L'Hospitalet nicamente presenta informacin a este nivel. La anterior afirmacin sobre la inexis-
tencia de relacin entre las variables estudiadas tiene, sin embargo, sentido en la medida que existe una
gran homogeneidad entre los seis distritos en los que se divide la poblacin.
La correlacin aparece como significativa en el caso indicado con un * en la tabla. La probabilidad de
que no exista asociacin alguna entre las variables es menos de un 10% en este caso. La asociacin es pro-
bablemente debida al elevado nmero de casos analizados y en cualquier caso es muy dbil.
2Sl
niveles: inputs y proceso. En nuestro caso, ha consistido en analizar las de-
mandas que experimenta el servicio, la distribucin de los recursos y la forma
en que stos son gestionados para atender aqullas de forma rpida y suficien-
te en cuanto a tiempo.
A su vez, el tiempo que tarda la Polica Local en responder a una demanda
individual y el tiempo que pasa con aqulla pueden ser interpretados como in-
dicadores de eficacia policial en s mismos, e independientemente de otras
medidas de outputs concretos. Adems, estos indicadores permiten hacer una
valoracin, en trminos de equidad, del servicio prestado a distintos grupos de
poblacin o zonas de la ciudad.
Si bien es cierto que la evaluacin de un servicio policial tambin se puede
expresar en trminos de medidas de otros outputs, generalmente ello supone dis-
torsionar la realidad dado que los indicadores seleccionados no reflejan toda la
actividad policial. Lo que se plantea aqu es, pues, la necesidad de un sistema de
informacin que permita relacionar demandas concretas con resultados de la ac-
cin policial con motivo de aquella demanda, para poder obtener as informacin
sobre las consecuencias para la poblacin de la intervencin de la Polica Local
B. EVALUACION EN FUNCION DE LA INFORMACION
Nuestro estudio de caso pone de relieve la dependencia de la evaluacin
tanto del grado de conocimiento de las actividades que constituyen el proceso
de produccin de un servicio, como de la mayor o menor medida en que se
pueden determinar los impactos de aqul en la sociedad.
Si como hace Majone (1989: 177), reflejamos estos dos parmetros en una
tabla, obtendremos nuevamente las condiciones en que son ms apropiadas la
evaluacin de proceso y la evaluacin de resultados.
Figura 4: Relacin entre nivel de conocimiento y tipo de evaluacin
Fuente: Majone, (1989: 177).
Conocimiento del proceso de produccin
Grado en que
se pueden medir
los resultados
252
alto
bajo
completo
1
3
incompleto
2
4
TERCERA PARTE
Lgicamente, la mejor situacin es la representada por la casilla nmero
1: cuando es posible medir impactos, y tenemos un concocimiento completo
del proceso de produccin de un servicio, la seleccin entre evaluacin de
proceso o de resultados depender nicamente de la capacidad tcnica de los
evaluadores, de los recursos disponibles o de lo que consideren ms oportuno
los decisores polticos.
En el otro extremo, la casilla nmero 4, la imposibilidad de medir resulta-
dos y un conocimiento incompleto de cmo producir stos, reducir la evalua-
cin a un mero control de gestin de los recursos puestos a disposicin del
servicio.
Entre ambos extremos se situaran aquellas actividades en que, o bien sus
gestores son nicamente evaluados en funcin de sus resultados, sin atender a
la forma en que se alcanzaron (casilla nmero 2) o bien la evaluacin se ex-
tiende a cuestiones de proceso y por tanto sobre la forma en que inputs son
transformados en servicios concretos, pero se desconoce, en cambio, sus efec-
tos en la sociedad (casilla nmero 3).
Como hemos visto, la principal dificultad que presenta la evaluacin de
los servicios que presta la Polica Local reside en el carcter difcilmente me-
dible de los efectos que suponen para la poblacin las actividades en que em-
plean su tiempo los miembros del cuerpo.
En' este sentido, hemos intentado, con nuestro estudio de caso, deplazar-
nos por la diagonal que va desde la situacin en que slo es posible evaluar
inputs hasta aqulla en que es posible seleccionar entre evaluacin de resulta-
dos y evaluacin de proceso.
C. UTILIDAD RELATIVA DE LAS MEDIDAS OBJETIVAS
A diferencia del caso de los planes integrales, donde tratbamos con un
programa de formas poco estructuradas y sujeto a cambios constantes, fruto
de su finalidad exploratoria en la bsqueda de soluciones a problemas mlti-
ples, el servicio de la Polica Local se caracteriza por una estructura organiza-
cional consolidada y unas formas de operar muy estandarizadas que respon-
den a una concepcin ampliamente compartida por los responsables de polica
sobre la importancia de la actividad de patrulla preventiva y de respuesta acti-
va a situaciones'juzgadas, por ciudadanos particulares o por los mismos poli-
cas, como problemticas o conflictivas.
La evaluacin de los servicios de Polica Local, se presenta en este senti-
do, como ms susceptible de medicin, en funcin no tanto de hipotticos ob-
jetivos sino de indicadores que permitan obtener algunas conclusiones sobre
la calidad del servicio.
253
De acuerdo con la filosofia policial implcita en la forma que se estructura
y opera la Polica Local, hemos entendido que era importante lo siguiente:
Primero, tener un conocimiento detallado de las actividades que consumen
la mayor parte del tiempo de servicio de los agentes del cuerpo.
Segundo, que los recursos policiales se distribuyan de forma que se iguale
la carga de trabajo por agente.
Tercero, que los incidentes potencialmente ms graves sean distribuidos
con mayor celeridad, en perjuicio de aqullos menos graves.
Cuarto, que la respuesta policial no sufra retrasos como consecuencia de
la acumulacin de demandas.
Quinto, que todos los servicios demandados por ciudadanos tengan una
respuesta efectiva.
Sexto, que los agentes tengan tiempo suficiente para atender correctamen-
te a personas con problemas especficos.
Sptimo, que la falta de control sobre los agentes empleados en un servi-
cio no genere una cola de servicios.
Octavo, que el servicio de Polica trate igual a distintas reas y grupos de
poblacin de la ciudad.
En la medida que estos aspectos sean valorados y que la evaluacin aporte
informacin sobre su condicin actual, la evaluacin puede tener alguna utili-
dad, tanto para el responsable del servicio, como para los decisores polticos,
como para los ciudadanos que tienen una preocupacin por la eficacia del ser-
vicio.
Al igual que ocurre con el caso de los planes integrales, distintas personas
o grupos que tienen relacin con el servicio de Polica pueden, sin embargo,
tener percepciones distintas sobre lo que constituye valor en relacin con la
funcin policial. Cabra, por ejemplo, argumentar que el modelo de patrulla
preventiva por sectores policiales como actividad residual mientras la Polica
no responde a un servicio es ineficaz como medida disuasoria o para incre-
mentar el sentimiento de seguridad de los ciudadanos. Habra por tanto que
retrotraer la cuestin de la evaluacin a la determinacin de lo que la Polica
debera hacer, para luego determinar lo que hace y, en su caso, los cambios
necesarios para adecuar sus actividades y la forma en que opera.
En este sentido nos parece importante sealar:
Primero, que no hay un nico indicador de eficacia policial que sirva a to-
dos los propsitos. Toda medida de resultados se hace de acuerdo con unos
criterios que llevan implcitos valores, y la adopcin de una serie de medidas
implica aceptar que aquello es lo que el servicio debera hacer.
Segundo, de acuerdo con lo dicho anteriormente, la evaluacin ha de ser
concebida como un proceso abierto de aprendizaje sobre lo que constituye va-
lor-calidad en relacin con un servicio, sobre la forma como opera ste y
254
TERCERA PARTE
sobre cmo se produce la interaccin entre las actividades del servicio y las
condiciones sociales sobre las que se quiere influir. Estas son cuestiones sobre
las que nuestro nivel de conocimientos es a menudo muy reducido, por lo que
si bien la evaluacin puede proporcionar informacin en base a ciertas percep-
ciones sobre lo que debera hacer un servicio, esta informacin no debe inter-
pretarse como una respuesta definitiva, sino ms bien como un nuevo input a
partir del cual formular nuevas cuestiones y avanzar en la lnea de determinar
posibles impactos de la intervencin pblica en la sociedad.
255
CONCLUSIONES
En este apartado recogemos aquellas conclusiones a las que nos ha lleva-
do la investigacin sobre la evaluacin de programas y servicios pblicos.
Ms que conclusiones definitivas sobre el tema, se trata de una serie de refle-
xiones finales que resumen nuestra tesis e incorporan lo aprendido de la expe-
riencia concreta de los estudios de caso en relacin con lo afirmado por la lite-
ratura cientfica.
1. La evaluacin de programas y servicios pblicos puede constituir una
herramienta til de reforma, racionalizacin y mejora cualitativa de la inter-
vencin pblica en la sociedad.
La evaluacin, como hemos visto, puede adoptar formas muy diversas y
puede ser llevada a cabo de acuerdo con metodologas muy diferentes. No
creemos necesario ni conveniente alineamos con una metodologa racional-
cientfica-cuantitativa-sumativa, ni tampoco con su alternativa pluralista-natu-
ralista-cualitativa-formativa. El mrito no est tanto en la naturaleza de la in-
vestigacin como en la relevancia de la informacin producida en cada caso
concreto.
El desarrollo de nuevas polticas y programas en nuestro pas requiere una
comprensin ms amplia y profunda de los procesos, con el objeto de sacar
enseanzas positivas para acciones futuras. Desde este punto de vista, nos pa-
rece importante que la evaluacin sirva para producir informacin til para la
discusin y negociacin de las nuevas formas de intervencin pblica.
Al mismo tiempo, creemos que existe un amplio campo de investigacin
en el anlisis de la actuacin de las Administraciones Pblicas con el objeto
de producir informacin que sirva a sus gestores para obtener alguna idea de
la calidad de los servicios que estn produciendo. Desde este punto de vista,
nos parece igualmente importante que la evaluacin sirva para producir infor-
macin til para pasar cuentas y hacer un cierto balance de aquella actuacin.
2. La evaluacin de programas y servicios pblicos se integra en el mar-
co terico del anlisis de las polticas pblicas, en la medida que, como ste,
persigue producir informacin que tenga alguna relevancia a nivel de proceso
de toma de decisiones poltico-administrativas, esto es, informacin que resul-
te til para resolver problemas concretos.
A diferencia del anlisis de las polticas pblicas, de carcter ms bien
anticipatorio, la evaluacin de programas normalmente tiene lugar durante
el proceso de formacin de las polticas o con posterioridad a su puesta en
prctica.
259
Al igual que el anlisis de las polticas pblicas, la evaluacin se caracte-
riza por su carcter aplicado y por el recurso a mltiples mtodos de investi-
gacin. A diferencia de la investigacin bsica, sin embargo, la evaluacin se
realiza para que sus resultados sean utilizados por personas concretas, y tiene
lugar en un contexto real. La percepcin de la evaluacin como una amenaza
para los sujetos evaluados impone algunas limitaciones importantes a este ti-
po de investigacin.
3. El desarollo de la evaluacin de programas se asocia con el crecimiento
de los programas sociales y de ayuda internacional durante los aos sesenta en
los EEUU, Canad, y en algunos pases europeos, y con la introduccin, desa-
rrollo y generalizacin paralelos de reformas racionalizadoras de los proce-
sos de decisin y presupuestacin pblicos.
Si bien los procesos de gensis y evolucin de la evaluacin son bastante
similares para estos pases, su grado de sistematizacin e institucionalizacin
difiere en funcin de la posicin que ocupan los tribunales de cuentas en rela-
cin con el legislativo y el ejecutivo, y del impulso otorgado a la evaluacin
por los Ministerios de Hacienda. Tambin cabe distinguir aquellos pases en
que la evaluacin se plantea en relacin con las polticas generales de las ins-
tituciones centrales de gobierno, de aquellos otros en que presenta una estruc-
tura ms descentralizada y en que, por tanto, est ms relacionada con progra-
mas concretos.
4. La evaluacin de programas ampla progresivamente las cuestiones
a las que se dirige hasta incluir en su mbito, primero, la evaluacin de los
efectos netos de la intervencin pblica -es decir, de aquellos efectos que
no se hubieran producido en ausencia de aqulla-; segundo, la evaluacin
de la implementacin de los programas -esto es, de su cobertura y orga-
nizacin administrativa-; tercero, la evaluacin de la forma en que los
programas son concebidos y diseados en funcin de los estudios de nece-
sidades y de la forma en que son definidos los problemas sociales; y cuar-
to, los anlisis coste-eficacia y coste-beneficio -es decir, la evaluacin
econmica-o
Desde esta perspectiva, la evaluacin comprensiva de una poltica o pro-
grama pblicos, permite relacionar los resultados finales de una intervencin,
con su coste, y con la forma en que fue administrada y hasta planificada ini-
cialmente.
Desde otra perspectiva, la demanda de evaluacin de un programa puede
responder a propsitos de carcter formativo, con el objeto de obtener infor-
macin til para la gestin operativa del programa durante su desarrollo, o a
propsitos de carcter sumativo, con el objeto de proporcionar informacin
til para el proceso de toma de decisiones sobre la continuidad o la termina-
cin de una poltica.
260
CONCLUSIONES
5. Evaluar la actuacin de los poderes pblicos implica necesariamente la
idea de juzgar el mrito, el valor o la bondad de sus programas o servicios.
Ello puede hacerse conforme a mltiples criterios:
a) en funcin de la medida en que se alcanzaron los objetivos formales
de la intervencin;
b) en funcin de la medida en que se produjeron progresos significativos
en relacin con objetivos generales de crecimiento econmico y distri-
bucin de la riqueza;
c) en funcin de la medida en que se satisfizo las necesidades materiales
de la poblacin o rea objeto del programa;
d) en funcin de la medida en que se produjeron avances importantes en
aquellos aspectos que ms valoran aqullos que tienen autoridad for-
mal para tomar decisiones sobre el futuro de la intervencin;
e) en funcin de la medida en que los participantes, profesionales y ad-
ministradores de un programa entienden que el programa fue un xito
o un fracaso;
f) en funcin de la medida en que el programa satisfizo los intereses de
los mltiples actores y grupos afectados.
La eleccin de un criterio u otro determina la aproximacin metodolgica
a la evaluacin, desde las aproximaciones racionales centradas en los objeti-
vos, a las aproximaciones ms polticas centradas en los intereses de una plu-
ralidad de actores.
6. La premisa terica en la que se fundamenta el modelo clsico de la eva-
luacin por objetivos es que los programas pblicos son diseados con el ob-
jeto de alcanzar objetivos especficos, y que su xito puede ser determinado
en funcin de la medida en que se alcanzaron aquellos objetivos.
Los objetivos de las polticas y de los programas pblicos acostumbran a
ser, sin embargo, generales, abstractos y confusos, dado que el proceso de de-
cisin poltica se fundamenta en acuerdos sobre la necesidad de actuar en rela-
cin con los problemas que se hacen un hueco en la agenda pblica, pero que
no llegan a explicitar lo que haya que hacer, ni las consecuencias que cabra
esperar de aquella actuacin.
El modelo clsico de la evaluacin por objetivos recurre a diseos de na-
turaleza experimental, cuasiexperimental, y al establecimiento de controles es-
tadsticos que requieren, primero, la identificacin de variables que reflejen
aproximadamente los resultados del programa; y segundo, la medida de su si-
tuacin, antes y despus de la intervencin y/o en relacin con la situacin de
grupos de control que no recibieron aqulla.
261
Esta aproximacin es adecuada cuando se trata de un programa bien defi-
nido, susceptible de ser analizado por partes y que permite la descripcin de
un modelo de impacto con unas relaciones causales claras; donde una serie de
individuos reciben una misma intervencin cuyos efectos pueden ser anticipa-
dos y claramente medidos; y cuando es posible formar grupos de comparacin
equivalentes y/o obtener mltiples medidas de una misma variable en interva-
los peridicos de tiempo anteriores y posteriores a la intervencin.
7. La premisa terica en la que se fundamenta el modelo pluralista de
evaluacin es que generalmente existe una diversidad de percepciones sobre
los criterios evaluativos que deben aplicarse en relacin con un programa
especfico, y que lo importante, no es tanto desarrollar medidas objetivas de
resultados como facilitar un amplio dilogo entre los defensores de criterios
diversos.
La evaluacin pluralista se caracteriza por abrir el proceso evaluador a
mltiples actores, con intereses y perspectivas diversos, con el objeto de pro-
ducir informacin que resulte til a estos actores y, especialmente a aqullos
con mayor capacidad de influir en las decisiones futuras.
El modelo de evaluacin pluralista responde perfectamente a la demanda
de evaluaciones que puedan ser realizadas en perodos de tiempo relativamen-
te cortos, sin comprometer grandes cantidades de recursos y que respondan a
las necesidades de sus usuarios. Adems, el recurso a metodologas cualitati-
vas permite mantener un estrecho contacto con la realidad y obtener una me-
jor comprensin del entorno poltico-social en el que se desarrollan nuevas in-
tervenciones sociales.
Por el contrario, las aproximaciones pluralistas raramente sirven al objeto
de producir una estimacin de los efectos netos de los programas pblicos en
grupos de poblacin especficos.
8. El caso del Plan integral de Roquetes pone de relieve que muchos progra-
mas no son productos acabados a punto de ser examinados a travs de la medida
de sus efectos especficos en el momento que se plantea su evaluacin. De for-
ma general, se puede caracterizar a estos programas en funcin de sus objetivos
amplios, generales y abstractos; su forma poco estructurada y en constante evo-
lucin; y su objeto, ms una situacin que es percibida en abstracto como no de-
seada que un problema especfico de unos individuos concretos.
En estos casos, resulta difcil determinar de forma previa, como podra-
mos saber si los objetivos se haban realizado al final del programa; es preciso
examinar qu es lo que ha ocurrido en el caso concreto para poder definir el
programa que se est evaluando; y es igualmente importante, generar un pro-
ceso que sirva al objeto de identificar posibles efectos de la intervencin.
En estos casos, la adopcin de una perspectiva pluralista puede servir tan-
to al objeto de responder a las cuestiones que realmente interesan a los actores
262
CONCLUSIONES
(yen funcin de las cuales enjuiciarn la intervencin), como al objeto de
identificar las posibles causas tanto de los xitos como de los fracasos, con el
fin de contribuir en la construccin de una teora sobre cmo intervenir en si-
tuaciones similares a la examinada.
9. El caso del Plan Integral de Roquetes pone igualmente de relieve la di-
versidad de enfoques de evaluacin que requieren intervenciones distintas.
Los dos extremos seran, por una parte, aquellos programas que ofrecen bie-
nes y servicios concretos a una poblacin especfica, y que tienen objetivos
directamente operacionales; y por la otra, aquellos programas que pretenden
mejorar la condicin, las capacidades o las oportunidades de una situacin, y
que tienen objetivos amplios y abstractos, cuyas consecuencias pueden ser
muchas y variadas.
En la medida que los programas se parezcan ms a los del primer grupo,
sern ms susceptibles de una evaluacin de efectos clsica. Por el contra-
rio, aquellos programas que se parezcan ms a los del segundo grupo, reque-
rirn una evaluacin orientada al proceso y abierta a los principales actores.
10. El caso de la Polica Local demuestra que es posible evaluar los
servicios urbanos de Polica, partiendo de datos recogidos por la misma
Administracin.
En este caso, el nivel de conocimientos que tenemos tanto de los inputs
ms relevantes, como del proceso que sigue la prestacin del servicio, per-
mite analizar: primero, las demandas que experimenta el servicio; segundo,
la forma en que se distribuyen los recursos; y, tercero, la forma en que s-
tos son gestionados para atender aqullas de forma rpida y suficiente en
cuanto a tiempo.
11. La principal dificultad que presenta la evaluacin de los servicios que
presta la Polica Local reside en el carcter difcilmente medible de los efectos
que suponen para la poblacin las actividades en que emplean su tiempo los
agentes.
En nuestro caso, hemos considerado que era importante, adems de cono-
cer las actividades que consumen la mayor parte del tiempo de servicio de la
Polica y la forma en que se distribuyen los recursos, que los incidentes poten-
cialmente ms graves sean distribuidos con mayor celeridad; que la respuesta
policial no sufra retrasos como consecuencia de la acumulacin de demandas;
que todos los servicios demandados tengan una respuesta; que los agentes de-
diquen suficiente tiempo a las personas que requieren sus servicios pero que
esto no se traduzca en retrasos para otros servicios; que la Polica trate igual a
distintas reas y/o grupos de poblacin de la ciudad.
Estas medidas nos parecen relevantes de acuerdo con el modelo policial
de patrulla preventiva por sectores policiales, como actividad residual mien-
tras no se produce la demanda de un servicio activo.
263
BIBLIOGRAFIA
ALBAREDA, M. 1988
Planes de Ocupacin INEM-Corporaciones Locales, 1987
Barcelona: INEM
ALBI IBAEZ, E., J.A. RODRIGUEZ ONDARZA 1988
Anlisis Coste-Beneficio: Notas sobre su Situacin Actual, Papeles de
Economa Espaola,
37: 482-487
ALBRITTON, R.B.1979
Measuring Public Policy: Impacts of the Supplemental Security Income
Program, American Joumal of Political Science,
23: 560-578
ALBRITTON, R.B., T. WITAYAPANYANON 1989
Impacts of SSI: A Reanalysis of Federal Welfare Policy, en
R.D. BINGHAM, C.L. FELBINGER Evaluation in Practice
White Plains, NY.: Longman
ALCAIDE INCHAUSTI, J. 1988
El gasto pblico en la democracia espaola: los hechos, Papeles de
Economa Espaola,
37: 2-41
ALVIRA MARTIN, F.1991
Metodologa de la Evaluacin de Programas
Madrid: CIS
ARVIDSSON, G.1986
Perfonnance Evaluation, en EX. KAUFMAN, G. MAJONE, J. OSTROM.
Guidance, Control and Evaluation in the Public Sector
Berln: De Gruyter
BAENA DEL ALCAZAR, M. 1977
El Poder Econmico de la Burocracia en Espaa, Infonnacin Comercial
Espaola,
522: 12-21
267
BAENA DEL ALCAZAR, M. 1985 .
Curso de Ciencia de la Administracin
Madrid: Tecnos
BALLBE, M. 1985
Orden Pblico y Militarismo en la Espaa Constitucional (1812-1983)
Madrid: Alianza Universidad
BAON, R. 1978
Poder de la Burocracia y Cortes Franquistas 1943-1971
Madrid: Instituto Nacional de Administracin Pblica
BARNARD, C.I.1968
The Functions ofthe Executive.
Cambridge, MA.: Harvard University Press
BARZELAY, M., J.M. O'KEAN 1989
Gestin Pblica Estratgica. Concepto, Anlisis y Experiencias:
El Caso IPIA
Madrid: Instituto de Estudios Fiscales
BECKMAN, N. 1977
Policy Analysis in Government: Altematives to 'Muddling Through',
Public Administration Review,
37: 221-222
BERCAL, T. E.1970
Calls for Police Assistance: Consumer Demands for Govemment Service,
American Behavioral Scientist
13: 681-692
BELTRAN, M. 1977
La Elite Burocrtica Espaola
Barcelona: Ariel
BELTRAN, M. 1991
La Productividad de la Administracin Espaola: Un Anlisis Comparativo
Madrid: Ministerio de Economa y Hacienda
BINGHAM, R., C. FELBINGER 1989
Evaluation in Practice
268
BIBLIOGRAFIA
BLACK, D.J. 1970
Production of Crime Rates, American Sociological Review,
35: 733-748
BLAU, P.1955
The Dynamies ofBureaueraey.
Chicago, IL.: The University of Chicago Press.
BLANCO, J.M. 1986
Informe INEM
Barcelona: lNEM-Universitat Autonoma de Barcelona
BLOCK, P.B.1974
Equality ofDistribution ofPoliee Serviees: A Case Study ofWashington D.C.
Washington, DC: The Urban Institute
BOCIALETTI, G., R.E. KAPLAN 1986
Self-Study for Human Services Agencies: Managing a Three-Sided
Relationship, Evaluation and Program Planning
9: 1-11
BORUCO, R.F., A.J. McSWEENEY, E.J. SODERSTROM 1978
Randomized Field Experiments for Program Planning,
Development and Evaluation: An Illustrative Bibliography,
Evaluation Quarterly,
2: 655-695
BORUS, M.E., W.E. TASO 1970
Measuring the Impaet of Manpower Programs.
Ann Arbor, MI.: Institute of Labor and Industrial Relations, University of
Michigan - Wayne State University
BRYK, A.S.1983
Stakeholder Based Evaluation
San Francisco, CA: Jossey Bass
BROWN, J.D. 1973
The U.S. GAD's Changing Foeus as the Federal Government's Auditor,
1920-1972. (Tesis)
Ann Arbof, MI.: UMI
269
BROWN, R., R.D. PETHEL 1974
A Matter of Facts: State Legislative Performance Auditing, Public
Administration Review,
34: 318-326
BROWNE, A., A. WILDAVSKY, 1987
What Should Evaluation Mean to Implementation?, en D.J. PALUMBO
The Politics 01Program Evaluation.
Beverly Hills: Sage
BUCHANAN, B. 1981
The Senior Executive Service: How Can We Tell if it Works?, Public
41: 349-358
BUTTOLPH JOHNSON, J., R.A. JOSLYN 1986
Political Science Research Methods
Washington, D.C.: Congressional Quaterly Press
CAMPBELL, D., J. STANLEY 1973
Diseos experimentales y cuasiexperimentales en la investigacin social.
Buenos Aires: Amorrortu Editores
CARO, F.G. 1971
Evaluation in Comprehensive Urban Antipoverty Programs, en EG. CARO
Readings in Evaluation Research,
New York, NY: Rusell-Sage
CHELIMSKY, E. 1985
Old Pattem and New Direction in Program Evaluation, en E. CHELIMSKY
(ed.) Program Evaluation: Patterns and Directions,
Washington, D.C.: American Society for Public Administration
CLARK, R.F. 1985
The Proverbs of Evaluation, en E. CHELIMSKY Program Evaluation:
Patterns and Directions
Washington D.C.: American Society for Public Administration
COHEN, E., R. FRANCO 1988
Evaluacin de Proyectos Sociales
Buenos Aires: Grupo Editor Latinoamericano
270
BIBLIOGRAFIA
COLEMAN, J.S. et al. 1966
Equality 01Educational Opportunity.
Washinton D.C.: Government Printing Office
COOK, T.D., T.D. CAMPBELL 1976
Quasi-Experimentation: Design and Analysis Issues lor Field Settings.
Skokie, IL.: Rand MacNally
COOK, T.D., W.R. SHADISH 9 ~
Program Evaluation. The Wordly Science, en Evaluation Studies Review
Annual. Vol 12.
CRONBACH, C.J. et al. 1980
Toward Relorm 01Program Evaluation
San Francisco, CA: Jossey-Bass
CRONBACH, L.J.1982
Designing Evaluations 01Educational and Social Programs.
San Francisco, CA.: Jossey-Bass
CROZIER, M.1964
The Bureaucratic Phenomenon.
Chicago, IL.: The Universtiy of Chicago Press
DERLIEN, H.U. 1990
Genesis and Structure of Evaluation Efforts in Comparative Perspective, en
R.C.RIST(ed.) Program Evaluation and the Management olGovernment.
New Brunswick: Transaction Publishers
DIAMANT, A. 1962
The Bureaucratic Model: Max Weber Rejected, Rediscovered and Reformed, en
F. HEDDY, S.L. STOKES (eds.) Papers in Comparative Public Administration,
Ann Arbor, MI.: University of Michigan
DROR, Y. 1967
Public Policy-making Reexamined.
Scranton, PENN.: Chandler
DUNN, W.N.1986
The Meaning of Policy Analysis, en ES. LANE Current Issues in Public
Administration,
New York, NY.: S1. Martin's Press
271
DUTTON, D. 1978
Explaining the Low Use of Hea1th Services by the Poor: Cost, Attitudes or
Delivery Systems, American Sociological Review,
43: 348-368
EVALUATION STANDARDS COMMITTEE 1981
Standards for Evaluation of Educational Programs, Projects and Materials
New York, N.Y.: McGraw Hill
EVENO, B.1984
L'Evaluation et le ContrOle Administratif, en J.P. NIOCHE,
R. POINSARD, L' Evaluation des Politiques Publiques,
Pars: Economica
FAYOL, H. 1937
The Administrative Theory in the State, en L. GULICK Y L. URWICK
(eds.) Papers on the Science ofAdministration,
New York, N.Y.: Institute of Public Administration
FESTINGER, L. 1964
Behavorial Support for Opinion Changes, Public Opinion QuarterIy,
28: 404-417
GLASS, G.V., V.L. WILSON, J.M. GOTTMAN 1975
Design and Analysis ofTime-Series Experiments
Boulder, CO: AUP
GOLDENBERG, E.N. 1983
The Three Faces of Evaluation, Joumal of Policy Analysis and
Management,
2: 515-525
GRUP D' ANALISI POLITICA 1991
Avaluaci Pla Integral Roquetes
Departament de Ciencia Poltica i Dret Pblic, Universitat Autonoma de
Barcelona
GUBA, E.G., Y.S. LINCOLN 1981
Effective Evaluation: Improving the Usefulness ofEvaluation Results Through
Responsive and Naturalistic Approaches
San Francisco, CA: Jossey Bass
272
BIBLIOGRAFIA
GUBA, E.G., Y.S. LINCOLN 1987
The Countenances of Fourth-Generation Evaluation: Description,
Judgment and Negotiation, en D.J. PALUMBO
The Politics ofProgram Evaluation
Beverly Hills, CA: Sage
GULICK, L.1937
Notes on the Theory of Organization, en L. GULICK y L. URWICK (eds.)
Papers on the Science ofAdministration.
New York, N.Y.: Institute of Public Administration
GULICK, L., L. URWICK 1937
Papers on the Science ofAdministration.
New York, NY.: Institute of Public Administration
HELLER, N.B. et al. 1977
Field Evaluation of the Hypercube System: Final Report
Saint Louis, MS: Saint Louis Metropolitan Police Department
HELLSTERN, G.M. 1986
Assessing Evaluation Research, en EX. KAUFMANN, G. MAJONE,
V. OSTROM. Guidance, Control and Evaluation in The Public Sector
Berln: De Gruyter
HENERSON, M.E.; L. MORRIS, C. FITZ-GIBBON 1987
How to Measure Attitudes
Newbury Park, CA: Sage
HERMAN, J., L. MORRIS, C. FITZ-GIBBON 1987
Evaluator's handbook.
Newbury Park, CA.: Sage
HIRST, E., R. GOELTZ 1989
Evaluation of Residential Energy Conservation Programs in Minnesota, en
R.D. BINGHAM, C.L. FELBINGER Evaluation in Practice,
HOGWOOD, B.W., L.A. GUNN 1984
Policy Analysis for the Real World.
Oxford: Oxford University Press
273
HORST, P., J.N. NAY, J.W. SCANLON, J.S. WHOLEY 1974
Program Management and the Federal Evaluator, Public Administration
Review,
34: 300-308
HUDSON, J., H.A. McROBERTS 1984
Auditing Evaluation Activities, en L. RUTMAN, Evaluation Research Methods
Beverly Hills CA: Sage
JUNQUERA GONZALEZ, J. 1988
Los gastos pblicos de personal en los pases de la Europa Comunitaria,
Papeles de Economa Espaola,
37: 305-327
KATZMAN, M.T. 1971
The Political Economy of Urban Schools.
Cambridge, MA.: Harvard University Press
KELLING et al. 1974
The Kansas City Preventive Patrol Experiment.
Washington, D.C.: Police Foundation
KING, J.A., L.L. MORRIS, C. FITZ-GIBBON 1987
How to Assess Program Implementation.
LANGBEIN, L.I. 1980
Discovering Wether Programs Work: A Guide to Statistical Methods for
Program Evaluation.
Glenview, IL.: Scott/Foresman
LASSWELL, H. 1962
The Public Interest, en C.E FRIEDRICH (ed.) The Public lnterest
New York, NY.: Atherton Press
LEVITAN, S.A., G. WURZBURG 1979
Evaluating Federal Social Programs: An Uncertain Art.
Kalamazoo, MI: The W.E. Upjohn Institute for Employment Research
LEVY, F.; A. J. MELTSNER; A. WILDAVSKY 1974
Urban Outcomes
Berkeley: University of California Press
274
BIBLIOGRAFIA
LEVY, K 1984
L'Evaluation des Politiques Publiques aux Etats-Unis, en J.P. NIOCHE y
R. POINSARD (eds.) L' Evaluation des Politiques Publiques,
Pars: Economica
LEWIS, F.L., KG. ZARB 1974
Federal Program Evaluation from the OMB Perspective, Public
34: 308-317
LINDBLOM, C.E.1959
The Science of 'Muddling Through', Public Administration Review,
19: 79-88
LINDBLOM, C.E. 1980
The Poliey-Making Proeess.
Englewood Cliffs, NJ.: Prentice-Hall
LINEBERRY, R.L. 1977
Equality and Urban Poliey: The Distribution of Municipal Publie Serviees
LIPSKY, M. 1976
Toward a Theory of Street-Level Bureaucracy, en W.D. HAWLEY (ed)
Theoretieal Perspeetives on Urban Politics
Englewood Cliffs, NJ: Prentice Hall
LOPEZ GARRIDO, D. 1987
El Aparato Policial en Espaa
Barcelona: Ariel
LOSCHACK, D. 1975
La Science Administrative: Quelle Administration? Quelle Science?, Revue
Intemationale de Science Administrative,
XL: 239-252
MAE KELLY, R. 1987
The Politics of Meaning and Policy Inquiry, en D.J. PALUMBO
The Polities of Program Evaluation
275
MAJONE, E.1989
Evidence, Argument and Persuasion in the Policy Process
New Haven, CN: Yale University Press
MARTIN FERNANDEZ, M. 1990
La Profesin de Polica
Madrid: Siglo XXI-CIS
MARVIN, K.E., J.L. HEDRICK 1974
GA Helps Congress Evaluate Programs, Public Administration Review,
34: 327-332
MAXFIELD, M.G.1979
Discretion and the Delivery of Police Services (Tesis)
Ano Arbor, MI: UMI
MAXFIELD, M.G.. 1985
Service Time, Dispatch Time, and Demand for Police Services: Helping
More by Serving Less, en E. CHELIMSKY, Program Evaluation: Patterns
and Directions
Washington DC: American Society for Public Administration
MAXFIELD, M.G., G. PIERCE 1986
Impact ofLegislation to Prohibit Happy Hours on Alcohol-Related Motor
Vehicle Accidents.
Washington, D.C.: Nationallnstitute of Justice
MAYNTZ, R. 1985
Sociologa de la Administracin Pblica
Madrid: Alianza Universidad
MAYO, E. 1945
The Social Problems of an Industrial Civilization.
London: Routledge & Kegan Paul
MERTON, R.K. 1957
Bureaucratic Structure and Personality, en Social Theory and Social Structure,
New York, N.Y.: The Free Press
MIKESELL, J .L. 1982
Fiscal Administration
Chicago, IL: Dorsey
276
BIBLIOGRAFIA
MINISTERIO DE ADMINISTRACIONES PUBLICAS 1990
Reflexiones para la Modernizacin de la Administracin del Estado
Madrid:Ministerio de Administraciones Pblicas
MLADENKA, K.R.; K.Q. HILL 1978
The Distribution of Urban Police Services, Joumal of Politics,
40: 112-133
MONNIER, E. 1987
Evaluations de l' Action des Pouvoirs Publics
Pars: Economica
MORRIS, L., C. FITZ-GIBBON, E. LINDHEIM 1987
How to Measure Performance and Use Tests
Newbury Park, CA: Sage
NACHMIAS, D., C. FELBINGER 1982
Utilizaton in the Policy Cycle: Directions for Research, Policy Studies Review,
2: 300-308
NEWCOMB, T.M. 1989
Conservation Program Evaluation: The Control of Self Selection Bias, en
R.D. BINGHAM, C.L. FELBINGER Evaluation in Practice,
NIOCHE, J.P. 1982 a)
De I'Evaluation al' Analyse des Politiques Publiques, Revue r n ~ i s e de
Science Politique,
32: 33-61
NIOCHE, J.P. 1982 b)
Science Administrative, Management Public et Analyse des Politiques
Publiques, Revue r n ~ i s e d' Administration Publique,
24: 9-23
NIOCHE, J.P., R. POINSARD 1984
L' Evaluaton des Politques Publiques
Pars: Economica
OLIVER, J; l. BUSOM; J. TRULLEN 1989
Estimaci de la Renda Familiar Disponible per Capita de Barcelona, els seus
Districtes i els 27 Municipis de la Corporaci Metropolitana de Barcelona 1985
Barcelona: Ajuntament de Barcelona
277
OSTROM, V., E. OSTROM 1971
Public Choice: A Different Approach to the Study of Public
Administration, Public Administration Review,
31: 203-216
PALUMBO, D.J. 1987
The Politics 01Program Evaluation
PARKS, R.B.1984
Linking Objective and Subjective Measures of Performance, Public
44: 118-127
PATTON, M.Q. 1986
Utilization-Focused Evaluation
PATTON, M.Q. 1987
How to Use Qualitative Methods in Evaluation
PERROW, C. 1975
Complex Organizations: A Critical Essay
Glenview, IL: Scott, Foresman and Company
POLAND, D.F. 1974
Program Evaluation and Administrative Theory, Public Administration
Review,
34: 333-338
PROTTAS, J.M.1981
The Cost of Free Services: Organizational Impediments to Access to Public
Services, Public Administration Review,
41: 526-534
QUERMONNE, J.L., L. ROUBAN 1984
L'Evaluation et le Controle Politique, en J.P. NIOCHE, R. POINSARD
L' Evaluation des Politiques Publiques
Pars: Economica
278
BIBLIOGRAFIA
QUERMONNE, J.L., L. ROUBAN 1986
French Public Administration and Policy Evaluation: The Quest for Accoun-
tability, Public Administration Review
46: 397-406
REISS, A.J. 1971
The Police and the Public,
New Haven, CN: Yale University Press
ROBINSON, J., A. ATHANASIOU, K. HEAD 1967
Measures o[ Occupational Attitudes and Occupational Characteristics
ROBINSON, J., J. RUSK, K. HEAD 1968
Measures o[Political Attitudes
ROBINSON, J., P. SUAVER 1969
Measures o[ Social Psychological Attitudes
ROETHLISBERGER, F.J., W.J. DICKSON 1947
Management and the Worker.
Cambridge, MA: Harvard University Press
ROSSI, P.H., H.E. FREEMAN 1985
Evaluation: A Systematic Approach.
ROSSI, P.H., U.E. FREEMAN 1989
Evaluacin. Un Enfoque Sistemtico para Programas Sociales
Mxico: Trillas
ROSSI, P.U., K.C. LYALL 1976
Re[orming Public Welfare: A critique ofThe Negative lncome Tax
Experiment.
New York, NY: Russell-Sage
ROSSI, P.U., J.D WRIGHT 1984
. Evaluation Research. An Assessment, Evaluation Studies Review Annual.
Vol. 11
279
ROUBAN, L. 1983
Le General Accounting Office, Recherche sur l' Evaluation des Politiques
Publiques aux Etats-Unis. (Tesis)
Pars 1
RUTMAN, L. 1980
Planning Useful Evaluations: Evaluability Assessment
RUTMAN, L. 1984
Evaluation Research Methods
SCRIVEN, M. 1967
The Methodology of Evaluation, en R. TYLER, R. GAGNE, M. SCRIVEN
(eds.) Perspective ofCurriculum Evaluation,
Chieago, IL: Rand MeNally
SCRIVEN, M.1973
Goal-Free Evaluation, en E.R. HOUSE (ed) School Evaluation.
The Politics and Process
Berkeley, CA: Me Cutehan
SELZNICK, P. 1966
TVA and the Grass Roots
New York, NY: Harper and Row
SUORTELL, S.M., W.C. RICUARDSON 1978
Health Program Evaluation
Sant Louis, MI: Molby
SIMON, U.A. 1976
Administrative Behavior.
New York, NY: The Free Press
SINGLETON, R.; B.C. STRAITS; M.M. STRAITS;
R.J. McALLISTER 1988
Approaches to Social Research
New York, NY: Oxford University Press
280
BIBLIOGRAFIA
SKIDMORE, F. 1989
Overview of the Seattle-Denver Income Maintenance Experiment Final
Report, en R. BINGHAM, C. FELBINGER Evaluation in Practice
White Plains, NY: Longman
STAKE, R.E.1975
Evaluating the Arts in Education
Columbus, OH: Merril
STIPACK, B.1979
Citizen Satisfaction with Urban Services: Potential Misuse as a Performance
Indicator, Public Administration Review,
39: 46-52
STOUT, R.1980
Management or Control? The Organizational Challenge
Bloomington, IN: Indiana University Press
STROSBERG, M.A.; J.S. WHOLEY 1983
Evaluability Assessment: From Theory to Practice in the Department of
Health and Human Services, Public Administraton Review,
43: 66-71
STRUYK, R.J.; M. BENDICK (eds.) 1981
Housing Vouchers for the Poor: Lessons from a National Experiment.
Washington, DC: Urban Institute
SUBIRATS, J. 1988
Consideracions poltico-administratives sobre la posada en practica de les
poltiques pbliques, Autonomies
9: 93-109
SUBIRATS, J.1989
Anlisis de Polticas Pblicas y Eficacia de la Administracin.
Madrid: Instituto Nacional de Administracin Pblica
SUCHMAN, E.A. 1970
Action for What? A Critique of Evaluative Research, en R. O'TOOLE (ed.)
The Organization, Management and Tactics of Social Research,
Cambridge, MA: Schenkman
281
TAYLOR, F.W. 1947
The PrincipIes of Scientific Management, en Scientific Management,
New York, NY: Harper & Brothers
THISTLETHWAITE, D.T., D.T. CAMPBELL 1989
Regression-Discontinuity Analysis: An Altemative to the Ex Post Facto
Experiment, en R.D. BINGHAM, C.L. FELBINGER Evaluation in Practice,
White Plains, NY: Longman
THOENING, J.C. 1984
Commentaire, en J.P. NIOCHE, R. POINSARD L' Evaluation des Politi-
ques Publiques
Pars: Econmica
THOMPSON, M. 1980
Benefit-Cost Analysis for Program Evaluation.
THOMPSON, V.A. 1967
Modern Organization.
New York, NY: Knopf
URKOWITZ, A.G., R.E. LAESSING 1982
Addressing the Believability of Research Results Reported in the
Environmental Health Matrix, Public Administration Review,
42: 427-438
VIVERET, P. 1989
L'Evaluation des Politiques et des Actions Publiques: Rapport au Premier
Ministre, Documento no publicado
VULPIAN, A. DE, B. DEVEZ 1984
L'Evaluation par la Socit Civile, en J.P. NIOCHE, R. POINSARD,
L' Evaluation des Politiques Publiques,
Pars: Economica
WALKER, W.E.1985
The Conduct of Program Evaluations on Govemment, Evaluation and
Program Planning,
8: 271-280
282
BIBLIOGRAFIA
WASSON, J.H. et al. 1984
Continuity of Outpatient Medical Care, The Joumal of the American
Medical Association, Vol. 252, Nm. 17
WEBER, M. 1946
Bureaucracy, en H. GERTH, C.W. MILLS From Max Weber: Essays in
Sociology,
New York, NY: Oxford University Press
WEBSTER, J.A. 1970
Police Task and Time Study, Joumal of Criminal Law, Criminology, and
Police Science
61: 94-100
WEISS, C.H.1972
Evaluation Research.
Englewood Cliffs, NJ: Prentice-Hall
WEISS, C.H. 1983
Stakeholder-Based Evaluation, en New Directions for Program Evaluation
17:3-14
WEISS, C.H. 1987
Where Politics and Evaluation Research Meet, en D.J. PALUMBO
The Politics ofEvaluation
WEISS, R.S.; M. REIN 1971
The Evaluation of Broad-Aim Programs, en EG. CARO Readings in
Evaluation Research
New York, NY: Russell-Sage
WILSON O.W.; R.C. MCCLAREN 1977
Police Administration
New York, NY: McGraw Hill
WHITAKER, G.P.; S. MASTROFSKI; E. OSTROM; R.B. PARKS;
S.L. PERCY 1982
Basic Issues in Police Performance
Washington DC: National Institute of Justice
283
WHOLEY, J.S.;J.W. SCANLON; H. DUFFY; J.S. FUKUMOTO;
L.M. VOGT 1975
Federal Evaluation Policy: Analysing the Effects ofPublic Programs.
Washington, DC: Urban Insitute
WILDAVSKY, A. 1969
Rescuing Policy Analysis from PPBS, Public Administration Review,
29: 189-202
WILDAVSKY, A. 1972
The Self-Evaluating Organization, Public Administration Review
32: 509-520
WILDAVSKY, A. 1980
The Art and eraft ofPolicy Analysis
London: The Macmillan Press Ltd
WILSON, W. 1887
The Study of Administration, Political Science Quaterly,
2: 197-225
WISE, C.R., L. RECASINO WISE 1982
Productivit et Evaluation de Programme aux Etats-Unis, Revue Franc;aise
d' Administration Publique,
24: 25-37
YSANDER, D.C. 1984
L'Evaluation des Politiques Publiques en Suede, en J.P. NIOCHE,
R. POINSARD (eds.) L' Evaluation des Politiques Publiques,
Pars: Economica
ZAPICO GOI, E.1988
La Modernizacin Simblica del Presupuesto Pblico (Anlisis de la Reforma
Presupuestaria del Gobierno Socialista)
Oati: Instituto Vasco de Administracin Pblica
284
Ministerio
para las
Administraciones
Pblicas
Coleccin
E s t u d i o s
SERVICIOS PUBLICaS? Aproximacin
sistemtica y estudios de caso es un
escaln ms en la labor emprendida por
el INAP para facil itar al lector espaol un
conjunto de textos que posi bi l i t en la
mejora de la gestin pblica.
La obra permi ti r adentrarnos en el
mundo de la evaluacin, de larga
t r adi ci n en otros contextos, de manera
sencilla y con vol untad de convertir sus
pginas en un valioso i nst rument o de
consulta.
o
o
Q- S
C m o evaluar program as y
servi c i os pbli c os?
A prox i m ac i n si stem ti c a y e s t u d i os de caso
II
c
i_ O
re u
-2 i
-o
o
o
X avier Ballart
Serie
Administracin
Ministerio para las Administraciones Pblicas
P .V.P . 2.300
(IVA INC

Ballart - CÓMO EVALUAR PROGRAMAS Y SERVICIOS PÚBLICOS

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Ballart - CÓMO EVALUAR PROGRAMAS Y SERVICIOS PÚBLICOS

Uploaded by

Copyright:

Available Formats

Ministerio

You might also like