You are on page 1of 36

(Consulte n u e s t r a p g i n a w e b : w w w . s i n t e s i s .

c o m
1.11 ella e n c o n t r a r el c a t l o g o c o m p l e t o y c o m e n t a d o

Indice

Introduccin

'3

PARTE I
D I S E O DE POLTICAS Y PROGRAMAS DE i N T E R V E N a N

C a p t u l o I . Polticas, programas y evaluaciones

Enrique Rebolloso
Baltasar Fernndez-Ramrez
Pilar Cantn

SOCIAL

....

15

Conceptos clave
I . I . Q u es la investigacin de evaluacin

17

1.2. Evaluacin e investigacin social

18

1.3. Desarrollo histrico de la investigacin de evaluacin

21

1.4. Situacin actual de la investigacin de evaluacin


EDITORIAL SNTESIS, S. A.
Vallehermoso, 34. 28)15 Madrid
Telfono: 91 593 20 98
httpj/www.slntcsis.com

1.5. Caractersticas del proceso de evaluacin

24

25

1.6. Delimitacin final del concepto de e v a l u a c i n -

29

C a p t u l o 2. P r o p s i t o s y actividades principales del proceso evaluativo


ISBN: 978-84-975656-9-1
Depsito legal: M-16.981-2008
Impreso en Espaa Prinled in Spain

Conceptos clave.2.1. Razones o motivos principales de las evaluaciones

2.2.1. Evaluacin para la r e s p o n s a b i l i d a d


Reservados todos tes derechos. Est prohibido, bajo las sanciones
penales y el resarcimiento civil previstos en bu leyes, reproducir,
registrar o transmitir esta publicacin. Integra o parcialmente, por
cualquier sistema de recuperacin y por cualquier medio, sea mecnico,
electrnico, magntico, electroptico, por fotocopia
o cualquier otro, sin la autorizacin previa por escrito
de los editores y de Editorial Sntesis, S. A.

II I

35
37

--

2.2. P r o p s i t o s de la evaluacin
2.2.2. Evaluacin para el desarrollo

35

41
-

41

42

2.2.3. Evaluacin para el conocimiento

42

2.3. Actividades generales de evaluacin


2.3.1. Conceptualizacin y d i s e o
13.2.

Direccin y responsabilidad en la i m p l e m e n t a c i n

2.3.3. Valoracin de la utilidad del p r o g r a m a

43

43
44
45

I I

I | . . |

I LLLLIVII.KL

'K/LW

; 4 I iunnn 69 I * v t l u w i n
~
H I
l l w n t n t o i d dectiin
1 1 i i M ' i n 1 .cj;un el lipo ile intervencin social
2.5. El proceso de intervencin social

46
46
47

.
-

Capitulo 3. Procedimientos d i a g n s t i c o s

3.2. Problemas sociales

59
62

62

..

3.3.3. Evaluacin de necesidades


3.3.4. Revisin de investigaciones

3.3.5. Revisin de las mejores prcticas (benchmarking)


3.4. Seleccin de la poblacin objetivo.

.....

3.4.1. Definicin

3.4.2. Conceptos
3.5. Mtodos para identificar la poblacin objetivo del programa
3.5.2. Foro comunitario

5.2. Implementacin del programa

'02
103
-

I07

5.2.1. M a c r o i m p l e m e n t a c i n y m i c r o i m p l e m e n t a c i n

65

5.2.2. Seguimiento, c o m p o s i c i n y factores de la implementacin

66

5.2.3. La evaluacin formativa de McCIintock

107
I08

66

5.3. Seguimiento de la participacin

67

5.4. La evaluacin de la i m p l e m e n t a c i n dentro del proceso

71

de intervencin social

112

I 16

C a p t u l o 6. Estrategias para la evaluacin de resultados e impactos

I 19

72

Conceptos clave
6.1. La evaluacin de resultados e impactos dentro del proceso
de intervencin s o c i a l
6.2. La e x p e r i m e n t a c i n social.

4.3.1. Misin y objetivos de los programas

74
75
78
78
79

4.3. Objetivos de los programas

81
._

124
126
128

73
-

4.1.2. Dificultades para la evaluacin

120
120

6.4. Criterios de valor y variables de resultado


Conceptos clave
4.1. Programas de intervencin social
4.2. El marco turbulento de las instituciones de servicios
4.1.1. C o n t e x t o social de los programas

II0

5.5. Evaluacin para el desarrollo organizacional

6.3. La emisin de juicios de valor


Captulo 4. Evaluacin de entrarla y planificacin del programa

I09

70
71

3.5.8. Censos comunitarios

I0I

65

70

3.5.6. T c n i c a s de encuesta
3.5.7. Registro de documentos o datos de archivo

Conceptos clave

64

70
-

3.5.5. Entrevistas

C a p t u l o 5. Evaluacin de proceso y seguimiento del programa

69
-

DE INTERVENCION SOCIAL

5.1. Seguimiento del programa...

69

3.5.3. ndices bajo tratamiento

i i II

K'LN M ' . I I M A I K A I >! I ( I\ I 1 K X . I I A M A 5

63

69

3.5.1. Entrevistas con informantes clave

3.5.4. Indicadores sociales

programa

PAO
LVAHW

54
55

3.3.1. Evaluaciones proactivas

, l r l

4.7.2. I I '.r.lrm.i .Ir- ini|ilriiii'iil.ii ion

53

Conceptos clave

3.1. La evaluacin de contexto dentro del proceso de intervencin social

3.3.2. Anlisis de problemas

4.7.1. B m t t n t M < ' I

49

3.3. Mtodos diagnsticos

4.7. Evaluacin*- orientad* por la t e o r a

81

C a p t u l o 7. D i s e o s aleatorizados y no aleatorizados para las evaluaciones


de resultados e impactos

Conceptos clave

132

7.1. D i s e o s aleatorizados.

I33

7.1.1. Eleccin del d i s e o


7.1.2. Ideas fundamentales-

131

134

136

4.3.2. Definicin de los objetivos del programa

83

7.2. D i s e o s no aleatorizados

139

4.3.3. Elementos del programa

140

84

7.3. D i s e o s cuasiexperimentales

4.4. Planificacin y ajuste de las evaluaciones

85

7.4. D i s e o de grupos unitarios para la evaluacin de resultados

4.5. La e v a l u a c i n de entrada dentro del proceso de intervencin social

87

4.6. Evaluacin de la evaluabilidad

90

e impactos

I46

C a p t u l o 9. Anlisis coste-beneficio

R A R T E III
EVALUACIONES

ECONMICAS

Capitulo 8. Evaluacin de la eficiencia

ISI

Conceptos clave...

152

8.1. Evaluacin de la eficiencia

153

8.2. Aspectos esenciales en el ciclo de los programas o proyectos sociales

156

8.2.1. Estado de pre-inversin._..

156

8.2.2. Estado de inversin

158

8.Z3. Estado de o p e r a c i n

_.

159

160

8.4. Consideraciones diferenciales segn los grupos de personas afectadas.....

162

8.4.1. La perspectiva del participante objetivo.....

163

8.4.1 La perspectiva del patrocinador del programa

163

8.4.3. La perspectiva de la sociedad en su conjunto

164

8 5 . Identificacin y estimacin del valor de los componentes


8.6. Categorizacin de costes

164

165

8.6.1. Monetarios y no monetarios

166

8.6.1 D e capital y de o p e r a c i n . . .

166
_

8.6.3. Recurrentes y no recurrentes

8.6.4. Manifiestos y escondidos

8.6.5. Fijos y variables

167
167

8.6.8. Medios y marginales

8.7. Algunas cuestiones de inters analtico


8.7.1. Escala del p r o y e c t o -

167
167

8.6.6. A a d i d o s y consumidos
8.6.7. Directos e indirectos

168
-

168
169

169

8.7.2. Unidades del anlisis

171

8.7.3. Estimacin ajustada de c o s t e s

8.7.4. Estimacin de beneficios y costes futuros..

172

_.

8.7.5. Destinatarios de costes y beneficios

173
173

8.8. Crticas a los anlisis de la e f i c i e n c i a

8.8.1. Beneficios psicolgicos

1 !

Conceptos clave
9.1. Antecedentes del anlisis coste-beneficio.....

8.3. Puntos de vista analticos

_.

175
176

..-

_.

176

8.8.4. Requerimiento de asunciones y estimaciones-

177

8.8.5. Falta de completitud

177

8.9. P r e s e n t a c i n e i n t e r p r e t a c i n de resultados.8.9.1. La demanda de informacin

179
'.

179

8.9.1 El informe de evaluacin


8.10. Papel del evaluador en los anlisis de la eficiencia....

9.2.1. Definicin del programa.

'
' 89

'91
-

'92

9.2.1 Formulacin de objetivos y su t r a d u c c i n a declaraciones


de evaluacin

' 93

9.2.3. Descripcin de la poblacin objetivo

'93
1

9.2.4. Identificacin de ahemativas


9.2.5. Diferenciacin del modelo de a n l i s i s

94
195

9.3. r e a s sustantivas del ACB

9.3.1. Estimacin de la magnitud de los impactos


9.3.1 Valoracin e c o n m i c a de los impactos
9.3.3. Agregacin de costes y beneficios valorados

206

9.3.4. Estimacin de costes totales y promedio


9.4. Puntos de vista analticos en el A C B

197
198
209
1

~> 2

9.4.1. U n ejemplo de clculo de coste-beneficio

215

9.4.1 Sensibilidad de los resultados del A C B

217

9.5. Consideraciones de i n t e r s en la estimacin....

2 19
2

9.5.1. Duracin del programa.


9 5 . 1 Compras de c a p i t a l . -

19

219

9.5.3. Funcionamiento en efectivo y funcionamiento de base acumulativa....

220

95.4. Cambios incurridos en los costes.

221

9.55. Prctica e s t n d a r de presupuesto.9.6. C o m p a r a c i n de costes y beneficios


9.6.1. Valor neto actual

221

222

22-

224

9.6.1 Tasa interna de r e t o m o

223

9.6.3. Relacin coste-beneficio.


9.7. El tiempo en los anlisis de la eficiencia
9.8. Aspectos distributrvos y t i c o s . . .

._

225
-

227

9.9. Ventajas e inconvenientes del ACB

229

175

8.8.1 Valor de la vida humana


8.8.3. D e g r a d a c i n de la vida humana

9 . 1 Marco analtico de referencia

'

Capitulo 10. Anlisis coste-efectividad

235

Conceptos clave
10.1. Antecedentes del anlisis coste-efectividad.

10.2. Aplicacin del ACE


10.3. La cuantificacin de beneficios en los programas sociales

240
243

10.4. Metodologa del ACE exante


10.4.1. Primera fase. Definicin del problema

180

10.4.2. Segunda fase. Diagnstico de la situacin

182

10.4.3. Tercera fase. Planteamiento de alternativas de solucin


10.4.4. Cuarta fase. Seleccin de la mejor alternativa

236
237

.-

246
247
-

248
250
-

252

/
Evaluacin de programas de intervencin soda/
10.4.5. Quinta fase. Elaboracin del proyecto definitivo.

10.4.6. Sexta fase. Incertidumbre y tests de sensibilidad

252
253

._

255

258

10.5.4. Cuarta fase. Establecimiento de las alternativas a evaluar

259

10.5.5. Quinta fase. Medicin de los recursos afectados en valores


monetarios

260
260

10.5.6. Sexta fase. Valoracin comparativa de las alternativas...


10.6. La matriz de costes

261
_

262

10.6.2. Servicios anuales prestados (SAP) y oferta total anual ( O T A ) .

265

de producto (CUP)...

266

267

10.7. Anlisis integrado coste-efectividad

269

10.7.1. Efectividad en el logro de los objetivos ( E L O ) .

269

10.7.2. Peso relativo asignado a cada objetivo ( W )

271

10.7.3. Relaciones coste-efectividad o coste-impacto (CUE)

271

10.7.4. Diferencias en valores absolutos y en valores relativos

272

10.7.5. Relaciones coste-efectividad de los sistemas.

274

10.9. El anlisis coste-utilidad

275

278

'.

PARTE I V
PROBLEMAS P R C T I C O S Y C A U O A D D E LAS

281

_.

282
283

._

285

11.3. M t o d o s combinados en evaluacin

287

11.4. Evaluaciones cualitativas

290

11.4.1. Evaluacin respondente

._

291

11.4.2. Evaluacin centrada en el uso


11.4.3. Evaluacin de caso nico

293
_

-*04
~

_.

295

305

12.2. Tipologa de los usos.


12.3. La utilidad c o m o cnterio de calidad de las evaluaciones
12.4. El problema del u s o .
12.4.1. Problemas del
I 2 4.2. Problemas del
12.4.3. Problemas del
17 4 4. Problemas del
1145,
Problemas del

uso
uso
uso
uso
uso

en
en
en
en
en

la
la
la
la
la

fase
fase
fase
fase
fase

diagnstica
de planificacin

de intervencin
_
de evaluacin de resultados
de utilizacin de los resultados

12 4 6. Problemas del ambiente p o l t i c o


12.6. Estrategias para aumentar el uso
12.6.1. El factor personal-

307
309

316
-

317

321

31 I
312
31 3
313
314
314

321

12.6.2. C m o potenciar el uso poltico de las evaluaciones


12.6.3. L a difusin de resultados.

322

322

12.6.4. Los informes de evaluacin..

324

12.6.5. El problema de las recomendaciones

12 6.6. Evaluaciones internas de alto impacto

324

325

C a p t u l o 13. Factores clave para aumentar el uso

327

Conceptos clave

13.1. Factores humanos..


13.1.1. Caractersticas del evaluador

13.2.1 Hechos organizacionales


13.2.3. Caractersticas del programa

13.3. Factores de evaluacin...

334
-

340
340

342
345
346

13.3.2. Dilogo informativo


13.3.3. Naturaleza de la informacin evaluativa
13.3.4. Informe de evaluacin

~
-

13.3.1. Procedimientos de evaluacin

13.4. Conclusin

328
329

13.2. Factores c o n t e x t a l e s
13.2.1. Compromisos de evaluacin preexistentes

11.1. El debate cuarrtitativo-cualrtativo


11.2. Situacin actual del debate

303

12.1. Elconcepto de uso

13.1.2. Caractersticas del usuario

EVALUACIONES

C a p t u l o 11. El m o v i m i e n t o cualitativo en evaluacin


Conceptos clave

12.5. Teoria de la influencia de las evaluaciones...

10.6.3. Coste por unidad de servicio (CUS) y coste p o r unidad

10.8. Ventajas e inconvenientes del ACE

Conceptos clave
257

cuantificables
10.5.3. Tercera fase. Descripcin de sujetos posiblemente afectados

10.6.1. Costes totales

C a p t u l o 12. El uso de los resultados evaluativos.-

256

10.5.2. Segunda fase. Traduccin de objetivos a indicadores y dimensiones

10.6.4. Expresin final de la matriz

299

254

_
10.5. Metodologa del ACE expost
10.5 I . Primera fase. Identificacin precisa de los objetivos del programa

por el programa

11.4.5. Evaluacin d e m o c r t i c a deliberativa.


I 1.5. Crrtenos de calidad de las evaluaciones cualitativas

10.4.7. Sptima fase. Enmarque de los provectos y programas


en las prioridades sectoriales

11 4 4. Evaluacin de cuarta g e n e r a c i n

346
349
350

352

j Lvohocin de programas de intervencin social

C a p t u l o 14. C o n c e p t o , p r o c e d i m i e n t o y criterios de m e t a e v a l u a c i n
Conceptos clave..
14.1. Concepto de metaevaluacin
14.2. Funciones de la metaevaluacin
14.3. Tipos de metaevaluacin....

357
35B

__

359

14.4. El proceso de metaevaluacin


14.5. Criterios de metaevaluacin

360
_

363

14.5.1. Criterios de calidad cientfica

363

14.5.2. Normas profesionales

Introduccin

365

14.5.3. Principios ticos de los evaluadores

366

14.5.4. La lista de control de Scriven

369

14.5.5. Criterios para evaluaciones sistemticas

370

14.5.6. Criterios para evaluaciones d e m o c r t i c a s y emancipadoras

371
E l campo de la e v a l u a c i n tiene una p o s i c i n especial d e n t r o de las ciencias sociales.

C a p t u l o 15. El c o n t e x t o social de las evaluaciones

Conceptos clave
~
15.1. El ambiente poltico de las evaluaciones

15.2. Relaciones del evaluador con los d e m s grupos..

155. Evaluaciones de p e q u e a escala


15.6. La profesin de evaluador

376
377
380

15.11. Relaciones del evaluador con los equipos gestores

15.12. El miedo a ser evaluado


15.3. La posicin tica de los evaluadores....
15.4. Roles del evaluador.
_.

375

381
382
383
388

.-

391
393

E n l han confluido profesionales y a c a d m i c o s de muchas disciplinas, algunas tan


alejadas que parece imposible que hayan encontrado intereses comunes. Es u n camp o aplicado, en el sentido absolutamente real del t r m i n o . L a demanda profesional
es e n o r m e , y los a c a d m i c o s casi tenemos que pedir disculpas cuando debatimos con
los colegas que viven de la p r c t i c a , pues somos "los de los l i b r o s " , tal es la i m p r e s i n
de que la disciplina se ha construido en la p r c t i c a y n o en la academia. Sin desmerecer su enorme vala, debemos contradecirles. E n el c a m p o de la e v a l u a c i n e s t n representadas todas las grandes t e o r a s y p o l m i c a s de las ciencias sociales de las ltimas d c a d a s , i n c l u y e n d o las grandes disputas e p i s t e m o l g i c a s y las promesas de
f u t u r o . E l trabajo que hay p o r delante de nosotros es inmenso, y slo en campos com o el nuestro es posible que t o d o t i p o de profesionales tenga cabida y llegue a la
c o n f r o n t a c i n y a la c o n s t r u c c i n c o m p a r t i d a del c o n o c i m i e n t o .

Bibliografa

E n t r e las opciones disponibles, h e m o s d e c i d i d o e s tru c tu ra r el l i b r o siguiendo el


399

esquema raciona] m a r c a d o p o r los m o d e l o s de e v a l u a c i n s i s t e m t i c a , especialm e n t e el de Rossi y F r e e m a n (1989), c u y o m a n u a l ha c o n o c i d o siete ediciones y es


el m o d e l o de e v a l u a c i n p o r a n t o n o m a s i a . C o n H o w a r d E . F r e e m a n tenemos i n cluso una deuda especial, pues fue el m e n t o r del p r i m e r o de los autores de este l i b r o e n su i n i c i a c i n a la m a t e r i a de la e v a l u a c i n de programas. L o s modelos sistem t i c o s , desde que K u r t L e w i n marcara l a senda en los r e m o t o s a o s cuarenta, son
aquellos que d i v i d e n el proceso de i n t e r v e n c i n y e v a l u a c i n e n tres grandes fases:
el d i s e o d e l progra m a , la i m p l e m e n t a c i n y la v a l o r a c i n de sus resultados. N o s o t r o s p r o p o n e m o s una v a r i a c i n p r o p i a , t a l c o m o se muestra en varios de los c a p t u los iniciales del l i b r o , sobre t o d o e n el segundo. T a m b i n debemos reconocer una
d e u d a con los trabajos y manuales de M i c h a e l Scriven, D a n i e l L . Stufflebeam y Car o l H . Weiss, a s c o m o c o n m l t i p l e s autores cuya lectura ha o c u p a d o u n elevado
n m e r o de horas de n u e s t r o t i e m p o , y a quienes d e b e m o s una gran c a n t i d a d de
ideas que han inspirado las que a q u e x p o n e m o s al l e c t o r en lengua e s p a o l a .
L a primera parte del manual est compuesta por cuatro c a p t u l o s . D e s p u s de i n t r o d u c i r los conceptos b s i c o s de la materia, sobre t o d o en l o relativo a la definicin y

14

Evaluacin de programas de intervencin social

las funciones de la e v a l u a c i n , trazamos una p a n o r m i c a general sobre las distintas


actividades de e v a l u a c i n , y presentamos el m o d e l o que sirve para estructurar nuestra
propuesta s i s t e m t i c a . A c o n t i n u a c i n , exponemos los procedimientos para realizar el
d i a g n s t i c o de los problemas y las necesidades sociales, a s como distintas cuestiones
clave para la definicin de programas y proyectos de i n t e r v e n c i n social.
L a segunda parte es c e n t r a l p a r a el d i s e o de las evaluaciones de corte sistem t i c o . A u n q u e es una c o n t i n u a c i n d i r e c t a d e l c a p t u l o anterior, entendemos que
las evaluaciones que analizan el p r o c e s o y los resultados de la i n t e r v e n c i n f o r m a n
el n c l e o de las actividades que u s u a l m e n t e se d e m a n d a n en la f u n c i n de evaluac i n . L a c u e s t i n de la v a l o r a c i n de resultados e impactos se trata en dos de los
c a p t u l o s , c o n el n i m o de c u b r i r s u f i c i e n t e m e n t e la d i v e r s i d a d de p l a n t e a m i e n t o s
encontrados en esta a c t i v i d a d e s p e c f i c a , c o n c e d i e n d o al d i s e o de estudios experimentales

y cuasiexperimentales el p a p e l q u e o c u p a p o r su uso e x t e n d i d o t o d a v a

e n t r e m u c h o s evaluadores de corte c o n v e n c i o n a l .
L a tercera p a r t e e s t dedicada a las evaluaciones e c o n m i c a s . Sin ser n u e s t r o
c a m p o de e s p e c i a l i z a c i n , hemos c o n s i d e r a d o necesario n o dejar sin c u b r i r t a n i m p o r t a n t e r e a de t r a b a j o . Tras u n p r i m e r o de p r e s e n t a c i n genera], otros dos extensos c a p t u l o s se d e d i c a n a los a n l i s i s de coste-beneficio y de coste-efectividad.
Q u i z para m u c h o s lectores sea u n a p r i m e r a o c a s i n para f a m i l i a r i z a r s e c o n el
lenguaje y algunas cuestiones relevantes-en este t i p o d e actividades evaluativas.
A l igual q u e e n o t r o s r e c o n o c i d o s manuales, h a y una serie de temas colaterales q u e d e s p i e r t a n g r a n i n t e r s a c a d m i c o y p r o f e s i o n a l entre los evaluadores, y
que hemos r e u n i d o d e n t r o de la c u a r t a y l t i m a p a r t e d e l l i b r o bajo la e t i q u e t a de
" P r o b l e m a s p r c t i c o s y c a l i d a d d e las e v a l u a c i o n e s " . A l l e n c o n t r a r el l e c t o r una
i n t r o d u c c i n a las propuestas d e l m o v i m i e n t o c u a l i t a t i v o en n u e s t r o campo, e n auge en estas l t i m a s d c a d a s , u n c a p t u l o sobre los p r o c e d i m i e n t o s de m e t a e v a l u a c i n , dos m s sobre el d e n o m i n a d o p r o b l e m a d e l uso, d o n d e i n c l u i m o s diversas
estrategias p a r a m e j o r a r el i m p a c t o de los estudios de e v a l u a c i n , y el c a p t u l o final, d o n d e t r a t a m o s sobre el c o n t e x t o social y p r o f e s i o n a l de l a e v a l u a c i n .
Para c o n c l u i r , todos aquellos q u e de a l g n m o d o a y u d a r o n a dar f o r m a al l i b r o
o c o n t r i b u y e r o n , directa o i n d i r e c t a m e n t e a las r e f l e x i o n e s que i n c l u y e , dense p o r
agradecidos c o n la m a y o r c o r d i a l i d a d y c a r i o p o r nuestra parte. D u r a n t e a o s hem o s t r a t a d o de a c o m p a a r n o s de l o m i s n u t r i d o de n u e s t r o c a m p o de t r a b a j o e i n v e s t i g a c i n . M u c h o s colegas de b r i l l a n t e y r e c o n o c i d a t r a y e c t o r i a h a n pasado p o r
nuestras aulas c o m o visitantes e i n v i t a d o s , y de t o d o s ellos hemos i d o t o m a n d o
ideas, i n q u i e t u d e s intelectuales, p r e o c u p a c i o n e s h u m a n a s y buenos m o m e n t o s de
c o n v e r s a c i n . G r a c i a s a t o d o s , y u n r e c u e r d o especial para aquellos que m u c h a s
veces son citados en este m a n u a l y ya n o se e n c u e n t r a n entre nosotros.
Q u e d e p a r a e l l e c t o r l a tarea de estudiar, r e f l e x i o n a r y p o n e r en p r c t i c a l o
que de a q u aprovechare.

Parte I
Diseo de polticas
y programas de intervencin social

Polticas, programas y evaluaciones

D e unos a o s a esta parte ta d e m a n d a de profesionales y actividades de evaluac i n n o ha dejado de crecer a nuestro alrededor, y la e v a l u a c i n se ha c o n v e r t i d o
en u n o de los campos de i n v e s t i g a c i n c o n m a y o r p r o y e c c i n a c a d m i c a y p r o f e s i o n a l . C o m o saber e m i n e n t e m e n t e p r c t i c o , la e v a l u a c i n c o m p a r t e ios p r o b l e mas de la ciencia social aplicada, c o n la necesidad d e utilizar d i s e o s flexibles, m t o d o s e c l c t i c o s y u n r o l m s cercano a l a c o n s u l t o r f a . L o s clientes de la e v a l u a c i n
y las personas que t i e n e n intereses en los p r o g r a m a s (los stakeholders)

se h a n c o n -

v e r t i d o en el c r i t e r i o f u n d a m e n t a l para d e t e r m i n a r el x i t o de la e v a l u a c i n , t o d a
vez q u e la m e j o r a social, o b j e t i v o l t i m o de la empresa evaluativa, pasa p o r l o g r a r
q u e los participantes en el proceso de i n t e r v e n c i n y e v a l u a c i n hagan uso de sus
resultados y recomendaciones.
L a e v a l u a c i n es una a c t i v i d a d f u e r t e m e n t e r e l a c i o n a d a con el c a m p o de las
p o l t i c a s sociales y c o m b i n a los p r o p s i t o s de a y u d a r a la m e j o r a de las i n t e r v e n ciones y a p o r t a r i n f o r m a c i n para el d e b a t e p b l i c o sobre el b u e n uso de los f o n dos destinados a los p r o g r a m a s . E v a l u a r i m p l i c a l a e m i s i n de j u i c i o s de v a l o r sob r e e l c o r r e c t o f u n c i o n a m i e n t o de las a c t i v i d a d e s , la c a l i d a d de los p l a n e s de
t r a b a j o o las consecuencias positivas d e l p r o g r a m a e n la m e j o r a de las condiciones
sociales.
L a e v a l u a c i n n o es una empresa sencilla, n i u n a a c t i v i d a d que se ejecuta de
m a n e r a p u n t u a l p o r u n c o n j u n t o r e d u c i d o de investigadores. L a e v a l u a c i n es una
empresa c o m p l e j a q u e r e q u i e r e u n esfuerzo s i s t e m t i c o , e i m p l i c a la p a r t i c i p a c i n
d e u n a m p l i o n m e r o de personas y la i n v e r s i n d e u n a considerable c a n t i d a d de
recursos que d e b e n ser d e t r a d o s de los presupuestos de la i n t e r v e n c i n . E l
sis de los p r o g r a m a s s e a l a las d i f i c u l t a d e s que e n t r a a trabajar con grupos

anill
dlvci

sos d e personas que t i e n e n intereses diferentes y a veces a n t a g n i c o s , v q u i

1 , 1

m a n d a n a c t i v i d a d e s e v a l u a t i v a s q u e c o b r a n s i g n i f i c a d o s diversos en un m i dio

Captulo l: fotiucas, progromuj y c r w u u u v M

Porte /. D i s e o de polticas y programos de intervencin social

f u n d a m e n t a l m e n t e p o l t i c o . Esta c o m p l e j i d a d , a s c o m o la v a r i e d a d de opciones

es e f e c t i v o c u a n d o consigue r e s u l -

m a n e r a i n t e g r a l el p r o c e s o de \

conceptuales, t e r i c a s y m e t o d o l g i c a s , y l a c r e c i e n t e d e m a n d a c o n v i e r t e n a l a

tados, eficaz c u a n d o c o n s i g u e los

i n t e r v e n c i n social, incluyendo e

e v a l u a c i n en u n r e t o de gran a t r a c t i v o para los investigadores interesados en una

resultados esperados y eficiente

c o n t e x t o p r e v i o de la e v a l u a c i n ,

ciencia social d i r e c t a m e n t e c o m p r o m e t i d a con l a m e j o r a y la s o l u c i n de los p r o -

c u a n d o l o l o g r a a u n coste r a z o n a -

la p l a n i f i c a c i n d e l p r o g r a m a , la

blemas sociales.

ble.

i m p l e m e n t a c i n de las actividades
y l a p r o d u c c i n de r e s u l t a d o s d i -

Usos
Conceptos clave

de la evaluacin.

L a u t i l i d a d de

versos.

los resultados e v a l u a t i v o s e s t det e r m i n a d a p o r la c a p a c i d a d de las

Stakeholders.

L i t e r a l m e n t e significa

personas o grupos i m p l i c a d o s en el

" a q u e l l o s que t i e n e u n i n t e r s de-

las a c t i v i d a d e s de u n p r o g r a m a .

p r o g r a m a para e x t r a e r

consecuen-

p o s i t a d o " , es decir, aquellas perso-

objetivo p r i o r i t a r i o la a p l i c a c i n

E x i g e una p l a n i f i c a c i n

especfica

cias, p l a n i f i c a r mejoras y, en gene-

nas o g r u p o s q u e t i e n e n a l g o que

del c o n o c i m i e n t o y los m t o d o s de

p r e v i a e n r e l a c i n c o n la p r e v i s i n

r a l , hacer uso de las conclusiones

ganar o q u e p e r d e r con el x i t o del

la ciencia social para resolver p r o -

y d i s t r i b u c i n de los recursos nece-

de la e v a l u a c i n . H a y d i s t i n t o s t i -

programa.

blemas sociales. T r a d i c i o n a l m e n t e

sarios para el desarrollo de las acti-

pos posibles de uso y es i m p o r t a n -

se c o n t r a p o n e c o n l a idea de c i e n -

vidades.

Ciencia

social

aplicada.

P a r t e d e las

ciencias s o c i a l e s q u e t i e n e c o m o

Implementacin.

Puesta en p r c t i c a de

te ser consciente de q u e debe haber u n esfuerzo i n t e n c i o n a d o para

cia b s i c a , a u n q u e la d i s t i n c i n es
confusa y m u c h o s la rechazan.

Funcin

de evaluacin.

Es u n o de los

lograr la u t i l i z a c i n .

social.

Esfuerzo s i s t e m t i -

i n t e r v e n c i n s o c i a l , j u n t o c o n la

c o y r a c i o n a l p a r a m o d i f i c a r las

p l a n i f i c a c i n y la i m p l e m e n t a c i n

condiciones sociales o el c o m p o r t a -

d e las actividades. L a i n f o r m a c i n

m i e n t o de las personas con el obje-

e v a l u a t i v a es v i t a l para m e j o r a r la

t i v o p r i o r i t a r i o de la m e j o r a social.

t o d o s los g r u p o s de personas que

social.

C o n j u n t o de p r e s c r i p -

sistemtica.

Es u n t i p o de

e v a l u a c i n q u e i n t e n t a analizar de

ciales de la e v a l u a c i n y destinatarios de la i n f o r m a c i n evaluativa.

I . I . Q u es la i n v e s t i g a c i n de e v a l u a c i n

dio o a largo plazo.

ciones y l n e a s de i n t e r v e n c i n q u e
reflejan los esfuerzos d e l g o b i e r n o

Evaluacin

t o m a d e d e c i s i o n e s s o b r e el p r o g r a m a de m a n e r a i n m e d i a t a , a m e -

Poltica

Es u n c o n c e p t o p r x i m o al

anterior, que intenta identificar a


se c o n s t i t u y e n en usuarios p o t e n -

e l e m e n t o s centrales del proceso de


Intervencin

Audiencias.

L a s definiciones son variadas d e p e n d i e n d o de la o r i e n t a c i n d e l a u t o r q u e las forValoracin

y juicios

de valor.

Evaluar

para resolver los p r o b l e m a s socia-

consiste e n e m i t i r j u i c i o s de v a l o r

les o gestionar los asuntos d e i n t e -

sobre la calidad de a l g n objeto

r s de l a c o m u n i d a d en r e l a c i n

( p r o g r a m a , proceso, e l e m e n t o , o r -

c o n temas c o m o s a l u d , v i v i e n d a ,

g a n i z a c i n , persona, etc.). E l j u i c i o

igualdad, i n t e g r a c i n , etc.

d e v a l o r r e q u i e r e de l a e x i s t e n c i a
d e c r i t e r i o s de v a l o r q u e p u e d a n

m u l e , del n f a s i s en u n o u o t r o de los o b j e t i v o s de la e v a l u a c i n , o de la descripc i n en la p r c t i c a d e l proceso o de a l g u n o de sus elementos c o m p o n e n t e s . Glass y


EHet (1980) d i s t i n g u i e r o n o c h o conceptos, y p o s i b l e m e n t e la lista n o es e n m o d o
a l g u n o exhaustiva ( v a s e c u a d r o 1.1).
L a i n v e s t i g a c i n de e v a l u a c i n es la a p l i c a c i n s i s t e m t i c a de los m t o d o s de
la ciencia social p a r a investigar la e f e c t i v i d a d de los p r o g r a m a s de i n t e r v e n c i n so-

E n m u c h o s casos es s i n -

ser contrastados c o n los datos e m -

cial (Rossi y F r e e m a n , 1989; Rossi, L i p s e y y F r e e m a n , 2004), u n a a d a p t a c i n de

n i m o de i n t e r v e n c i n social, a u n -

pricos sobre el funcionamiento y

los m t o d o s de i n v e s t i g a c i n social a la tarea de estudiar la i n t e r v e n c i n social en

que comprende t o d o c o n j u n t de

los resultados d e l p r o g r a m a .

Programas.

sus circunstancias p o l t i c a s y organizacionales de m o d o que p u e d a n obtenerse j u i cios f u n d a m e n t a d o s sobre la necesidad de realizar una i n t e r v e n c i n , a s c o m o so-

actividades planificadas e i m p l e Son

b r e el d i s e o , i m p l e m e n t a c i n , i m p a c t o y eficiencia de los p r o g r a m a s que se cen-

tres conceptos e s t r e c h a m e n t e r e l a -

t r a n en esa necesidad. Se defiende una p o s i c i n q u e se i d e n t i f i c a p l e n a m e n t e con

(intervencin social, programa

c i o n a d o s q u e p u e d e n ser

la a p l i c a c i n de las ciencias sociales a la r e s o l u c i n de los p r o b l e m a s . E n esta l-

e d u c a t i v o , p r o c e s o de

dos c o m o c r i t e r i o s de v a l o r para l a

nea, R e b o l l o s o y R e b o l l o s o (1998a: 223) escriben: " n u e s t r o i n t e r s se centra n o en

e m i s i n de juicios. U n p r o g r a m a

cualquier t i p o de e v a l u a c i n , sino s l o en a q u l l a que garantice c i e n t f i c a m e n t e la

mentadas d e f o r m a r a c i o n a l p a r a
lograr a l g n p r o p s i t o

etc.).

especfico
trabajo,

Efectividad,

eficacia

y eficiencia.

utiliza-

Coprt/o /: Polticas, programas y evouociones I 21


validez de las conclusiones que p o r t a l p r c t i c a hayan sido obtenidas". Da tod
dos, n o es necesario restringir el campo de la e v a l u a c i n a la a p l i c a c i n e x c l u s i v i

logias sesguen los resultados d e l estudio. Su o b j e t i v o es describir y explicar


i

son las cosas, no cmo

deberan

cmo

ser. P o r su p a r t e , el evaluador rechaza la idea de

las t c n i c a s y m t o d o s de i n v e s t i g a c i n social, y es fcil s e a l a r ejemplos d e n

ciencia l i b r e de valores, a s u m i e n d o q u e e l p r i n c i p a l o b j e t i v o de su trabajo es la

d o n e s desarrolladas en o t r o s m b i t o s de i n t e r s ( i n v e s t i g a c i n de mercado, u4|||


del consumidor, g e s t i n o r g a n i z a r i o n a l ) . U n a d e f i n i c i n cientifista de este t i p o M IV
obstante suficientemente a m p l i a c o m o para dar cabida a m l t i p l e s intereses, pan
pectivas y m e t o d o l o g a s de trabajo, si b i e n la m a y o r p a r t e de los especialistas r n
e v a l u a c i n han r e c i b i d o f o r m a c i n y p r o v i e n e n d e l c a m p o general de las ciencias so
cales.

e m i s i n de juicios, para l o cual tiene que t r a t a r c o n los valores de m l t i p l e s grupos

L a e v a l u a c i n y la i n v e s t i g a c i n social c o n v e n c i o n a l c o i n c i d e n en su i n t e n c i n

puesta a demandas y p r o b l e m a s e s p e c f i c o s , u t i l i z a n d o los recursos m e t o d o l g i c o s

d e alcanzar c o n o c i m i e n t o s v l i d o s m e d i a n t e l a a p l i c a c i n de m t o d o s similares.

y conceptuales de q u e dispone, s e g n sea su u t i l i d a d para el caso, y p r e s i o n a d o

Sin e m b a r g o , l a e v a l u a c i n suele encuadrarse d e n t r o de la c a t e g o r a de investiga

p o r la urgencia de los costes, el t i e m p o o e l p r e s t i g i o p r o f e s i o n a l . E l r o l profesio-

c i n aplicada,

desarrollada

nal ha p r o m o v i d o l a a m p l i a c i n de los c r i t e r i o s de validez de la i n v e s t i g a c i n , re-

en contextos c o n t r o l a d o s y f u e r t e m e n t e o r i e n t a d a al d e s a r r o l l o t e r i c o . L a distin-

c u p e r a n d o el v a l o r de la u t i l i d a d aplicada de la i n v e s t i g a c i n ( C r o n b a c h y a s o c ,

p o r c o n t r a p o s i c i n c o n u n t i p o de i n v e s t i g a c i n bsica

implicados, sin q u e se vea m e r m a d a la c a l i d a d c i e n t f i c a de sus resultados. E l contacto con la r e a l i d a d es m a y o r en el evaluador, el c u a l reconoce el c a r c t e r aplicad o de su trabajo y es consciente de q u e debe c o m p a g i n a r los factores p o l t i c o s e
i d e o l g i c o s c o n la c a l i d a d c i e n t f i c a . C o m o i n v e s t i g a d o r a p l i c a d o , el e v a l u a d o r
muestra una m a y o r p r o x i m i d a d a c o n t e x t o s profesionales en d o n d e debe dar res-

c i n e n t r e ciencia b s i c a y aplicada es t i l p a r a a p r o x i m a r s e a dos t i p o s de investi-

1980; G u b a y L i n c o l n , 1989). N o obstante, m u c h o s evaluadores t r a t a n de c o m p a g i -

g a c i n d i f e r e n c i a d o s p o r sus i n t e n c i o n e s y los c o n d i c i o n a n t e s d e l c o n t e x t o d e estu-

n a r y aprovecharse de t o d a s las p o s i b i l i d a d e s d e - a c t u a c i n , si ello es til para

d i o . N o obstante, su v a l o r c o n c e p t u a l es m u y l i m i t a d o p o r q u e l a l g i c a q u e sigue

afrontar cada p r o b l e m a de i n v e s t i g a c i n p a r t i c u l a r .

la i n v e s t i g a c i n es m u y s i m i l a r e n ambos casos. Q u e d a c l a r o q u e la d i s t i n c i n en-

U n a s n t e s i s de las diferencias e n t r e i n v e s t i g a c i n social b s i c a y aplicada debe-

t r e ambas e s t superada desde hace a o s , y r e s u l t a confusa p a r a analizar el p r o -

r a incluir el p r o b l e m a de la audiencia a q u i e n se d i r i g e los resultados del i n f o r m e ,

b l e m a de c m o d e s a r r o l l a r u n c o n o c i m i e n t o v l i d o y s o c i a l m e n t e r e l e v a n t e ( B l a n -

el e n f r e n t a m i e n t o entre " m t o d o s suficientemente b u e n o s " frente a " m t o d o s me-

c o , F e r n n d e z - D o l s , H u i c i y M o r a l e s , 1985; R e b o l l o s o , F e r n n d e z - R a m r e z y

j o r e s " , la i n t e r d i s c i p l i n a r i e d a d e i n v e s t i g a c i n m u l t i m t o d o frente a la especializa-

C a n t n , 2003).

c i n , y los asuntos p r c t i c o s frente a los t e r i c o s ( v a s e t a m b i n el cuadro 1.1).


A u n q u e todas las actividades de e v a l u a c i n t i e n e n l g i c a m e n t e u n c a r c t e r aplicado, n o siempre su r e l a c i n c o n l o t e r i c o e s t b i e n d e l i m i t a d a . S e g n Rossi y Free-

1.2.

E v a l u a c i n e i n v e s t i g a c i n social

m a n (1989), existen diferencias cualitativas entre ellas. L a i n v e s t i g a c i n b s i c a suele iniciarse c o n el p r o p s i t o de satisfacer la c u r i o s i d a d intelectual del investigador,

L a e v a l u a c i n d e b e d i s t i n g u i r s e de la i n v e s t i g a c i n social t r a d i c i o n a l ( R e b o l l o s o y

q u i e n aspira a c o n t r i b u i r c o n su t r a b a j o al c o n o c i m i e n t o de base del r e a sustantiva

M o r a l e s , 1996). A m b a s actividades se g u a n p o r los c n o n e s c i e n t f i c o s , p e r o la

de la ciencia o b j e t o de su i n t e r s . E n c o n t r a p o s i c i n , la i n v e s t i g a c i n aplicada tiene

e v a l u a c i n debe a d e m s o b l i g a t o r i a m e n t e resultar til e n la s o l u c i n de los p r o -

su o r i g e n en l a necesidad de resolver u n p r o b l e m a p r c t i c o y responder a la d e m a n -

b l e m a s ( C r o n b a c h y asoc., 1980; C h e l i m s k y , 1983). E n c o n c r e t o , la a c t i v i d a d eva-

da de distintos grupos de personas y grupos afectados por un d e t e r m i n a d o p r o b l e -

l u a t i v a es d i f e r e n t e p o r q u e (Weiss, 1990): e s t destinada al uso; d e r i v a sus p r e g u n -

ma social. A s , pues, queda c l a r o q u e el p r i m e r i m p e r a t i v o para el evaluador es

tas de los p r o b l e m a s que interesan a los responsables y los usuarios d e l p r o g r a m a ;

c o m p r e n d e r la " e c o l o g a social" d e l c a m p o en q u e va a desarrollar su trabajo.

persigue realizar u n j u i c i o c o m p a r a t i v o e n t r e a l t e r n a t i v a s d e a c c i n ; se d e s a r r o l l a

L a segunda diferencia tiene que ver c o n la regla de o r o que rige el m o d o p r a g -

d e n t r o d e l p r o g r a m a , p o r l o q u e debe a t e n d e r especialmente las d i m e n s i o n e s p o -

m t i c o de ejecutar la e v a l u a c i n , de m a n e r a que sea l o "suficientemente

l t i c a s y estructurales de l a o r g a n i z a c i n de servicios; d e b e r e s o l v e r los c o n f l i c t o s

p a r a r e s p o n d e r a d e c u a d a m e n t e a las cuestiones b a j o e s t u d i o . E s t o c o n l l e v a la

buena"

de r o l que surgen c o n los evaluados; a u n q u e la d i f u s i n de l a i n v e s t i g a c i n es ne-

a s u n c i n de que existen grados de justeza y a d e c u a c i n de la e v a l u a c i n a los o b -

cesaria para c o n t r i b u i r al avance de la d i s c i p l i n a , es m s difcil p o r los p r o b l e m a s

j e t i v o s que persiguen los c n o n e s de la i n v e s t i g a c i n c i e n t f i c a . G e n e r a l m e n t e los

de reserva y c o n f i d e n c i a l i d a d de los datos, las d i f i c u l t a d e s t e m p o r a l e s d e l e s t u d i o y

investigadores b s i c o s poseen una f o r m a c i n de a c u e r d o c o n una singular o r i e n t a -

los p r o b l e m a s de g e n e r a l i z a b i l i d a d ; p o r l t i m o , el e v a l u a d o r e s t c o m p r o m e t i d o

c i n d i s c i p l i n a r i a a la que p e r m a n e c e n fieles d u r a n t e el d e s a r r o l l o de toda su ca-

con el c o n o c i m i e n t o social, p e r o t a m b i n c o n l a a p l i c a c i n d e l c o n o c i m i e n t o para

r r e r a p r o f e s i o n a l , y una firme a d h e s i n a un m a r c o c o n c r e t o de p r o c e d i m i e n t o s

la m e j o r a y en su caso c o n la o r g a n i z a c i n q u e paga y necesita el e s t u d i o .

m e t o d o l g i c o s . Su c a m p o de c o n o c i m i e n t o y de e s t u d i o e s t l i m i t a d o a u n deter-

E l i n v e s t i g a d o r c o n v e n c i o n a l defiende la o b j e t i v i d a d c o m o u n v a l o r i m p r e s c i n d i b l e , e v i t a n d o asumir u n a f u n c i n v a l o r a t i v a t e m e r o s o de q u e sus valores e i d e o -

m i n a d o d o m i n i o de la ciencia. P o r e j e m p l o , el e c o n o m i s t a q u e hace de los costes


del c u i d a d o sanitario su c a m p o de i n v e s t i g a c i n y aplica consistentemente

mode-

Capitulo I: Polticas, programas y evaluaciones

2 2 j Porte I: D i s e o de policas y programas de intervencin social

los e c o n o m t r i c o s . D e f o r m a semejante, e l p s i c l o g o social o el s o c i l o g o q u e ha-

O t r a gran diferencia descansa en el t i p o de audiencia y en el c r i t e r i o para v a l o -

cen de la o b s e r v a c i n p a r t i c i p a n t e el p r i n c i p a l m t o d o de estudio en los procesos

rar la u t i l i z a c i n d e l t r a b a j o aplicado. L a a u d i e n c i a d e l investigador b s i c o es l a fa-

de e n s e a n z a y aprendizaje. P o r el c o n t r a r i o , los evaluadores g e n e r a l m e n t e se d i -

milia '!<" colegas o pares q u e p e r t e n e c e n a su m i s m o c a m p o de e s p e c i a l i z a c i n , y la

versifican en su t r a b a j o i n t e n t a n d o dar respuestas a cuestiones q u e exigen f a m i l i a -

u t i l i z a c i n se juzga por el uso de sus d e s c u b r i m i e n t o s en la l i t e r a t u r a cientfica y el

ridad

grado r n ipi< B l l i m u l a n el t r a b a j o de o t r o s . P o r su p a r t e , los investigadores aplica-

con u n a m p l i o a b a n i c o de t e o r a s y m t o d o s de i n v e s t i g a c i n . Esta d i f e r e n -

cia c o n e l i n v e s t i g a d o r b s i c o o c a s i o n a p r o b l e m a s a la h o r a de d e c i d i r q u

dos se juzgan a :\ mismos o son juzgados p o r los p a t r o c i n a d o r e s y destinatarios de

perspectivas t e r i c a s y m e t o d o l g i c a s d e b e r a n ser la base de l a f o r m a c i n y d e l

sus trabajos, y la u t i l i z a c i n se v a l o r a p o r el g r a d o de c o n t r i b u c i n a la i m p l e m e n -

ejercicio p r o f e s i o n a l de los evaluadores (Shadish y R e i c h a r d t , 1987).

t a c i n y d c s a n o l l o ile p o l t i c a s y p r o g r a m a s y, en d e f i n i t i v a , a la s o l u c i n de los
p r o b l e m a s sociales
R e s u m i e n d o , In e v a l u a c i n es p r e p o s i t i v a , i n v e s t i g a c i n social a p l i c a d a . E n

Cuadro I . I . Consideraciones de tipo pragmtico y de tipo cientfico

contraste c o n la i n v e s t i g a c i n b s i c a , la e v a l u a c i n t i e n e c o m o o b j e t i v o resolver
p r o b l e m a s p r c t i c o s Su-, pi ai In antes d e b e n estar f a m i l i a r i z a d o s y t r a t a r con d i f e -

Uno de los artculos mis influyentes en evaluacin ha sido, sin duda, el que escribiera Donald Campbell en 1969. Aqu subraya su posicin ideolgica de que la poltica y las decisiones sobre los programas
deben emerger de la comprobacin continua de las formas de mejorar las condiciones sociales, y que los
esfuerzos de cambio social que realiza la sociedad deben estar enraizados en la eioperimentan social. La
comunidad y la nacin, si no el mundo entero, deberan ser considerados como un laboratorio de experimentacin social Tanto l como sus coUbciradores promovieron esta posicin y se dedicaron a perfeccionar la metodologa de la investigacin social, afinde convertir la sociedad en una sociedad que experimenta (por ejemplo. Cook y Campbell. 1979).
En consecuencia, Campbell persigue imponer d modelo experimental en la investigacin de evaluacin, tal y como se practica en la psicologa social Aunque atemperada en escritos posteriores (Campbell,
196-4). su posicin se caracteriza por ajustar la investigacin de evaluacin al paradgma de investigacin social cientfica.
En contraste con esta visin, otro gigante de la evaluacin. I ee J Cronbach (1982). estadstico e investigador, an reconociendo que tanto la nvestigaan cientfica como la evaluacin pueden usar la misma lgica de indagacin y los mismos procedimientos de investigacin, considera que los propsitos e rrtentos
son diferentes (Cronbach, 1982). La evaluacin es un arte, y cada evaluacin representa un esfuerzo idiosincrsico por satisfacer las necesidades de los patroanadores y stokehoters de los programas. La investigacin cientfica persgue ajustarse y satisfacer un conjunto de estndares de la investigacin formulados peaIos pares-, mientras que las evaluaciones necesitan disearse e implenieritarse de forma que reconozcan los
intereses de los polticos y patrocinadores y que proporcionen una informacin til para bs que toman decisiones, dadas las usualesrestriccionesy condicionamientos de tos recursos disponibles y las circunstancias
polticas del programa En palabras del mismo Cronbach (1982.1 -2):

rentes m t o d o s de varias disciplinas sociales y ser capaces de aplicarlas a d i f e r e n tes tipos de p r o b l e m a s . A d e m s , los c r i t e r i o s p a r a j u z g a r el t r a b a j o i n c l u y e n su u t i l i z a c i n y p o r t a n t o su i m p a c t o en los p r o g r a m a s y en l a c o n d i c i n h u m a n a . Las
diferencias entre e v a l u a c i n e i n v e s t i g a c i n no llegan a d i s o c i a r ambas a c t i v i d a des. A u n q u e a veces se considere la e v a l u a c i n c o m o u n m o d o " i n f e r i o r " e n c o m p a r a c i n c o n la i n v e s t i g a c i n b s i c a , r e q u i e r e c o n o c i m i e n t o s y destrezas m s a m plias y una f o r m a c i n c o n c e p t u a l y m e t o d o l g i c a v a r i a d a , para superar l a m e n o r
capacidad de c o n t r o l sobre el estudio (Weiss, 1990).
Respecto a la s i t u a c i n disciplinar de la e v a l u a c i n , las interpretaciones de su
estatus son variadas:

Es una m s de las derivaciones de las Ciencias sociales aplicadas ( R e b o l l o so, 1987,1994a; R i e c k e n y B o r u c h , 1974; Rossi y F r e e m a n , 1989).

Es una m u l t i d i s c i p l i n a q u e p r o v i e n e de m u c h o s campos y disciplinas (Perloff, P e r l o f f y Sussna, 1976).


N o es r e a l m e n t e u n c a m p o de i n v e s t i g a c i n , p o r q u e n o existe u n c u e r p o
a c u m u l a d o de c o n o c i m i e n t o y la i n v e s t i g a c i n e s t dispersa (Sechrest y F i gueredo, 1993).

El propsito central de la evaluacin difiere del de la investigacin social bsica en que las evaluaciones se
ajustan a diferentes contextos reLionales y polticos. La estrategia de la investigacin evaluativa por Unto requiere especial consideracin La lgica es necesariamente la misma que la de la rvdagadn cientfica, pero la
traduccin de la lgica a un procedimiento debera depender del contexto, propsito y resurtido esperado.
Muchas recomendaoonel apropiadas para los programas a largo plazo de la investigacin cientfica se ajustan
bastante mal a la evaluacin. Por tanto, los tratados generales sobre el rise/to y el mtodo dentco no resurtan
pertinentes para guiar al evaluador las recomendaciones generales para la evaluacin tambin pueden levar a
confusin: las evaluaciones no deberanfraguarseen un soto molde. Para cualquier evaluacin se pueden proponer dseftos muy buenos, peno no perfectos
Algunas veces, pueden emprenderse evaluaciones y se puede entender que son lo "suficientemente
buenas' para responder a cuestiones relevantes polticas o de programas, aunque desde el punto de vista
cientfico no sean representativas de los mejores diseo; las evaluaciones pueden alejarse de los diseos
ideales cientficos. No obstante, una visin pragmtica debe entender tambin que la evaluacin est enraizada en la metodologa cientfica, a pesar de ser sensible a los corKkkjramientos de los recursos, necesidades y propsitos de las personas que apoyan los programas, y a ta naturaleza del contexto de la evaluacin.

A l v i r a (1998) le a t r i b u y e u n c a r c t e r i n t e r d i s c i p l i n a r , p o r q u e efectivamente
ha e m e r g i d o de campos distintos, p e r o n i los m o d e l o s t e r i c o s n i las m e t o d o l o g a s q u e se e m p l e a n llegan a ser e s t r i c t a m e n t e distintas o alternativas.

Para Scriven (1994) a d q u i e r e u n c a r c t e r transdisciplinar, presente en m l tiples disciplinas c o m o una a c t i v i d a d c o m n .

1.3. D e s a r r o l l o h i s t r i c o d e l a i n v e s t i g a c i n d e e v a l u a c i n
E l uso s i s t e m t i c o de la e v a l u a c i n para la m e j o r a social es u n f e n m e n o r e l a t i v a m e n t e m o d e r n o , en el q u e d e s e m p e a u n i m p o r t a n t e p a p e l la e x t e n s i n de las
ciencias sociales en las universidades y el a p o y o p o l t i c o a la i n v e s t i g a c i n social
( R e b o l l o s o y R e b o l l o s o , 1998b). D u r a n t e d c a d a s se enmarca en el c o n t e x t o p o l i -

t | Porte ': Diseo de polticas y programas de intervencin social

Captulo : Polticas, programas y evaluaciones

25'

tico de los Estados U n i d o s . S l o m u y r e c i e n t e m e n t e c o b r a i m p o r t a n c i a y t e ex-

de a p l i c a c i n . E l d e s a r r o l l o m s a m p l i o de la e v a l u a c i n de p r o g r a m a s se p r o -

t i e n d e p o r E u r o p a y algunos otros p a s e s a s i t i c o s , africanos o suramericanos. n i

duce d u r a n t e las a d m i n i s t r a c i o n e s d e los p r e s i d e n t e s K e n n e d y y J o h n s o n

donde, n o obstante, las actividades de e v a l u a c i n responden a la i m p l e m e n t a c i n di

on Poverty,

The Great

Society),

(War

v i n c u l a d o s c o n l a r e a l i z a c i n de " d e m o s t r a c i o -

programas p r o m o v i d o s p o r instituciones estadounidenses ( W . K . K e l l o g F o l l a d at i 011,

nes" y de " p r o g r a m a s i n n o v a d o r e s " . Es i m p o r t a n t e el p a p e l d e l C o n g r e s o n o r -

Rockefeller F o u n d a t i o n , Fao, Unicef, etc.).

t e a m e r i c a n o en el c o n t r o l d e las i n t e r v e n c i o n e s sociales, en respuesta a las n o -

L a h i s t o r i a de la e v a l u a c i n c o r r e paralela a la de los esfuerzos p o r ere ai OTO


gramas bajo el a m p a r o estatal d i r i g i d o s a c u b r i r las necesidades sociales. L o s anos

ticias sobre fraudes y d e r r o c h e s , y a la s e n s i b i l i d a d social c o n t r a la l e g i t i m i d a d


de las i n v e r s i o n e s p b l i c a s ( S h a d i s h , C o o k y L e v i t n , i 9 9 1 ) . L a e v a l u a c i n era

t r e i n t a m a r c a n el i n i c i o de este t i p o de p r o g r a m a s e n distintos m b i t o s de aplica

r e q u e r i d a p a r a d e m o s t r a r q u e se l o g r a b a n g a n a n c i a s e n las c o n d i c i o n e s socia-

c i n (Rossi y F r e e m a n , 1989), c o m o p o r e j e m p l o e n los campos de la e d u c a c i n

les de v i d a gracias a los p r o g r a m a s y q u e se e v i t a b a n a s efectos n o deseados.

(Tyler, D e w e y ) , la salud p b l i c a y la a c c i n c o m u n i t a r i a . E n p s i c o l o g a , el desarro-

I g u a l m e n t e , era r e q u e r i d a p a r a a p o y a r la i m p l e m e n t a c i n c o r r e c t a de los p r o -

l l o m e t o d o l g i c o en la m e d i c i n de las actitudes ( B o g a r d u s , 1925; K a t z y Braly,

gramas a n i v e l l o c a l .

1933; L i k e r t , 1932; T h u r s t o n e , 1928) y e n la e x p e r i m e n t a c i n social ( A l l p o r t , 1924;


L e w i n , 1946; M a y o , 1933) suponen u n avance c o n s i d e r a b l e . D u r a n t e la Segunda
G u e r r a M u n d i a l son destacables los trabajos sobre p r o p a g a n d a , m o r a l y liderazgo
e n el e j r c i t o n o r t e a m e r i c a n o ( D o o b , 1935; Stouffer, S u c h m a n , D e V i n n e y et al.,
1949; H o v l a n d et al, 1949, 1953). L o s c i e n t f i c o s sociales t u v i e r o n o p o r t u n i d a d de
a p l i c a r y p o n e r a p r u e b a su c o n o c i m i e n t o para analizar y m e j o r a r el f u n c i o n a m i e n t o de la a d m i n i s t r a c i n p b l i c a n o r t e a m e r i c a n a . I n i c i a l m e n t e , su i n t e r s fue
m e r a m e n t e a c a d m i c o , p e r o una vez q u e los p r o g r a m a s sociales se f u e r o n haciend o m s c o m p l e j o s , se necesitaron profesionales especializados en distintas ciencias
sociales p a r a c u b r i r los puestos m e d i o s y t c n i c o s d e g e s t i n de los p r o g r a m a s
( t e e n c r a t a s , especialistas e n a d m i n i s t r a c i n p b l i c a ) .

D u r a n t e los a o s sesenta y setenta a p a r e c e n m u l t i t u d de p u b l i c a c i o n e s per i d i c a s y m a n u a l e s de e v a l u a c i n ( S u c h m a n , C a m p b e l l , Weiss, Rossi y F r e e m a n , G u t t e n t a g y S t r u e n i n g , e t c . ) . R o s s i y F r e e m a n ( 1 9 8 9 ) o p i n a n q u e la e x p a n s i n se d e b i f u n d a m e n t a l m e n t e a l a d e m a n d a d e m t o d o s s o f i s t i c a d o s y al


avance en el d e s a r r o l l o de m t o d o s de i n v e s t i g a c i n y c l c u l o e s t a d s t i c o . A f i nales de este p e r o d o ya se constata u n c a m b i o c u a l i t a t i v o r e l a c i o n a d o c o n la
cada vez m a y o r i m p l i c a c i n de los i n t e r e s a d o s d e n t r o d e l proceso de e v a l u a c i n
( u s u a r i o s , gestores, p o l t i c o s ) . M s a l l de u n a m e r a a p l i c a c i n de m t o d o s , la
e v a l u a c i n se c o n s i d e r a p l e n a m e n t e c o m o u n a a c t i v i d a d p o l t i c a y de g e s t i n ,
p a r t e i n t e g r a l d e l a p o l t i c a social. L o s gestores n e c e s i t a b a n d a t o s e v a l u a t i v o s
p a r a a d m i n i s t r a r m e j o r y r e s p o n d e r a las p e t i c i o n e s de i n f o r m a c i n d e l C o n g r e -

K u r t L e w i n es e l c r e a d o r d e l a i n v e s t i g a c i n - a c c i n ( L e w i n , 1946), p o r la
c u a l m u c h o s le c o n s i d e r a n f u n d a d o r d e l a i n t e r v e n c i n s o c i a l e i n c l u s o de la
e v a l u a c i n t a l c o m o h o y l a c o n o c e m o s ( M o r a l e s , 1998; M o r a l e s y R e b o l l o s o ,
1996; R o s s i y F r e e m a n , 1989). L e w i n era u n a r d u o d e f e n s o r de l a e x p e r i m e n t a c i n d e n t r o de los sistemas sociales n a t u r a l e s e n q u e se p r e t e n d e el c a m b i o y, de
h e c h o , l a m e t o d o l o g a d e i n v e s t i g a c i n - a c c i n se e s t r u c t u r a de f o r m a s i m i l a r a
un e x p e r i m e n t o tradicional ( m a r c o t e r i c o , h i p t e s i s de trabajo, i n t e r v e n c i n
c o n t r o l a d a , recogida de datos, v a l o r a c i n de los cambios p r o d u c i d o s ) . L e w i n
a n t i c i p a en su a r t c u l o d e 1946 l a c o n v e n i e n c i a d e r e a l i z a r las a c t i v i d a d e s de
e v a l u a c i n de necesidades, e v a l u a c i n d e l d e s a r r o l l o d e l p r o g r a m a , e v a l u a c i n

so y de o t r o s interesados ( W h o l e y , 1983). Pocos p r o f e s i o n a l e s estaban capacitados p a r a r e s p o n d e r a las necesidades de e v a l u a c i n , y los f u n c i o n a r i o s p b l i c o s


c a r e c a n de h a b i l i d a d e s p r c t i c a s p a r a e l a n l i s i s d e los p r o g r a m a s sociales. A
p a r t i r de los a o s sesenta a p a r e c e n c u r r c u l o s a c a d m i c o s r e l a c i o n a d o s c o n estas necesidades y se i n c r e m e n t a l a p r o d u c c i n c i e n t f i c a . L a p r o f e s i o n a l i z a c i n
de la d i s c i p l i n a f u e r a d e l m u n d o a c a d m i c o se hace casi i n e v i t a b l e , t o d a vez que
los f o n d o s d i s p o n i b l e s para i n v e s t i g a c i n de e v a l u a c i n son l o s u f i c i e n t e m e n t e
g r a n d e s p a r a d a r t r a b a j o a t o d a u n a t r o p a de p r o f e s i o n a l e s ( S h a d i s h , C o o k y
L e v i t n , 1991).

d e l a eficacia o d e r e s u l t a d o s y e v a l u a c i n i n t e r n a o s e g u i m i e n t o desde d e n t r o .

L a f a l t a de r e s u l t a d o s q u e d e m o s t r a s e n la u t i l i d a d de los estudios e v a l u a t i -

T a m b i n e n su o b r a s o b r e l a t e o r a de c a m p o , L e w i n ( 1 9 5 2 ) d e s c r i b e , m s o m e -

vos y la l l e g a d a al p o d e r de los p o l t i c o s c o n s e r v a d o r e s d e r i v a r o n a finales de la

nos e x p l c i t a m e n t e , a c t i v i d a d e s i m p r e s c i n d i b l e s p a r a l a i n t e r v e n c i n s o c i a l , co-

d c a d a de los s e t e n t a en una d r s t i c a r e d u c c i n d e las i n v e r s i o n e s n o r t e a m e r i -

m o l a e v a l u a c i n de c o n t e x t o y d e e n t r a d a , c o n e l o b j e t i v o de d e s c r i b i r e l c o n -

canas e n p r o g r a m a s sociales. E l f o c o de a t e n c i n d e los e v a l u a d o r e s c a m b i p a -

t e x t o n o p s i c o l g i c o q u e e n m a r c a l a r e a l i d a d p s i c o l g i c a de personas y g r u p o s .

r a o c u p a r s e de las r e l a c i o n e s e n t r e costes y b e n e f i c i o s , la r e s p o n s a b i l i d a d

I g u a l m e n t e , p l a n t e a l a necesidad de c o n v e n c e r a los responsables p o l t i c o s y o b -

y l a eficacia de la g e s t i n . E s e j e m p l a r el caso d e l a era R e a g a n , e n la q u e se

fiscal

t e n e r l a c o o p e r a c i n a c t i v a de los p a r t i c i p a n t e s e n l a i n t e r v e n c i n m e d i a n t e u n

a p r o v e c h a r o n l o s r e c o r t e s d e la i n v e r s i n p b l i c a p a r a r e d u c i r l a i n f l a c i n y el

p r o c e s o de f o r m a c i n y e d u c a c i n , en e l q u e el i n v e s t i g a d o r a s u m e el p a p e l de

d f i c i t d e l gasto p b l i c o . P a r a d j i c a m e n t e , la m e n o r i n v e r s i n en acciones so-

asistente.

ciales n o s u p u s o u n r e t r o c e s o de l a e v a l u a c i n , si b i e n su c r e c i m i e n t o n o fue tan

Para finales de los a o s c i n c u e n t a , los c i e n t f i c o s sociales e s t n ya i n m e r s o s


e n m u l t i t u d de p r o g r a m a s d e i n t e r v e n c i n y e n u n a a m p l i a v a r i e d a d de c a m p o s

espectacular c o m o en el p e r i o d o a n t e r i o r , y se p r o d u j o u n p e r o d o de

estabiliza

c i n y a f i a n z a m i e n t o de la e v a l u a c i n c o m o a c t i v i d a d a c a d m i c a y p t o f c s i o n . i l

26

Copitulo I: Polticas, programos y evaluaciones i

Pone I: Diseo de polticos y propomas de intervencin social

1.4. S i t u a c i n a c t u a l d e l a i n v e s t i g a c i n d e e v a l u a c i n

te el proceso desde d i f e r e n t e s p u n t o s de vista ( m a y o r s o f i s t i c a c i n c o n c e p t u


mejores relaciones sociales, i d e n t i d a d s o c i a l f o r t a l e c i d a , m e j o r e s perspectivas de

D e s d e los a o s ochenta y n o v e n t a , los g o b i e r n o s r e p u b l i c a n o s n o r t e a m e r i c a n o s

; i s . i uando e s t n o r i e n t a d a s hacia la i n v e s t i g a c i n c u a l i t a t i v a , se d e s a r r o l l a n si-

grandes programas sociales. Sin e m b a r g o , c o n l a a p a r i c i n de nuevos p r o b l e m a s

g u l e o d o m o d e l o s p a r t i c i p a t i v o s , e n los q u e los v a l o r e s de n e g o c i a c i n y r e s p o n s i -

sociales (homeless,

vi,l.ol son fundamentales

S i d a ) , se asiste a u n i n c r e m e n t o e n el n m e r o de estudios reali-

zados, a pesar de la a b u n d a n c i a de c r t i c a s m u c h a s veces establecidas en u n t e r r e n o i d e o l g i c o . I g u a l m e n t e , la i n c o r p o r a c i n de n u e v o s contextos g e o g r f i c o s d e n -

->

! , , | n ) ( H u e b n e r y B e t t s , 1999; F e t t e r m a n , 1997). Estas evaluaciones i n t e r -

h a n d e f e n d i d o el r e c o r t e de los presupuestos dedicados a la a p l i c a c i n masiva de

( R e b o l l o s o , F e r n n d e z - R a m r e z , C a n t n y Pozo,

2000)
I J I e v a l u a c i n en E u r o p a se ha i n c o r p o r a d o a la disciplina c o n u n fuerte e m -

t r o d e l f e n m e n o de g l o b a l i z a c i n y l i b e r a l i z a c i n de los mercados m u n d i a l e s ha

pujc d t d c los a o s n o v e n t a . L a s r e u n i o n e s de l a European

p r o p i c i a d o l a e x p o r t a c i n de la e v a l u a c i n fuera de las fronteras norteamericanas,

la c r e a c i n de sociedades nacionales de e v a l u a c i n e n casi todos los p a s e s de la

y su p r c t i c a ha alcanzado a casi todos los g o b i e r n o s occidentales y a los p r o g r a -

U n i n I UTOpea y la a p a r i c i n de la revista Evaluation

mas de c o o p e r a c i n i n t e r n a c i o n a l ( C h e l i m s k y y Shadish, 1997). E n m u c h o s luga-

las prestigiosas Sage y T a v i s t o c k ) son los h i t o s q u i z fundamentales. E n E s p a a , la

res, las tareas evaluativas se han e x t e n d i d o y a s u m e n las actividades de a u d i t o r a ,

r e a l i d a d de la e v a l u a c i n en n u e s t r o p a s era casi a n e c d t i c a hasta hace apenas

Evaluation

Society,

(editada c o n j u n t a m e n t e p o r

m e d i d a de la e j e c u c i n o g e s t i n de la c a l i d a d , hasta t a l p u n t o q u e en m u c h o s p a -

una d c a d a . M u y pocos i n v e s t i g a d o r e s y apenas a l g n p r o g r a m a de f o r m a c i n

ses los centros d e e v a l u a c i n ofrecen u n s e r v i c i o m i x t o q u e n o d i s t i n g u e c l a r a m e n -

eran el reflejo de la escasa d e m a n d a de actividades evaluativas. Sin e m b a r g o , la si-

te entre estas actividades ( B r o o k s , 1997; W h o l e y , 1997).

t u a c i n actual ha c a m b i a d o de m a n e r a p r o m e t e d o r a ( F e r n n d e z - R a m r e z y R e b o -

Se asiste a d e m s al d e s a r r o l l o de u n a t e o r a de l a e v a l u a c i n q u e i n t e n t a su-

l l o s o , 2006). Las presiones para la i n t e g r a c i n en las estructuras a d m i n i s t r a t i v a s y

p e r a r la f r a g m e n t a c i n d e r i v a d a de las m l t i p l e s p r o c e d e n c i a s de los i n v e s t i g a -

e c o n m i c a s de la U n i n E u r o p e a ha g e n e r a l i z a d o la d e m a n d a en contextos m u y

d o r e s y d e l c a r c t e r r e a c t i v o d e l d e s a r r o l l o c o n c e p t u a l y m e t o d o l g i c o en res-

diversos (sanidad, e d u c a c i n , justicia...). L a e v a l u a c i n f o r m a p a r t e de los m l t i -

p u e s t a a p r o b l e m a s e s p e c f i c o s de l a p r c t i c a e v a l u a t i v a ( S h a d i s h , C o o k y

ples procesos de a c r e d i t a c i n en q u e p a r t i c i p a n las instituciones p b l i c a s y o r g a n i -

L e v i t n , 1991). L a t e o r a p r o v i e n e de l a i n t e r a c c i n e n t r e los p r o b l e m a s que se

zaciones privadas e s p a o l a s , c u m p l i e n d o u n d o b l e p r o p s i t o . P r i m e r o , u n a f u n -

e n c u e n t r a n en la p r c t i c a , las t r a d i c i o n e s a c a d m i c a s de cada i n v e s t i g a d o r y las

c i n de p e r f e c c i o n a m i e n t o , centrada en la i m p l a n t a c i n de sistemas de r e c o g i d a

soluciones q u e i n t e n t a n ( C o o k y Shadish, 1986; Shadish y R e i c h a r d t , 1987). L a

de i n f o r m a c i n q u e p e r m i t a n decisiones p o l t i c a s m e j o r fundamentadas y la crea-

t r a d i c i o n a l i n s a t i s f a c c i n c o n el i m p a c t o de las e v a l u a c i o n e s a g r a n escala en las

c i n de planes e s t r a t g i c o s de m e j o r a . Segundo, u n a f u n c i n de r e s p o n s a b i l i d a d ,

decisiones p o l t i c a s ha f a v o r e c i d o t a m b i n l a a p a r i c i n de nuevas o r i e n t a c i o n e s

c e n t r a d a en la a c r e d i t a c i n a t r a v s de la e v a l u a c i n de los sistemas de g e s t i n y

m s p r x i m a s a los p r o b l e m a s de g e s t i n i n t e r n a d e los p r o g r a m a s y a la o r g a n i -

los resultados organizacionales en c o m p a r a c i n c o n los e s t n d a r e s y n o r m a s d e f i -

z a c i n de servicios. Sin d u d a , las a c t i v i d a d e s de e v a l u a c i n i n t e r n a son las q u e

nidos por algn organismo externo, p b l i c o o privado.

h a n e x p e r i m e n t a d o u n m a y o r c r e c i m i e n t o e n e l c a m p o de l a e v a l u a c i n , y es
p r e v i s i b l e q u e c o n t i n e a s e n los p r x i m o s a o s ( L o v e , 1 9 9 1 ; S o n n i c h s e n , 2000).
A d e m s de s t a s , l a v i t a l i d a d de n u e s t r o c a m p o de i n v e s t i g a c i n se aprecia e n l a
a p a r i c i n r e c i e n t e de n u e v o s m t o d o s y p e r s p e c t i v a s , tales c o m o l a e v a l u a c i n
m u l t i m t o d o ( C a r a c e l l i y R i g g i n , 1994; D a t t a , 1 9 9 7 ) , e s t u d i o s de caso ( S t a k e ,
1995; T i n , 1994), e v a l u a c i n cluster

( W . K . K e l l o g F o u n d a t i o n , ' 1995), e v a l u a c i n

i n d e p e n d i e n t e ( N o r t h , 1997) o e v a l u a c i n p a r a el f o r t a l e c i m i e n t o ( F e t t e r m a n ,
1997). L a c u e s t i n n o es m e r a m e n t e el i n c r e m e n t o o r e d u c c i n d e los f o n d o s p b l i c o s , sino q u e el c a m b i o d e perspectivas r e q u i e r e u n c o n j u n t o d e p l a n t e a m i e n tos y p r e g u n t a s e v a l u a t i v a s diferentes ( F r e e m a n , 1983). E n g r a n m e d i d a la f u n c i n de e v a l u a c i n ha pasado a ser, e n las agencias de servicios y o r g a n i z a c i o n e s

L a escasez de p r o g r a m a s de f o r m a c i n y de publicaciones especializadas, j u n t o


a l a g r a n d e m a n d a de actividades de e v a l u a c i n , ha p r o p i c i a d o la a p a r i c i n de un
a m p l i o c o n j u n t o de profesionales de m u y diversos campos, q u e asumen l a realizac i n de las actividades careciendo en m u c h o s casos de u n a f o r m a c i n adecuada.
L a r e a l i z a c i n de congresos y conferencias nacionales, o la c r e a c i n de la Sociedad
E s p a o l a de E v a l u a c i n , v i n c u l a d a a la European

Evaluation

Society,

representan

esfuerzos notables p o r p a r t e de la c o m u n i d a d de evaluadores p o r d e f i n i r su p e r f i l


p r o f e s i o n a l y r e i v i n d i c a r u n c a m p o d e t r a b a j o q u e demasiadas veces se c o n f u n d e
con la p r c t i c a b u r o c r t i c a y a d m i n i s t r a t i v a , o l v i d a n d o el c a r c t e r c i e n t f i c o y esp e c i a l i z a d o de la e v a l u a c i n que se realiza en o t r o s p a s e s ( V l e z , 2003).

q u e dispensan y g e s t i o n a n los p r o g r a m a s , u n a a c t i v i d a d a s u m i d a p o r l a p r o p i a
p l a n t i l l a p r o f e s i o n a l d e n t r o de las r u t i n a s y procesos d i a r i o s de t r a b a j o . L a eval u a c i n i n t e r n a persigue o b t e n e r i n f o r m a c i n p a r a m e j o r a r el d e s e m p e o o r g a n i z a c i o n a l , p e r o t a m b i n el f o r t a l e c i m i e n t o (empowerment)

1.5. C a r a c t e r s t i c a s d e l p r o c e s o d e e v a l u a c i n

de las personas q u e

p a r t i c i p a n en las a c t i v i d a d e s e v a l u a t i v a s , las cuales r e s u l t a n e n r i q u e c i d a s d u r a n -

L a e v a l u a c i n es u n a a c t i v i d a d s o c i a l c o m p l e j a q u e exige l a p a r t i c i p a c i n de un
b u e n n m e r o de p e r s o n a s y la m o v i l i z a c i n de m l t i p l e s recursos. D a d o e l ca-

-w | reine i: uiseno ae politKm y programas de intervencin socio/

Capitulo I: Polticas, programas y evaluaciones | 29

r c t e r p o l t i c o de las o r g a n i z a c i o n e s r e s p o n s a b l e s de los p r o g r a m a s i i > i.ii.

m o d i f i c a c i o n e s respecto a la f o r m a e n q u e e! p r o g r a m a opera, o se p u e d e reco-

signiGcado de la e v a l u a c i n c o b r a i m p o r t a n c i a p a r a l o g r a r q u e las e x p e c t a t i v a

m e n d a r que se c o n t i n e c o n l o q u e se suspenda su r e a l i z a c i n . E l segundo de

de los i m p l i c a d o s sean realistas y q u e las r e l a c i o n e s e n t r e g r u p o s c o n t r i b u y a n ni

los usos i n c l u y e el c a m b i o de creencias o a c t i t u d e s respecto al p r o g r a m a o su

x i t o d e las a c t i v i d a d e s . Para R o s s i y F r e e m a n ( 1 9 8 9 ) , l a e v a l u a c i n se c a | i i

e j e c u c i n (uso c o n c e p t u a l ) . Es decir, los r e s u l t a d o s de una e v a l u a c i n

r i z a p o r ser e s e n c i a l m e n t e u n p r o c e s o s i s t e m t i c o , s i g n i f i c a t i v o y o r g a n i z a d o

i n f l u i r en las o p i n i o n e s sobre el p r o y e c t o y l a f o r m a en q u e opera. Tales c a m -

In

pueden

e v a l u a c i n es e n m u c h a s o c a s i o n e s l l e v a d a a c a b o b a j o la f o r m a d e u n provee i .

bios n o t i e n e n u n efecto i n m e d i a t o v i s i b l e , p e r o p u e d e n c a m b i a r o i n f l u i r en las

o p r o g r a m a . A u n q u e la e v a l u a c i n p u e d e aplicarse a m l t i p l e s objetos ( p l

acciones a l a r g o p l a z o .

e j e m p l o , la e v a l u a c i n de personas, e s t u d i a n t e s , e t c . ) , a q u nos c e n t r a m o s p r i n

L a e v a l u a c i n es una a c t i v i d a d significativa, en el sentido de que debe tener un

c i p a l m e n t e en la e v a l u a c i n de p r o g r a m a s o p r o y e c t o s c u y o d e s a r r o l l o t i e n e l u

significado c l a r o , sobre t o d o y m u y especialmente p a r a aquellos que e s t n i n v o l u -

g a r e n e n t i d a d e s u o r g a n i z a c i o n e s c o m o escuelas, h o s p i t a l e s , e n t i d a d e s

crados en el proceso y t i e n e n que t o m a r decisiones sobre ella. A l m i s m o t i e m p o ,

r i a s o agencias de s e r v i c i o s s o c i a l e s . Se e n t i e n d e p o r proyecto

banca

una empresa

t a m b i n ha de ser r e l e v a n t e y p r o p o s i t i v a : la relevancia

i m p l i c a que las evaluacio-

organizada que generalmente r e q u i e r e una plantilla cuyos m i e m b r o s desempe

nes son m s q u e meros escaparates de d i s e o y q u e c u m p l e n una f u n c i n i m p o r -

a n tareas y r e s p o n s a b i l i d a d e s d i s t i n t a s r e l a c i o n a d a s c o n la c o n s e c u c i n de m e

tante, necesaria, e v i t a n d o p r o d u c i r a b u r r i d o s i n f o r m e s que a nadie i m p o r t a n . L a

tas, o b j e t i v o s y a c t i v i d a d e s de los p r o g r a m a s q u e i m p l e m e n t a n . C o m o h e m o s

relevancia es u n aspecto de la e v a l u a c i n q u e se refleja en la e x a c t i t u d con que en-

v i s t o a n t e r i o r m e n t e , se e n t i e n d e p o r p r o g r a m a u n c o n j u n t o de a c t i v i d a d e s p l a -

frenta p r o b l e m a s t p i c o s y c r t i c o s que afectan a muchas personas, e n f o c n d o l o s y

n i f i c a d a s e i m p l e m e n t a d a s de f o r m a r a c i o n a l para l o g r a r a l g n p r o p s i t o espe-

t r a t n d o l o s de m a n e r a adecuada; la propositividad

c f i c o , g e n e r a l m e n t e r e l a c i o n a d o c o n l a m e j o r a de las c o n d i c i o n e s sociales de

finalidad.

las p e r s o n a s .

se traduce en i n t e n c i o n a l i d a d ,

Si la e v a l u a c i n recoge, analiza y d i f u n d e la i n f o r m a c i n p r o d u c i d a es

con el p r o p s i t o p r i n c i p a l de que sea u t i l i z a d a e n la t o m a de decisiones respecto al

U n p r o y e c t o p u e d e estar r e p r e s e n t a d o p o r u n d i s t r i t o escolar q u e i n t r o d u c e

proyecto evaluado.

u n p r o g r a m a de i n s t r u c c i n b i l i n g e p a r a e s t u d i a n t e s e x t r a n j e r o s ; o u n c e n t r o

E n los e j e m p l o s m e n c i o n a d o s m s a r r i b a , la e v a l u a c i n p o d r a ser p e r t i n e n -

m d i c o q u e lleva a cabo u n p r o g r a m a p a r a m e j o r a r las h a b i l i d a d e s d e los p r o f e -

te e n las decisiones c o n c e r n i e n t e s a la m e j o r a de la e f i c i e n c i a de las o p e r a c i o n e s

sores de e n f e r m e r a e n el d e s a r r o l l o d e tests de c o m p e t e n c i a . E s t o s p r o y e c t o s

del p r o y e c t o . A s , el p r o f e s o r a d o d e l p r o g r a m a escolar b i l i n g e n e c e s i t a r i n -

p u e d e n tener u n alcance r e l a t i v a m e n t e p e q u e o (empresa o i n s t i t u c i n l o c a l ) o

f o r m a c i n p a r a asegurarse q u e el p r o g r a m a l l e g a a las personas a p r o p i a d a s en

a m p l i o ( r e d de centros q u e i m p l a n t a n u n p r o g r a m a estatal de a y u d a a f a m i l i a s

la f o r m a a d e c u a d a . Y a la u n i d a d de f o r m a c i n de los c e n t r o s m d i c o s le s e r

c o n hijos d e p e n d i e n t e s ) . E n c u a l q u i e r caso, los d a t o s se r e c o g e n d e i n d i v i d u o s

de u t i l i d a d c o n o c e r la a c t i t u d de los profesores de e n f e r m e r a hacia los test de

q u e p a r t i c i p a n e n el p r o y e c t o , p e r o la e v a l u a c i n n o se c e n t r a e n e l l o s , s i n o en el

c o m p e t e n c i a o el x i t o q u e t i e n e e l p r o g r a m a d e f o r m a c i n e n t r e los m i s m o s

p r o y e c t o m i s m o ( e v a l u a c i n i n s t i t u c i o n a l ) o e n los p r o g r a m a s q u e d e s a r r o l l a

educadores. Estos e j e m p l o s m u e s t r a n c m o l a e v a l u a c i n p u e d e recoger d i s t i n -

( e v a l u a c i n de p r o g r a m a s ) . Es decir, e l p r o y e c t o o el p r o g r a m a s o n el o b j e t o de

tas clases de i n f o r m a c i n e n d i f e r e n t e s m o m e n t o s (antes de q u e un p r o y e c t o se

la e v a l u a c i n , l a e n t i d a d q u e se j u z g a , n o los i n d i v i d u o s q u e p a r t i c i p a n e n l y

p o n g a en m a r c h a , d u r a n t e su r e a l i z a c i n , o al final d e l m i s m o ) y t a m b i n c m o

q u e p r o p o r c i o n a n los d a t o s q u e m s t a r d e s e r n analizados.

diversas personas p u e d e n estar i n v o l u c r a d a s t a n t o e n el p r o y e c t o c o m o en su

E n l n e a s generales, c o n e l t r m i n o e v a l u a c i n se q u i e r e a l u d i r a u n p r o c e s o

e v a l u a c i n . E l d i r e c t o r d e l p r o y e c t o o p r o g r a m a ha de i n c l u i r en sus p r o c e d i -

s i s t e m t i c o de recoger, a n a l i z a r , v a l o r a r y d a r a c o n o c e r i n f o r m a c i n q u e p u e d e

m i e n t o s o p e r a t i v o s el t r a t o c o n cada g r u p o de p a r t i c i p a n t e s (stakeholders)

ser u t i l i z a d a p a r a c u m p l i r c o n e l r e q u i s i t o d e l a r e s p o n s a b i l i d a d , a u m e n t a r el

agencias q u e t e n g a n i n t e r s o e s t n i m p l i c a d a s e n el m i s m o . U n a f u n c i n i m -

c o n o c i m i e n t o d i s p o n i b l e sobre e l o b j e t o q u e va a ser e v a l u a d o , o m e j o r a r las

p o r t a n t e de esta persona es t r a b a j a r en estrecha c o l a b o r a c i n con los e v a l u a d o -

a c t i v i d a d e s u o p e r a c i o n e s d e las i n t e r v e n c i o n e s o p r o g r a m a s . C o n e l l o desea-

res a l o l a r g o d e l p r o c e s o e n t e r o de e j e c u c i n , r e s p o n s a b i l i d a d a la que se une la

m o s i n d i c a r q u e la e v a l u a c i n i m p l i c a p l a n i f i c a c i n , y n o i m p r o v i s a c i n o q u e se

de p r o m o c i o n a r a c t i v a m e n t e el uso de los r e s u l t a d o s e i n f o r m e s de la e v a l u a -

h a c e ad hoc o , d e a l g n m o d o , f o r z a d a p o r las c i r c u n s t a n c i a s . E l o b j e t i v o de l a

c i n . S i g u i e n d o c o n los e j e m p l o s , en el d i s t r i t o escolar, el d i r e c t o r de e n s e a n z a

p l a n i f i c a c i n es o b t e n e r a q u e l l a clase de i n f o r m a c i n c a p a z de d a r respuesta a

d e i d i o m a s es p r o b a b l e q u e sea t a m b i n e l a d m i n i s t r a d o r d e l p r o g r a m a de e d u -

las c u e s t i o n e s e s p e c f i c a s q u e p r e v i a m e n t e se h a y a n f o r m u l a d o . D e s p u s de la

c a c i n b i l i n g e . A u n q u e este a d m i n i s t r a d o r t e n g a q u e i n f o r m a r a o t r o s de m s

r e c o g i d a y a n l i s i s d e los d a t o s , las c o n c l u s i o n e s p u e d e n u t i l i z a r s e p r i n c i p a l -

r a n g o , p o r e j e m p l o al responsable de e d u c a c i n c o m p e n s a t o r i a o al d i r e c t o r del

m e n t e d e dos m o d o s .

d i s t r i t o escolar, l es q u i e n asume la r e s p o n s a b i l i d a d sobre e l f u n c i o n a m i e n t o y

U n o de l o usos i m p l i c a t o m a r decisiones r e s p e c t o a las

o p e r a c i o n e s d e l p r o g r a m a o i n c l u s o a su c o n t i n u a c i n en el t i e m p o ( u s o i n s t r u -

la e v a l u a c i n d e l p r o g r a m a . E n el c e n t r o m d i c o , e l d i r e c t o r de f o r m a c i n

m e n t a l ) . Es decir, b a s n d o n o s e n los d a t o s se p u e d e d e c i d i r l l e v a r a c a b o ciertas

a u x i l i a r e s de e n f e r m e r a es p r o b a b l e q u e sea t a m b i n a d m i n i s t r a d o r d e l p r o g r a -

de

30

Copitulo I: Polticos, programas y evaluaciones | i ,

Porte I: Diseo de polticas y programas de intervencin social


i . , .i-

|M i .

m e n t e si la i n f o r m a c i n q u e p r o d u c e a y u d a a s a t i s f a c e !

m a de m e j o r a de h a b i l i d a d e s . A u n q u e d e b a i n f o r m a r a o t r o s cargos a d m i n i s t r a -

r I )

t i v o s , en v i r t u d de su p o s i c i n y f o r m a c i n es el q u e e s t m e j o r e q u i p a d o p a r a

| s d e m a n d a s . I r las | i r i s o m i s . p i e m s la n e c e s i t a n .

d e s e m p e a r e f i c i e n t e m e n t e l a f u n c i n de i d e n t i f i c a r r e a s q u e n e c e s i t a n

eva-

luacin.
Para c o m p r e n d e r e n t o d o su alcance la d i m e n s i n significativa

de la evalua-

1.6. D r l

i . o i o n fm.il d e l c o n c e p t o d e

evaluacin

c i n , hay que incluir, a d e m s de la p r o p o s i t i v i d a d y la r e l e v a n c i a , la c r e d i b i l i d a d y


la i m p l i c a c i n activa en e l proceso. E n l o c o n c e r n i e n t e a la credibilidad,

hay dos

aspectos que deben ser considerados. P r i m e r o , suficiente c r e d i b i l i d a d t c n i c a ( p o r

R e b o l l o s o \ R|

bollOM

tos c l a v e i | i i r < o i i l o n i

(1998a) p r o p o n e n u n c o n j u n t o de c a r a c t e r s t i c a s o e l e m e n ' I c o n c e p t o de e v a l u a c i n :

e j e m p l o , u n d i s e o v l i d o , i n s t r u m e n t o s b i e n c o n s t r u i d o s , a n l i s i s e s t a d s t i c o s adecuados, etc.) p a r a hacer pensar que la i n f o r m a c i n ha sido o b t e n i d a o b j e t i v a m e n t e

razonables y f c i l m e n t e generalizables. D e b e recordarse que en e v a l u a c i n es dif-

activa,

Q u e sea til r n l a l o m a de decisiones y e n aspectos i n s t r u m e n t a l e s p a r a

Q u e e s t o r i e n t a d a a la excelencia o p e r f e c c i o n a m i e n t o , a d a p t n d o s e a las

Q u e e s t interesada en y p r o m u e v a el c a m b i o social.

tidas d r l | ti < if.i .una v s u s o b j e t i v o s .


conseguii u n a i i n i y o i elicai ia e n e l l o g r o de los fines.
necesidades i n f o r m a t i v a s de las audiencias.

si la e v a l u a c i n representa s o l a m e n t e una

c o n s i d e r a c i n m s e n t r e otras p r i o r i d a d e s m s acuciantes, entonces n o e x i s t i r e l


c o m p r o m i s o b s i c o que exige la i m p l i c a c i n n i e l i n t e r s p o r t o d o l o que e s t suced i e n d o e n el proceso. E n r e s u m e n , c o m o a c t i v i d a d significativa, la e v a l u a c i n c o n lleva creer e n su p r o p s i t o , c o n f i a r e n sus procesos y resultados, y p a r t i c i p a r activ a m e n t e en su d e s a r r o l l o . O b v i a m e n t e , t a l i m p l i c a c i n activa t e n d r e l efecto n o
s l o de hacer la e v a l u a c i n m s c o m p r e n s i v a al e v a l u a d o r sino t a m b i n a las personas que c o l a b o r a n en e l p r o y e c t o y e s t n asociadas a l .
E l concepto de e v a l u a c i n c o m o actividad significativa
n o c i n de actividad

organizada.

S | M . i . i l a t r m i o n a l a n l i s i s c i e n t f i c o de los p r o b l e m a s so-

sus recomendaciones y efectuar los cambios en la d i r e c c i n a p u n t a d a .


E n c u a n t o a la implicacin

i ii

Q u e e n l i i l i i r los |no< e s o s ile n e g o c i a c i n para d e f i n i r perspectivas c o m p a r -

tengan, a pesar de sus posibles diferentes intereses, confianza en el e v a l u a d o r y e n


dicha e v a l u a c i n . L a confianza debe llegar al p u n t o de estar dispuestos a seguir

i in,

ciencias o de v i o l a c i o n e s t c n i c a s . E n segundo lugar, la e v a l u a c i n d e b e tener l a


c r e d i b i l i d a d p r o f e s i o n a l asegurada, de manera q u e los d i s t i n t o s grupos i m p l i c a d o s

un l o y .i l.i v.ili .i ni i o n , es decir, la e m i s i n de j u i c i o s de v a l o r sobre u n

cialei.

cil aplicar u n b u e n d i s e o de i n v e s t i g a c i n y que c o n frecuencia hay que r e c u r r i r al


" m e j o r p o s i b l e " ( R e b o l l o s o , 1990a), l o que i m p o r t a es que se vea Ubre de insufi-

()ur

o b j e t o , i " in m m e n l e l o b f l I t eficacia de los p r o g r a m a s de a c c i n social.

y que, al m a r g e n de las p o l m i c a s m e t o d o l g i c a s , las conclusiones alcanzadas son

P o r su p a r t e , Rossi y W r i g b t (1984) s e a l a n tres conceptos fundamentales para


la r e a l i z a c i n de evaluaciones de c o r t e s i s t e m t i c o : evaluacin
(comprensiva),

de mximo

alcance

e n t e n d i d a c o m o una a c t i v i d a d h o l s t i c a d i r i g i d a a analizar de for-

m a g l o b a l la c o n c e p t u a l i z a c i n , la i m p l e m e n t a c i n y la u t i l i d a d de u n a i n t e r v e n c i n s o c i a l ; evaluacin

"ajustada"

(tailored

evaluation),

c u a n d o las a c t i v i d a d e s

e v a l u a t i v a s se ajustan al t i p o de p r o g r a m a d e i n t e r v e n c i n d e l que se t r a t e , en
f u n c i n de si es u n p r o g r a m a i n n o v a d o r , u n a m o d i f i c a c i n de u n p r o g r a m a exis-

se c o m p l e m e n t a c o n la

E n otras palabras, las evaluaciones d e b e n p l a n i f i -

t e n t e o u n a a c t i v i d a d p l e n a m e n t e e s t a b l e c i d a ; y evaluacin
teora,

orientada

por

la

cuando e s t construida por modelos t e r i c o s sobre el funcionamiento del

carse cuidadosamente, ejecutarse adecuadamente y difundirse de m o d o efectivo en-

p r o g r a m a , t i l e s p a r a o r i e n t a r la f o r m u l a c i n de cuestiones de i n v e s t i g a c i n , re-

tre las personas que p o t e n c i a l m e n t e p u e d e n u t i l i z a r l a i n f o r m a c i n e v a l u a t i v a . E n

c o g i d a y a n l i s i s de datos.

este p u n t o es d o n d e e l e v a l u a d o r o e l a d m i n i s t r a d o r d e l p r o g r a m a p u e d e n desem-

L a m a y o r a de autores e s t n de a c u e r d o en q u e la a c t i v i d a d clave de la evalua-

p e a r u n p a p e l crucial, c o n t r i b u y e n d o a o r g a n i z a r y dar f o r m a a la e v a l u a c i n , l o

c i n es la e m i s i n de j u i c i o s d e v a l o r ( S c r i v e n , 1991a; S t u f f l e b e a m y S h i n k f i e l d ,

cual les c o n v i e r t e en responsables l t i m o s de una e v a l u a c i n significativa.

Durante

1987; Weiss, 1990); se t r a t a de j u z g a r si u n o b j e t o es s u f i c i e n t e m e n t e b u e n o ( t i l ,

m u c h o t i e m p o la i n v e s t i g a c i n ha m o s t r a d o q u e l a presencia de una persona con

eficaz, a d e c u a d o , eficiente, e t c . ) . E l p r o c e d i m i e n t o m s e x t e n d i d o se identifica co-

a u t o r i d a d q u e tiene u n i n t e r s p e r s o n a l en l a e v a l u a c i n es d e f i n i t i v o p a r a e l uso

m o la lgica

que m s t a r d e se h a r de los resultados y c i e r t a m e n t e e l uso es e l p r i m e r i n d i c a d o r

l u a c i n , en t r m i n o s de a l g n i n d i c a d o r o escala de m e d i d a , c o n u n c o n j u n t o de

de que la e v a l u a c i n es significativa

( C r o n b a c h y asoc., 1980; P a t t o n , 1997). Por

c r i t e r i o s de v a l o r p r e v i a m e n t e i d e n t i f i c a d o s . S i n e m b a r g o , la f r m u l a n o d e b e en-

o t r a parte, p a r t i m o s de la base de q u e las personas que t i e n e n e n t r e sus c o m e t i d o s

g a a r n o s c o n su aparente sencillez, dada la v a r i e d a d de c o n t e x t o s y m b i t o s de

de Scriven

(Weiss, 1990), s e g n la cual se c o m p a r a e l o b j e t o de eva-

actividades de e v a l u a c i n desean q u e f u n c i o n e n l o m e j o r y m s e f i c i e n t e m e n t e p o -

a p l i c a c i n y las diversas c a r a c t e r s t i c a s , m t o d o s y o r i e n t a c i o n e s que d e f i n e n e l

sible, l o c u a l se consigue si l a e v a l u a c i n es u t i l i z a d a c o m o h e r r a m i e n t a a d m i n i s -

c a m p o de la e v a l u a c i n y que o t o r g a n en cada caso u n significado d i f e r e n t e a la

t r a t i v a y c o m o s o p o r t e de la t o m a de decisiones. L a e v a l u a c i n p u e d e ayudarles

escala de valor. C o n frecuencia, el v a l o r de u n p r o g r a m a se estima m e d i a n t e e l cal-

32

forte /: Diseo de poffocas y programas de intervencin socio/

Copitulo I: Polticas, programas y evoluociones

Algunos programas sociales y sus evaluaciones sufren estos y otros problemas relacionados (planes
de intervencin, cooperacin de proveedores de servicios, adhesin al diseo de evaluacin onginal. alelarse del diseo ideal, procedimientos de recogida de datos, grado de control del investigador). Una
consecuencia de estos compromisos con el ideal de la investigacin es la posible diferencia cualitativa
existente entre la investigacin de evaluacin y la investigacin cientfica convencional que hemos tratado a lo largo del captulo.

c u l o de la e f e c t i v i d a d y eficacia de las o p e r a c i o n e s , e n t e n d i d a s c o m o el p u n
q u e se l o g r a n l o s o b j e t i v o s p e r s e g u i d o s , q u e g e n e r a l m e n t e son espccifn :< l< . r n l .
p l a n i f i c a c i n i n i c i a l ( P r o v u s , 1 9 7 1 ; S m i t h y T y l e r , 1942; T y l e r , 1950). L a c v u l n i |i
se i n s e r t a y d e s c r i b e en este c o n t e x t o c o m o p a r t e d e l proceso d e la p o l t i c a

Cuadro 1.2. La volatilidad de los programas sociales

Una de las caractersticas principales del traba|0 evaluativo es la falta de estabilidad del medio en que
se desarrolla y de las actividades concretas que se le demandan Quizs el hecho ms distintivo de la mvrv
tigacin de evaluacin es que el evaluador tiene que realizar su trabajo en un ambiente de toma de in i
siones continuamente cambiante Rossi y Freeman (1989) sealan seis aspectos de la intervencin social
que producen este medio cambante. No todas las evaluaciones se ven afectadas de la misma manera por
cada uno de estos factores de cambio, aunque tos evaluadores debe estar preparados para reducir los requisitos cientfficos ideales del plan de evaluacin previsto y acogerse a decisiones pragmticas
Primero, los cambios polticos, pues distintas ideologas o programas polticos determinan vanaciones
en la filosofa y objetivos de tos programas. Algunos de tos cambios estn asociados a los sesgos,
orientaciones, modas, oportunidad poltica (por ejemplo, en programas de planificacin familiar mediante el uso de anticonceptivos).
Segundo, el cambio de intereses de los distintos stofceho/dea de manera que la necesaria cooperacin con tos mismos puede verse afectada y afectar a la realizacin de la evaluacin. Por ejemplo, un
jefe de polica que acuerda proporcionar informacin a un programa y a sus evaluadores puede cambiar de opinin si la invasin de la privacidad por parte de la polica se vuelve un problema en los
medios de comunicacin
Tercero, los cambios de prioridades e rrteceses detosresponsables polfticos y de gestin del propio
programa (por ejemplo, perder inters en la iniciatrva ciudadana para aumentar la profesionalidad de
un servicio de mantenimiento y limpieza urbana).
Cuarto, los problemas inesperados que pueden aparecer en la inrplemerrtaan del programa, con la
consiguiente necesidad de modificar las actividades del programa y el plan de evaluacin (por ejemplo, un programa para reducir las ausencias de los estudiantes de bajo nivel econmico en la provisin de cuidado mdico, se modific cuandotosdos tercios de estudiantes con alto ndice de ausenciarehusarond cuidado mdico ofrecido).
Quinto,tosresultados parciales de un programa pueden indicar que el mismo debe ser modificado
antes de completar d proceso evaluativo en todas sus fases (por ejemplo, en un programa de reduccin del alcoholismo la plantilla puede modificar la intervencin porque los participantes no estn realizando correctamente las actividades programadas).
Sexto, la existencia de problemas no esperados en el propio desarrollo del plan de evaluacin, con
la consiguiente necesidad de mcxlrfkacin (por ejemplo, una compaa que patrocina un programa
de cuidado mdico atosancianos decide ampliarlo e implementarto en nuevas localidades que no
hayan sido patrocinadas, con lo que hay que revisar la estrategia de evaluacin dado que las comparaciones planificadas entre grupos subvencionados y no subvencionados no son posibles).

a p o r t a n d o i n f o r m a c i n p a r a la t o m a de decisiones s o b r e la c o n v e n i e n c i a de c o n t i nuar, m o d i f i c a r o i n t e r r u m p i r d e f i n i t i v a m e n t e u n p r o g r a m a en f u n c i n del x i t o


alcanzado.
E n t e n d i d a c o m o a p o y o a la e j e c u c i n , e l c a r c t e r u t i l i t a r i s t a de la e v a l u a c i n
ha sido c u e s t i o n a d o a l r e d u c i r l a a u n p r o c e s o de m e r a c o n s t a t a c i n de r e s u l t a d o s ,
q u e asume sin c u e s t i o n a m i e n t o q u e las o p e r a c i o n e s d e l p r o g r a m a e s t n b i e n d e f i nidas, son las m s adecuadas y se p o n e n e n p r c t i c a de m a n e r a h o m o g n e a en t o dos los centros locales d o n d e se i m p l e m e n t a . A pesar de las c r t i c a s , el c o n c e p t o
de e v a l u a c i n se ha e x t e n d i d o de este m o d o p a r a i n c l u i r e l s e g u i m i e n t o de la i m p l e m e n t a c i n , buscar la i n f o r m a c i n necesaria p a r a r e s o l v e r i n c e r t i d u m b r e s y a y u d a r en la t o m a d e decisiones a los responsables de la e j e c u c i n ( C r o n b a c h y a s o c ,
1980; W h o l e y , 1981).
Algunos, por l t i m o , prefieren definir modelos s i s t e m t i c o s y comprensivos
q u e p u e d a n r e u n i r d i s t i n t o s o b j e t i v o s y a c t i v i d a d e s d e n t r o de u n proceso g e n e r a l
de e v a l u a c i n ( C h e n , 1990; R e b o l l o s o y cois., 2003; R o s s i y F r e e m a n , 1989; Stuff l e b e a m y S h i n k i f i e l d , 1987), a s u m i e n d o q u e t a n t o la e m i s i n de j u i c i o s sobre los
r e s u l t a d o s c o m o el a p o y o a la e j e c u c i n d e los p r o g r a m a s son p r o p s i t o s v l i d o s
p a r a la e v a l u a c i n . E n la p r c t i c a , se t r a t a d e r e s p o n d e r u n a serie de p r e g u n t a s de
i n v e s t i g a c i n sobre las distintas fases d e e l a b o r a c i n e i m p l a n t a c i n de u n p r o g r a ma

d e i n t e r v e n c i n social d i r i g i d o a r e s o l v e r a l g u n a s i t u a c i n e n la q u e e s t en

j u e g o la c a l i d a d de v i d a de las personas; p o r e j e m p l o , c u l es la n a t u r a l e z a de los


p r o b l e m a s a r e s o l v e r ? , q u t i p o d e i n t e r v e n c i o n e s se p u e d e n r e a l i z a r ? , a q u i n e s
i r n d i r i g i d a s ? , q u p r o b l e m a s p r c t i c o s d e b e n r e s o l v e r s e en la

implementacin?,

-j.se e s t n a l c a n z a n d o d e t e r m i n a d o s o b j e t i v o s d e m a n e r a e f i c i e n t e ? , etc.
L a d i v e r s i d a d c o n c e p t u a l resulta e n r i q u e c e d o r a y favorece una perspectiva pragm t i c a y e c l c t i c a , m s til en e l c o m p l e j o c a m p o de las organizaciones y los p r o g r a mas sociales ( v a s e c u a d r o 1.2) p o r q u e es difcil e n c o n t r a r situaciones d o n d e pueda
aplicarse una d e t e r m i n a d a o r i e n t a c i n de f o r m a h o m o g n e a ( A l v i r a , 1991; P a t t o n ,

De manera resumida, dos son los elementos centrales de la ecologa social de las evaluaciones: la existencia de mltiples stokehoWers y el hecho de que la evaluacin forma parte de un proceso poltico (Rosa,
psey y Freeman. 2004). Existirn tensiones derivadas de la presin de distintos grupos de interesados, que
demandarn preguntas diferentes al evaluador y se vern afectados de distinta forma portosresultados,
generando dudas acerca de cmo proceder con d trabajo evaluativo y cmo comunicarse con grupos tan
diferentes. La dimensin poltica implica, entre otras cosas, un problema de ajuste entre los ritmos de las
dinmicas polticas y dd desarrollo de la evaluacin El evaluador no es un investigador acadmico convencionaL sino que debe orientar su trabajo para que tenga una significacin dentro de los medios polfticos en
que se mueve.

1978). E n palabras de R e b o l l o s o y R e b o l l o s o (1998a: 225): " L a s mejores evaluaciones se logran c u a n d o se reconoce la v a r i e d a d y la c o m p l e j i d a d del c a m p o y se tiene la
suficiente f l e x i b i l i d a d

para c o m p r e n d e r q u t i p o d e d e f i n i c i n es apropiada y signifi-

cativa en u n c o n t e x t o p a r t i c u l a r y para una d e t e r m i n a d a clase de personas".

Propsitos y actividades principales


del proceso evaluativo

Las evaluaciones |>crsigiien p r o p s i t o s m u y diferentes y utilizan estrategias y m t o dos adaptados a la etapa en la historia del programa siguiendo criterios contingentes.
L a e v a l u a c i n puede ayudar a la mejora c o n t i n u a d e l programa, aumentar el c o n o c i m i e n t o social o demostrar que los directores y operarios del programa han c u m p l i d o
su responsabilidad ante la sociedad, los patrocinadores y los usuarios del m i s m o .
E n los programas i n n o v a d o r e s se r e q u i e r e especialmente analizar su efectivid a d , si alcanzan a la p o b l a c i n destinataria y si l o g r a n los resultados deseados. E n
ocasiones posteriores, es necesario analizar y v a l o r a r los c a m b i o s y m o d i f i c a c i o n e s
puntuales que se i n t r o d u c e n para r e t i n a r el p r o g r a m a . F i n a l m e n t e , los p r o g r a m a s
que se realizan d u r a n t e u n t i e m p o r e q u i e r e n i n f o r m a c i n p a r a d e t e r m i n a r q u e
c o n t i n a n siendo eficientes y q u e m e r e c e n seguir s i e n d o

financiados

y puestos en

prctica.
L a e v a l u a c i n es u n c o n j u n t o c o m p l e j o de actividades variadas que se desarrol l a n en p a r a l e l o c o n las distintas fases d e l p r o g r a m a . L a c o n c e p t u a l i z a c i n y d i s e o
d e l p r o g r a m a , l a i m p l e m e n t a c i n y la p r o d u c c i n de r e s u l t a d o s s o n m o m e n t o s
b i e n diferenciados que necesitan actividades evaluativas e s p e c f i c a s d e n t r o de un
proceso en el que l a e v a l u a c i n n o e s t r e s t r i n g i d a al c l c u l o de l a eficacia y la eficiencia, sino que presta un a p o y o p e r m a n e n t e i n c l u s o e n las etapas previas a la p r o pia intervencin.

C o n c e p t o s clave

Propsito

T o d a eva-

i m p a c t o o sean u t i l i z a d o s p o r a l -

l u a c i n se r e a l i z a c o n e l o b j e t i v o

de la evaluacin.

g u i e n d e n t r o de u n proceso de t o -

d e q u e sus r e s u l t a d o s t e n g a n u n

m a de decisiones. L o s p r o p s i t o s

M T S

Capitulo 2: Propsitos y actividades principales del proceso evoluavvo 37'

ue poi/ucos y programas de intervencin social

son v a r i a d o s , a u n q u e siempre per-

se a c c e d e r a los m i s m o s

m a n e c e u n c i e r t o i d e a l de m e j o r a

r e a l i z a r n las actividades y i i n . .

de las c o n d i c i o n e s sociales.

d i s t r i b u i r n los recursos.

2.1. R a z o n e s o m o t i v o s p r i n c i p a l e s d e l a s e v a l u a c i o n e s
H a y muchos m o t i v o s o p r o p s i t o s que p u e d e n justificar la r e a l i z a c i n de evaluaciones. C h e l i m s k y (1978) d i s t i n g u a hace a o s e n t r e las evaluaciones que tienen

L a planifn .1

u n p r o p s i t o de g e s t i n y a d m i n i s t r a c i n , las q u e s i r v e n para valorar la a d e c u a c i n

una actividad que se puede aplicar a

c i n de la e v a l u a c i n exige, l a t T

de los c a m b i o s d e l p r o g r a m a , para buscar f o r m a s de m e j o r a r la dispensa de los

la v a l o r a c i n de objetos muy diferen-

otras cuestiones, c o m p r e n d c i i|m<

servicios, y las que p e r s i g u e n satisfacer los r e q u i s i t o s de r e s p o n s a b i l i d a d de los

tes sin que v a r e el m o d o general de

nes son las personas interesadas r n

grupos que las s u b v e n c i o n a n . E n t r e otras razones, evaluamos con p r o p s i t o s de

proceder. D e manera general se pue-

la m i s m a , c u l e s son las p r e g U B U l

p l a n i f i c a c i n y p r o p s i t o s p o l t i c o s , p a r a i d e n t i f i c a r formas innovadoras de c m o

d e n evaluar programas, polticas, or-

de i n v e s t i g a c i n , q u m t o d o s se

tratar los p r o b l e m a s h u m a n o s y c o m u n i t a r i o s , para d e c i d i r sobre el f u t u r o de un

ganizaciones, productos y personas.

e m p l e a r n , q u i n e s utilizarn los

p r o g r a m a ( c o n t i n u a r o a b a n d o n a r l o ) y para apoyar su defensa frente a otras alter-

resultados y de q u m a n e r a .

nativas. Para todos los p r o p s i t o s el o b j e t i v o clave es d i s e a r e i m p l e m e n t a r una

Objeto

de evaluacin.

Responsabilidad.

L a e v a l u a c i n es

Diseo

de la evaluacin.

e v a l u a c i n t a n o b j e t i v a c o m o sea p o s i b l e ; es decir, que p r o p o r c i o n e una v a l o r a -

Las personas q u e d i -

r i g e n y p o n e n en p r c t i c a u n p r o g r a m a a s u m e n u n c o m p r o m i s o so-

Innovaciones.

Los programas innova-

d o r e s s o n a q u e l l o s q u e n u n c a se

c i n f i r m e , q u e n o c a m b i e si la e v a l u a c i n fuese repetida en las mismas condiciones p o r los m i s m o s o p o r diferentes evaluadores.

b r e e l b u e n uso de los recursos y el

h a n i n t e n t a d o antes, b i e n p o r q u e

Los p r o p s i t o s de la e v a l u a c i n p u e d e n describirse de un m o d o j e r r q u i c o si-

esfuerzo p o r lograr los objetivos

responden a un diseo original o

guiendo distintos niveles de c o n c r e c i n . E n el n i v e l m s general, toda e v a l u a c i n per-

p r e v i s t o s . L o s resultados e v a l u a t i -

p o r q u e nunca se h a b a n i m p l e m e n -

sigue el aprendizaje a partir de la experiencia con el objetivo de mejorar en futuras

vos a y u d a n a d e m o s t r a r q u e estas

t a d o en u n a l o c a l i d a d o c o n un gru-

ocasiones (Eggers y Chelimsky, 1999). Todos los d e m s p r o p s i t o s especficos son

personas h a n c u m p l i d o con su res-

p o de usuarios c o n c r e t o . T a m b i n

compatibles con el ideal de evaluar para aprender y aprender para mejorar. D e n t r o

p o n s a b i l i d a d ante los p a t r o c i n a d o -

se les d e n o m i n a demostraciones.

de nuestro m b i t o de trabajo, el p r o p s i t o f u n d a m e n t a l es ayudar a d i s e a r y mejorar

res y d e s t i n a t a r i o s d e l p r o g r a m a o
la s o c i e d a d en g e n e r a l .

los programas dirigidos a solucionar los p r o b l e m a s y necesidades sociales (Rossi y


Programas

establecidos.

Son aquellos

Freeman, 1989), enriqueciendo las intervenciones, reduciendo el gasto p b l i c o y defi-

q u e h a n sido ensayados, c o r r e g i d o s

niendo objetivos m s realistas para la i n t e r v e n c i n . E n definitiva, se trata de lograr

L o s d i r e c t o r e s y responsa-

e implementados en u n buen n -

que la i n t e r v e n c i n tenga efectos beneficiosos para a l g n sector o grupo social m i n o -

bles de p r o g r a m a s necesitan i n f o r -

m e r o de ocasiones, p o r l o q u e se

ritario

m a c i n que les p e r m i t a resolver m e -

d i s p o n e de m u c h a i n f o r m a c i n so-

concreta en tres tipos de p r o p s i t o s : responsabilidad, desarrollo y conocimiento. Es! a


d i s t i n c i n es fundamental, pues de ella dependen aspectos cruciales de la e v a l u a c i n ,

Desarrollo.

j o r los p r o b l e m a s y dudas

o en desventaja. C o m o veremos en u n apartado posterior, el siguiente nivel se

que

b r e c m o d e b e n ser d i s e a d o s e

surgen e n la p r c t i c a d i a r i a del p r o -

i m p l e m e n t a d o s para t e n e r x i t o en

tales c o m o la perspectiva evaluativa y los m t o d o s de i n v e s t i g a c i n que se u t i l i z a r n ,

grama. L a i n f o r m a c i n evaluativa

sus o b j e t i v o s .

el r o l que a s u m i r n los evaluadores y las distintas personas relacionadas con la eval u a c i n , a s c o m o las expectativas de u t i l i z a c i n de los resultados.

a y u d a a l a m e j o r a y el d e s a r r o l l o
c o n t i n u o de las actividades, de la or-

Proceso

de intervencin-evaluacin.

La

'

L a p r i m e r a f u n c i n q u e c u b r i l a e v a l u a c i n t i e n e que ver con la d e m a n d a

g a n i z a c i n de servicios y de las per-

i n t e r v e n c i n y la e v a l u a c i n son

masiva de evaluadores e n E E U U d u r a n t e los a o s sesenta: obtener i n f o r m a c i n

sonas que trabajan en el p r o g r a m a .

dos actividades inseparables que se

para d e m o s t r a r los resultados de los p r o g r a m a s , u t i l i z a b l e i n s t r u m e n t a l m e n t e para

c o m p l e m e n t a n d e n t r o d e l proceso

d e c i d i r sobre la c o n t i n u i d a d , e x p a n s i n o

general de la i n t e r v e n c i n social.

das. Sin e m b a r g o , dada l a escasa i n f l u e n c i a p o l t i c a lograda en esta p o c a ( H o u s e ,

Diseo

del programa.

L a planificacin

finalizacin

de las acciones e m p r e n d i -

las

L a e v a l u a c i n n o es algo que se r e -

1972; L i n d b l o m y C o h n , 1979; Weiss, 1977), m u c h o s evaluadores d e f e n d i e r o n u n

actividades que s e r n realizadas ( e l

alice n i c a m e n t e al f i n a l de l a i n -

m o d o de influencia difuso c e n t r a d o en e l a l u m b r a m i e n t o , es decir, que el p r o p s i -

s e r v i c i o ) y e l sistema de dispensa,

t e r v e n c i n , sino u n c o n j u n t o de ac-

to de la e v a l u a c i n s e r a crear nuevos conceptos y formas de pensar en t o r n o a los

para l o c u a l se necesita, entre otras

t i v i d a d e s planificadas q u e p r e s t a n

p r o b l e m a s sociales ( J a n o w i t z , 1970). C r o n b a c h y asoc. (1980), p o r e j e m p l o , s e a -

c u e s t i o n e s , d e c i d i r c u l e s s o n los

a p o y o i n f o r m a t i v o a la t o m a de de-

lan q u e el o b j e t i v o es i n f l u i r en el p e n s a m i e n t o y la a c c i n social en r e l a c i n con

o b j e t i v o s o p e r a t i v o s del p r o g r a m a ,

cisiones en m l t i p l e s m o m e n t o s de

los programas de i n t e r v e n c i n . P a r t i e n d o de la c o n s t a t a c i n de los hechos o c u r r i -

q u i n e s son los destinatarios, c m o

la i n t e r v e n c i n .

dos en la a p l i c a c i n d e l p r o g r a m a , y o f r e c i e n d o una v i s i n i n t e g r a l y disciplinada,

del p r o g r a m a exige d i s e a r

38

arte I: Diseo de porticoj y programas de intervencin social

Capitulo 2: Propsitos y actividades principales del proceso evolutivo

39

Cuadro 2.1. Qu objetos evaluamos

la e v a l u a c i n e s t a r a destinada a aquellas personas que t i e n e n i n i c e s e ' , y i r s i x j n -

sabilidades y que son competentes p a r a entender y u t i l i z a r los resultados evaluativos. E n t r e la influencia i n s t r u m e n t a l y l a influencia d i f e r i d a del a l u m b i a m i e n t o , se
e s t a b l e c i una tercera perspectiva de a p o y o d i r e c t o a las decisiones diarias de los
gestores de programas ( W h o l e y , 1979, 1986). E n este caso, la m i s i n de la evaluacin s e r a ayudar a establecer objetivos e i n d i c a d o r e s , v a l o r a r la e j e c u c i n , c o m u nicar los valores de las agencias de i m p l e m e n t a c i n a los responsables de las inversiones, y f u n d a m e n t a l m e n t e , e s t i m u l a r l a m e j o r a d e l a e j e c u c i n de las agencias y
programas sociales, en estrecha c o l a b o r a c i n c o n l o s responsables de la i m p l e m e n t a c i n y p r e s t a c i n de servicios ( W h o l e y , 1 9 8 6 , 1 9 9 7 ) .
A d e m s de estas t i e s funciones

ttadicionalmente

mencionadas, s e a l a r e m o s a

c o n t i n u a c i n algunas p o s i b i l i d a d e s q u e han sido apuntadas p o r distintos autores.


E n p r i m e r lugar, l a e v a l u a c i n se aplica en e l d i a g n s t i c o y e l a n l i s i s de los p r o blemas sociales, en l a r e v i s i n de los planes de i n t e r v e n c i n , en e l c o n t r o l de la i m p l e m e n t a c i n de los p r o g r a m a s y e n l a v a l o r a c i n de su i m p a c t o . Se c o n s t i t u y e a s
en u n e l e m e n t o i n f o r m a t i v o c e n t r a l p a r a e l proceso d e p l a n i f i c a c i n de las p o l t i cas y programas sociales (funcin

planificadora;

R o g , 1995). D e este m o d o , ayu-

d a n d o a la f u n d a m e n t a c i n t e r i c a y p r c t i c a , h a pasado d e ser u n m t o d o de

Antes de los aos v \ r i 1I.1

...<-, mli/aba en mltiples contextos, aunque no se dispusiera

de un concepto ni unos inri, K 1....


n la evaluacin en la educacin es una actividad tradicional
centrada en la valoracin de alunnoi. profesores y centros, fundamentalmente con el objetrvo de la acreditacin En la mdustna. la evaluacin se utriimtia como una funcin de apoyo en acciones variadas, tales
como la planificacin, la gestmii d r procesos y la gestin de recursos humanos, aunque no fuera realmente considerada una actividad autriom* l a-, pandes evaluaciones de los aos sesenta se centraron en los
programas de intervendr! wnial y n , U: |>. 4ii ,r. |iHKas. generando por primera vez una comunidad
de evaluadores interesados en temtico y |i l i n i i . . 1 i o-, comunes (Rebolloso y Rebolloso, 1998b).
I loy en da disponerme i Ir ni
i n .Ir 11 n i< x imientos y m t o d o s generales que permiten
oriental Id evaluacin r n (ulf|iiin !4m>< . i r a d n a n n Incluso la mayora estara fcilmente de
acuerdo con el concepto general de evaluar ion asociado a la idea de enjuiciamiento y al proceso
conocido 1 (uno la hy ,1 <u- '..M.M '.III r n it 1.11 jo, t At\ objeto de evaluacin tiene sus peculiaridades diferenciales, de tal modo que la evaluacin debe adaptarse en sus procedimientos y objetivos
para resultar til en cada caso. Un producto de consumo, por ejemplo, puede ser valorado mediantr un conjunto r . i u . ido . i r , menos sobre el que fcilmente alcancen acuerdos las partes interesadas. Un programa es. un embargo, un objeto mucho ms complejo, implica una organizacin de personas, e l menoi h o m o g n e o en su implantacin y es ms difcil que los grupos
interesados se pongan de ruerdo sobre los errtenos por los que debe ser juzgado (Cook. Levitn
y Shadish. I98S) De manera general. Owens y Rogers (1999) proponen distinguir cinco posibles
objetos de evaluacin:

c o n s t a t a c i n de resultados p a r a e s t i m a r el m r i t o de los p r o g r a m a s , a ser una actividad i m p r e s c i n d i b l e p a r a la d e f i n i c i n de la p r o g r a m a c i n social.


La experiencia ha m o s t r a d o la dificultad para lograr estos p r o p s i t o s , sobre t o d o
cuando se plantean en t r m i n o s de m e j o r a de las condiciones de vida de la sociedad
(Patton, 1986; Rossi y F r e e m a n , 1989). L o s resultados evaluativos s l o son u n elem e n t o m s de i n f o r m a c i n en los procesos de la p o l t i c a social, j u n t o a otras razones
de n d o l e e c o n m i c a , i d e o l g i c a , p o l t i c a o de costumbre (funcin

informativa).

Co-

m o afirman B e r k y Rossi (1976), l a e v a l u a c i n es una actividad p o l t i c a , p e r o n o sustituye a la p o l t i c a , de tal m o d o que las decisiones siguen en manos de profesionales
de la poltica social, que e m i t e n juicios utilizando m l t i p l e s fuentes de i n f o r m a c i n
competitivas, entre las q u e los resultados evaluativos r a r a vez son la m s i m p o r t a n t e .
Patton (1990) sugiere la u t i l i d a d de u n t i p o e s p e c f i c o de evaluaciones orientadas
a proporcionar i n f o r m a c i n sobre el futuro, para que la o r g a n i z a c i n pueda anticiparse a los cambios o las nuevas situaciones en que t e n d r q u e desenvolverse, con el
p r o p s i t o l t i m o de afectar los c o m p o r t a m i e n t o s actuales y reorientarlos hacia la sit u a c i n futura deseada (Juncin

anticipatoria

o prospectiva).

L a construccin

de esce-

narios es la t c n i c a m s c o m n e n este t i p o de i n v e s t i g a c i n p r o s p e c t i v a ( P a t t o n ,
1990; N u e z y Loscertales, 1996). Se trata de crear una i m a g e n descriptiva del futuro
o de los futuros posibles de u n g r u p o o u n sistema social, p o r ejemplo entrevistando a
personas relevantes para conocer sus expectativas, deseos o temores sobre e l p o r v e nir, y resumiendo los resultados e n u n conjunto r e d u c i d o de escenarios futuros alternativos. Los participantes e n el estudio pueden entonces discutir sobre el resultado y
elegir el escenario hacia el que q u i e r e n orientar sus esfuerzos. L a sntesis de evaluaciones o del c o n o c i m i e n t o actual sobre u n p r o b l e m a disperso en distintos estudios
puede ser t a m b i n til para t o m a r decisiones m s ajustadas a la e v o l u c i n prevista de

Prugnxnm Annxie esin tradioonalmente vinculados a as polticas y servicios sociales, el concepto


de programa es ms amplio y puede abarcar todo tipo de intervenciones estructuradas en muy distintos mbitos (educativo, legal, mdustna!. onjanizaciona). El plan de trabajo y las actividades de implantacin del plan son sus dos elementos esenciales. A grandes rasgos pueden establecerse tres r.
veles de responsabilidad. El nivel corporatrvo (mega) se identifica con los equipos de gobierno de
una institucin o los directivos de una organizacin, responsables de la pianriieacin general del programa El segundo rovd (marro) se sita en las secciones o departamentos responsables de a planificacin especifica El nivel micro corresponde a las unidades de trabajo o las personas encargadas
de poner en prctica las actividades dd programa o prestar un servicio. Las necesidades de informacin y las cuestiones de mters son diferentes en estos niveles, por lo que la evaluacin debe adaptarse y escoger el modelo y los mtodos que sean ms tiles en cada caso. En general, a evaluacin
tratar de analizar el grado de ajuste entre lo planificado y b irnplementado. los factores relevantes
en el xito dd programa y tos resultados obtenidos.
Potocas. La poltica social es un concepto poksmico difiol de concretar. En ocasiones se identifica
con la defunon de objetivos o irrtericiones. con la creacin de guas de actuacin, estrategias para
resolver un problema o normas de cornportamiento producidas por las cpulas dd gobierno: en
otras ocasiones se entiende como d resultado dd trabajo de un conjunto amplio de nstancas burocrticasrelacionadascon la agenda de algn sector dd gobierno (Guba. 1984). En erto modo, la
poltica resume todos estos elementos, teniendo como base mnima un conjunto de enunciados
(guas) que intentan definir o enmarcar as futuras decisiones dd sistema. Es decr. propone una direccin general para la a c o a aunque en s misma no prescribe ningn curso de accin concreto,
que ser objeto de planificacin en d nivd de los programas de actuacin.
Orgonizociones. Tambin este es un concepto amplio con el que se quieren expresar distintos
conceptos (desde un sistema social extenso a un grupo reducido de personas en una unidad de
trabajo). Se identifica con la evaluacin de instituciones, empresas, departamentos o cualquier
sub-grupo dentro de ellas. La evaluaon se centra en la mejora de los procesos y servicios, o
en el anlisis del impacto que estos tienen.
Productos. Los productos son cualquier objeto material que puede ser adquirido. La evaluacin de productos se utiliza para recoger datos comparativos en un conjunto reducido de critenos, con objeto de recomendar la mejor compra. Es el tipo de evaluacin que encontra-

"ru | forte I: Diseo de polticas y programas de intervencin socio!


mos en las revistas del consumidor (por ejemplo, equipos informticos, alimmt.i.
mvil) (Scnven. 1994).
Personos. La eva'uadn de personas se ha evitado tradioonalmente. centrndose el inteiv ie
ferente en b s programas o procesos de trabajo, de tal modo que las personas no se llntlai >
observadas y no ocultaran informacin de inters por el miedo a las consecuencias negativas tic
ser evaluado. Sin embargo, la evaluacin del d e s e m p e o y de la ejecuon individual tiene pin
sentido dentro de procesos de acreditacin o seleccin, e incluso orientada a la mejora IIHIIVI
dual (De Quijano, 1992). Se considera adecuada para la evaluacin de programas cuando la In
formacin as obtenida se utiliza para tomar decisiones sobre el programa y no sobre las priv
as, en cuyo caso estamos hablando de los procesos de valoracin orientados a la promocior 11.
seleccin de personal propios de la gestin de recursos humanos.

Capitulo 2: Pmpsitos y actividades principales del proceso evolutivo


dad de i n f l u i r en los m e d i o s p o l t i c o s y a d m i n i s t r a t i v o s {funcin

estrategia;

Ve-

d u n g , 1997). S t u f f l e b c a m ( 2 0 0 0 ) t i e n e u n a v a l o r a c i n en parte negativa de las


evaluaciones o r i e n t a d a s p o r fines e s t r a t g i c o s , a las cuales d e n o m i n a pseudo-evaluaciones. S u c h m a n (1967) d i s t i n g u a tres t i p o s : c u a n d o la e v a l u a c i n se u t i l i z a
para a a d i r u n t i n t e c i e n t f i c o y o b j e t i v o a decisiones d e l p r o g r a m a que ya han sid o tomadas; c u a n d o se p r o p o n e la r e a l i z a c i n de u n a e v a l u a c i n para retrasar
una d e c i s i n y esperar a q u e las c r t i c a s se suavicen c o n el t i e m p o ; o cuando se i n tenta m e j o r a r la i m a g e n p b l i c a d e l p r o g r a m a escogiendo s l o aquellos resultados q u e s i r v e n para j u s t i f i c a r l o . Se puede a a d i r el caso de que un g r u p o p o l t i c o
p r o p o n g a una e v a l u a c i n e n la q u e i n c l u y a a representantes de la o p o s i c i n , de
t a l m o d o q u e se c o m p a r t a ante la o p i n i n p b l i c a la responsabilidad p o r los resultados negativos d e l p r o g r a m a . E n c u a l q u i e r caso, es p o c o realista considerar

los acontecimientos ( P a t t o n , 1990). O t r o m o d o de c o n s t r u c c i n de escenarios es d a d


d i r c u l e s son los factores o variables clave q u e a f e c t a r n a la e v o l u c i n , y d e s p u s
cruzarlas para definir los futuros posibles. P o r e j e m p l o , en el caso de introducir u n
n u e v o p r o g r a m a de a t e n c i n al cliente, las variables clave p o d r a n ser la disponibili
dad de recursos y la permanencia de la clientela clave.

que p o d e m o s realizar evaluaciones t i c a m e n t e p u r a s en el c o m p l e j o c a m p o de los


juegos de intereses. L o m x i m o que p u e d e hacerse es ser conscientes de que la
e v a l u a c i n s e r u t i l i z a d a c o n fines e s t r a t g i c o s , a n a l i z a n d o q u i n e s e s t n i n t e r e sados en la e v a l u a c i n y p o r q u , y t o m a n d o las m e d i d a s oportunas para no ser
p a r t c i p e s de n i n g n e n g a o .
N o obstante, d i s p o n e m o s de u n m o d e l o d i f e r e n t e de pensamiento e s t r a t g i c o ,
m u y v i n c u l a d o a enfoques c u a l i t a t i v o s y construccionistas, el cual carece de esta

Los clientes permanecen

Habr recursos

Los recursos se agotarn

1. El programa funcionar tal


como est previsto y se lograrn
clientes satisfechos

2. Los recursos existentes sern


insuficientes 0 inadecuados
para mantener el programa

v a l o r a c i n n e g a t i v a ( R e b o l l o s o , F e r n n d e z - R a m r e z y C a n t n , 2006). A c e p t a n d o
que la r e a l i d a d o r g a n i z a c i o n a l es r e a l i d a d social c o n s t r u i d a y que gran parte del
peso de la e v a l u a c i n recae en la p a r t i c i p a c i n de las personas y grupos organizacionales, el o b j e t i v o de l a e v a l u a c i n n o s e r a descubrir
o r g a n i z a c i o n a l , sino redefmirla

Cambian ka dientes cave

3. U apancin de nuevos grupos


de clientes har que el programa
resurte desajustado.

4. El programa no podr
desarrollarse

n i n g u n a supuesta r e a l i d a d

y trazarse u n f u t u r o hacia el que la o r g a n i z a c i n

desee d i r i g i r s e . A t r a v s de su f u n c i n e s t r a t g i c a , la e v a l u a c i n se c o n v i e r t e en
una h e r r a m i e n t a i m p o r t a n t e p a r a el c a m b i o o r g a n i z a c i o n a l v o l u n t a r i o , o r i e n t a d o
en u n a d i r e c c i n q u e m a x i m i c e las o p o r t u n i d a d e s de a d q u i r i r ventaja respecto de
las d e m s o r g a n i z a c i o n e s d e l sector ( R e b o l l o s o , F e r n n d e z - R a m r e z y C a n t n ,
2007).

E n e l p r i m e r caso el p r o g r a m a debe m a n t e n e r s e para l o g r a r e l o b j e t i v o de satisfacer a la c l i e n t e l a clave. E n el segundo caso s e r a necesario t e n e r previstas ac-

.l.

P r o p s i t o s de la e v a l u a c i n

ciones a l t e r n a t i v a s m e j o r ajustadas a los recursos previstos o anticiparse m e d i a n t e


actuaciones d i r i g i d a s a fidelizar a los clientes antes de q u e a b a n d o n e n el s e r v i c i o

E n t r m i n o s a m p l i o s , los m l t i p l e s p r o p s i t o s de la e v a l u a c i n se c o n c r e t a n en

p o r q u e se resienta su c a l i d a d . E n e l tercer escenario las acciones planificadas ya

tres p r i n c i p a l e s ( C o o k , L e v i t n y Shadish, 1985; C h e l i m s k y , 1997a; Stufflebeam y-

n o son adecuadas y h a b r a q u e d i s p o n e r de a l t e r n a t i v a s que t e n g a n e n cuenta los

S h i n k f i e l d , 1987; V e d u n g , 1997):

posibles nuevos clientes. F i n a l m e n t e , en e l l t i m o escenario el p r o g r a m a t e n d e r a


d e s a p a r e c e r y h a b r a q u e t e n e r p r e v i s t o p r o g r a m a s a l t e r n a t i v o s d i r i g i d o s a los
nuevos d i e n t e s potenciales.

2.2.1. Evaluacin para la responsabilidad

L a s evaluaciones se r e a l i z a n e n c o n t e x t o s q u e t i e n e n una i m p o r t a n t e d i m e n s i n p o l t i c a , p o r l o q u e n o p u e d e n separarse de luchas y estrategias de g r u p o s

Su

q u e i n t e n t a n alcanzar o m a n t e n e r cuotas d e poder. A u n q u e el p e l i g r o de sesgos

ponentes, e n f a t i z a n d o la m e d i c i n de resultados, el l o g r o de objetivos y el c l c u l o

es e v i d e n t e , la e v a l u a c i n n o debe i g n o r a r esta r e a l i d a d o p e r d e r a su o p o r t u n i -

de la e f e c t i v i d a d y eficacia de las actividades, en c o m p a r a c i n c o n otras a l t e r n a n

finalidad

es e m i t i r u n j u i c i o sobre el v a l o r r e l a t i v o d e l p r o g r a m a o de sus c o m -

42

Copitulo 2: Propsitos y actividades principales del proceso evolutivo I *\

Porte /. Diseo de polticas y programas de intervencin social

vas. Para el a n l i s i s de las relaciones causales, e l m t o d o p r e f e r i d o p o r m u c h o s se-

r a el e s t u d i o e x p e r i m e n t a l c o n t r o l a d o y a l e a t o r i z a d o . L a idea de r e s p o n s a b i l i d a d

m i l i / . i n ' l " ideas t e r i c a s que p u e d e n d e r i v a r s e de las ciencias sociales o de l o s

aparece c u a n d o e l agente de u n a a c c i n necesita d e m o s t r a r ante sus

pUOtM

superiores

i , , ' | i i o l . l e m a s y las p o s i b i l i d a d e s de i n t e r v e n c i n . L o s p r o b l e m a s se i n v e s t i g a n
v

de 'as audiencias interesadas. Las ideas sobre el f u n c i o n a -

q u e ha c u m p l i d o c o n las d i r e c t i v a s recibidas, e n t e n d i e n d o los roles de agente y su-

miento d r l | i i o ( ' i a m a tienen q u e v e r con las ciencias aplicadas a las o r g a n i z a c i o -

p e r i o r de una m a n e r a a m p l i a p a r a d a r cabida a c u a l q u i e r persona o puesto d e n t r o

nes u M t i e v a l u a d o r q u i e n i m p o n e e l p l a n de i n v e s t i g a c i n , en f u n c i n de sus

de la cadena de t o m a de decisiones y a c t u a c i n d e l p r o g r a m a . P o r e j e m p l o , e l p o l -

,,itrn

t i c o d e b e responder ante l a o p i n i n p b l i c a , los a d m i n i s t r a d o r e s d e l p r o g r a m a a n -

C O I H M imii-111(1'.

<

' " i ' m n o s o c o r p o r a t i v o s ; m s b i e n p o n e al servicio del p r o g r a m a sus

te la clase p o l t i c a , los agentes d e l p r o g r a m a ante los cargos d i r e c t i v o s , etc., t e n i e n -

n i . i . y ii( .. n i . n i | l a b i l i d a d e s de m e j o r a , i n t r o d u c i e n d o u n e l e m e n t o de r e f l e x i n

d o e n cuenta que en todos estos casos cada persona o g r u p o de t r a b a j o ocupa u n

s i s t c m i i i a v * m u .i <n el discurso social. L a s n t e s i s de investigaciones es una es-

v m t o d o s c i e n t f i c o s p a r a c o m p r e n d e r la r e a l i d a d de los p r o b l e -

r o l d o b l e , s i e n d o a l m i s m o t i e m p o s u b o r d i n a d o y s u p e r i o r de a l g u i e n . U n caso es-

t r a t e g i u i i l p i n a i r - s u m u la i n f o r m a c i n s o b r e m l t i p l e s estudios y c o n c r e t a r l o

p e c i a l l o c o n s t i t u y e n los clientes o usuarios d e l sistema, que necesitan ser i n f o r m a -

que se s a l i r ' . . ' l ' i r m i

dos sobe los resultados d e l p r o g r a m a , e l n i v e l de s a t i s f a c c i n de los servicios y la


i g u a l d a d en e l t r a t o a l c l i e n t e .
L a e v a l u a c i n de la r e s p o n s a b i l i d a d es t r a d i c i o n a l m e n t e difcil de i m p l a n t a r en
el m b i t o de las a d m i n i s t r a c i o n e s p b l i c a s , d e b i d o al e x t e n d i d o f e n m e n o d e l m i e d o a ser evaluado. Cada u n o t e n d e r a aportar i n f o r m a c i n que n o ponga en c u e s t i n
su puesto d e n t r o del programa. M s a n , toda i n f o r m a c i n disponible sobre la actuac i n de u n s u b o r d i n a d o puede ser inesperadamente utilizada para criticar la l a b o r de
u n superior. E n consecuencia, la e v a l u a c i n tiene u n efecto indeseado en la m e d i d a
en que cada cual a s u m i r una a c t i t u d cautelosa antes de t o m a r decisiones cruciales
que p u e d a n resultar c o m p r o m e t e d o r a s .

2.2.2. E v a l u a c i n para el d e s a r r o l l o
Persigue la m e j o r a de las a c t i v i d a d e s , e l f o r t a l e c i m i e n t o de la o r g a n i z a c i n y el
d e s a r r o l l o de las capacidades d e las personas q u e p a r t i c i p a n de d i s t i n t o m o d o en
los p r o g r a m a s sociales y en las o r g a n i z a c i o n e s de s e r v i c i o s . L a e v a l u a c i n es u n a
p a r t e m s de las tareas d i a r i a s de g e s t i n , c o m o u n p r o c e s o p a r a l e l o de seguim i e n t o o r e v i s i n o r i e n t a d o al a p r e n d i z a j e y la c o r r e c c i n d e e r r o r e s . L a e v a l u a c i n se p a r e c e m s a u n e s t u d i o de caso, s u b r a y a n d o la r e c o g i d a d e i n f o r m a c i n
c u a l i t a t i v a q u e p u e d a ser o b t e n i d a y u t i l i z a d a c o n r a p i d e z p a r a m e j o r a r e l d i s e o
d e los p r o g r a m a s , d i r i g i r los p r o y e c t o s en c u r s o o d e s c u b r i r c m o se s i e n t e n los
b e n e f i c i a r i o s d e l p r o g r a m a . L a s m l t i p l e s presiones y la u r g e n c i a d e r e s u l t a d o s

tipo d e t e r m i n a d o

de p r o g r a m a s .

A u n q u e <isla u n a cierta b o r r o s i d a d y complementariedad (Chelimsky,


1997a), y s e a [Misililr s i n g r a n esfuerzo i d e a r u n p l a n t e a m i e n t o g l o b a l c o n t i n g e n t e
( C h e n , Vrnt. K r U . l i o s o , 1994a; S t u f f l e b e a m ef al., 1971), n o parece r e c o m e n d a b l e
desarroll.u m o d e l o s i | n e | K - i s i g a n alcanzar c o n u n m i s m o d i s e o t o d o t i p o de p r o p s i t o s u objetivos I s m s til apreciar los matices q u e se d e r i v a n de cada p r o p sito, p a r a e n i i q u c c e r el cam|K> de la d i s c i p l i n a y para estar m e j o r p r e p a r a d o s a n t e
c u a l q u i e r s i t u a c i n que se presente ( A l v i r a , 1998; R e b o l l o s o y R e b o l l o s o , 1998a).
E l e v a l u a d o r d e i u l n a p i n t o a sus clientes c u l e s s e r n los o b j e t i v o s p r i o r i t a r i o s de
la e v a l u a c i n , t r a t a n d o de q u e s e l o g i e u n n i v e l de r e s p o n s i v i d a d y u t i l i d a d elevado sin que se reduzcan las p o s i b i l i d a d e s de l l e v a r el e s t u d i o a la p r c t i c a .

2.3. A c t i v i d a d e s g e n e r a l e s d e e v a l u a c i n
E l d i s e o y la i m p l e m e n t a c i n de las evaluaciones dependen de los p r o p s i t o s e s p e c ficos a los cuales sirven. Las evaluaciones difieren de acuerdo con el t i p o de c u e s t i n
que estudian, el estadio en que se encuentre el p r o g r a m a , si el programa es n u e v o o
establecido, y el t i p o de d e c i s i n que el e v a l u a d o r i n t e n t a informar. Siguiendo el esquema b i e n c o n o c i d o de Rossi y F r e e m a n (1989), la e v a l u a c i n s i s t e m t i c a c o m p r e n de una serie de actividades e s p e c f i c a s , siendo til distinguir tres clases diferentes de
e v a l u a c i n relacionadas con el anlisis de: la c o n c e p t u a l i z a r i n y el d i s e o de las i n tervenciones, la d i r e c c i n y responsabilidad en la i m p l e m e n t a c i n del p r o g r a m a , y la
v a l o r a c i n de la u t i l i d a d (efectividad y eficiencia del p r o g r a m a ) .

p u e d e n l l e v a r a r e a l i z a r estudios q u e se m u e v e n e n e l l m i t e de l o c i e n t f i c a m e n te v l i d o .

2.3.1. C o n c e p t u a l i z a c i n y d i s e o

2.2.3. E v a l u a c i n para el c o n o c i m i e n t o

ser consideradas c o m o respuestas o intentos de solucin a problemas comunes. E l o r i -

D u r a n t e el p e r o d o de su c o n c e p t u a l i z a c i n y d i s e o , las intervenciones sociales pueden


gen de un programa es siempre el reconocimiento de un p r o b l e m a social, entendido coL a e v a l u a c i n persigue c o m p r e n d e r a m p l i a m e n t e l o s f e n m e n o s b a j o e s t u d i o ,

m o conjunto diverso de defectos socialmente reconocidos en las condiciones sociales y

a n a l i z a n d o las causas de los p r o b l e m a s y los p o r o u s d e l f u n c i o n a m i e n t o de las

humanas. L a planificacin del programa implica u n conjunto de ideas sobre q u activi-

operaciones c o n el o b j e t i v o de a u m e n t a r o r e n a r el c o n o c i m i e n t o d i s p o n i b l e so-

dades p o d r a n resolver el problema, y c m o llevarlas a la p r c t i c a p o r una o r g a n i z a c i n

| Porte

Diseo de polticas y programas de inte/vencin social

de servicios sociales o similar. Las principales cuestiones planteadas en la evaluai ion i .


la c o n c e p t u a l i z a c i n y el d i s e o de un programa son (Rossi y Freeman, 1989):

Capitulo 2: Propsitos y octividodes principales dd proceso evolutivo 45

^2.3 3- V a l o r a c i n de la utilidad del p r o g r a m a


Es crtico conocer el g r a d o en que u n p r o g r a m a p r o d u c e resultados deseados y

E s t adecuadamente

conceptualizado?

C u l es l a l o c a l i z a c i n y el alcance d e l p r o b l e m a a resolver en la p o b l a c i n 11|


referencia?

c u l e s han sido los beneficios en r e l a c i n a sus costes. E l p r i m e r p u n t o se refiere a


la eficacia del p r o g r a m a y el segundo a su eficiencia. L a eficiencia se valora respectivamente a t r a v s de los a n l i s i s coste-beneficio y coste-efectividad, los cuales

E s t d i s e a d o p a r a alcanzar los o b j e t i v o s perseguidos?

constituyen c o n j u n t a m e n t e la u t i l i d a d d e l p r o g r a m a . A menos que los resultados o

H a y u n r a c i o n a l q u e l o apoye?

la r e p e r c u s i n de u n p r o g r a m a sea d e m o s t r a b l e , es difcil defender su i m p l e m e n t a -

H a n sido raaximizadas las o p o r t u n i d a d e s de c o n c e s i n del servicio o activi-

c i n y c o n t i n u a c i n . A d e m s , hay que contrastar la eficacia con los costes, es de-

dades d e l p r o g r a m a ? (es decir, e x i s t e n p o s i b i l i d a d e s de que su a p l i c a c i n

cir, hay que ver si existe u n e q u i l i b r i o e n t r e el n i v e l de beneficio alcanzado y el

sea p t i m a ? ) .

coste pagado p o r e l l o L a e s t i m a c i n de los resultados en r e l a c i n a los costes pue-

C u l e s son los costes proyectados o existentes?" ( C u l es el presupuesto?)


C u l es l a r e l a c i n entre costes o presupuesto asignado y beneficios?

de ser e n g a o s a y c o n t r o v e r t i d a d e b i d o a que r e q u i e r e c o n frecuencia realizar


asunciones sobre el v a l o r m o n e t a r i o de las actividades relacionadas con el p r o g r a ma y el v a l o r m o n e t a r i o de los beneficios, m u y p r o b l e m t i c a s cuando se q u i e r e
traducir en d i n e r o el v a l o r de la salud p s i c o l g i c a o de la vida h u m a n a .

2.3.2. D i r e c c i n y responsabilidad en la i m p l e m e n t a c i n
H a y sobradas razones para que los responsables de la d i r e c c i n de u n p r o g r a m a
r e q u i e r a n supervisar su i m p l e m e n t a c i n y e j e c u c i n . P o r e j e m p l o , la g e s t i n y adm i n i s t r a c i n de recursos h u m a n o s , la d i r e c c i n de actividades tan eficientemente
c o m o sea p o s i b l e o e v i t a r el uso i n a p r o p i a d o d e los recursos y otras formas de act u a c i n p o c o eficaces. L o s p a t r o c i n a d o r e s y g r u p o s interesados exigen evidencia
p a l p a b l e de q u e l o que se e s t i n v i r t i e n d o e n los p r o g r a m a s e s t j u s t i f i c a d o desde
diversos p u n t o s de vista. E n m u c h o s p r o g r a m a s , p a r t i c u l a r m e n t e los que respond e n a inversiones p b l i c a s , el feedback

de i n f o r m a c i n e v a l u a t i v a es u n a h e r r a -

m i e n t a p o d e r o s a p a r a d o c u m e n t a r la e f e c t i v i d a d o p e r a c i o n a l de l a o r g a n i z a c i n
q u e ofrece e l servicio, justificar e l trabajo de los profesionales, solicitar apoyos o
n u e v o s recursos y d e f e n d e r su v a l o r f r e n t e a las actuaciones q u e l l e v a n a cabo
o t r a s organizaciones e n el m i s m o sector social d e l p r o g r a m a .
N o hay f o r m a de c o m p r o b a r l a eficacia de u n p r o g r a m a a menos q u e se haya
l l e v a d o a efecto en la f o r m a adecuada p r o y e c t a d a en el d i s e o y p l a n i f i c a c i n o r i g i n a l . E n algunas ocasiones n o e s t d i s p o n i b l e el p e r s o n a l , otras veces las p l a n t i llas profesionales e s t n presionadas p o r g r u p o s p o l t i c o s o t i e n e n o b j e t i v o s p r o p i o s d i f c i l m e n t e c o m p a t i b l e s c o n e l p r o g r a m a ; e n a l g u n o s casos n o t i e n e n
m o t i v a c i n o s i m p l e m e n t e n o saben c m o realizar sus tareas; en otros, l a i n f l a c i n

L a e v a l u a c i n de la eficacia m i d e el g r a d o en q u e u n p r o g r a m a causa u n camb i o en la d i r e c c i n deseada. E l c o n c e p t o i m p l i c a la d e f i n i c i n de un c o n j u n t o de


objetivos (fsicos, conductuales, c o m u n i t a r i o s , etc.), especificados y definidos operacionalmente, y la d e f i n i c i n de u n c o n j u n t o de c r i t e r i o s de x i t o . Para realizarla
el e v a l u a d o r necesita u n p l a n de r e c o g i d a de datos q u e p e r m i t a demostrar que los
cambios observados son f u n c i n de las actividades realizadas en el p r o g r a m a , y
que estos cambios no p u e d e n explicarse de o t r o m o d o . L a s estrategias b s i c a s de
a n l i s i s se d i s c u t i r n en c a p t u l o s posteriores ( e x p e r i m e n t o s aleatorizados, experimentos n o aleatorizados, estudios cuasi-experimcntales). Las evaluaciones de la eficacia son esenciales si se desea comparar diferentes programas o c o m p r o b a r la u t i l i dad de nuevos esfuerzos para m e j o r a r u n p r o b l e m a c o m u n i t a r i o particular. Por el
c o n t r a r i o , la e v a l u a c i n de l a eficiencia es d e m a n d a d a a consecuencia de la escasez creciente de recursos para los p r o g r a m a s . Las i n t e r v e n c i o n e s c o m p i t e n en det e r m i n a d o s foros (asociaciones, fundaciones i n t e r n a c i o n a l e s , y a varios niveles en
las agencias g u b e r n a m e n t a l e s ) . E n ocasiones, la e l e c c i n e n t r e dos alternativas de
a c t u a c i n tiene q u e ver c o n la c u e s t i n e c o n m i c a , e n f u n c i n de que p r o d u z c a n
los, suficientes beneficios c o n u n coste r a z o n a b l e c o m o para otorgarles una determ i n a d a ayuda e c o n m i c a . L a s p r i n c i p a l e s cuestiones sobre la v a l o r a c i n de la u t i l i d a d d e l p r o g r a m a son:

o l a e s t i m a c i n e r r n e a d e l presupuesto l l e v a n a q u e la p l a n t i l l a m o d i f i q u e sus esfuerzos. T a m b i n hay ejemplos en los que n o existe u n n m e r o adecuado de p a r t i -

S e muestra el p r o g r a m a efectivo en lograr sus metas u objetivos pretendidos?

cipantes, n o e s t n b i e n i d e n t i f i c a d o s o s i m p l e m e n t e n o c o o p e r a n con el p r o g r a m a .

P u e d e n explicarse los resultados d e l p r o g r a m a p o r a l g n proceso a l t e r n a t i -

E l s e g u i m i e n t o de los p r o g r a m a s p u e d e a l e r t a r d e estos y o t r o s p r o b l e m a s p r o p o r c i o n a d o u n a v a l o r a c i n s i s t e m t i c a de las siguientes cuestiones:

v o n o i n c l u i d o o p r e v i s t o en d i c h o p r o g r a m a ?
T i e n e el p r o g r a m a efectos que no se p l a n i f i c a r o n ?
C u l e s son los costes de entrega de los servicios y beneficios de los p r o g r a -

A l c a n z a el p r o g r a m a a la p o b l a c i n o b j e t i v o de referencia?
S e llevan a cabo los esfuerzos de la i n t e r v e n c i n tal y c o m o f u e r o n especificados e n el d i s e o d e l p r o g r a m a ?

mas que se o t o r g a n a los participantes?


H a c e el p r o g r a m a un uso eficiente de los recursos, en c o m p a r a c i n con los
usos alternativos de los mismos?

46

finir I [)nr/io de tolitkos y programas de intervencin social

1.4. D i s e o d e l a e v a l u a c i n

Capitulo 2: Propsitos y actividades principales del proceso evolutivo 47


pende de que las evaluaciones se p l a n i f i q u e n , d i s e e n e i m p l e m e n t e n efi
c i e n t e m e n t e , y de que se p r o d u z c a n r e s u l t a d o s c r e b l e s y relevantes p a r a

D e un m o d o simplificado, se p o d r a e q u i p a r a r la e v a l u a c i n c o n u n p r o c e d i m i e n t o

e s t i m u l a r la m c j o i a del p r o g r a m a .

de investigacin convencional en e l que t i e n e n i m p o r t a n c i a las cuestiones de objetivos, d i s e o , recogida y anlisis de i n f o r m a c i n . U n a diferencia relevante es que las
preguntas de trabajo no se originan en el investigador, sino en las audiencias a las que

2.4.2. D i s e o s e g n el t i p o de i n t e r v e n c i n social

sirve. Toda la e v a l u a c i n se organiza en f u n c i n d e las necesidades de i n f o r m a c i n


de los grupos interesados, hasta e l p u n t o de q u e el m o d o en que los resultados se

E l d i s e o de las evaluaciones debe tener en c u e n t a la clase de i n t e r v e n c i n

presentan es una p r e o c u p a c i n c o n t i n u a d e l evaluador, e l cual persigue el o b j e t i v o

que e s t siendo o b j e t o de estudio N u e v a m e n t e c o n Rossi y F r e e m a n (1989), las

operativo de encontrar y presentar la i n f o r m a c i n de m a n e r a q u e logre u n m a y o r

clases i m p o r t a n t e s de i n t e r v e n c i o n e s i n c l u y e n : i n t e r v e n c i o n e s i n n o v a d o r a s , en el

impacto e influencia en las personas relacionadas.

sentido de que no lian sido intentadas con a n t e r i o r i d a d ; modificaciones de p r o g r a mas existentes; y programas existentes (o r s t a b l e c i d o s ) .

2.4.1. Elementos de d e c i s i n

ri) Evaluaciones

dr intervenciones

innovadoras.

L a m a y o r a de los p r o g r a m a s

que se p i e s e n t a n c o m o " n u e v o s " o " i n n o v a d o r e s " son modificaciones m s


E n s n t e s i s , e l d i s e o de una e v a l u a c i n i m p l i c a t o m a r decisiones respecto de
los siguientes temas ( N e w c o m e r , H a t r y y W h o l e y , 1994):

o menos m a q u i l l a d a s de i n t e r v e n c i o n e s ya existentes. Se entiende p o r n o vedoso que las actividades de que consta el p r o g r a m a n o h a y a n sido aplicadas alguna vez a la p o b l a c i n de referencia o al c a m p o de i n t e r v e n c i n q u e

a) E l diseo,

en e l cual se d e b e n d e t e r m i n a r c u l e s son las preguntas de eva-

l u a c i n , q u t i p o de comparaciones se necesitan y c m o s e r u t i l i z a d a la i n -

se p r e t e n d e evaluar. E n c o n c r e t o , e l p r o g r a m a es i n n o v a d o r si no ha estado
sujeto a i m p l e m e n t a c i n y v a l o r a c i n , b i e n p o r q u e :

f o r m a c i n . L a s m l t i p l e s preguntas posibles d e b e n ser p r i o r i z a d a s , f o r m u larse de m a n e r a c l a r a y t i l , y d e b e n ser p r e g u n t a s q u e p u e d a n o b t e n e r

1. L a i n t e r v e n c i n e n s m i s m a es a n u n c a m p o e m e r g e n t e de i n v e s t i g a -

respuesta ( p o r e j e m p l o , n o s o n adecuadas aquellas q u e i m p l i q u e n construc-

c i n y d e s a r r o l l o ; es decir, n o h a y e v i d e n c i a ( o e s t m u y l i m i t a d a ) de

tos de i m p o s i b l e o p e r a t i v i z a c i n o d e m a s i a d o abstractas). P o r l t i m o , hay

q u e t e n g a u n i m p a c t o a t r a v s de p r o g r a m a s b i e n e s t a b l e c i d o s . P o r

q u e atender a los costes de l a e v a l u a c i n y es c o n v e n i e n t e realizar estudios

e j e m p l o , los p r o g r a m a s de d e s a r r o l l o l o c a l a t r a v s de estrategias de

p i l o t o para p o n e r a p r u e b a e l e s t u d i o a p e q u e a escala.
b) L a recogida

de datos,

autoempleo.

c o n c r e t a n d o las fuentes p r i n c i p a l e s de i n f o r m a c i n ,

2. E l sistema de dispensa d e l p r o g r a m a , o p a r t e s d e l sistema, t o d a v a n o

los p r o c e d i m i e n t o s p a r a l a r e c o g i d a y los p r o b l e m a s d e l m u e s t r e o y de la

han sido adecuadamente c o m p r o b a d a s . P o r e j e m p l o , u n p r o g r a m a q u e

calidad de los datos. H a y q u e tener e n c u e n t a las posibles dificultades y ba-

i n c l u y e la idea a n n o c o m p r o b a d a c o n u n a e v a l u a c i n f o r m a l de u t i l i z a r

rreras p o l t i c a s , b u r o c r t i c a s y t c n i c a s c o n e l o b j e t i v o de conseguir los da-

estudiantes u n i v e r s i t a r i o s para p r o p o r c i o n a r a p o y o en casa a las personas

tos m s relevantes c o n e l m e n o r coste.


c) E l anlisis

de la tercera edad.

de datos, debiendo anticiparse los anlisis que p o d r n realizarse y la

3. L o s o b j e t i v o s de los p r o g r a m a s s o n nuevos o m u y a m p l i o s ! P o r e j e m p l o ,

t r a n s f o r m a c i n de los datos para que resulten m s t i l e s . L o s anlisis condi-

la actual r e f o r m a d e l sistema u n i v e r s i t a r i o p a r a i n t r o d u c i r nuevos m t o -

cionan el f o r m a t o de los datos que se espera recoger, y pueden ayudar a estructurar la i n f o r m a c i n de resultado de f o r m a apropiada en r e l a c i n con las
preguntas de e v a l u a c i n y las audiencias a las que se dirigen los informes.
d) E l uso de la informacin,

dos docentes en todas las t i t u l a c i o n e s i m p a r t i d a s en E s p a a .


4. U n p r o g r a m a o r i g i n a l m e n t e ejecutado en respuesta a u n o b j e t i v o se c o n t i n u a o e x p a n d e p o r q u e t i e n e i m p a c t o en o t r o o b j e t i v o d i f e r e n t e . P o r

l o cual supone d e f i n i r q u datos se r e u n i r n p a r a

e j e m p l o , u n p r o g r a m a de a t e n c i n a a las v c t i m a s d e l m a l t r a t o d o m s t i -

cada audiencia e s p e c f i c a , si se e l a b o r a r n r e c o m e n d a c i o n e s y c m o se ana-

co que se r e f o r m u l a para d i r i g i r s e a los hijos de f a m i l i a r c o n p r o b l e m a s

l i z a r el i m p a r t o de estas. E l i m p a c t o de los resultados n o se r e d u c e a u n

p o r q u e se ha o b s e r v a d o q u e el p r o g r a m a i n i c i a l t e n a u n i m p a c t o n e g a t i -

p r o b l e m a de j u g a r c o n e l a t r a c t i v o de los i n f o r m e s . Para ganar i n f l u e n c i a , el

vo sobre los n i o s .

e v a l u a d o r utiliza los resultados de m a n e r a e s t r a t g i c a , p r e s e n t a n d o e v i d e n cias q u e avalen sus r e c o m e n d a c i o n e s p a r a el c a m b i o d e l p r o g r a m a . A pesar


de l o c u a l , N e w c o m e r , H a t r y y W h o l e y (1994) sugieren que la eficacia de-

b) Evaluaciones

de programas

perfeccionados

o refinados.

U n a vez puesto en

m a r c h a u n p r o g r a m a es interesante c o m p r o b a r las f o r m a s en que o p e r a . Y

48 I Porte /: Diseo de polticas y programas de intervencin socio/

Capitulo 2: Propsitos y actividades principales del proceso evolutivo j 4 9 '

la r a z n de m a y o r peso para hacer esto es q u e s l o asf p i n Ir m i . ni


m e j o r a r su eficacia o eficiencia; en o t r a s palabras, para mejorat m i l m | i i
o p a r a conseguir el m i s m o a m e n o r coste p o r u n i d a d de i m p a c t o 11

2.5. E l p r o c e s o d e i n t e r v e n c i n s o c i a l

, ,

La i n t e r v e n c i n social es una a c c i n i n t e n c i o n a l s i s t e m t i c a dirigida a resolver al-

supuesto otras razones para efectuar evaluaciones mejoradas. U n a M |..

g n p r o b l e m a social, desarrollada p o r organizaciones con capacidad para m o v i l i -

el p r o g r a m a ofrezca servicios j u s t o s (equitativos),

zar recursos muchas veces considerables (los o r g a n i s m o s de la a d m i n i s t r a c i n p -

los servicios a la p o b l a c i n de r e f e r e n c i a de la misma f o r m a que 11 K m . ,

blica, por e j e m p l o , o diversas fundaciones y O N G ) . L a i n t e r v e n c i n se ajusta a la

es decir, que se . l i . p .

con la p o b l a c i n general. Se hace h i n c a p i en la d i f i c u l t a d de separa i pTQ

e v o l u c i n de los p r o b l e m a s sociales q u e t r a t a de resolver. E n general, e s t n i m p l i -

gramas i n n o v a d o r e s y p r o g r a m a s r e f o r m a d o s (algunas veces llamados Ir

cados d i s t i n t o t i p o de agentes y grupos de i n t e r s (afectados, beneficiarios, t c n i -

p u r a d o s ) , p o r q u e a veces los c a m b i o s son m e n o r e s y c l a r a m e n t e m o d i f i c a

cos, etc.) que t o m a n decisiones relevantes e n u n a d i m e n s i n t e m p o r a l , en f u n c i n

bles. O t r a s veces son costosos y p u e d e n t e n e r i m p o r t a n t e s r a m i f i c a c i o n r

de c m o e v o l u c i o n a n los p r o b l e m a s sociales que se e n f r e n t a n y las condiciones so-

en las redes de servicios h u m a n o s . P o r e j e m p l o , Rossi y F r e e m a n (1989)

ciales, e c o n m i c a s y p o l t i c a s que f o r m a n su c o n t e x t o . L a i n t e r v e n c i n , p o r t a n t o ,

m e n c i o n a n el caso de los p r o g r a m a s de s a l u d c o m u n i t a r i a que i n t e g r a n u n

es un proceso que se ajusta siguiendo una perspectiva c o n t i n g e n t e .

t r o s de s a l u d c o n hospitales u n i v e r s i t a r i o s . E l o b j e t i v o b s i c o de o f r e t r i

E n el m b i t o de las a d m i n i s t r a c i o n e s p b l i c a s y los servicios sociales, la i n t e r -

c u i d a d o s m d i c o s a personas de baja r e n t a n o c a m b i a en este caso, poro

v e n c i n se identifica c o n l a idea de p r o g r a m a . E n r e a l i d a d , p r o g r a m a es un c o n -

p u e d e n a u m e n t a r los costes a n i v e l n a c i o n a l y verse alterada la calidad d r l

cepto flexible q u e p u e d e aplicarse a u n c o n j u n t o m u y a m p l i o de acciones que se

servicio ofrecido.

desarrollan en contextos de i n t e r v e n c i n m u y diferentes (empresariales, educatiSon programas que han venido

vos, sanitarios, entre o t r o s ) . L a siguiente d e f i n i c i n de R e b o l l o s o (1994a: 237), sin-

i m p l e m e n t n d o s e d u r a n t e u n c i e r t o n m e r o de a o s en localidades dife-

tetiza c o n c l a r i d a d sus e l e m e n t o s b s i c o s : " a s u m i m o s que el significado de un p r o -

r e n t e s , q u e c u e n t a n c o n u n a e s t r u c t u r a de f u n c i o n a m i e n t o y

financiacin

grama de i n t e r v e n c i n social es b s i c a m e n t e u n c o n j u n t o de recursos organizados

estable. L a e v a l u a c i n es aconsejable p o r u n a serie de razones. E n p r i n c i -

y aciones d i r i g i d a s a o b j e t i v o s comunes y q u e l a e j e c u c i n de ese p r o g r a m a i n c l u y e

c) Evaluaciones

de programas

establecidos.

p i o , p u e d e n h a b e r s i d o c o n s t i t u i d o s p o r u n c o m p l e j o c o n j u n t o de razones

los recursos d e l p r o g r a m a , las actividades y los resultados de estas actividades". L a

externas o p o l t i c a s , y es i m p o r t a n t e t e n e r d a t o s de su i m p a c t o y de la ra-

p l a n i f i c a c i n r a c i o n a l , e l c o n t r o l de la i m p l e m e n t a c i n y el c l c u l o de la eficacia

z n c o s t e / b e n e f i c i o e n o r d e n a j u s t i f i c a r l a d e c i s i n de c o n t i n u a r , expan-

son claves d e n t r o de la c o n c e p c i n de p r o g r a m a m s e x t e n d i d a entre los especia-

d i r l o s o t e r m i n a r l o s . L a s a c t i v i d a d e s e v a l u a t i v a s p u e d e n estar p r o v o c a d a s

listas (Rossi y F r e e m a n , 1989).

p o r c a m b i o s e n l o s recursos d i s p o n i b l e s , d i s e o s p o l t i c o s , p r i o r i d a d e s de

L a i n t e r v e n c i n t o m a c o m o p u n t o de p a r t i d a la existencia de un p r o b l e m a so-

los m i e m b r o s c o m u n i t a r i o s , a s c o m o c a m b i o s observados en las p o b l a c i o -

cial r e l e v a n t e , generalmente cuando, p o r su i m p o r t a n c i a o p o r las c a r a c t e r s t i c a s

nes de r e f e r e n c i a . Q u i z s l o mas i m p o r t a n t e al e s t i m u l a r evaluaciones de

de los grupos i m p l i c a d o s , se inserta d e n t r o d e l discurso de los grupos p o l t i c o s que

p r o g r a m a s ya establecidos es l a e v i d e n c i a o sospecha de q u e el p r o g r a m a

caracterizan la d i n m i c a de los servicios sociales. E l a n l i s i s d i a g n s t i c o del p r o -

ya n o es e f i c i e n t e . A d e m s , u n p r o g r a m a p u e d e estar sujeto a r e v i s i o n e s

b l e m a da lugar a la p l a n i f i c a c i n de una a c c i n s i s t e m t i c a ( u n p r o g r a m a ) que tie-

l e g i s l a t i v a s q u e p r o p o r c i o n a n d a t o s p a r a la t e r m i n a c i n a u t o m t i c a si

ne c o m o elementos fundamentales el e s t a b l e c i m i e n t o de una serie de metas y ob-

p i e r d e e f i c a c i a y fracasa e n d e m o s t r a r su u t i l i d a d . L a s e v a l u a c i o n e s de

j e t i v o s d e t r a b a j o ( l a n u e v a s i t u a c i n s o c i a l q u e se d e s e a a l c a n z a r ) , u n a

p r o g r a m a s establecidos se c e n t r a n g e n e r a l m e n t e e n evaluaciones de i m -

e x p l i c a c i n de c m o las actividades planificadas r e s o l v e r n el p r o b l e m a ( t e o r a

p a c t o y e n a n l i s i s c o s t e / b e n e f i c i o , l i m i t a d a s c o n frecuencia a e x a m i n a r

del p r o g r a m a ) y u n c o n j u n t o de decisiones sobre la e s t r u c t u r a , recursos y funcio-

la dispensa de los s e r v i c i o s . E n tales casos, se c e n t r a n e n las cuestiones

nes de las organizaciones de servicios q u e p o n d r n en .marcha el p r o g r a m a ( t e o r a

del control, seguimiento y direccin del programa ( m o n i t o r i z a c i n ) . Los

de la i m p l e m e n t a c i n ) (Scbeirer, 1987). E n u n paso p o s t e r i o r el p r o g r a m a se lleva

servicios sociales son m u y v u l n e r a b l e s al c u e s t i o n a m i e n t o s e r i o y r e s p o n -

a la p r c t i c a ( i m p l e m e n t a c i n ) , siendo relevantes u n c o n j u n t o de actividades eva-

sable de c m o se e f e c t a l a e j e c u c i n , a s c o m o a los ataques p o l t i c o s o

luativas q u e aseguran el c o r r e c t o d e s a r r o l l o de la i n t e r v e n c i n y la v a l o r a c i n de

r e l a c i o n a d o s c o n los m e d i o s d e c o m u n i c a c i n . L o s resultados de l a eva-

los resultados obtenidos. E n el m o d e l o t r a d i c i o n a l de i n t e r v e n c i n , la e v a l u a c i n

l u a c i n , t a n t o de l a m o n i t o r i z a c i n de l a i m p l e m e n t a c i n d e l p r o g r a m a

ocupa u n lugar bien d e f i n i d o en r e l a c i n c o n tres actividades clave: la v a l o r a c i n de

c o m o de las v a l o r a c i o n e s d e l i m p a c t o y de la e f i c i e n c i a , p u e d e n i n f l u i r las

necesidades ( e s t a b l e c i m i e n t o de p r i o r i d a d e s y urgencias), el s e g u i m i e n t o (evalua-

decisiones sobre el d e s t i n o de los p r o g r a m a s y de las o r g a n i z a c i o n e s res-

c i n del ajuste de la i n t e r v e n c i n respecto del p l a n de t r a b a j o ) y la v a l o r a c i n de

ponsables.

resultados ( e v a l u a c i n de resultados e i m p a c t o s ) .

50

(apiiuhi 1 Propsitos y actividades principles del proceso evolutivo ] i .

Porte i: Diseo de polticos y programen de intervencin soool

M s a l l de los conceptos t r a d i c i o n a l e s , R e b o l l o s o , F e r n n d e z - R a m r e z y C a n -

I>) Nivel dr u ,,;, n. E n cada u n o de los t i p o s anteriores se aplica u n a n l i -

t n (2003) p r o p o n e n u n m o d e l o s i s t e m t i c o y c o n t i n g e n t e en el que las actividades

ii i l i l c i r n t c , del c u a l se d e r i v a n los e l e m e n t o s que l a i n t e r v e n c i n

de e v a l u a c i n se e x t i e n d e n p a r a s e r v i l c o m o g u a de actuaciones a l o l a r g o d e l

h a b r de I c n e r en cuenta. A s , existe u n a fase t e r i c a de e x p l i c a c i n d e l

proceso c o m p l e t o de i n t e r v e n c i n . L a figura 2.1 muestra el proceso i n t e g r a d o de

pi n b l i m i ' ial antes de la i n t e r v e n c i n p r o p i a m e n t e dicha ( q u antece-

i n t e r v e n c i n - e v a l u a c i n , i n c l u y e n d o las correspondientes fases de la i n t e r v e n c i n

ili n i ausan q u p r o b l e m a s ) , u n a fase de e x p l i c a c i n del p r o g r a m a ( q u

y las actividades evaluativas m s adecuadas e n cada m o m e n t o . E l m o d e l o tiene u n

.n i i v i i l i u l r " . l o g r a r n q u resultados) y u n a t e r c e r a fase de e x p l i c a c i n de

a l t o valor h e u r s t i c o p o r cuanto sugiere, siguiendo u n c r i t e r i o contingente, q u activi-

los iinp.ii ios de la i n t e r v e n c i n ( q u resultados d e l p r o g r a m a causan q u

dades de e v a l u a c i n p u e d e n realizarse e n el m o m e n t o e n que se requieren los servi-

i IIIISI

cios del evaluador, teniendo c o m o referencia la s i t u a c i n en la que se encuentra el

ii.ii

ni ni i.is de segundo o r d e n ) . E l a n l i s i s t e r i c o es til para d e t e r m i -

las v.ulilbics causales y de r e s u l t a d o relevantes en cada m o m e n t o del

proceso de i n t e r v e n c i n . I g u a l m e n t e , d a cabida a los tres grandes p r o p s i t o s de la

p i n - s o i i i . n u l o (.ida una de estas variables se traduce en indicadores o p e -

e v a l u a c i n . A l definirse c o m o u n a a c t i v i d a d subsidiaria de la i n t e r v e n c i n , los r e -

r a c i n n a l e i , te e s t en d i s p o s i c i n de recoger los datos necesarios para r e a l i -

sultados evaluativos s i r v e n para afinar, m e j o r a r o a p o r t a r la i n f o r m a c i n necesaria

zar la e v a l u a c i n .

para t o m a r decisiones f u n d a m e n t a d a s sobre la m a r c h a d e l p r o g r a m a ( e v a l u a c i n

i)

Nivel le investan

ion

I s el n i v e l c e n t r a l d e l m o d e l o , e l q u e sirve c o m o

o r i e n t a d a al d e s a r r o l l o ) ; al enfatizar e l e s t u d i o de las relaciones causales e n t r e dis-

j ' i n . i p . u . i l o m a i decisiones en los restantes niveles ( p a r t e superior de la fi-

t i n t o s factores i m p l i c a d o s e n la i n t e r v e n c i n , s i r v e p a r a alcanzar c o n o c i m i e n t o s

rma

v l i d o s sobre la s o l u c i n de p r o b l e m a s sociales y la c r e a c i n d e programas de i n -

t o d o de e v a l u a c i n se a p l i c a r n , d e p e n d e en cada m o m e n t o de la fase p o r

t e r v e n c i n ( e v a l u a c i n o r i e n t a d a al c o n o c i m i e n t o ) ; p o r l t i m o , al i n c l u i r u n a n l i -

la que t r a n s c u n a la i n v e s t i g a c i n . E n el g r f i c o se i n c l u y e n la e v o l u c i n d e l

I ) A s , q u t i p o de i n t e r v e n c i n , q u t e o r a , q u a c t i v i d a d o q u m -

sis de t o d o t i p o de resultados e i m p a c t o s d e l p r o g r a m a , sirve para i n f o r m a r a los

p i o b l e m a y de los esfuerzos realizados para su s o l u c i n a t r a v s del p r o g r a -

grupos interesados acerca d e l x i t o y las consecuencias de la i n t e r v e n c i n (evalua-

m a o i n t e r v e n c i n social. D e m a n e r a e s q u e m t i c a , la idea es que aparece

c i n o r i e n t a d a a la r e s p o n s a b i l i d a d ) . Cada fase de la i n t e r v e n c i n Ueva asociada

u n p r o b l e m a social, se p l a n i f i c a u n a i n t e r v e n c i n , se p o n e e n m a r c h a e l

una a c t i v i d a d general de e v a l u a c i n , f a c i l i t a n d o q u e el e v a l u a d o r sepa q u accio-

programa, l o g r a n d o

nes debe e m p r e n d e r en cada m o m e n t o d e l proceso. N o es necesario ejecutar t o d o

c o n j u n t o de i m p a c t o s . F i n a l m e n t e , u n a vez c o n c l u i d o el ciclo, h a y q u e t o -

el b l o q u e de acciones de u n m o d o m o n o l t i c o , l o c u a l s u p o n d r a una i n v e r s i n i m -

m a r decisiones sobre el f u t u r o a p a r t i r de l o que se ha a p r e n d i d o d u r a n t e e l

p o r t a n t e en esfuerzo y recursos, sino que debe decidirse la t a r e a a realizar d e p e n -

proceso.

d i e n d o de los intereses existentes y de los o b j e t i v o s y p r o p s i t o s q u e se hayan establecido (Chen, 1 9 % ) .

d) Nivel de evaluacin.

u n c o n j u n t o d e efectos, los cuales a su vez p r o d u c e n u n

Recoge los seis t i p o s generales de e v a l u a c i n , acordes

c o n cada fase del proceso: evaluaciones de c o n t e x t o , de entrada, de p r o c e -

E l m o d e l o se estructura s e g n dos ejes. E n e l eje h o r i z o n t a l se describen las

so, de r e s u l t a d o s , de i m p a c t o y c o m p a r a t i v a . E n p a r a l e l o se establece el

actividades del proceso a l o l a r g o de u n ciclo t e m p o r a l , c o n la p e c u l i a r i d a d de q u e

p r o c e s o de r e t r o a l i m e n t a c i n , es decir, aquellos m o m e n t o s formales en q u e

es factible r e t o r n a r a actividades y a finalizadas e n caso de q u e fuera necesario. E l

el e v a l u a d o r d i s p o n e de i n f o r m a c i n e x h a u s t i v a sobre alguna fase d e t e r m i -

eje v e r t i c a l describe cada m o m e n t o d e l proceso a t r a v s de seis niveles de a n l i s i s

nada, que s e r v i r p a r a que los responsables d e l p r o g r a m a t o m e n decisiones

que t r a t a n de agotar las c a r a c t e r s t i c a s o p a r m e t r o s fundamentales d e l proceso de

sobre la a p l i c a c i n d e l m i s m o . A u n q u e l a c o m u n i c a c i n e n t r e el e v a l u a d o r

i n t e r v e n c i n - e v a l u a c i n . L a d e s c r i p c i n de cada fase d e l proceso se d e t a l l a r en

y las distintas audiencias puede y d e b e o c u r r i r en c u a l q u i e r m o m e n t o q u e

cada u n o de los c a p t u l o s correspondientes a l o l a r g o d e l l i b r o , u t i l i z a n d o dichos

sea c o n v e n i e n t e , c o m o m n i m o el e v a l u a d o r i n f o r m a r c u a n d o disponga de

niveles t a l c o m o se aclara a c o n t i n u a c i n .

datos sobre la i m p l e m e n t a c i n c o r r e c t a del p r o g r a m a ( f u n c i n f o r m a t i v a ) ,


sus resultados e i m p a c t o s ( f u n c i n s u m a t i v a ) y sobre la eficacia del p r o c e s o

a) Nivel de intervencin

social.

L a i n t e r v e n c i n p u e d e realizarse en d i s t i n t o s

en c o m p a r a c i n c o n o t r o s casos o i n t e r v e n c i o n e s similares ( f u n c i n p o l t i c a

m o m e n t o s de la e v o l u c i n d e l p r o b l e m a social y de sus consecuencias. D i s -

o administrativa).

t i n g u i m o s tres t i p o s : p u e d e d i r i g i r s e a atajar las causas de los p r o b l e m a s

e) Nivel de actividades

( i n t e r v e n c i n p r i m a r i a ) , a r e t a r d a r su d e s a r r o l l o y r e d u c i r sus efectos (se-

evaluativas.

Se c o n c r e t a q u actividades e s p e c f i c a s de

e v a l u a c i n se p u e d e n realizar p a r a d a r c u m p l i d a cuenta de cada u n o de l o s

c u n d a r i a ) , o a i m p e d i r que se c r o n i f i q u e n y aparezcan secuelas ( t e r c i a r i a ) .

t i p o s generales de e v a l u a c i n descritos en e l n i v e l anterior. Las actividades

L a i n t e r v e n c i n secundaria es la que supone la v e r d a d e r a a p l i c a c i n de u n

recogidas son s l o u n a muestra o r i e n t a t i v a de las m l t i p l e s p o s i b i l i d a d e s de

programa.

las que d i s p o n e el e v a l u a d o r para su t r a b a j o .

Capitulo 2: Propsitos y actividades principales del proceso evolutivo


f)

Nivel

de metodologa.

E l l t i m o n i v e l a p o r t a i n f o r m a c i n sobre algunos

m t o d o s que se p u e d e n aplicar en c o r r e s p o n d e n c i a con cada actividad de


e v a l u a c i n . C o m o en el caso a n t e r i o r , son s l o una muestra de las m l t i p l e s
opciones disponibles, y en n i n g n caso d e b e r a n coartar la l i b e r t a d , la i m a g i n a c i n y l a p o s i c i n e p i s t e m o l g i c a del e v a l u a d o r para utilizar el m t o d o
que resulte m s adecuado, til o ventajoso en cada m o m e n t o .
E n c o n c l u s i n , e l m o d e l o es til p a r a analizar e v o l u t i v a m e n t e la realidad social y los esfuerzos p l a n i f i c a d o s para i n t e r v e n i r en la misma. Desde u n p u n t o de
vista s i s t m i c o , el sistema p o l t i c o y a d m i n i s t r a t i v o responsable de la i n t e r v e n c i n ,
se i n t r o d u c e o se i m b r i c a en el sistema social en q u e se describe el p r o b l e m a . E n
paralelo, los evaluadores se c o n s t i t u y e n en u n tercer sistema de c o n t r o l i n t e r r e l a cionado con los anteriores, e n t e n d i d o el c o n t r o l c o m o u n concepto a m p l i o que i n cluye las ideas de r e v i s i n , m o n i t o r i z a c i n y v a l o r a c i n . L o s evaluadores asumen
as u n r o l e x t e m o , u n sistema d e vigilancia q u e analiza c o n t i n u a m e n t e q u decisiones se e s t n t o m a n d o y a p o r t a i n f o r m a c i n e v a l u a t i v a para mejorarlas.

Procedimientos diagnsticos

I iv. pn H < (liMiicnios d i a g n s t i c o s tienen c o m o o b j e t i v o d e t e n n i n a r la existencia y alcance de los problemas sociales que las polticas y programas p b l i c o s t r a t a r n de solucionan < liceo un c o n j u n t o de m t o d o s y prescripciones de o r i e n t a c i n cientfica
paia esta l a i c a , l e n l e al desarrollo de programas muchas veces con base i d e o l g i c a o
electoialista |x>r parte de los partidos p o l t i c o s , o iniciados p o r las denuncias escasamente contrastadas que puedan realizar los medios de c o m u n i c a c i n o los grupos i n teresados. I i i d e f i n i t i v a , responde a la exigencia de q u e la i n t e r v e n c i n social se
oriente a la s o l u c i n de problemas debidamente c o m p r o b a d o s .
Es esencial tener i n f o r m a c i n precisa y fiable sobre los p r o b l e m a s sociales y el
c o n t e x t o en que la i n t e r v e n c i n opera, antes de q u e el p r o g r a m a sea d i s e a d o e i m p l e m e n t a d o . A l g u n o s autores i n c l u y e n el d i a g n s t i c o d e n t r o de las d e n o m i n a d a s
evaluaciones de c o n t e x t o (Stufflebeam, p o r e j e m p l o , o nosotros m i s m o s ) , y q u i z
s e r a interesante t r a t a r de distinguirlas, siendo el o b j e t i v o de esta l t i m a analizar y
v a l o r a r el c o n t e x t o social a m p l i o p r e v i o a l a i n t e r v e n c i n . E l d i a g n s t i c o es una act i v i d a d c o m p l e j a que i m p l i c a tareas e s p e c f i c a s tales c o m o identificar necesidades,
p r o b l e m a s y o p o r t u n i d a d e s de m e j o r a , realizar u n p r o n s t i c o de la s i t u a c i n , i d e n t i f i c a r recursos, d e t e r m i n a r p r i o r i d a d e s , establecer c o n t i n g e n c i a s , etc. ( A g u i l a r ,
1998; A g u i l a r y A n d e r - E g g , 1992). E l d i a g n s t i c o es u n a a c t i v i d a d diferente de la
i n v e s t i g a c i n t r a d i c i o n a l sobre u n p r o b l e m a social c o n c r e t o . T a m p o c o se identifica
con el a n l i s i s de necesidades, aunque s t e f o r m e p a r t e d e l d i a g n s t i c o .
i

E s i m p o r t a n t e a p r e c i a r q u e los p r o b l e m a s sociales s o n c o n s t r u c c i o n e s q u e
r e s p o n d e n a procesos p e c u l i a r e s d e n t r o de la d i n m i c a de la i n t e r a c c i n e n t r e
los g r u p o s sociales. G e n e r a l m e n t e , la i n t u i c i n de u n p r o b l e m a h a r m e l l a e n la
o p i n i n de los m e d i o s d e c o m u n i c a c i n y e n los c r c u l o s p o l t i c o s , p l a n t e n d o s e
en consecuencia la necesidad d e i n i c i a r los esfuerzos de i n t e r v e n c i n . L a p a r t i c i p a c i n d e l e v a l u a d o r en esta fase asegura e l d i s p o n e r de u n c o n o c i m i e n t o m s

Captulo 3: Procedimientos diagnsticos

56 J Pone I: Diseo de polticas y programas de intervencin social


e x a c t o y f i a b l e sobre las c a r a c t e r s t i c a s d e l m i s m o , las situaciones en <|u
a p a r e c i e n d o y las p e r s o n a s q u e se v e n a f e c t a d a s . D e este m o d o , m e d i a n i l , I
d i a g n s t i c o se c l a r i f i c a la p o b l a c i n o b j e t i v o y se o b t i e n e una i n f o r m a c i n clave
p a r a o r i e n t a r las a c t i v i d a d e s del p r o g r a m a .

Entrevista.

T c n i c a de recogida de i n -

Evaluacin

de contexto.

Fase i n i c i a l

Poblacin

de riesgo.

T c n i c a de recogida de i n -

f o r m a c i n basada en el d i l o g o d i -

f o r m a c i n masiva en la que el t o t a l

recto entre el i n v e s t i g a d o r y cada

de las personas seleccionadas para

una de las personas seleccionadas

el e s t u d i o r e s p o n d e n por escrito a

para el estudio, u t i l i z a n d o u n

u n c o n j u n t o de cuestiones p r e v i a -

estructurado

m e n t e e l a b o r a d a s p o r los i n v e s t i -

en f u n c i n de l o s o b j e t i v o s de l a

gadores en f u n c i n de los intereses

investigacin.

de la i n v e s t i g a c i n .

guin m s o menos
C o n c e p t o s clave

Encuesta.

57

Sector o g r u p o de

d e l p r o c e s o de i n t e r v e n c i n - e v a -

la p o b l a c i n cuyas c a r a c t e r s t i c a s o

l u a c i n en la q u e se describen y va-

c o n d i c i o n e s de vida i n d i c a n que

l o r a n las c o n d i c i o n e s sociales a m -

e x i s t e u n a g r a n p r o b a b i l i d a d de

plias que enmarcan el p r o b l e m a

q u e r e s u l t e n afectados p o r a l g n

K u r t L e w i n parece ser el p r i m e r o en p r o p o n e r q u e la i n t e r v e n c i n social debe

social y l a p r o p i a i n t e r v e n c i n . E n -

p r o b l e m a o s i t u a c i n n o deseable.

seguir u n m o d e l o s i s t e m t i c o , r e p r e s e n t a d o p o r las fases de p l a n i f i c a c i n , i n t e r -

t r e o t r a s , i n c l u y e las t r a d i c i o n a l e s
actividades de e v a l u a c i n de necesidades y e v a l u a c i o n e s

diagnsti-

cas.
T e o r a del problema.

v e n c i n y e v a l u a c i n ( v a s e cuadro 3.1), d e f i n i e n d o un proceso


Necesidad.

Es un juicio de valor que re-

D u r a n t e esta fase es i n t e r e s a n t e c o n o c e r e l e s t a d o de l a c u e s t i n q u e r e s u l t a
p r o b l e m t i c a , las necesidades de a l g n sector de la p o b l a c i n o de u n g r u p o o r -

t u a c i n ideal que se desea conseguir.

g a n i z a c i o n a l , y e n g e n e r a l r e a l i z a r u n d i a g n s t i c o q u e p e r m i t a p l a n i f i c a r una i n t e r v e n c i n d i r i g i d a a s o l u c i o n a r l o s p r o b l e m a s d e t e c t a d o s . L a s actividades d i a g -

Evaluacin

de necesidades.

Actividad

e v a l u a t i v a c u y o o b j e t i v o es descri-

v e n c i n i r d i r i g i d a a frenar, e l i m i -

b i r y v a l o r a r o p r i o r i z a r las necesi-

nar o c o n t r o l a r los factores que te-

dades de un g r u p o .
Sensibilidad.

L o s p r o b l e m a s so-

L o s programas deben de-

s a r r o l l a r p r o c e d i m i e n t o s p a r a de-

ciales s o n a q u e l l o s q u e e s t n sien-

terminar q u i n e s pueden

do percibidos o vividos como pro-

p a r c o m o usuarios. L a sensibilidad

blema por un grupo importante

es l a capacidad para detectar casos

de la p o b l a c i n , y son d e f i n i d o s

q u e c u m p l e n las condiciones esta-

partici-

m e d i a n t e u n proceso d e construc-

b l e c i d a s p a r a ser i n c l u i d o s e n e l

c i n social e n t r e los d i s t i n t o s acto-

programa

que

aparece.

y conceptualizacin

del programa,

e n la c u a l se estima la e x t e n -

i d e n t i f i c a una fase i n i c i a l d e estas c a r a c t e r s t i c a s d e n t r o d e l m o d e l o C I P P


text, Input,

Process,

Product)

(Con-

y, e n g e n e r a l , e n t o d o s los d e n o m i n a d o s m o d e l o s

s i s t e m t i c o s d e e v a l u a c i n , las a c t i v i d a d e s d i a g n s t i c a s o c u p a n u n a p o s i c i n
clara d e n t r o d e l p r o c e s o g e n e r a l de i n t e r v e n c i n , a pesar de q u e sean recogidas
con e t i q u e t a s d i f e r e n t e s .
E n el c a p t u l o a n t e r i o r p r e s e n t a m o s los e l e m e n t o s d e l m o d e l o s i s t e m t i c o y
contingente de R e b o l l o s o y cois. (2003), caracterizado p o r considerar cada a c t i v i t r o d e l proceso de i n t e r v e n c i n social, e n p a r a l e l o c o n la c o r r e s p o n d i e n t e fase de

Informantes

clave.

L o s m i e m b r o s de

u n g r u p o q u e , p o r su p o s i c i n o su
e x p e r i e n c i a , d i s p o n e n de i n f o r m a -

Poblacin
objetivo.
Sector o g r u p o de
la p o b l a c i n a la que e s t dirigido
e l p r o g r a m a y q u e son c o n s i d e r a dos u s u a r i o s p o t e n c i a l e s d e l m i s mo.

fase de diseo

s i n y g r a v e d a d de los p r o b l e m a s sociales, c o n e l fin de d i s e a r p r o g r a m a s para

dad evaluativa c o m o una a c c i n q u e se debe d e s a r r o l l a r de f o r m a integrada d e n -

res y g r u p o s i m p l i c a d o s o r e l a c i o n a d o s c o n la s i t u a c i n en

n s t i c a s e s t n descritas t a m b i n p o r R o s s i y F r e e m a n ( 1 9 8 9 ) c o m o p a r t e de la

a m i n o r a r l o s . D e f o r m a s i m i l a r , S t u f f l e b e a r a ( 1 9 6 6 ; S t u f f l e b e a m y cois., 1971)

r i c a m e n t e causan el p r o b l e m a .
social.

diagnstico

problemtica.

t u a c i n actual de un grupo y una si-

del p r o b l e m a . L a posterior inter-

Problema

p r e v i o e n r e l a c i n c o n e l a n l i s i s y d e s c r i p c i n de la s i t u a c i n

sulta de la c o m p a r a c i n entre la si-

H i p t e s i s c o n la

c u a l se i n t e n t a e x p l i c a r e l o r i g e n

3.1. L a e v a l u a c i n d e c o n t e x t o d e n t r o d e l p r o c e s o d e i n t e r v e n c i n s o c i a l

la i n t e r v e n c i n p r o p i a m e n t e d i c h a . E n la figura 2 . 1 , i n c l u i d a en el c a p t u l o segundo, se mostraba el proceso i n t e g r a d o de i n t e r v e n c i n social j u n t o a las actividades


evaluativas adecuadas a cada fase. E n el caso de las evaluaciones de c o n t e x t o ,

c i n e x h a u s t i v a y v e r a z s o b r e los

d e n t r o de las cuales se e n m a r c a n los p r o c e d i m i e n t o s d i a g n s t i c o s , el m o d e l o a n a l i -

r e s t a n t e s m i e m b r o s , las necesida-

za una serie de p a r m e t r o s de i n t e r s que resultan t i l e s p a r a el m e j o r d e s a r r o l l o

des, v a l o r e s , d i n m i c a s y otras

de la e v a l u a c i n . L a figura 3.1 describe de f o r m a m s detallada la fase de e v a l u a c i n

cuestiones del g r u p o relevantes pa-

de contexto. L a c o l u m n a de la izquierda indica los distintos niveles de anlisis u t i l i -

r a la e v a l u a c i n .

zados por R e b o l l o s o y cois. (2003) para describir el m o d e l o . A c o n t i n u a c i n c o m e n taremos b r e v e m e n t e cada u n o de ellos.

58

Capitulo 3: Procedimientos diagnsticos

Porte /. D i s e o de polticas y piogromas de intervencin social

| -

o c u p a , e l p r o g r a m a de i n t e r v e n c i n c o m o t a l n o ha s i d o d i s e a d o t o d a v a .

Cuadro 3.1. Papel del diagnostico en el ocio de investigacin-accin de K l rwm

Sin e m b a r g o , es el m o m e n t o en q u e se e m p i e z a a d e t e c t a r el p r o b l e m a soKurt Lewin analiza la importancia de la actividad diagnstica en su conocido artculo de 1946 (reproducido en castellano en la Revisto de Psicologa Social 1988. vol. 3: 229-240). En su opMdn, para
que el esfuerzo profesional y comunrtano se convierta en accin organizada y eficiente. r \ necesario
resolver tres cuestiones especificas: cul es la situacin actual?, cules son los peligros? y. lo ms importante, /qu hacer? Es decir, necesitamos saber cules son los problemas que requieren solucin,
qu actividades podemos implantar para resolverlos y cules son las dificultades que puede irnjiedir el
xito de la intervencin.
La actividad cientfica convencional no basta para resolver estas cuestiones. El propsito del cientfico es definir leyes generales para comprender y explicar por igual todo tipo de situaciones Sin embargo, de cara a la intervencin social, no es suficiente conocer las leyes generales sobre un fenmeno, ano que es necesano determinar las caractersticas peculiares de la situacin especifica donde se
quiere intervenir. Una cosa es saber por qu ocurre un problema, y otra diferente saber cmo resolverlo. Lewin est proponiendo de este modo dos objetivos de investigacin, igualmente imprescindibles, que deben afrontarse de manera coordinada:
"El conocimiento de las leyes puede servir de guia para el logro de dertos objetivos bajo ciertas
condiciones. Para actuar correctamente no basta, sin embargo, que el ingeniero o el cirujano conozcan las leyes generales de la fsica o la fisiologa. Tienen que conocer tambin d carcter especfico de
la situacin presente Este carcter e n e determinado por una recogida cientfica de datos que se llama diagnstico. En cualquier campo de accin son necesarios ambos tipos de investigacin cientfica"
(Lewin. 1946/1988: 231).
Tampoco los procedimientos de diagnstico son suficientes por s solos para definir la intervencin. Enrealidad,forman parte del cido global de la invesbgadn-accin, en el cual deben ser complementados con estudios comparativos de la eficacia de las diversas posibilidades de intervencin
disponibles. Una vez que d investigador dispone de conocimientos generales y de un diagnstico
adecuado de la situacin, d proceso de planificacin sigue los siguientes pasos:

c i a l , y y a se d e b e r a i n t e r v e n i r c o n v e l o c i d a d p a r a e v i t a r que se e x t e n d i e r a
o se asentase. L a i n t e r v e n c i n p r i m a r i a a c t a d i r e c t a m e n t e s o b r e las causas
y los factores de riesgo q u e o r i g i n a n e l p r o b l e m a p a r a e v i t a r su a p a r i c i n .
b)

Teora

del problema.

E n la fase de d i a g n s t i c o es i m p o r t a n t e d e s a r r o l l a r

m o d e l o s t e r i c o s a l t e r n a t i v o s que e x p l i q u e n c o n la m a y o r e x a c t i t u d p o s i b l e
c u l es el p r o b l e m a y p o r q u sucede. T o d a i n t e r v e n c i n se f u n d a m e n t a

p r e n d e r c m o f u n c i o n a el p r o b l e m a . D e h e c h o , l a m e r a f o r m u l a c i n

ractersticas,

a p a r t i r de la cual se p o d r d e s a r r o l l a r el m o d e l o t e r i c o q u e

o r i e n t e y d f u n d a m e n t o al p r o g r a m a de i n t e r v e n c i n . I g u a l m e n t e , la t e o r a
d e l p r o b l e m a a y u d a i a l o i n a i decisiones p r e v e n t i v a s d e n t r o de u n m a r c o

INtlIMNON

Prrnaria
(<S{nos(irprTvervJon)

TEOIUZACJN

INVESTIGACION

3. Recoger datos que demuestren d nivd de logro esperado micialmente, dando a los planificadores una oportunidad para aprender, planificar d siguiente paso y modificar d plan general.
4. Iniciar un nuevo ocio de planificacin, ejecucin y reconodmiento.
EVALUACIN

ACTIVIDADES

EstLX&o

de

la

aakKn

de l A u a o s

En resumen, la investigacin accin es una prctica de investigacin social que se ocupa tanto de
las leyes generales como del diagnstico de situaciones especficas. En relacin con d proceso racional de toma de decisiones, la investigacin en accin es un proceso reiterativo que parte de un objetivo general a conseguir, y se compone de las etapas de diagnstico, planificacin, accin y reconocimiento, de tal modo que cada ocio aumenta los conocimientos y experiencias sobre el problema y la
intervencin, por lo que grficamente es pertinente unafiguraen espiral (Alonso Amo. 1988; Argyris,
I980-, Kemmis, 1981).

Anlois de condioone
(loicas, econmicas. - )
loentifcan de audiencias
Iderruficaan del problema
(causas)
METODOLOGIA

ruestionano
Lrrtrevsta
Tcnicas jrupales (Ddphu.)
Definionde problemas sociales

a)

Intervencin

primaria.

T r a d i c i o n a l m e n t e se d i s t i n g u e n t r e s t i p o s de i n t e r -

v e n c i n social, e n r e l a c i n c o n diversos m o m e n t o s e n la e v o l u c i n d e l p r o b l e m a que se p r e t e n d e r e s o l v e r ( S n c h e z V i d a l , 1996). E n e l caso q u e n o s

del

p r o b l e m a c o n l l e v a i m p l c i t a m e n t e una h i p t e s i s sobre su o c u r r e n c i a y ca-

I. Disear d plan general para alcanzar d objeto de cambio.


2 Poner en prctica el pnmer paso dd plan general.

"La gestin social racional, por tanto, procede en espiral de forma que cada paso se compone de
un ciclo de planificacin, accin y recogida de datos sobre el resultado de la accin" (Lewin,
1946/1988:233).

en

u n c o n j u n t o de ideas p i c v u s o suposiciones que a y u d a n a e x p l i c a r y c o m -

Figura 3.1. Elementos de la evaluacin de contexto.

60 I Parle I: Diseo de polticas y programas de intervencin social


de i n t e r v e n c i n p r i m a r i a . E n este p u n t o es i m p o r t a n t e d i s t i n g u ! r u i n

Capitulo 3: Procedimientos diagnsticos

j 61 '

i.

c u e s t i n es d e t e r m i n a r las r e a s en que los usuarios e s t n r e c i b i e n d o u n

t e o r a d e l p r o b l e m a , que i n d i c a los factores q u e crean una siiu.it Ion I d 11|

servicio defectuoso, con vistas a plantear i n t e r v e n c i o n e s en consecuencia

indeseada, y la p o s t e r i o r t e o r a d e l p r o g r a m a , que explica p o r q u d t t i m i l

( R e b o l l o s o , F e r n n d e z - R a m r e z y C a n t n , 2001).

nadas actividades t e n d r n c o m o consecuencia los resultados que drs<

2. A n l i s i s de las condiciones en que se e n m a r c a el p r o b l e m a , i n c l u y e n d o

( e n este caso, la m e j o r a o d e s a p a r i c i n d e l p r o b l e m a social).


c) Investigacin

sobre el problema.

los aspectos sociales, e c o n m i c o s , a m b i e n t a l e s , p o l t i c o s , legales, o cua-

L a i n t e r v e n c i n es una actividad que se i n i I

lesquiera o t r o s q u e resulten pertinentes p a r a c o m p r e n d e r el p r o b l e m a

ta y p r o c e d e de f o r m a integrada d e n t r o de la realidad sociaJ y poltica r n UM

d e n t r o d e l c o n t e x t o social en q u e se p r o d u c e .

se desarrolla el p r o b l e m a . E n este sentido, los c i e n t f i c o s se constituyen r n

3. I d e n t i f i c a c i n de las audiencias o stakeholders.

Se entiende por

stakehol-

u n o m s d e los grupos que e s t n i m p l i c a d o s , d e b i d o precisamente a su proal

ders todos aquellos grupos de personas que e s t n afectadas positiva o ne-

m i d a d c o n el p r o b l e m a ( R e b o l l o s o , 1990a). E l g r u p o de los cientficos entTI

g a t i v a m e n t e p o r e l p r o b l e m a . Esta a c t i v i d a d es i m p o r t a n t e al menos p o r

en r e l a c i n con el p r o b l e m a m e d i a n t e u n p r i m e r a n l i s i s de la realidad social

dos razones. E n p r i m e r lugar, p o r q u e la d e f i n i c i n del p r o b l e m a depen-

(la e v a l u a c i n de c o n t e x t o ) , q u e supone t a m b i n u n p r i m e r contacto con el

de d e l significado y la perspectiva q u e asuma cada g r u p o de i n t e r s y a

resto de grupos de stakeholders.

N u e s t r a idea de la realidad social responde a

p r i o r i n o es p o s i b l e d e t e r m i n a r c u l de ellas s e r la m s adecuada para

en la que m l t i p l e s factores e s t n determinando

e n t e n d e r y resolver el p r o b l e m a . E n s e g u n d o lugar, p o r q u e t a n t o el p r o -

los distintos aspectos o situaciones que venimos a identificar c o m o " e l proble-

b l e m a c o m o la p r o p i a i n t e r v e n c i n se e n t i e n d e n c o m o un c o n j u n t o de

m a " ; construccionista,

supuestos y actividades q u e son definidas c o n s t r u c t i v a m e n t e

una o r i e n t a c i n : multicausal,

en la m e d i d a en que t o d a r e a l i d a d social es f r u t o de un

proceso de c o n s t r u c c i n social e n el q u e cada g r u p o d e interesados discute,


analiza y da sentido al p r o b l e m a c o m o una realidad " o b j e t i v a " ; y contexta!

mediante

procesos de n e g o c i a c i n entre las audiencias.

4. L o c a l i z a c i n de las causas del p r o b l e m a . U n a vez identificados los l m i -

s e g n la cual el p r o b l e m a n o p u e d e ser analizado i g n o r a n d o el con-

tes y las c a r a c t e r s t i c a s m n i m a s del p r o b l e m a , es necesario d e t e r m i n a r

t e x t o social en que se p r o d u c e , c o n t o d o l o que esto i m p l i c a en cuanto a un

c u l e s son los factores que l o generan y los mecanismos que e x p l i c a n su

holstica,

m a y o r n m e r o de factores relevantes a tener en cuenta.


d) Evaluacin

de contexto.

a p a r i c i n . L a t e o r a d e l p r o b l e m a p u e d e ser desarrollada a p a r t i r de los

Las actividades evaluativas q u e se p u e d e n llevar a

c o n o c i m i e n t o s disponibles en las distintas disciplinas c i e n t f i c a s , a p a r t i r

c a b o e n esta fase e s t n e s t r e c h a m e n t e r e l a c i o n a d a s c o n la i n v e s t i g a c i n i n i -

de las explicaciones q u e los p r o p i o s interesados hayan desarrollado en su

cial s o b r e el p r o b l e m a , y en g e n e r a l se o r i e n t a n a d e t e r m i n a r las c o n d i c i o -

i n t e r a c c i n c o n e l p r o b l e m a , o i n t e n t a n d o una c o m b i n a c i n entre ambas

nes p r e v i a s y el c o n t e x t o del p r o b l e m a . E n otras palabras, se p r e t e n d e ana-

( C h e n , 1996; L e v i t n , 1994).

lizar, c o m p r e n d e r y p r i o r i z a r las "necesidades" d e la p o b l a c i n ( e v a l u a c i n


de necesidades) y las c o n d i c i o n e s s o c i o e c o n m i c a s y p o l t i c a s q u e enmarca-

f)

Mtodos

de investigacin

tiles para la evaluacin

de contexto.

Existe una a m -

r n al p r o g r a m a , para f a c i l i t a r la c o m p r e n s i n de los p r o b l e m a s sociales a

plia variedad de posibles m t o d o s aplicables en esta clase de e v a l u a c i n , y es

los q u e se p r e t e n d e d a r respuesta, y o r i e n t a r a s la p l a n i f i c a c i n d e l p r o g r a -

posible c o m b i n a r de f o r m a v l i d a estrategias de n d o l e cuantitativa y cualitati-

m a de i n t e r v e n c i n .

va. Por ejemplo, las entrevistas en p r o f u n d i d a d y las t c n i c a s grupales ( D e l p -

e) Algunas

actividades

evaluativas

especificas.

Para c o m p l e t a r c o n x i t o la eva-

l u a c i n de c o n t e x t o se p u e d e n p o n e r en p r c t i c a u n a serie de actividades

h i , grupos de d i s c u s i n , grupos nominales, f r u m c o m u n i t a r i o , etc.; N e z y


'

Loscertales, 1996) p r o p o r c i o n a n i n f o r m a c i n provechosa y de p r i m e r a m a n o

e s p e c f i c a s , e n t r e las cuales se i n c l u y e n los p r o c e d i m i e n t o s d i a g n s t i c o s . L a

acerca del p r o b l e m a y de los factores que l o o r i g i n a n , y acerca de la perspecti-

e l e c c i n d e q u a c t i v i d a d d e s a r r o l l a r d e p e n d e r de c r i t e r i o s funcionales, de

va, actitudes o experiencia de los grupos interesados. L a o b s e r v a c i n de la?

eficacia, eficiencia, u t i l i d a d , o c u a l q u i e r o t r o q u e resulte de i n t e r s , m a n t e -

condiciones ambientales, sociales y e c o n m i c a s , j u n t o a la r e v i s i n de la legis-

n i e n d o u n a n i m o f l e x i b l e y e c l c t i c o , t e n i e n d o e n c u e n t a que son las a c t i -

l a c i n vigente y el anlisis de contenidos de t o d o t i p o de documentos servir-

vidades t c n i c a s las q u e d e b e n adaptarse a la r e a l i d a d social, y n o al c o n t r a -

an para completar el enmarque del p r o b l e m a y del f u t u r o programa.

rio, para m e j o r a r nuestra c o m p r e n s i n de los p r o b l e m a s . R e b o l l o s o y cois.


(2003) s u g i e r e n las siguientes p o s i b i l i d a d e s :
3.2. P r o b l e m a s sociales
1. E s t u d i o de la s a t i s f a c c i n d e usuarios. Se e n t i e n d e usuarios de u n m o d o
a m p l i o c o m o todas aquellas personas q u e r e c i b e n u n servicio p o r parte

L o s p r o b l e m a s sociales n o son f e n m e n o s que r e s p o n d a n a una r e a l i d a d c o m p l e -

de l o s c e n t r o s d e servicios sociales o de c u a l q u i e r o t r a i n s t i t u c i n . L a

t a m e n t e o b j e t i v a , sino "construcciones sociales" q u e e m e r g e n de los intereses y

62

Parte /: Diseo de potrcas y programas de intervencin socio/

Capruilo 3: Procedimientos diagnsticos

v a l o r e s de la sociedad y de las personas q u e t i e n e n i n t e r s en ellos. Sin e m b a r g o ,

,,,, a x p l f c i l a m e n t e . E l a u m e n t o de recursos se c o n v i e r t e a s en la s o l u c i n para t o -

e n el caso de los esfuerzos para t r a t a r c o n la m a y o r a de los p r o b l e m a s sociales, se

d M l o s |>ioblemas, y los responsables de los p r o g r a m a s de m e j o r a se centran ex-

r e q u i e r e c o n o c i m i e n t o sobre e l p r o b l e m a y los hechos d e l pasado que h a n i n c i d i d o

, luMviimente en l o g r a r l a c o n t i n u i d a d de la s i t u a c i n p r o b l e m t i c a a t r a v s de la

e n l . Se precisa u n a i n f o r m a c i n e v a l u a t i v a de g a r a n t a ( v l i d a y fiable) c o m o ba-

a m p l i a c i n de los f o n d o s , r e f o r z a n d o e l statu q u o y l i m i t a n d o las o p o r t u n i d a d e s

se sobre la cual se c o n s t r u y a n las i n t e r v e n c i o n e s . T o m e m o s e l caso de la i n m i g r a -

realizar c a m b i o s sustanciales. Para e v i t a r esta p r c t i c a , K e t t n e r , M o r o n e y y

c i n . L a i n m i g r a c i n n o es en s m i s m a u n p r o b l e m a , sino u n f e n m e n o s o c i o d e -

M . i i t i n ( l ' ? ) ' ) ) sugieren q u e e l a n l i s i s d e l p r o b l e m a d e b e r a centrarse en la c o m -

m o g r f i c o , u n flujo de personas que traslada su residencia y su p r o y e c t o v i t a l a u n

p i c n s i n del m i s m o , y n o en las soluciones, e i n t r o d u c i r nuevas perspectivas l i b r e s

l u g a r lejano. L o s i n m i g r a n t e s suelen quejarse de ser r e c i b i d o s c o n actitudes nega-

,lt

tivas y c o m p o r t a m i e n t o s d i s c r i m i n a t o r i o s p o r p a r t e de la p o b l a c i n a u t c t o n a . E l
p r o b l e m a es, p o r t a n t o , q u e existe p r e j u i c i o o r a c i s m o . Sin e m b a r g o , la p o b l a c i n
a u t c t o n a se q u e j a a m e n u d o de q u e los i n m i g r a d o s t r a e n costumbres e x t r a a s y
n o respetan los valores y n o r m a s de c o m p o r t a m i e n t o d e l lugar. E l p r o b l e m a es e n tonces que n o r e a l i z a n u n esfuerzo suficiente p o r integrarse. E n d e f i n i t i v a ,

.iMiin

es

previas sobre el f u n c i o n a m i e n t o de los p r o g r a m a s existentes.

I I a n l i s i s d e l o s p r o b l e m a s sociales c o m o c o n s t r u c c i n r e q u i e r e asumir, al
menos i o i n o o b j e t i v o o p e r a t i v o , u n e n f o q u e c o n s t r u c c i o n i s t a . Esta perspectiva es
i I I . M I V . I al c l s i c o p a r a d i g m a p o s i t i v i s t a respecto a tres asunciones

mu

bsicas

((tilia y L i n c o l n , 1989):

cada

g r u p o construye su p r o p i a v e r s i n d e l p r o b l e m a .

N o r m s t r n ir.ib,lacles o b j e t i v a s ( p o s i t i v a s ) , s i n o construcciones m e n t a l e s ,

I a m i , '.tti'.u i o n emerge y es u n p r o d u c t o de la i n t e r a c c i n entre investiga-

P a r a considerar la existencia de u n p r o b l e m a s o c i a l , es necesario a t e n d e r a u n a


serie de c a r a c t e r s t i c a s ( S u l l i v a n et al., 1980): consenso e l e v a d o sobre c u l es e l

un l i n d a s las supuestas leyes que p r e t e n d e l a c i e n c i a .

p r o b l e m a ; i d e n t i f i c a c i n de los g r u p o s sociales c o n intereses en l a d e f i n i c i n y e n

d o i r i n v e s t i g a d o , y n o tiene sentido la d i s t i n c i n sujeto-objeto, pues e l " b -

la s o l u c i n d e l p r o b l e m a , i m p l i c a c i n de los valores sociales q u e d e t e r m i n a n l a r e -

lelo

l e v a n c i a de la c u e s t i n y u n c a r c t e r p b l i c o , e x t e n s o , fuera de la r b i t a de l o p r i -

c e s o ile i o i i .ti mi e l [ e s t i l l a d o c i e n t f i c o .

v a d o e i n d i v i d u a l . L a d e f i n i c i n d e l p r o b l e m a social nace d e l c o n f l i c t o de i n t e r e -

,le la u i v r s i i g i i i i o n es u n " s u j e t o " que p a r t i c i p a activamente en el p r o -

F r e n t e al m t o d o e x p e r i m e n t a l , se i n t e n t a a p r o v e c h a r la i n t e r a c c i n p a r a

ses, p o l t i c o p o r n a t u r a l e z a , y s l o l l e g a a expresarse c u a n d o u n o s c o n v e n c e n a

crear nuevas construcciones m s sofisticadas y acertadas. E n c i e r t o m o d o ,

o t r o s de la existencia de c o n d i c i o n e s p r o b l e m t i c a s o injustas. S l o a s e l p r o b l e m a

la e v a l u a c i n crea o c o n s t r u y e la r e a l i d a d en l u g a r de m e r a m e n t e descu-

l l e g a r a e n t r a r en las agendas p o l t i c a s ( G e m e n t e , 1992). Por t a n t o , la c a p a c i d a d

b r i r l a . Las d i s t i n t a s construcciones ( p u n t o s de v i s t a ) de cada g r u p o d e p e n -

p a r a d e f i n i r la existencia de u n p r o b l e m a social t i e n e q u e ver c o n la a u t o r i d a d que

de de sus valores e intereses, de t a l m o d o q u e e l r e s u l t a d o de la e v a l u a c i n

o b t e n g a u n g r u p o de i n t e r s c o n c r e t o ( S u l l i v a n et al., 1980).

d e p e n d e r de q u valores se c o n s e n s e n d u r a n t e e l proceso de investiga-

L a d e f i n i c i n d e l p r o b l e m a es el o r g a n i z a d o r p r i m a r i o de l a i n t e r v e n c i n , y t o -

c i n , c o n v e r t i d o en u n p r o c e s o de n e g o c i a c i n , m s q u e de d e s c u b r i m i e n t o .

das las fases que siguen en e l proceso p o l t i c o y e v a l u a d o r se e s t r u c t u r a r n , al menos en p a r t e , e n f u n c i n de la m i s m a ( M a d i s o n , 2 0 0 0 ) . L a d e f i n i c i n t e n d r c o m o

E n los m e d i o s p o l t i c o s , p o r e j e m p l o , se u t i l i z a e l c o n c e p t o de calidad de v i d a

base las presunciones acerca de las causas que p r o v o c a n y sustentan e l p r o b l e m a

c o m o u n o b j e t i v o deseable, a p a r t i r d e l cual se p u e d e n d e t e r m i n a r las necesidades

( t e o r a d e l p r o b l e m a ) , s e a l a n d o q u c o m p o r t a m i e n t o s c o n c u r r e n y c u l e s necesi-

y logros comunitarios. Sin embargo, existen p r o b l e m a s sobre el significado del

tan evitarse. E n e l e j e m p l o anterior, se d e s a r r o l l a r n p r o g r a m a s de r e d u c c i n d e l

c o n c e p t o y la i m p o r t a n c i a r e l a t i v a de las d i m e n s i o n e s o b j e t i v a y subjetiva asocia-

p r e j u i c i o ( c a m p a a s de i n f o r m a c i n , c o n v i v e n c i a escolar, c a m b i o de a c t i t u d e s ) e n

das al m i s m o ( B l a n c o , 1985; Casas, 1990). L a i n v e s t i g a c i n psicosocial m u e s t r a c -

el p r i m e r caso, o p r o g r a m a s p a r a acelerar la i n t e g r a c i n ( a p r e n d i z a j e d e l i d i o m a ,

m o , en c o n d i c i o n e s a p r i o r i rechazables, las personas son capaces de adaptarse y

las costumbres o las leyes locales) en e l segundo. A u n q u e el a c i e r t o e n las p r e s u n -

apreciarlas c o m o m e j o r e s de l o que p u d i e r a n parecer. N o obstante, esto n o d e b e

ciones es d u d o s o (puesto q u e n o r e s p o n d e a n i n g n a n l i s i s e x h a u s t i v o y desinte-

i n d u c i r n o s a e n g a o y hacernos caer en u n r e l a t i v i s m o e x t r e m o que l e g i t i m e c u a l -

resado de l a s i t u a c i n , sino a la v i s i n de u n a de las p a r t e s ) , a p o r t a s e g u r i d a d co-

q u i e r s i t u a c i n ; s e r a deseable satisfacer ciertos c r i t e r i o s o b j e t i v o s m n i m o s , a par-

m o d e f i n i c i n o f i c i a l m a n t e n i d a p o r e l g r u p o y s i n t e t i z a los intereses que t i e n e

t i r de los cuales c o n s i d e r a r e l c o n c e p t o de c a l i d a d de v i d a en t r m i n o s estricta-

t a n t o en la r e d u c c i n c o m o en la c o n t i n u a c i n d e l p r o b l e m a .

m e n t e subjetivos ( B l a n c o , 1985).

E n muchas ocasiones las i n t e r v e n c i o n e s p r o c e d e n c m o si se c o m p r e n d i e r a

L a i d e n t i f i c a c i n de los stakeholders

es una tarea inicial f u n d a m e n t a l del proceso

b i e n c u l es el p r o b l e m a y c u l e s son sus soluciones. I n c l u s o se llega a d e f i n i r i n -

de i n t e r v e n c i n y e v a l u a c i n , pues los objetivos y actividades d e l p r o g r a m a y de la

c o r r e c t a m e n t e el p r o b l e m a e n t r m i n o s de soluciones. Por e j e m p l o , m u c h o s p r o -

e v a l u a c i n se d i r i g e n a resolver sus quejas, intereses o p r o b l e m a s de i n f o r m a c i n .

cesos de a n l i s i s o r g a n i z a c i o n a l c o n c l u y e n que e l p r o b l e m a es l a falta de recursos,

G u b a y L i n c o l n (1989) asignan al evaluador el r o l de elicitar y c o n f r o n t a r el discurso

l o que e n r e a l i d a d s e r a u n a posible s o l u c i n para u n p r o b l e m a que queda sin d e f i -

sobre e l p r o b l e m a social de los distintos tipos de stakeholders,

generando consensos

64

Porte /: Diseo de potincas y programos de intervencin social

Capitulo 3: Procedimientos diagnsticos

65

negociados. G e n e r a l m e n t e , los primeros que identifican los problemas sociales M U

lugares. A d e m s de d e t e r m i n a r y p r i o r i z a r las necesidades del programa, los resul-

los lderes morales y p o l t i c o s y otras personas que tienen intereses en los p i o g m i n -.

tados ayudan a establecer p r i o r i d a d e s entre los potenciales beneficiarios, a f o r m a r

(stakeholders),

y distribuir al personal, a elegir la m e j o r l o c a l i z a c i n para la i m p l e m e n t a c i n o a

p e r o los evaluadores tienen u n r o l esencial a la hora de definu In un

turaleza, t a m a o y d i s t r i b u c i n del p r o b l e m a a t r a v s d e l uso de

procedimiento!

d i a g n s t i c o s s i s t e m t i c o s y reproducibles. G u b a y L i n c o l n (1981) distinguen t i c . | |


pos de grupos interesados en la e v a l u a c i n : los responsables de planificar e

distribuir los recursos d i s p o n i b l e s . L o s destinatarios de la i n f o r m a c i n son las personas que p a r t i c i p a r n en la p l a n i f i c a c i n del p r o g r a m a .

Impli

mentar el programa, los beneficiarios, o personas q u e sacan a l g n provecho del pro


grama, y las v c t i m a s , o personas que se v e n afectadas de alguna m a n e r a poi 11

3.3.2. Anlisis de problemas

objeto, i n c l u y e n d o aquellos grupos que quedan relegados en la i n t e r v e n c i n , que su


fren efectos colaterales negativos, o que p i e r d e n o p o r t u n i d a d e s en t m n o s de a u n

E n ocasiones se confunde el p r o b l e m a con las condiciones sociales en que aparece.

petencia. C o o k (1984) distingue entre cinco tipos de stakeholders,

cada u n o de Irw

C o m o vimos en u n e j e m p l o anterior, la i n m i g r a c i n n o es un p r o b l e m a sino una

cuales tiene intereses p r o p i o s y peculiares en el p r o b l e m a y en el programa: poliii i |

c o n d i c i n o u n f e n m e n o social. Se vuelve un p r o b l e m a c u a n d o a l g n g r u p o inte-

y administradores del p r o g r a m a , gestores de los programas, trabajadores (practh

resado l o define c o m o n e g a t i v o o perjudicial, r a z n p o r la cual es especialmente

lo

ners), clientes del p r o y e c t o y a c a d m i c o s . T a n t o los p o l t i c o s c o m o los evaluadores

i m p o r t a n t e darse cuenta de c u l es el g r u p o que e s t d e f e n d i e n d o l o que resulta

que t i e n e n intereses concretos en I H

p r o b l e m t i c o . K e t t n e r , M o r o n e y y M a r t i n (1999) p r o p o n e n u n sencillo esquema de

f o r m a c i n , m a n t e n i m i e n t o y s o l u c i n de los p r o b l e m a s (la c o n t i n u i d a d de su r o l en la

trabajo para realizar el a n l i s i s de u n p r o b l e m a social. Se trata de una lista de nue-

forman en s mismos dos grupos de stakeholders

a d m i n i s t r a c i n p o l t i c a depende de la existencia de problemas sociales que resolver),

ve preguntas t i l e s para o b t e n e r una d e s c r i p c i n exhaustiva de las c a r a c t e r s t i c a s ,

de tal m o d o que su o p i n i n sobre los p r o b l e m a s sociales o b j e t o de la i n t e r v e n c i n

el c o n t e x t o , los grupos i m p l i c a d o s y las causas del p r o b l e m a . Las preguntas son:

t a m b i n puede ser sospechosa de parcialidad. P o r ello, es recomendable incluir en el


anlisis d i a g n s t i c o ( y en otras fases del proceso e v a l u a t i v o ) la o p i n i n y los valores
de m l t i p l e s grupos de stakeholders,

f u n d a m e n t a l m e n t e los m i e m b r o s de la c o m u n i -

dad en desventaja (Casas, 1990). D e este m o d o , se asegura que la poltica social se

formula para solucionar problemas e s p e c f i c o s , y n o c o m o parte de un j u e g o de intereses p o l t i c o s o de i n v e s t i g a c i n .

C u l es la naturaleza de la s i t u a c i n o c o n d i c i n social, t e n i e n d o en cuenta


los p u n t o s de vista de todos los gTupos posibles?
C m o se e s t n d e f i n i e n d o los t r m i n o s d e l p r o b l e m a , e v i t a n d o que las palabras s i g n i f i q u e n cosas distintas para diferentes g r u p o s de personas?

C u l e s son las c a r a c t e r s t i c a s de las personas que v i v e n la s i t u a c i n o cond i c i n social? A s , t o d o s los grupos i m p l i c a d o s p u e d e n ser i d e n t i f i c a d o s y
tenidos en c u e n t a en la p l a n i f i c a c i n de una p o s i b l e i n t e r v e n c i n .

3.3. M t o d o s d i a g n s t i c o s

C u l es la m a g n i t u d y la d i s t r i b u c i n de l a s i t u a c i n ? , es decir, c u n t a s
personas e s t n afectadas y c u l es su d i s t r i b u c i n g e o g r f i c a ?

Para identificar y d e f i n i r los p r o b l e m a s sociales se u t i l i z a n u n a v a r i e d a d de proce-

Q u valores sociales e s t n siendo amenazados p o r la existencia de l a c o n -

d i m i e n t o s . L o s i n d i c a d o r e s sociales d i s p o n i b l e s p u e d e n p r o p o r c i o n a r i n f o r m a c i n

d i c i n social descrita? Se t r a t a de saber c m o r e a c c i o n a r a n las personas an-

sobre tendencias h i s t r i c a s relevantes para la i n v e s t i g a c i n . L a s encuestas c o n i n -

te la existencia de la c o n d i c i n . Son especialmente relevantes las o p i n i o n e s

formantes clave, e l e s t u d i o de los registros de las agencias, encuestas, censos co-

de la c o m u n i d a d , de sus l d e r e s , de los m e d i o s de c o m u n i c a c i n y de otros


grupos que t e n g a n u n a especial i m p l i c a c i n .

m u n i t a r i o s y las evaluaciones de necesidades s o n f o r m a s c o m u n e s de a p r o x i m a c i n a l a i d e n t i f i c a c i n d e u n p r o b l e m a s o c i a l . V e a m o s a c o n t i n u a c i n algunos

m t o d o s d i a g n s t i c o s interesantes.

H a s t a q u p u n t o se reconoce la existencia de l a s i t u a c i n ? D e este m o d o ,


se puede estimar el a p o y o p o t e n c i a l con q u e c o n t a r a u n a e v e n t u a l i n t e r v e n c i n , d e s a r r o l l a n d o c a m p a a s de c o n c i e n c i a c i n en caso necesario.

Q u i n define la c o n d i c i n social c o m o u n p r o b l e m a ? C o m o m n i m o son de

3.3.1. Evaluaciones proactivas

esperar tres p o s i c i o n e s : el g r u p o o g r u p o s q u e d e f i n e n la s i t u a c i n c o m o

Se d e n o m i n a a s a u n t i p o de evaluaciones o r i e n t a d a s a buscar i n f o r m a c i n q u e

se o p o n e n a las iniciativas p a r a c a m b i a r la s i t u a c i n .

p r o b l e m t i c a , los q u e n o t i e n e n una o p i n i n f o r m a d a al respecto y los q u e


sirva para la c r e a c i n de u n n u e v o p r o g r a m a o p a r a la m o d i f i c a c i n r a d i c a l de un

C u l es la e t i o l o g a del problema? L o s problemas sociales son multicausales y,

p r o g r a m a existente ( O w e n y R o g c r s , 1999). L a a t e n c i n d e l estudio se centra en el

por l o tanto, difciles de explicar, si bien la posible i n t e r v e n c i n requiere nece-

contexto e n el que se d e s a r r o l l a r el p r o g r a m a o en c o n t e x t o s similares en o t r o s

sariamente contar con una idea sobre los factores causales m s relevantes.

66

Cop/tulo 3: Procedimientos diagnsticos \ ..

Porte /. Dueo de polhkas y programas de intervencin social

E x i s t e n consideraciones t i c a s o de g n e r o ? Su i m p o r t a n c i a p r o v i e n e de la
especial sensibilidad actual hacia los g r u p o s sociales i n c l u i d o s en estas categ o r a s , l o cual r e c o m i e n d a ser c o n s i d e r a d o y e v i t a r que la i n t e r v e n c i n so-

| o |

!,,,,,,

la < i r a c i n de servicios e s p e c f i c o s ( K e t t n e r , M o r o n e y y

Multa , l f H )
.
,
.
.
I ,, | | . i lli l , la e v a l u a c i n de necesidades tiene tres fases, similares a las de
r

cial pueda afectarles o ser ella m i s m a afectada de f o r m a negativa.

, ! , ! , proyi

Iti di I n v e s t i g a c i n de e v a l u a c i n . L a fase inicial de p l a n i f i c a c i n

,1, | , i i u d l n i

3.3.3. E v a l u a c i n de necesidades

V 1 1

ne p o r o b j e t o identificar y p r i o r i z a r las necesidades existentes e n u n m b i t o determ i n a d o , o r i e n t n d o s e a l a t o m a de decisiones en r e l a c i n a la d i s t r i b u c i n de recur-

Ii ii

_o,

,,,
L a e v a l u a c i n de necesidades es u n a f o r m a de i n v e s t i g a c i n social aplicada q u e tie-

I( finii un p l a n de t r a b a j o q u e incluya la definicin de los obje-

y ||
i

|o d i o b l e n e i datos sobre el estado actual y la s i t u a c i n deseada. E n la

,,,,, ,

,i, .

,,.,

< p n o i i / a i i las necesidades detectadas y. en su caso, se d i s e a

i , | . . i i i i reducirlas. A l g u n o s de los siguientes errores o c u r r e n c o n

Upo de estudios

l , , ,,,,,
r

sos, la p l a n i f i c a c i n y el d i s e o de i n t e r v e n c i o n e s ( M c K i l l i p , 1987, 1998; R e v i e r e


et aL, 1996; W i t k i n y A l t s c h u l d , 1995). E x i s t e u n t o t a l acuerdo a la h o r a de d e f i n i r l a
e v a l u a c i n de necesidades t o m a n d o c o m o r e f e r e n c i a el proceso d e e v a l u a c i n e
i n t e r v e n c i n social c o m o u n a de sus fases, m o m e n t o s o tareas iniciales, p r e v i a s al
d i s e o y d e s a r r o l l o de las i n t e r v e n c i o n e s ( R o s s i y F r e e m a n , 1989; S t u f f l e b e a m y

1995)

. 1 . K los m t o d o s de i n v e s t i g a c i n q u e se u t i l i z a r n y los usos

id lo ., ..liados. E n la siguiente fase se recoge la i n f o r m a c i n necesa-

( O w e n s y R o g e r s , 1999; W i t k i n y A l t s c h u l d ,

i . . ... . ...Lides c o n soluciones, n o concretar el estado que se q u i e r e

, l , , ,

din

,1, l i n i i ii

in

IIIIIH

i . l a de i n f o r m a c i n a u n solo m t o d o de i n v e s t i g a c i n ,

un I-, necesidades o negar asistencia a los grupos que necesi-

tan la i n l e i v r i n i o n d r maneta m s urgente.

S h i n k f i e l d , 1987). Su p r i n c i p a l p r o p s i t o es r e c o p i l a r i n f o r m a c i n acerca de las necesidades existentes c o n o b j e t o de d e c i d i r c u l e s v a n a ser o b j e t o de i n t e r v e n c i n

3.3.4. HeviMi'.fi d r invrstli;,it iones

p r i o r i t a r i a . Por t a n t o , n o se l i m i t a a d e s c r i b i r los p r o b l e m a s existentes, s i n o que


i m p l i c a a d e m s v a l o r a r su i m p o r t a n c i a o g r a v e d a d a t r a v s d e l e s t a b l e c i m i e n t o de

Se t r a a di iprOVI I h U I M nMUitldOI de investigaciones previas relevantes para el

p r i o r i d a d e s ( W i t k i n , 1994), d e t e r m i n a n d o a s i m i s m o los p r o b l e m a s de s o l a p a m i e n -

proMomi dk

tos, conflictos p o l t i c o s o dificultades de c o o r d i n a c i n e n t r e agencias q u e ofrecen

sin (COOptr, 1904; N e i i i n i i n , l ' W V ) I ' idea b s i c a es que el c o n o c i m i e n t o d i s p o -

s e r v i c i o s r e l a c i o n a d o s c o n la m i s m a n e c e s i d a d . M c K i l l i p ( 1 9 9 8 ) s u b r a y a los si-

nible a p a i l u de i n v r M i g

guientes aspectos: la e v a l u a c i n de necesidades se centra en el a n l i s i s de los p r o -

cas y pioi'.iainas d r i n t e i v e n i i o n E l i n l o d o de t r a b a j o es la r e v i s i n de l i t e r a t u r a ,

b l e m a s q u e afectan a d e t e r m i n a d o g r u p o o p o b l a c i n , es decir, e n las necesidades

aunque la b s q u e d a no d e b f

sociales frente a las de c a r c t e r i n d i v i d u a l ; p u e d e ser d e f i n i d a c o m o una f o r m a de

ficas. Las bases de dalos disponibles en la r e d y en f o r m a t o s e l e c t r n i c o s son una

i n v e s t i g a c i n social aplicada, ya q u e u t i l i z a la m e t o d o l o g a de las ciencias sociales

ayuda Indispensable. L a r e v i s i n se inicia c o n la d e m a r c a c i n del r e a de b s q u e -

c o m o base para la i d e n t i f i c a c i n y p r i o r i z a c i n de los p r o b l e m a s existentes en e l

da (palabras c l a v e ) , sigue c o n la v a l o r a c i n de la c a l i d a d de cada t r a b a j o , la i n t e r -

m b i t o analizado; y p o r l t i m o , el p r o p s i t o de este t i p o de e v a l u a c i n es p r o p o r -

p r e t a c i n e i n t e g r a c i n de resultados y finaliza c o n l a e l a b o r a c i n de u n i n f o r m e

c i o n a r i n f o r m a c i n t i l p a r a la p l a n i f i c a c i n de p o l t i c a s sociales y p r o g r a m a s de

que ofrezca una d e s c r i p c i n e i n t e r p r e t a c i n r a z o n a d a d e l campo de estudio r e v i -

i n t e r v e n c i n que i n c i d a n sobre las necesidades p r i o r i t a r i a s identificadas y p r o m u e -

sado. S m a l l w o o d y H u r w o r t h (1998) r e c o m i e n d a n q u e el revisor sea f l e x i b l e al va-

v a n cambios sociales.

l o r a r la c o n t r i b u c i n p o t e n c i a l de cada t r a b a j o , u t i l i z a r estudios de m e t a - a n l i s i s ,

Las necesidades son conceptos n o r m a t i v o s q u e v a r a n e n f u n c i n d e l c o n t e x t o


social, p o l t i c o y e c o n m i c o . P o r e j e m p l o , las necesidades de asistencia sanitaria
e n la p o b l a c i n h a n v a r i a d o s e g n se d e s a r r o l l a b a el c o n c e p t o de salud a l o l a r g o
d e l siglo pasado. Las necesidades p u e d e n d e f i n i r s e de m a n e r a j e r r q u i c a , atend i e n d o a las p r i o r i d a d e s , deseos o expectativas q u e aparecen c u a n d o las personas
h a n superado d e t e r m i n a d o n i v e l de v i d a , o a p a r t i r d e u n n i v e l de exigencias b s i -

I Itudlo v qUI M

am u r n t r a n

publicadas e n diversos medios de d i f u -

>nrs l i g u i o s a s se a p i o v e c h e en la e l a b o r a c i n de p o l t i -

redui use

a los i n f o r m e s aparecidos en revistas c i e n t -

s n t e s i s de investigaciones y b i b l i o g r a f a s anotadas, consultar fuentes de i n f o r m a c i n variadas ( p o r e j e m p l o , i n f o r m e s n o p u b l i c a d o s , debates p o l t i c o s ) y d e f i n i r


criterios para d e t e r m i n a r la calidad de los trabajos encontrados. A d e m s d e l resum e n de los p r i n c i p a l e s c o n o c i m i e n t o s , el i n f o r m e de r e v i s i n d e b e r a i n c l u i r una
d e s c r i p c i n c r t i c a d e l estado de l a i n v e s t i g a c i n , sin dejar de s e a l a r aquellas r e as concretas de i n t e r s en las q u e la l i t e r a t u r a n o tenga nada que decir.

cas deseables e n c u a l q u i e r r e a de i n t e r s v i t a l ( s a l u d , s i t u a c i n social, e m o c i o n a l ,


etc.) ( M a s l o w , 1954). L o i m p o r t a n t e es su p a p e l i n t e r m e d i o d e n t r o d e l proceso de
p l a n i f i c a c i n , e n t r e la d e f i n i c i n d e l p r o b l e m a social y l a puesta en m a r c h a de u n

3.3.5. R e v i s i n de las mejores p r c t i c a s

(benchmarking)

servicio o una i n t e r v e n c i n . S i r v e n p a r a t r a d u c i r el p r o b l e m a social a unos t r m i -

E l benchmarking

nos relevantes para l a v i d a de las personas, y o r i e n t a n a s l n e a s de a c t u a c i n de

utilizan las organizaciones para adoptar las p r c t i c a s que se consideran excelentes en

se define c o m o un proceso c o n t i n u o de medida y c o m p a r a c i n que

Copitulo 3: Procedimientos diagnsticos

68 J Porte /; Diseo de polticas y programas de nterverrcn socio/


su sector de a c t u a c i n , p o r ejemplo las que desarrollan las organizaac >m c llden

I |

sector (Cross e I q b a l , 1994; Sharp, 1994). E l proceso se d i v i d e en dos fases difi


das: el e s u b l e d m i e n t o de benchmarks

y la a p l i c a c i n de los mismos para

que realiza la p l a n t i l l a que atiende d i r e c t a m e n t e a la p o b l a c i n que solicita ayuda.


E n cualquier caso, puede ser c o n v e n i e n t e r e d e f i n i r la p o b l a c i n o b j e t i v o una vez

oriaoUl |

proceso de c a m b i o y m e j o r a . E n p r i m e r lugar se localizan los casos de p r c t i c a s r x i r

iniciado el p r o g r a m a , c o n vistas a alcanzar a u n m a y o r n m e r o de personas. L a correcta e s p e c i f i c a c i n de los o b j e t i v o s e s t a b l e c e r fronteras apropiadas, de manera

que la i n t e r v e n c i n alcance c o r r e c t a m e n t e la p o b l a c i n de referencia y sean facti-

los principios de a c c i n subyacentes. Estos elementos centrales se operativizan r n un

bles de aplicarse. L o s planificadores del p r o g r a m a d e b e r a n seleccionar la pobla-

conjunto de indicadores (benchmarks)

lentes, aplicando m t o d o s i n d u c t i v o s para d e t e r m i n a r sus c a r a c t e r s t i c a s conum.

que sirven para d e f i n i r planes de a c t u a c i n y

cin de referencia de f o r m a que m a x i m i z a r a la sensibilidad y especificidad. Se de-

registrar los resultados o b t e n i d o s en su i m p l a n t a c i n . D e este m o d o , la organi/.i. lfl

b e r a n hacer esfuerzos para e v i t a r la s o b r e i n c l u s i n y la i n f r a i n c l u s i n , t r a t a n d o de

establece sus objetivos d e mejora y p u e d e analizar el progreso hacia los mismos COffl

que los recursos i n v e r t i d o s en el p r o g r a m a se ajusten al n m e r o de personas a las

p a r n d o s e c o n l o que se considera la p r c t i c a excelente. L o s benchmarks

son las va

que va d i r i g i d o y a sus necesidades. E n general se distingue e n t r e las personas que

riables de c o m p a r a c i n , y sus niveles son los hitos que se espera conseguir en el pro

r e s u l t a r n beneficiadas d i r e c t a e i n d i r e c t a m e n t e p o r el p r o g r a m a . E n t r e los benefi-

ceso de m e j o r a . E v i d e n t e m e n t e , el x i t o de esta a c t i v i d a d depende de la capacidad

ciarios i n d i r e c t o s se d i s t i n g u e n a d e m s los l e g t i m o s de los i l e g t i m o s ( C o h n y

para t r a d u c i r las buenas p r c t i c a s en indicadores significativos c o m o mecanismo di-

Franco, 1993), en c u a n t o q u e n o son beneficiarios directos de la i n t e r v e n c i n , p e r o

g e s t i n d e n t r o de la o r g a n i z a c i n ( O w e n y Rogers, 1999).

su i n c l u s i n concuerda con e l e s p r i t u de la m i s m a , frente a quienes se benefician a


pesar de que n o sufren una s i t u a c i n de desventaja. T a m b i n incluyen el concepto
de "beneficio p b l i c o " , en c u a n t o que la nueva s i t u a c i n que p r o m u e v e la inter-

3.4. S e l e c c i n d e l a p o b l a c i n

objetivo

v e n c i n supone a l g n b e n e f i c i o e s p e c f i c o para la sociedad en su c o n j u n t o .

M u c h o s p r o b l e m a s en la i m p l e m e n t a c i n de u n p r o g r a m a se deben a dificultades pa
r a d i r i g i r l o a la p o b l a c i n realmente necesitada, m s que a problemas para entender

3.4.1 Conceptos

c m o p o n e r l o en p r c t i c a ( B i c k m a n , 1987a). C o h n y F r a n c o (1993) d e f i n e n la pob l a c i n o b j e t i v o c o m o e l c o n j u n t o de las personas que t i e n e n en c o m n a l g n atribut o , carencia o p o t e n c i a l i d a d que se p r e t e n d e r e m e d i a r o p o t e n c i a r con la interven-

E n t r e los conceptos i m p o r t a n t e s u t i l i z a d o s para seleccionar los objetivos del


p r o g r a m a figuran ( R o s s i y F r e e m a n , 1989):

c i n . E n t o d o e l proceso de i n t e r v e n c i n son cruciales las definiciones precisas y


adecuadas de los p r o b l e m a s y de las poblaciones de referencia, desde la p l a n i f i c a c i n

a) Incidencia

y prevalencia.

L a incidencia se refiere a la cantidad de casos nuevos

inicial en todas las fases de la i m p l e m e n t a c i n del p r o g r a m a . L o s objetivos pueden

que aparecen c o n u n p r o b l e m a particular en u n r e a y d u r a n t e u n p e r o d o es-

ser personas, grupos, r e a s g e o g r f i c a s , o unidades fsicas, y p u e d e n estar definidos

p e c f i c o . L a prevalencia es u n concepto m s general, d e f i n i d o c o m o el n m e r o

c o m o objetos directos o indirectos de l a i n t e r v e n c i n . L a s e l e c c i n de la p o b l a c i n de

t o t a l de casos del p r o b l e m a q u e existen e n u n r e a y durante u n p e r o d o espe-

referencia i m p l i c a : una d e f i n i c i n clara de las unidades o b j e t i v o , decidir si los objeti-

cfico. L a prevalencia indica la e x t e n s i n del p r o b l e m a antes de que el progra-

vos han de alcanzarse d i r e c t a o indirectamente, estimar el t a m a o ( n m e r o ) y distri-

m a comience. A n t e p r o b l e m a s sociales diferentes i n t e r e s a r definir la pobla-

b u c i n de los objetivos, establecer las reglas de i n c l u s i n y e x c l u s i n c o m o parte de la


d e f i n i c i n d e l o b j e t i v o y c o m p r e n d e r las necesidades desde varias perspectivas.

c i n o b j e t i v o en f u n c i n de u n o y o t r o de los conceptos.
b) Poblacin

de riesgo.

E l c o n c e p t o hace referencia a las personas que t i e n e n

p r o b a b i l i d a d de c o m e n z a r a sufrir a l g n p r o b l e m a o c o n d i c i n n o deseada.
E v i d e n t e m e n t e , n o t o d o s d e s a r r o l l a r n e l p r o b l e m a , p o r l o que la d e f i n i 3.4.1. D e f i n i c i n

c i n de la p o b l a c i n o b j e t i v o en t r m i n o s de riesgo i m p l i c a i n c l u i r a personas que nunca n e c e s i t a r n e l t r a t a m i e n t o .

E n ocasiones, la d e f i n i c i n de la p o b l a c i n o b j e t i v o se p l a n t e a en t r m i n o s vagos y

c) Sensibilidad

y especificidad.

Son dos conceptos inversamente relacionados en-

a m p l i o s p a r a ganar en f l e x i b i l i d a d y n o r e s t r i n g i r innecesariamente e l t i p o de per-

tre s, vinculados c o n la i d e n t i f i c a c i n corTecta de los usuarios potenciales del

sonas q u e p u e d e n s o l i c i t a r servicios d e l p r o g r a m a . A d e m s existen una serie de

programa (Rossi y F r e e m a n , 1989). L a sensibilidad es la capacidad para de-

p r o b l e m a s ( F r e e m a n y S h e r w o o d , 1970) de t i p o t i c o , c o m o el asociado a la d e f i n i -

tectar casos que c u m p l e n las condiciones establecidas para ser incluidos en el

c i n de l a p o b l a c i n en t r m i n o s de severidad d e l p r o b l e m a , dejando fuera a perso-

p r o g r a m a ( p o r e j e m p l o , v i v i r en condiciones de infravivienda en r e l a c i n

nas q u e n o alcanzan c i e r t o g r a d o de severidad y sin e m b a r g o p u e d e n necesitar ayu-

u n programa de r e a l o j a m i e n t o ) , mientras que la especificidad es la capacidad

da; o p r o b l e m a s a d m i n i s t r a t i v o s , c o m o los relacionados c o n la t o m a de decisiones

para rechazar los casos q u e n o c u m p l e n dichas condiciones.

ron

Generalmente

70

Porte /: Diseo de polticas y programas de intervencin social


debe tomarse una d e c i s i n sobre c u l de las dos medidas

Capitulo 3: Procedimientos diagnsticos

prcfieri Optimizarse,

j 71

3.S. M t o d o s p a r a i d e n t i f i c a r l a p o b l a c i n o b j e t i v o d e l p r o g r a m a

p o r q u e en ocasiones es m s i m p o r t a n t e acertar a localizar el m x i m o de personas que sufren una c o n d i c i n p r o b l e m t i c a , a n a costa de i | u r reciban e l

Para especificar e l L u n a d o y la d i s t r i b u c i n de u n p r o b l e m a , los evaluadores deben

p r o g r a m a u n n m e r o elevado de personas q u e en realidad no l o necesitan,

recoger y analizar d a l o s

p o r e j e m p l o cuando se trata de salvar vidas humanas.

la i n f o r m a c i n n e c e a n

d) Necesidad

y demanda.

E l t r m i n o "necesidad" es generalmente d e f i n i d o co-

m o " u n j u i c i o de v a l o r acerca de la existencia de un

problema que

,.1...

r . l i u l e s d e muchas fuentes. Puesto que con frecuencia

< st .I -.j

ble d i r e c t a m e n t e , es frecuente que e m p r e n -

dan o c o n t r a t e n s u p m p i . i i n v e s t i g a c i n social, i n c l u i d a s las entrevistas c o n i n f o r -

afecta a

mantes clave-., estudios d r i r g i s i r o s de la agencia, encuestas y censos, evaluaciones

un g r u p o d e t e n n i n a d o y puede ser r e s u e l t o " ( M c K i l l i p , 1WH: 263), e implica

de necesidades y evaluai nuil s i militiitivas d e necesidades. Cada una de estas fuen-

la c o n s t a t a c i n de u n a discrepancia e n t r e la s i t u a c i n actual del g r u p o y una

tes tiene s u s u s o s v l u m i a , iones

s i t u a c i n i d e a l deseable ( K a u f m a n e E n g l i s h , 197'); W i i k i n y A l t s c h u l d ,

pueden ser i r l a i i v a m e n i i

1995). E n f u n c i n de q u g r u p o define las necesidades y el c r i t e r i o de compar a c i n , es posible diferenciar c u a t r o tipos de necesidades (Bradshaw, 1972):
las necesidades n o r m a t i v a s son las establecidas p o r profesionales y expertos
en u n r e a especfica de intereses; las necesidades peicibidas son las i d e n t i f i cadas p o r los p r o p i o s afectados, las necesidades expresadas son las que se manifiestan mediante la a c c i n ( p o r ejemplo, a t r a v s de la u t i l i z a c i n o d e m a n -

|><>i r j e m p l o , las entrevistas con informantes clave

b a i a t a s v de l n l e j e c u c i n , p e r o son de dudosa

fiabilidad;

las eviiluac i o n e s i ii.iln.tiiv.i-. ,lc nc i c s u l . i c l r s p u e d e n p r o p o r c i o n a r intuiciones de los

mecanismos snbyac e n t e s n los problemas sociales, p e r o necesitan ser c o m p l e m e n t a das con m e d i d a s i uanlilattvas ya q u e r l d i s e o y la i m p l e m e n t a c i n del p r o g r a m a
demandan i n f o r m a c i n m s precisa. A l g u n a s t c n i c a s t i l e s en la e s t i m a c i n del o b jetivo se i n ogeii en los a p a i t a d o s siguientes (Rossi y F r e e m a n , 1989).

da de programas y servicios) y las necesidades relativas son las definidas p o r


c o m p a r a c i n con otras poblaciones de c a r a c t e r s t i c a s similares. E n contextos
p o l t i c o s , a d m i n i s t r a t i v o s y empresariales es f r e c u e n t e el uso de t r m i n o s
que, aunque son p r x i m o s al c o n c e p t o de necesidad, n o deben ser empleados
de u n m o d o i n d i s t i n t o , ya que hacen referencia a realidades claramente diferenciadas. Es el caso, p o r e j e m p l o , d e l c o n c e p t o de " d e m a n d a " , c o n e l que
suele denominarse a la p e t i c i n expresa de acciones orientadas a la satisfacc i n de una necesidad o u n deseo. A u n q u e algunas necesidades son expresadas a t r a v s de demandas, n o siempre existe una t o t a l equivalencia e n t r e a m bas. N o todas las necesidades son percibidas p o r los p r o p i o s i n d i v i d u o s que
las presentan (necesidades n o expresadas o latentes), n i todas las necesidades percibidas son manifestadas c o m o d e m a n d a s ( C h a c n , 1989; C h a c n ,
B a r r n y L o z a n o , 1988). P o r o t r o l a d o , t a m p o c o t o d a s las d e m a n d a s se
o r i e n t a n a la cobertura de necesidades, buscando en ocasiones la s a t i s f a c c i n
de deseos que se e n c u e n t r a n m s all d e l n i v e l adecuado o satisfactorio al

3.5.1. Entrevistas c o n i n f o r m a n t e s clave


I o iiilorrnantes clave son aquellas personas que, p o r su p o s i c i n o estatus d e n t r o del

supo, pueden

facilitar i n f o r m a c i n clave para identificar o criticar la d e f i n i c i n d e l

problema, la necesidad o la p o b l a c i n necesitada. Se espera obtener i n f o r m a c i n de


primera m a n o y de forma sencilla y r p i d a , siempre q u e tengan realmente una v i s i n
acertada y n o sesgada del p r o b l e m a . Se r e q u i e r e del i n f o r m a n t e que conozca bien a
la comunidad y que tenga c a r a c t e r s t i c a s para convertirse p o t e n d a l m e n t e en l d e r de la
m i s m a . Por e j e m p l o , en u n estudio con p o b l a c i n i n m i g r a n t e , R e b o l l o s o y H e r n n dez (2003) entrevistaron a un n m e r o r e d u c i d o de representantes d e l colectivo m a g r e b , buenos conocedores t a n t o de las necesidades d e l colectivo como de los recursos disponibles a t r a v s de la r e d de servicios sociales. E l o b j e t i v o era analizar las
necesidades y las redes de a p o y o de la p o b l a c i n m a g r e b . Para asegurar la validez de
los datos u t i l i z a r o n otros m t o d o s de i n v e s t i g a c i n de m a n e r a combinada.

que hace referencia este l t i m o concepto. L a d i f e r e n c i a c i n y c o r r e c t o uso


de ambos t r m i n o s es, p o r t a n t o , i m p r e s c i n d i b l e para su a p r o p i a d a identificacin y evaluacin.
e)

Estimaciones.

3.5.2. F o r o c o m u n i t a r i o

G u a r d a n r e l a c i n c o n la necesidad de d e m o s t r a r que la exis-

tencia de u n p r o b l e m a r e a l m e n t e merece e l esfuerzo de i n v e r s i n q u e su-

Es una r e u n i n a b i e r t a a la q u e se i n v i t a a p a r t i c i p a r a la c o m u n i d a d p a r a t r a t a r

p o n e la c r e a c i n de u n p r o g r a m a de i n t e r v e n c i n social; p o r e j e m p l o , a n a l i -

sobre m u y diversas cuestiones posibles ( e v a l u a c i n de necesidades, x i t o de l a i n -

z a n d o la e x t e n s i n d e l p r o b l e m a en f u n c i n de diferentes g r u p o s sociales

t e r v e n c i n , etc.). Se r e q u i e r e q u e e l g r u p o de asistentes sea r e p r e s e n t a t i v o de l a

( p o r rangos de edad, g n e r o , n i v e l de ingresos, residencia, etc.), de t a l m o -

c o m u n i d a d y q u e sientan l i b e r t a d para expresar sus p u n t o s de vista, a u n q u e a ve-

d o q u e se puede e s t i m a r m s ajustadamente q u i n e s s e r n los d e s t i n a t a r i o s

ces la presencia de o t r o s p u e d a c o a r t a r l a e x p r e s i n . P o r e j e m p l o , las r e u n i o n e s

de una p o t e n c i a l i n t e r v e n c i n . E v i d e n t e m e n t e , la c u e s t i n p u e d e p l a n t e a r -

plenarias de los Consejos escolares en los centros p b l i c o s de e n s e a n z a e s p a o l e s

se en t r m i n o s de coste-beneficio, en la m e d i d a en que el p r o b l e m a social

se u t i l i z a n , e n t r e otras cuestiones, p a r a d e f i n i r y p r i o r i z a r las necesidades de la co-

sea suficientemente grave o extenso p a r a iniciar el p r o g r a m a .

m u n i d a d escolar ( R e b o l l o s o , C a n t n y F e r n n d e z - R a m r e z , 2004). L a s r e u n i o n e s

72

Capitulo 3: Procedimientos diagnsticos

Porte /: Diseo de poHtkas y programas de intervencin socio/

cuentan con la p a r t i c i p a c i n de representantes de todos los colectivos Iroplll d o i v

73'

que pueda p r o p o r c i o n a r la persona entrevistada acerca del tema o b j e t o de estudio

p r o c e d e n con m t o d o s d e m o c r t i c o s p a r a la t o m a de decisiones. E l b u e n i .

( G o n z l e z , 1997). E n c u a n t o a l a entrevista abierta, de t i p o cualitativo, posee las

n a m i e n t o de los foros c o m u n i t a r i o s r e q u i e r e u n p e r i o d o p r e v i o de reunioDM pal

mismas c a r a c t e r s t i c a s que la a n t e r i o r a e x c e p d n de l o r e f e r i d o a sus objetivos,

d a l e s y una p r e p a r a c i n exhaustiva de la agenda de l a r e u n i n plenaria (NAl I v

estructura y aspectos formales. Su p r i n d p a l p r o p s i t o es recoger el discurso de un

Loscertales, 1 9 % )

sujeto, p e r m i t i n d o l e h a b l a r l i b r e m e n t e , c o n la n i c a r e s t r i c c i n de un g u i n no
d i r e c t i v o que c o n t e m p l a las r e a s o temas d e i n t e r s sobre los que interesa recoger
i n f o r m a d n d u r a n t e la entrevista, sin establecer n i n g n o r d e n rgido a la hora de

3.5.3. Indices bajo tratamiento

plantear las cuestiones ( P a t t o n , 1990; R o d r g u e z , G i l y G a r c a , 1996; T a y l o r y B o g dam, 1984; Valles, 1997).

Supone recoger i n f o r m a d n a t r a v s de las personas q u e h a n r e c i b i d o t r a t a m i c n


to, consideradas c o m o u n segmento significativo de la p o b l a d n con p r o b l e m a s
E x i s t e u n posible sesgo c u a n d o el acceso a los servicios del p r o g r a m a n o son posi-

3.5.6. T c n i c a s de encuesta

bles o e q u i t a t i v o s para todos los subgrupos de la p o b l a d n o b j e t i v o t o t a l .


Las t c n i c a s de encuesta son las m s utilizadas para e l d i a g n s t i c o de los p r o b l e mas y necesidades sociales ( M c K i l l i p , 1998; W i t k i n , 1994). Se trata de u n p r o c e d i 3.5.4. Indicadores sociales

m i e n t o consistente e n f o r m u l a r una serie de preguntas a un n m e r o d e t e r m i n a d o


de i n d i v i d u o s representativos de u n c o l e c t i v o m s a m p l i o - g e n e r a l m e n t e un g r u p o

L o s i n d i c a d o r e s son c o n j u n t o s de datos q u e recoge p e r i d i c a m e n t e una agencia

de p o b l a d n , los usuarios de u n servicio, los proveedores del m i s m o , etc.- con o b -

o f i d a l y q u e hacen referencia a variables, c a r a c t e r s t i c a s y aspectos variados r e a

j e t o de recoger i n f o r m a d n acerca de sus actitudes, o p i n i o n e s , creencias, prefe-

d o n a d o s c o n el p r o b l e m a y e l p r o g r a m a de i n t e r v e n d n . L o s indicadores son t i -

rencias, percepciones y c o m p o r t a m i e n t o s en r e l a d n a la s i t u a c i n o p r o b l e m a

les p a r a analizar l a e v o l u d n t e m p o r a l de las c o n d i d o n e s de v i d a o del estado de

analizado y a los servicios q u e se ofrecen e n u n r e a e s p e c f i c a . Se trata, p o r t a n t o ,

u n p r o b l e m a s o d a l . P o r e j e m p l o , los responsables de la D i r e c d n G e n e r a l de T r -

de u n m t o d o Dexible q u e p e r m i t e a b o r d a r una gran v a r i e d a d de temas, e i m p l i c a

fico u t i l i z a n i n d i c a d o r e s generales ( n m e r o g l o b a l de accidentes, n m e r o de h e r i -

u n c o n t a c t o d i r e c t o c o n l a p o b l a c i n cuya s i t u a c i n va a ser evaluada, p r o m o v i e n -

dos, n m e r o de m u e r t e s , etc.) para d e t e r m i n a r el x i t o de las intervenciones que

d o l a c o n d e n d a c i n acerca de los p r o b l e m a s existentes entre los m i e m b r o s de la

se r e a l i z a n a n u a l m e n t e para r e d u c i r la m o r t a l i d a d en las carreteras e s p a o l a s . U n

c o m u n i d a d , y f a d l i t a n d o su p a r t i d p a d n activa en los p r o g r a m a s y acciones e m -

p r o b l e m a es la d i f i c u l t a d p a r a s e a l a r el i m p a c t o d i r e c t o de las i n t e r v e n d o n e s , a s

p r e n d i d a s para su s o l u c i n . Sin e m b a r g o , t a m b i n p u e d e n crear la falsa expectati-

que es necesario c o m p l e t a r los datos c o n e s t a d s t i c a s s o b r e e l t i p o de a c d d e n t e s y

va de q u e se v a n a a d o p t a r medidas para la m e j o r a de la s i t u a c i n en base a los r e -

sobre o t r o s factores de especial i n d d e n d a e n e l n m e r o d e a c d d e n t e s r e g i s t r a d o


(estado de las carreteras, c l i m a t o l o g a , etc.).

sultados d e l estudio, l o cual n o siempre sucede ( M c K i l l i p , 1998). E n t r e las t c n i c a s


de encuesta m s conocidas y empleadas c o m o p r o c e d i m i e n t o s de d i a g n s t i c o destacan el c u e s t i o n a r i o y la e n t r e v i s t a estructurada. L o s ejemplos son abundantes.
Por c i t a r u n o , R e b o l l o s o , F e r n n d e z - R a m r e z y Pozo (2000) u t i l i z a n un cuestiona-

3.5.5. Entrevistas

rio e s t r u c t u r a d o para diagnosticar los p r o b l e m a s de s a t i s f a c c i n del personal p r o f e s i o n a l de u n s e r v i c i o de a d m i n i s t r a c i n u n i v e r s i t a r i a . E l c u e s t i o n a r i o e s t u v o

P u e d e ser d e f i n i d a c o m o u n a c o n v e r s a c i n , g e n e r a l m e n t e e n t r e dos personas,


guiada p o r u n e n t r e v i s t a d o r c o n el p r o p s i t o de r e c o p i l a r datos acerca d e l t e m a i n -

o r i e n t a d o p o r u n m o d e l o t e r i c o e x h a u s t i v o y se u t i l i z en el m a r c o de una eval u a c i n de la c a l i d a d d e las p r c t i c a s de g e s t i n .

vestigado ( A n d e r - E g g , 1995; C a n n e l l y K a h n , 1992; q e m e n t e , 1992). T e n i e n d o e n


cuenta el g r a d o de e s t r u c t u r a d n y la n a t u r a l e z a de l a i n f o r m a d n que esta t c n i ca p r o p o r d o n a , es p o s i b l e diferenciar e n t r e l a e n t r e v i s t a estructurada y la e n t r e -

3.5.7. Registro de d o c u m e n t o s o datos de archivo

vista a b i e r t a o en p r o f u n d i d a d ( B i s a u t a , 1989). L a e n t r e v i s t a estructurada y estandarizada, d e t i p o c u a n t i t a t i v o , se realiza sobre la base d e u n g u i n de preguntas

Consiste en r e c o p i l a r i n f o r m a d n de naturaleza c u a n t i t a t i v a d i s p o n i b l e en d i v e r -

cerradas q u e se p l a n t e a n s i e m p r e en el m i s m o o r d e n y e n i d n t i c o s t r m i n o s , c o n

sas i n s t i t u c i o n e s ( p o l t i c a s , sociales, educativas, sanitarias, etc.) acerca de la p o b l a -

respuestas ajustables a c a t e g o r a s definidas a p r i o r i y c o n r e g i s t r o m e c n i c o de los

d n o p r o b l e m t i c a analizada. D e n t r o de esta c a t e g o r a p u e d e n incluirse los cen-

datos. Su p r i n d p a l o b j e t i v o es recoger l a m x i m a c a n t i d a d p o s i b l e de i n f o r m a d n

sos, los registros i n s t i t u c i o n a l e s y los datos acerca de la u t i l i z a d n de programas y

74

Porte I: Diseo de polticos y programos de intervencin social

servicios ( M c K i l l i p , 1998). Esta i n f o r m a c i n suele encontrarse d i s p o n i b l e en i n f o r mes escritos, bases de datos y, m s r e c i e n t e m e n t e , ha c o m e n z a d o a ser d i f u n d i d a a
t r a v s de I n t e r n e t . E l p r i n c i p a l uso de este t i p o d e p r o c e d i m i e n t o s suele ser la desc r i p c i n de las c a r a c t e r s t i c a s de la p o b l a c i n o b j e t o de estudio, en t r m i n o s de datos
s o c i o d e m o g r f i c o s tales c o m o edad, sexo, n i v e l de ingresos, nivel de estudios, lugar
de residencia, etc. E n cuanto a la u t i l i z a c i n de servicios, la d e s c r i p c i n de las caract e r s t i c a s de los usuarios de los programas suele p r o p o r c i o n a r i n f o r m a c i n t i l para
la d e t e c c i n de grupos que n o e s t n r e c i b i e n d o l a i n t e r v e n c i n , a pesar de p e r t e necer a la p o b l a c i n o b j e t i v o d e l p r o g r a m a , y de usuarios que no necesitan r e a l m e n t e el servicio, p e r m i t i e n d o identificar las posibles barreras q u e i m p i d e n o l i m i tan el acceso a los p r o g r a m a s .

Evaluacin de entrada
y planificacin del programa

3.5.8. Censos c o m u n i t a r i o s
L o s censos s o n u n a m o d a l i d a d d e d a t o s d e a r c h i v o , d e c a r c t e r e s t a d s t i c o - d e s c r i p t i v o , acerca de una p o b l a c i n d e t e r m i n a d a ( A n d e r - E g g , 1995; A n g e l y Freedman, 1992). Se trata, por t a n t o , de una t c n i c a de recogida de i n f o r m a c i n de natura-

l a lase d r i l a i n l i i ai i.'>n d r l p r o g i a m a r s d r especial trascendencia para el x i t o de

leza c u a n t i t a t i v a . M i e n t r a s q u e l o s d a t o s de e n t r e v i s t a s o n e l r e s u l t a d o d e u n

la inte i VMli i o n v r x i i - e In < o l a b o r a c i n estrecha e n t r e los evaluadores y los r e s p o n -

proceso c o n s t r u c t i v o de i n t e r a c c i n social entre e l investigador y el sujeto e n t r e -

s a b l e s d e l p i o g i . u u a ( i l n r i U n e s , a d m i n i s t r a d o r e s y personal t c n i c o ) . Las o r g a n i -

vistado, e l a n l i s i s de censos n o i m p l i c a n i n g n t i p o de r e l a c i n c o m u n i c a t i v a , l i -

zaciones di si vi

m i t n d o s e a la r e c o p i l a c i n de datos ya existentes acerca de la p o b l a c i n o b j e t o de

m o d o i | u r la v i a b i l i d a d d r l a i n t e r v e n c i n d e p e n d e de q u e se m a n t e n g a n las c o n d i -

estudio. A l g u n a s universidades, p o r e j e m p l o , h a n i m p l a n t a d o r e c i e n t e m e n t e siste-

c i o n e s i d n e a s de p a r t i d a y se c o n t r a r r e s t e n las posibles barreras o d i f i c u l t a d e s

mas de g e s t i n de la i n f o r m a c i n que a y u d a n a crear u n a base de datos p e r m a n e n -

que p u e d e n aparecer.

s o n s e n s i b l e s a los c a m b i o s y las influencias p o l t i c a s , de t a l

te, a m p l i a y r e n o v a d a a n u a l m e n t e sobre m u l t i t u d de cuestiones de i n t e r s . C u a l -

L a p l a n i f i c a c i n del p r o g r a m a es una a c t i v i d a d r a c i o n a l que i m p l i c a la e l e c c i n

q u i e r investigador, c o n e l p e r m i s o adecuado, puede acceder a d e t e r m i n a d o s

de las mejores opciones de i n t e r v e n c i n y la d e f i n i c i n de u n sistema de i m p l e -

sectores de la base de datos para extraer i n f o r m a c i n til para sus investigaciones.

m e n t a c i n adecuado que sea capaz de alcanzar a l a p o b l a c i n o b j e t i v o y prestarle los servicios esperados. L a coherencia i n t e r n a del p r o g r a m a tiene q u e ver con la
correcta d e f i n i c i n de las metas, objetivos y actividades de l a i n t e r v e n c i n ( t e o r a
del p r o g r a m a ) , que son o b j e t o de anlisis de la e v a l u a c i n de la e v a l u a b i l i d a d o de
la e v a l u a c i n o r i e n t a d a p o r l a t e o r a . E n sucesivas ocasiones de i m p l e m e n t a c i n ,
los p r o g r a m a s p o d r n ser refinados o ajustados t e n i e n d o e n cuenta la e x p e r i e n c i a
previa.
F r e n t e a la v i s i n c o n v e n c i o n a l q u e i d e n t i f i c a l a e v a l u a c i n c o m o una a c t i v i dad q u e se realiza al final de la i n t e r v e n c i n , c u a n d o se ha l o g r a d o a l g n t i p o de
r e s u l t a d o , l a e v a l u a c i n de e n t r a d a enfatiza la necesidad de revisar y m e j o r a r la
p r o p i a d e f i n i c i n d e l p r o g r a m a , i n c l u y e n d o t a n t o su base l g i c a c o m o p r a g m t i c a .
Es decir, p o r q u se espera q u e determinadas actividades produzcan los cambios deseados en la p o b l a c i n objetivo, y c m o se e s t r u c t u r a r el f u n c i o n a m i e n t o de l a organ i z a c i n de servicios responsable del p r o g r a m a para localizar y trabajar con la p o b l a cin objetivo.